タグ KVS
新着順 10 users 50 users 100 users 500 users 1000 usersパフォーマンス比較 Cassandra、Mongodb、SQLite、H2、MySQL、Postgres - C/pHeR Memo - Java とか。Eclipse とか。
下記のようなシステムでパフォーマンスが良さげな SQLite を使用予定ですが、もっと速いものが無いか確認のため他のデータベースのパフォーマンスを計測してみました。SQL 利用前提ですが、NoSQL が圧倒的な性能を出す場合は検討する必要があるので KVS も確認しました。 データ件数は 1 億件程度、JDBC SQL 利用可能 INSERT、UPDATE は基本的にバッチ SELECT はマルチ... 続きを読む
Linuxでロードバランサやキャッシュサーバをマルチコアスケールさせるためのカーネルチューニング - ゆううきブログ
2015-03-31 Linuxでロードバランサやキャッシュサーバをマルチコアスケールさせるためのカーネルチューニング Linux Kernel Network NIC Performance TCP HAProxy や Nginx などのソフトウェアロードバランサやリバースプロキシ、memcached などの KVS のような高パケットレートになりやすいネットワークアプリケーションにおいて、単一... 続きを読む
【入門】インフラやるなら知っておきたいトピックのリンク集 - Qiita
インフラをやるうえで知っておきたいトピックを独断と偏見で選んでリンク集をつくりました. HTTP HTTP入門 [BurpSuiteJapan]HTTP基礎入門 REST Web API入門 RESTful API 入門 キャッシュ/KVS key-valueストアの基礎知識 KVS 超入門 - footmark CDN CDNの仕組み(JANOG36) ネットワーク NW入門 NAT/プロキシ DHCP,NATDH... 続きを読む
AWS、SQL互換の新問い合わせ言語「PartiQL」をオープンソースで公開。RDB、KVS、JSON、CSVなどをまとめて検索可能 - Publickey
Amazon Web Services(以下AWS)は、SQL互換の新しい問い合わせ言語およびそのリファレンス実装である「PartiQL」をオープンソースとして公開したことを発表しました。 PartiQLはSQL互換の構文に最小限の拡張を施すことで、リレーショナル形式のデータベースだけでなく、KVSやJSONなどを含むNoSQLデータベースやCSVファ... 続きを読む
node/webosocketによるオンラインゲームの実装を考える / オンメモリ、KVS、RDBMS、圧縮プロトコル、そのゲームデザイン + 就活の話 - mizchi log
node 派手で見栄えがする大規模なプロダクトを作ろう!っていうことで、一人でフルスタックなネトゲを作っている。大きなプログラムを書いても破綻しないようにテスト書きまくってテストファーストを心がけたり、Travis-CIによる継続的インテグレーションで頑張ったり。 というわけで作っているのはMMORPGなんだけど、ここで実装するのはまあ平均的なMMORPGを想像してもらいたい。自分がやろうとしてい... 続きを読む
@IT Special PR:600億PVもMySQLで! モバゲーのインフラ底力
携帯向けサイト「モバゲータウン」の勢いが止まらない。2010年3月の会員数は約1800万人、月間ページビュー(PV)600億という"モンスターSNS"に成長している。意外なことに、これだけのアクセスをさばくのに、memcachedをはじめとするKVS(Key-Value Store)系のインフラ・ソフトはあまり使っておらず、MySQLで十分だという。モバゲータウンのインフラ担当者に話を聞いた。 モ... 続きを読む
54行で分散KVSを実装する(レプリケーション機能付き) - 古橋貞之の日記
Ruby と MessagePack-RPC があれば、簡単なkey-valueストレージは簡単に作れます。54行で書けます(レプリケーションと負荷分散機能付き。サーバー38行、クライアント16行)。簡単なKVSをベースにして、ログ集計や遠隔デプロイ、遠隔管理機能などの機能を追加していけば、ちょっと便利なサーバープログラムをサクサク自作できるハズ。 この分散KVSは、(keyのハッシュ値 % サー... 続きを読む
なんか Go で書くのが流行ってるみたいなので - muddy brown thang
go, google『早速 Go 言語を試してみる!』とか。こちらはというと、試しに memcache バイナリプロトコルで通信する KVS もどきを書いた。サーバのイベントループで go すれば全部済むのが楽ちんですね。 続きを読む
分散 Key-Value ストア mio-0.0.1alpha をリリースしました - ひげぽん OSとか作っちゃうかMona-
mio分散を Key-Value ストア mio-0.0.1alpha をリリースしました。(mio-0.0.1-alpha.tar.gz) Mio とは何か?範囲検索(range query) が出来る KVS です。例えば「key が "1000"〜"2000" にあるものを昇順に10件取り出す」という検索が可能です。Mio は memcached 互換プロトコルを実装しているので、多くのプロ... 続きを読む
ソシャゲ開発経験から学んだゲームに Redis を使う際の Tips - Qiita
近年の KVS では割と Redis が覇権を取っていることもあり(当社比), 社内の多くのプロジェクトで Redis を使用するようになりました. ということでノウハウ的なのも溜まってきたのでまとめたいと思います. (大量のユーザーデータを扱うソシャゲにしか当てはまらない部分もあるかと思います) 単純にパフォーマンスを RDB < Redis と思い込んでとりあえずでキャッシュしない 「Redi... 続きを読む
文部省指導要項「情報」で高校生に教えることがネットワーク構築、開発手法、 DB、プログラミング、設計などと幅広く定められているが教えられる先生はいるのか
むらかみふくゆき Fukuyuki @fukuyuki 文部省指導要項「情報」がすごい。ネットワーク構築、開発手法(WFとアジャイル)、 DB(RDB/KVS)、デザイン、フォント、音声編集(MIDIまである)、動画編集、プログラミング、設計(E-R/状態遷移図)、情報デザイン、情報倫理、社会情報学。 これ全部教えれるやつ教師やってない。 mext.... 続きを読む
Amazon Connect + Whisper + GPT-4 Turboで、発話から個人情報(名前、住所、生年月日)を正しく認識できるか試してみた | DevelopersIO
構成 構成としては、下記の通りです。 Connectのフローの詳細は下記の通りです。 例として、発話で住所を認識させる処理の流れは以下のとおりです。 コンタクトフロー内で「メディアストリーミングの開始」ブロックを使って、Kinesis Video Stream(KVS)への音声のストリーミングを開始します。 顧客は、住所を含めた発... 続きを読む
TIME_WAITに関する話
TIME_WAITに関する話 1. TIME_WAIT に関する話 sejima 2. 免責事項 - 本資料において示される見解は、私自身の見 解であって、私が所属する組織の見解を必ずし も反映したものではありません。ご了承くださ い。 3. 自己紹介 - まぁまぁ MySQL でご飯食べてます - 一時期は Resource Monitoring や KVS にも 力入れてました - ネットワー... 続きを読む
最近のtrieの話(xbwなど) : Preferred Research
岡野原です。 ブログの更新がとまっていましたが、また少しずつ更新してきたいと思います。 今回はtrie(トライ)の最近の話をしたいと思います。 trieはキー集合を扱うためのデータ構造の一種です。例えば、単語集合からなる辞書であったり、クロールしたURL情報を扱ったり、最近だと、KVS(Key Value Store)のようにキーを介してデータを保存、読み込みをしたりと様々な場面で利用されます。 ... 続きを読む
大コンテナ時代を生きのこるためのJSON Schema - Sexually Knowing
2017 - 12 - 08 大コンテナ時代を生きのこるためのJSON Schema 実行環境をコンテナ化するDockerが普及して久しく、CIやローカルの開発環境などどこかでコンテナ技術に触れているのではないでしょうか。 コンテナはその性質上、設定のプロビジョニングに古典的な設定ファイル (のパス) 受け渡しが難しいです。 etcd や consul のようなKVS (= Key- value ... 続きを読む
シンプルな構造で拡張性と可用性を保持するKVS「Riak」--Hadoopとも融合 - ZDNet Japan
「Riak」はNoSQLの中でもキーバリューストア(KVS)に分類され、リレーショナルデータベース(RDB)のような複雑なデータの取り扱いやトランザクションの仕組みを持たない一方で、そのシンプルなデータ構造をベースにした高い拡張性と可用性を特徴としています。ここではRiakのメリットと技術的な概要を説明し、いくつか代表的なユースケースを取り上げてご紹介します。 コンシステントハッシュで分散させる ... 続きを読む
S3は巨大なKVSなのでRailsのCache storeとしても使える | うなすけとあれこれ
S3 is a Key-Value store Amazon S3 は、一意のキー値を使用して、必要な数のオブジェクトを保存できるオブジェクトストアです。 Amazon S3 オブジェクトの概要 - Amazon Simple Storage Service Amazon S3の基礎技術は、単純なKVS(Key-Value型データストア)でしかありません。 Amazon S3における「フォルダ」という幻... 続きを読む
人間とウェブの未来 - mruby-{Redis,Vedis,Memcached}でSET/GETの簡易ベンチマークしてみた
「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。NWM代表としてフリーランスのエンジニアをしながら博士課程で研究しています。mrubyでKey-Value Storeにアクセスできるクライアントをこれまでいくつか作ってきたので、Vedisの性能が見たいというのとその他ちょっとした興味でそれぞれのKVSのSET/GETを投げてみて速度の比較をしてみました。 といっても、それぞ... 続きを読む
インメモリKVS「Redis 3.0.0」がリリース、クラスタリングをネイティブでサポート:CodeZine
Salvatore Sanfilippo氏は、PCのメモリ上にKey-Valueストア(KVS)を構築し、外部プログラムからのデータの保存と読み出しを可能にするソフトウェアの最新版として、「Redis 3.0.0」を4月1日(現地時間)にリリースした。 「Redis 3.0.0」では、新たにクラスタリングをサポートしており、大規模な環境でRedisを使用しているユーザーの利便性を向上している。 安... 続きを読む
PHP7から不変配列がOPcacheに乗るのでKVSを置き換えられるかもしれないという話
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime. 続きを読む
F's Garage @fshin2000 :YAPCに始めて行ったよ!
YAPCに始めて行きました。 ペパボにいたときはmizzyさんにいろいろ教えてもらったりしたのですが、Perlに馴染みがなかったので行くことはありませんでした。 最近は、プロダクションレベルではないものの、ペパボの30days albumで使われている、PerlbalというPerl製のロードバランサーを使って、アマゾンWeb ServicesのDynamoというKVS(Key value stor... 続きを読む
Riak を Python で使う - Ian Lewis
Riak は Basho が作っているキーべリューストレージ (KVS) システム。 せっかく Riak Meetup Tokyo に参加しているっていうことを きっかけにして、Riak を Python から使ってみよう。 インストールなど Riak をインストールするにはちょっと面倒くさいことがあるけど、動かしてみると使いやすい。 Riak のインストールはここに説明しないけど、僕が以前に R... 続きを読む
クラウドにおけるKVSの機能概要と3つの実現方式をおさらい
そのため、クラウドシステムではKVS(キー・バリュー・ストア)と呼ばれるデータストアを用いることになります。今日は、KVSの機能要件と、3つの実現方法について、おさらいしたいと思います。 1.クラウドシステムにおけるKVSの機能概要 クラウドの大規模分散システムで使用されるKVSには、3つの機能要件が求められます。 多くのサーバーに分散配置されても、登録・参照・更新などで整合性のあるアクセスができ... 続きを読む
Amazon ConnectとKinesis Video Streamsを利用した音声データの録音と保存(「留守番電話」や「AIチャットボット」で利用) | DevelopersIO
Amazon ConnectとKinesis Video Streamsを利用した音声データの録音と保存(「留守番電話」や「AIチャットボット」で利用) はじめに Amazon Connectでエージェントが介在しない「留守番電話」や「AIチャットボット」で録音したい場合、Kinesis Video Streams(以降、KVS)経由でAWS Lambdaを使い音声データの録音と保存... 続きを読む
簡単にP2Pの分散型ストレージやKVSを試せる「Hypercore Protocol」を使ってみた - GIGAZINE
複数のコンピューター間で直接データを送受信するP2Pは、従来のクライアント・サーバー構造が抱える「サーバーへのアクセス集中」や「中央集権」などの問題を解決する技術として注目を集めてきました。P2Pはデータを分散して保存できる点が特徴であり、ビットコインなどの暗号通貨やBitTorrentなどで活用されています。... 続きを読む