NewSQLはデータベースに革命を起こすか - NetflixにおけるCockroachDBのユースケース｜ミック

2024/04/13 368 users NewSQL CockroachDB ACID NoSQL

近年のデータベースの新潮流にNewSQLと呼ばれる一群のデータベース製品群の登場がある。そのコンセプトを一言でいうと、RDBとNoSQLのいいとこどりである。SQLインタフェースと強いデータ一貫性（ACID）というRDBの利点と水平方向のスケーラビリティというNoSQLの長所を兼ね備えた夢のようなデータベースである。下図に見... 続きを読む

1000万ユーザに耐えるサーバを作ってみた

2022/05/01 299 users サーバ Twitter GitHub DynamoDB 実装

概要 スケーラビリティが高く1000万ユーザに耐えるAPIサーバを作成しました。TwitterのようなSNSです。 実装はGitHubで公開しています。 開発環境は次の通りです。 Node 16.14 Express 4.17.3 DynamoDB 2012-08-10 機能要件は次の通りです。 ツイート機能 ツイートに対してコメント機能 フォロー機能 タイムライン機能 ... 続きを読む

AWS LambdaでAPI開発するときのパターン集 - Qiita

2020/11/27 264 users Qiita サーバレス AWS Lambda 死活監視 API

背景 AWS LambdaでAPI開発をする AWS LambdaとAPI Gatewayを組み合わせることでサーバレスのAPIを開発することが可能です。サーバレスで構築することで手間をかけずにスケーラビリティやコストの最適化を手に入れることができ、さらに死活監視等が不要のため運用のコストを大幅に下げることができます。 開発パターンが... 続きを読む

Amazon SQS のメッセージを処理するアプリケーションを本番で運用するために考えるべき基本的な 5 つのこと - あらびき日記

2020/10/19 274 users アプリケーション あらびき日記 Amazon SQS 本番

Amazon SQS は可用性やスケーラビリティの高いメッセジキューサービスであり、AWS の代表的なサービスの 1 つと言えるでしょう。ところが、本番の運用に耐えられるアプリケーションにしようと思うと考えることが意外に多いものです。本エントリーでは簡単なサンプルアプリケーションをベースに、本番で運用するために考... 続きを読む

マイクロサービスのTelepresenceを使ったローカル開発環境の話 - Mercari Engineering Blog

2019/05/28 112 users Telepresence SRE Twitter Keke

あいさつ返答サービスのアーキテクチャ図 今年、株式会社メルカリに入社し、希望であったメルペイ SREチームの配属になったSREのkeke(Twitter: @kekesan1515)です。 マイクロサービスは、サービスのスケーラビリティ、新技術への親和性、ベロシティ、モジュラティの観点から、より早く「価値」を届けることにつながり、... 続きを読む

Azure アプリケーションの設計原則 | Microsoft Docs

2018/10/26 110 users Microsoft Docs 設計原則 アプリケーショ 冗長

次の設計原則に従って、アプリケーションのスケーラビリティを上げて、回復力や管理しやすさを強化します。 自動修復機能を設計します 。 分散システムでは、障害が発生します。 障害の発生に備えてアプリケーションの自動修復機能を設計します。 すべての要素を冗長にします 。 単一障害点をなくすようにアプリケーショ... 続きを読む

Eventual Consistencyまでの一貫性図解大全 - Qiita

2017/12/05 132 users Qiita ACID NoSQL base 文脈

TL;DR; Eventual Consistencyとか言いながらどうせもっとまともな一貫性実装してることはよくあるんだからみんな適切な名前を使おうぜ。 なぜこの記事を書くのか NoSQLの文脈においてスケーラビリティとのトレードオフでEventual Consistencyという用語は結構な頻度で出てくる。 ACIDに対抗してBASE(Basicaly Avalilable, Soft sta... 続きを読む

Apache Kafkaがついにバージョン1.0に到達、オープンソース化から約7年。大量のデータを高速に収集できるメッセージ処理システム － Publickey

2017/11/13 230 users Publickey Kafka Apache Kafka

大量のデータを高速に収集できるメッセージ処理システムとして知られる「 Apaceh Kafka 」が、正式バージョンとなる「Apache Kafka 1.0」に11月1日付けで到達したことが、Kafkaの主要な開発元であるConfluentから 発表されました 。 Apache Kafkaはスケーラビリティに優れ、大量のデータをリアルタイムに処理する機能を備えたソフトウェアです。 さまざまなアプリ... 続きを読む

Apache Kafkaに対応したSQLエンジン「KSQL」リリース、ストリームデータをSQLで継続的に処理。Confluentがオープンソースで － Publickey

2017/09/04 165 users Confluent リアルタイムデータ処理 センサー ロク

Apache Kafkaを用いたリアルタイムデータ処理の商用サービスを提供しているConfluentは、Apache Kafkaに対応したオープンソースのSQLエンジン「KSQL」のデベロッパープレビューを リリースしました 。 Apache Kafkaはスケーラビリティに優れ、大量のデータをリアルタイムに処理できるソフトウェアです。さまざまなアプリケーションから送られてくるログや大量のセンサーな... 続きを読む

「Google Cloud Spanner」発表。地球規模の大規模分散環境で稼働するミッションクリティカルなリレーショナルDB。NoSQL並のスケーラビリティでSQL対応、トランザクション処理を実現 － Publickey

2017/02/15 412 users Publickey ミッションクリティカル 地球規模 業務

「Google Cloud Spanner」発表。地球規模の大規模分散環境で稼働するミッションクリティカルなリレーショナルDB。NoSQL並のスケーラビリティでSQL対応、トランザクション処理を実現 Googleは、クラウド上で高度なスケーラビリティを実現する、ミッションクリティカルな業務に対応したリレーショナルデータベースサービス「Google Cloud Spanner」を 発表しました 。 ... 続きを読む

ソフトウェアのスケーラビリティについてスターバックスが教えてくれること | コンピュータサイエンス | POSTD

2016/04/27 161 users プログラマ POSTD チェーン アルバイト コーヒーショップ

「スターバックスでは2相コミットを使わない」という記事を読んでいたら、学生時代にスターバックスでアルバイトをした頃がいきなり関わってきました。何年もの間に次第に分かってきたのは、プログラマでさえ有名なコーヒーショップのチェーンから学べることが思った以上にあるということです。2004年に Gregor Hohphe が「 スターバックスでは2相コミットを使わない（Starbucks Does Not... 続きを読む

スタートアップがさくらのVPSを決して絶対に使うべきではないただひとつの理由。 - 拝神

2016/01/20 278 users VPS 拝神 レンタルサーバー AWS さくら

2016 - 01 - 20 スタートアップがさくらのVPSを決して絶対に使うべきではないただひとつの理由。 最近はwebサービスなんかを立ち上げるときには自社サーバーを使うというのはまずなくて、レンタルサーバーなどを使うと思います。 私はエンジニアではないので詳しいことはわかりませんが、AWSのようなスケーラビリティが重視される側面でない限り、まずはちょっとした規模ならさくらのVPSなどで立ち上... 続きを読む

ParseがRubyからGoへ移行，信頼性が大きく向上

2015/07/10 302 users Parse 英人 マイリーディングリスト Parse API

ParseがRubyからGoへ移行，信頼性が大きく向上 作者： Sergio De Simone , 翻訳者 吉田 英人 投稿日 2015年7月9日 | 共有 |  後で読む マイリーディングリスト Parseはスケーラビリティを向上させるため，APIを含むサービスの一部をRuby on RailsからGoに移行した。同社のエンジニアであるCharity Majors氏が詳しく説明している。これに... 続きを読む

DSAS開発者の部屋:Goのdatabase/sql.Stmtのスケーラビリティを改善しました

2015/01/26 121 users DATABASE コントリビュータ TechEmpower

先日、 Goに初めて私のパッチが取り込まれ 、コントリビュータに仲間入りしました。 このパッチは、 database/sql.Stmt をヘビーに使った時に性能がだいたい16コア以上のコア数にスケールしないという問題を解決するものです。 こういった問題をどうやって調査するのかと、Goにパッチが取り込まれるまでの手順を紹介します。 背景 私は TechEmpower の FrameworkBench... 続きを読む

Amazon Web Services ブログ: 【AWS発表】AWS Lambda – クラウド上でのコード実行

2014/11/13 149 users AWS Lambda AWS発表 コード実行 クラウド上 本日

私たちはクラウドで実行するアプリケーションのビルドをより簡単にしたいと考えています。コードに集中できるようになって欲しいですし、スケーラビリティや信頼性、ランタイム効率が当たり前のことのように十分に高いクラウド中心の環境で働いて欲しいと思います！ AWS Lambdaのプレビューを本日ローンチすることを発表させて頂きます。AWS Lambdaはクラウドでアプリケーションをビルドして実行する新たなプ... 続きを読む

非分散データベースを分散データベース化する「Dynomite」、Netflixがオープンソースで公開 － Publickey

2014/11/06 193 users Publickey memcached redis 単体 限界

RedisやMemcachedといったインメモリデータベースは非常に高速にレスポンスを返してくれるデータストアですが、それ単体ではスケーラビリティや可用性などに限界があります。 The Netflix Tech Blog: Introducing Dynomite - Making Non-Distributed Databases, Distributed Netflixがオープンソースで公開し... 続きを読む

Twitterのスケーリング，新たなピークへ

2013/08/29 263 users Twitter 英人 スケーリング マイリーディングリスト

Twitterのスケーリング，新たなピークへ 作者： Saul Caganoff , 翻訳者 吉田 英人 投稿日 2013年8月29日 | 共有 |  後で読む マイリーディングリスト 多くの人々にとってTwitterは，必要不可欠なコミュニケーション手段になった。人も企業も毎日，ますます広く，深くTwitterを利用する現在，そのスケーラビリティはまさに我々すべてにとっての関心事である。今月初め... 続きを読む

Dropboxはどうやってユーザ数175Mにスケールできたか？–初期の技術者が経験を語る | TechCrunch Japan

2013/07/12 334 users Dropbox TechCrunch JAPAN 初期 背後

今日は本誌定番のすばらしい起業家たちやすばらしいVCたちのお話からすこし離れて、技術のお勉強をしよう。覚えておられると思うが、最近Dropboxは、ユーザ数が1億7500万に達したと発表し、もうハードディスクは要らない、という大胆な発言をしてニュースになった。すごいことだけど、でも、その背後にはどんな技術があるのだろう？　スタートアップは、成功するためにスケーラビリティをどうやって確保すべきか？　... 続きを読む

AWSにおける静的コンテンツ配信パターンカタログ（アンチパターン含む） ｜ Developers.IO

2013/05/31 235 users AWS Developers.IO アンチパターン http

都元です。AWSを利用して構築した環境から、クライアント（モバイルやブラウザ等）に対してHTTPを使って静的なコンテンツを配信したいケースって、多いですよね。多いというか、むしろどんなシステムにも多かれ少なかれ、静的なコンテンツ配信があると思います。 スケーラビリティ・柔軟性・可用性・パフォーマンス・コスト 静的なコンテンツというのは、コンテンツをリクエストに応じて生成したりせず、完成品としてのフ... 続きを読む

Pinterestはいかにスケーラビリティと格闘してきたのか（後編）。QCon Tokyo 2013 － Publickey

2013/05/13 208 users Publickey Pinterest 後編 セッション 前編

4月23日に都内で開催されたエンジニア向けのイベント「QCon Tokyo 2013」。急速に人気サイトへと成長したPinterestが、その裏でいかにスケーラビリティと格闘してきたのかをPinterestのエンジニア自身が紹介するセッション「Scaling Pinterest」が行われました。 この記事は「Pinterestはいかにスケーラビリティと格闘してきたのか（前編）。QCon Tokyo... 続きを読む

Pinterestはいかにスケーラビリティと格闘してきたのか（前編）。QCon Tokyo 2013 － Publickey

2013/05/13 458 users Publickey Pinterest ダイジェスト 前編

4月23日に都内で開催されたエンジニア向けのイベント「QCon Tokyo 2013」。急速に人気サイトへと成長したPinterestが、その裏でいかにスケーラビリティと格闘してきたのかをPinterestのエンジニア自身が紹介するセッション「Scaling Pinterest」が行われました。 この記事では、その内容をダイジェストで紹介しましょう。 つねにシステムのどこかが壊れている Pinte... 続きを読む

NoSQLデータモデリング技法 · GitHub

2013/02/08 436 users GitHub ono Problem Markdown Dot

NoSQLデータモデリング技法.markdown #NoSQLデータモデリング技法 原文：NoSQL Data Modeling Techniques « Highly Scalable Blog I translated this article for study. contact matope[dot]ono[gmail] if any problem. NoSQLデータベースはスケーラビリティ、パフォーマンス、一貫性といった様々な非機能要件から比較... 続きを読む

NoSQLの現状。これまでの成功と失敗 － Publickey

2013/01/07 173 users Publickey NoSQL リレーショナルデータベース

NoSQLの登場は、「データベースといえばリレーショナルデータベース」という状況を大きく変えました。リレーショナルデータベースと比べて高速でスケーラビリティに優れたNoSQLデータベースは登場当初から注目されましたが、一方でいまに至るまでさまざまな種類の製品が登場して混沌としているようにも見えます。 （作者 Stefan Edlich、翻訳者 大田 緑 - (株)チェンジビジョン、投稿日 2013... 続きを読む

ぶいてく: RESTに関する３つの間違い

2012/07/08 184 users REST 分散KVS 排他制御 密結合 両立

日曜日, 7月 08, 2012 RESTに関する３つの間違い 楽観的排他制御を利用する非同期的なトランザクション実行であればスケーラビリティを損ねることなく2phase commitが可能である。これは、分散KVSにおけるスケーラビリティと一貫性の両立について で主張したように、同期的な2phase commitは密結合に誘導することになり矛盾するように思えるかもしれない。だがそんなことはない。... 続きを読む

「バックエンドの経験はなかった」Instagram創業者は、どうやってシステムをスケールさせてきたか － Publickey

2012/05/24 806 users Publickey Django Instagram 運用

昨日のPinterestの記事「Pinterestの急成長を支えてきたアーキテクチャとは？ Pythonで開発しAmazonクラウドで運用」に続いて、やはり写真を中心としたサービスで急成長してきたInstagramのスケーラビリティについて、まとめてみました。 InstagramもPinterestと同様に、基本はAmazonクラウド上でPythonとフレームワークのDjangoを使ったシステムを... 続きを読む