「バックエンドの経験はなかった」Instagram創業者は、どうやってシステムをスケールさせてきたか － Publickey

2012/05/24 806 users Publickey Django Instagram 運用

昨日のPinterestの記事「Pinterestの急成長を支えてきたアーキテクチャとは？ Pythonで開発しAmazonクラウドで運用」に続いて、やはり写真を中心としたサービスで急成長してきたInstagramのスケーラビリティについて、まとめてみました。 InstagramもPinterestと同様に、基本はAmazonクラウド上でPythonとフレームワークのDjangoを使ったシステムを... 続きを読む

Geekなぺーじ : 人生の全てはTCP/IPに学んだ

2008/01/29 690 users 輻輳 Geek TCP ネットワーク帯域 混雑

1. ゆずり合うこと TCPはネットワーク帯域を他のTCPセッションと譲り合います。 TCPには、ネットワークが混雑(輻輳:ふくそう)してくると、送信されるパケット量を減らす仕組みがあります。 この譲り合いがあるからこそ、現在のインターネットは多数の人間が同時に使えています。 同様に、現実世界においても無理な競い合いを行うよりも譲り合いを行った方がスケーラビリティが上昇します。 2. 信頼はきめ細... 続きを読む

Pinterestはいかにスケーラビリティと格闘してきたのか（前編）。QCon Tokyo 2013 － Publickey

2013/05/13 458 users Publickey Pinterest ダイジェスト 前編

4月23日に都内で開催されたエンジニア向けのイベント「QCon Tokyo 2013」。急速に人気サイトへと成長したPinterestが、その裏でいかにスケーラビリティと格闘してきたのかをPinterestのエンジニア自身が紹介するセッション「Scaling Pinterest」が行われました。 この記事では、その内容をダイジェストで紹介しましょう。 つねにシステムのどこかが壊れている Pinte... 続きを読む

NoSQLデータモデリング技法 · GitHub

2013/02/08 436 users GitHub ono Problem Markdown Dot

NoSQLデータモデリング技法.markdown #NoSQLデータモデリング技法 原文：NoSQL Data Modeling Techniques « Highly Scalable Blog I translated this article for study. contact matope[dot]ono[gmail] if any problem. NoSQLデータベースはスケーラビリティ、パフォーマンス、一貫性といった様々な非機能要件から比較... 続きを読む

「Google Cloud Spanner」発表。地球規模の大規模分散環境で稼働するミッションクリティカルなリレーショナルDB。NoSQL並のスケーラビリティでSQL対応、トランザクション処理を実現 － Publickey

2017/02/15 412 users Publickey ミッションクリティカル 地球規模 業務

「Google Cloud Spanner」発表。地球規模の大規模分散環境で稼働するミッションクリティカルなリレーショナルDB。NoSQL並のスケーラビリティでSQL対応、トランザクション処理を実現 Googleは、クラウド上で高度なスケーラビリティを実現する、ミッションクリティカルな業務に対応したリレーショナルデータベースサービス「Google Cloud Spanner」を 発表しました 。 ... 続きを読む

NewSQLはデータベースに革命を起こすか - NetflixにおけるCockroachDBのユースケース｜ミック

2024/04/13 368 users NewSQL CockroachDB ACID NoSQL

近年のデータベースの新潮流にNewSQLと呼ばれる一群のデータベース製品群の登場がある。そのコンセプトを一言でいうと、RDBとNoSQLのいいとこどりである。SQLインタフェースと強いデータ一貫性（ACID）というRDBの利点と水平方向のスケーラビリティというNoSQLの長所を兼ね備えた夢のようなデータベースである。下図に見... 続きを読む

データベースのスケーラビリティをどうやって向上させるか － Publickey

2011/06/22 347 users Publickey リレーショナルデータベース トピック

これまでPublickeyではデータベースのスケーラビリティに関するさまざまなトピックを取り上げてきました。クラウド時代にはスケーラブルなデータベースのニーズがこれまでになく高まっているためです。 この記事では、これまで取り上げてきたデータベースのスケーラビリティに関する技術を少しまとめて紹介しようと思います。 従来のリレーショナルを拡張 従来のリレーショナルデータベースに対して、技術的工夫を凝ら... 続きを読む

CodeZine：DeNAの人気サイトに学ぶ LAMPによるWeb-DBシステム構築/運用の極意（前編）（モバオク, モバゲー）

2007/08/01 346 users CodeZine スレーブ LAMP マスタ モバオク

シングルマスタの非同期レプリケーション機能では、マスタサーバーが1台に限定され、マスタからスレーブへの複製は非同期で行なわれるため遅延が生じ、短時間のスケールで見ると全スレーブとの同期が保証されない。しかし、その反面スレーブの台数を増加させていってもマスタサーバーの更新負荷は大きくならず、スケーラビリティを維持できるという利点がある。DeNAによる運用実績でも、マスタとスレーブ間の遅延は通常数秒程... 続きを読む

Dropboxはどうやってユーザ数175Mにスケールできたか？–初期の技術者が経験を語る | TechCrunch Japan

2013/07/12 334 users Dropbox TechCrunch JAPAN 初期 背後

今日は本誌定番のすばらしい起業家たちやすばらしいVCたちのお話からすこし離れて、技術のお勉強をしよう。覚えておられると思うが、最近Dropboxは、ユーザ数が1億7500万に達したと発表し、もうハードディスクは要らない、という大胆な発言をしてニュースになった。すごいことだけど、でも、その背後にはどんな技術があるのだろう？　スタートアップは、成功するためにスケーラビリティをどうやって確保すべきか？　... 続きを読む

ParseがRubyからGoへ移行，信頼性が大きく向上

2015/07/10 302 users Parse 英人 マイリーディングリスト Parse API

ParseがRubyからGoへ移行，信頼性が大きく向上 作者： Sergio De Simone , 翻訳者 吉田 英人 投稿日 2015年7月9日 | 共有 |  後で読む マイリーディングリスト Parseはスケーラビリティを向上させるため，APIを含むサービスの一部をRuby on RailsからGoに移行した。同社のエンジニアであるCharity Majors氏が詳しく説明している。これに... 続きを読む

1000万ユーザに耐えるサーバを作ってみた

2022/05/01 299 users サーバ Twitter GitHub DynamoDB 実装

概要 スケーラビリティが高く1000万ユーザに耐えるAPIサーバを作成しました。TwitterのようなSNSです。 実装はGitHubで公開しています。 開発環境は次の通りです。 Node 16.14 Express 4.17.3 DynamoDB 2012-08-10 機能要件は次の通りです。 ツイート機能 ツイートに対してコメント機能 フォロー機能 タイムライン機能 ... 続きを読む

スタートアップがさくらのVPSを決して絶対に使うべきではないただひとつの理由。 - 拝神

2016/01/20 278 users VPS 拝神 レンタルサーバー AWS さくら

2016 - 01 - 20 スタートアップがさくらのVPSを決して絶対に使うべきではないただひとつの理由。 最近はwebサービスなんかを立ち上げるときには自社サーバーを使うというのはまずなくて、レンタルサーバーなどを使うと思います。 私はエンジニアではないので詳しいことはわかりませんが、AWSのようなスケーラビリティが重視される側面でない限り、まずはちょっとした規模ならさくらのVPSなどで立ち上... 続きを読む

Amazon SQS のメッセージを処理するアプリケーションを本番で運用するために考えるべき基本的な 5 つのこと - あらびき日記

2020/10/19 274 users アプリケーション あらびき日記 Amazon SQS 本番

Amazon SQS は可用性やスケーラビリティの高いメッセジキューサービスであり、AWS の代表的なサービスの 1 つと言えるでしょう。ところが、本番の運用に耐えられるアプリケーションにしようと思うと考えることが意外に多いものです。本エントリーでは簡単なサンプルアプリケーションをベースに、本番で運用するために考... 続きを読む

Kazuho@Cybozu Labs: パフォーマンスとスケーラビリティのためのデータベースアーキテクチャ (BPStudy#25発表資料)

2009/09/28 274 users 題目 Kazuho@Cybozu Labs リソース配分

先週金曜日、BPStudy#25で、「パフォーマンスとスケーラビリティのためのデータベースアーキテクチャ」という題目で話をさせていただきました。その際に私用した発表資料は以下のとおりです。 1. Happy Optimization 最初に、最適化の考え方として、上限値を予測し、それを元にリソース配分を考える、という手法を説明しました。 続きを読む

AWS LambdaでAPI開発するときのパターン集 - Qiita

2020/11/27 264 users Qiita サーバレス AWS Lambda 死活監視 API

背景 AWS LambdaでAPI開発をする AWS LambdaとAPI Gatewayを組み合わせることでサーバレスのAPIを開発することが可能です。サーバレスで構築することで手間をかけずにスケーラビリティやコストの最適化を手に入れることができ、さらに死活監視等が不要のため運用のコストを大幅に下げることができます。 開発パターンが... 続きを読む

Twitterのスケーリング，新たなピークへ

2013/08/29 263 users Twitter 英人 スケーリング マイリーディングリスト

Twitterのスケーリング，新たなピークへ 作者： Saul Caganoff , 翻訳者 吉田 英人 投稿日 2013年8月29日 | 共有 |  後で読む マイリーディングリスト 多くの人々にとってTwitterは，必要不可欠なコミュニケーション手段になった。人も企業も毎日，ますます広く，深くTwitterを利用する現在，そのスケーラビリティはまさに我々すべてにとっての関心事である。今月初め... 続きを読む

[CSS]縫い目風のかわいいデザインをスタイルシートで実装したナビゲーション | コリス

2011/06/21 261 users コリス フォントサイズ CSS アンカー ナビゲーション

ぱっと見、画像を使用しているかのような縫い目風のデザインをスタイルシートで実装するナビゲーションを紹介します。 もちろん、画像は使っていません。 また、IE6などのCSS3非対応ブラウザも配慮した実装となっています。 実装のポイント スケーラビリティ アンカーのフォントサイズを変更することで、サイズを簡単に調整できます。 画像は無し 画像を使用していないため、メンテナンスが簡単です。またHTTPリ... 続きを読む

Amazon EC2/S3の使い方解説、決定版をAWSが公開 − ＠IT

2010/01/15 259 users AWS Amazon プラクティス EC2 決定版

2010/01/15 米アマゾン傘下のAmazon Web Servicesは1月14日、クラウドコンピューティング上でシステム構築を行う場合のベスト・プラクティスをまとめた「Architecting for the Cloud: Best Practices」を公表した。 これまでにも同社は、AWSのサービスを組み合わせてスケーラビリティや可用性を実現する事例を紹介したり、具体的なサービスの組み... 続きを読む

AWSにおける静的コンテンツ配信パターンカタログ（アンチパターン含む） ｜ Developers.IO

2013/05/31 235 users AWS Developers.IO アンチパターン http

都元です。AWSを利用して構築した環境から、クライアント（モバイルやブラウザ等）に対してHTTPを使って静的なコンテンツを配信したいケースって、多いですよね。多いというか、むしろどんなシステムにも多かれ少なかれ、静的なコンテンツ配信があると思います。 スケーラビリティ・柔軟性・可用性・パフォーマンス・コスト 静的なコンテンツというのは、コンテンツをリクエストに応じて生成したりせず、完成品としてのフ... 続きを読む

Apache Kafkaがついにバージョン1.0に到達、オープンソース化から約7年。大量のデータを高速に収集できるメッセージ処理システム － Publickey

2017/11/13 230 users Publickey Kafka Apache Kafka

大量のデータを高速に収集できるメッセージ処理システムとして知られる「 Apaceh Kafka 」が、正式バージョンとなる「Apache Kafka 1.0」に11月1日付けで到達したことが、Kafkaの主要な開発元であるConfluentから 発表されました 。 Apache Kafkaはスケーラビリティに優れ、大量のデータをリアルタイムに処理する機能を備えたソフトウェアです。 さまざまなアプリ... 続きを読む

Pinterestはいかにスケーラビリティと格闘してきたのか（後編）。QCon Tokyo 2013 － Publickey

2013/05/13 208 users Publickey Pinterest 後編 セッション 前編

4月23日に都内で開催されたエンジニア向けのイベント「QCon Tokyo 2013」。急速に人気サイトへと成長したPinterestが、その裏でいかにスケーラビリティと格闘してきたのかをPinterestのエンジニア自身が紹介するセッション「Scaling Pinterest」が行われました。 この記事は「Pinterestはいかにスケーラビリティと格闘してきたのか（前編）。QCon Tokyo... 続きを読む

非分散データベースを分散データベース化する「Dynomite」、Netflixがオープンソースで公開 － Publickey

2014/11/06 193 users Publickey memcached redis 単体 限界

RedisやMemcachedといったインメモリデータベースは非常に高速にレスポンスを返してくれるデータストアですが、それ単体ではスケーラビリティや可用性などに限界があります。 The Netflix Tech Blog: Introducing Dynomite - Making Non-Distributed Databases, Distributed Netflixがオープンソースで公開し... 続きを読む

ぶいてく: RESTに関する３つの間違い

2012/07/08 184 users REST 分散KVS 排他制御 密結合 両立

日曜日, 7月 08, 2012 RESTに関する３つの間違い 楽観的排他制御を利用する非同期的なトランザクション実行であればスケーラビリティを損ねることなく2phase commitが可能である。これは、分散KVSにおけるスケーラビリティと一貫性の両立について で主張したように、同期的な2phase commitは密結合に誘導することになり矛盾するように思えるかもしれない。だがそんなことはない。... 続きを読む

NoSQLの現状。これまでの成功と失敗 － Publickey

2013/01/07 173 users Publickey NoSQL リレーショナルデータベース

NoSQLの登場は、「データベースといえばリレーショナルデータベース」という状況を大きく変えました。リレーショナルデータベースと比べて高速でスケーラビリティに優れたNoSQLデータベースは登場当初から注目されましたが、一方でいまに至るまでさまざまな種類の製品が登場して混沌としているようにも見えます。 （作者 Stefan Edlich、翻訳者 大田 緑 - (株)チェンジビジョン、投稿日 2013... 続きを読む

Apache Kafkaに対応したSQLエンジン「KSQL」リリース、ストリームデータをSQLで継続的に処理。Confluentがオープンソースで － Publickey

2017/09/04 165 users Confluent リアルタイムデータ処理 センサー ロク

Apache Kafkaを用いたリアルタイムデータ処理の商用サービスを提供しているConfluentは、Apache Kafkaに対応したオープンソースのSQLエンジン「KSQL」のデベロッパープレビューを リリースしました 。 Apache Kafkaはスケーラビリティに優れ、大量のデータをリアルタイムに処理できるソフトウェアです。さまざまなアプリケーションから送られてくるログや大量のセンサーな... 続きを読む