NewSQLはデータベースに革命を起こすか - NetflixにおけるCockroachDBのユースケース｜ミック

2024/04/13 368 users NewSQL CockroachDB ACID NoSQL

近年のデータベースの新潮流にNewSQLと呼ばれる一群のデータベース製品群の登場がある。そのコンセプトを一言でいうと、RDBとNoSQLのいいとこどりである。SQLインタフェースと強いデータ一貫性（ACID）というRDBの利点と水平方向のスケーラビリティというNoSQLの長所を兼ね備えた夢のようなデータベースである。下図に見... 続きを読む

1000万ユーザに耐えるサーバを作ってみた

2022/05/01 299 users サーバ Twitter GitHub DynamoDB 実装

概要 スケーラビリティが高く1000万ユーザに耐えるAPIサーバを作成しました。TwitterのようなSNSです。 実装はGitHubで公開しています。 開発環境は次の通りです。 Node 16.14 Express 4.17.3 DynamoDB 2012-08-10 機能要件は次の通りです。 ツイート機能 ツイートに対してコメント機能 フォロー機能 タイムライン機能 ... 続きを読む

Amazon RDS MySQL/PostgreSQLのトランザクション性能が2倍に、可用性とスケーラビリティも高める新「マルチAZ配置オプション」登場

2022/03/03 91 users PostgreSQL deployment MySQL 登場

Amazon RDS MySQL/PostgreSQLのトランザクション性能が2倍に、可用性とスケーラビリティも高める新「マルチAZ配置オプション」登場 Amazon Web Servicesは、Amazon RDSのトランザクションの処理速度を最大で2倍にし、3台のクラスタ構成で可用性を高め、リードのスケーラビリティも向上する、新たな「Multi-AZ Deployment... 続きを読む

AWS LambdaでAPI開発するときのパターン集 - Qiita

2020/11/27 264 users Qiita サーバレス AWS Lambda 死活監視 API

背景 AWS LambdaでAPI開発をする AWS LambdaとAPI Gatewayを組み合わせることでサーバレスのAPIを開発することが可能です。サーバレスで構築することで手間をかけずにスケーラビリティやコストの最適化を手に入れることができ、さらに死活監視等が不要のため運用のコストを大幅に下げることができます。 開発パターンが... 続きを読む

Amazon SQS のメッセージを処理するアプリケーションを本番で運用するために考えるべき基本的な 5 つのこと - あらびき日記

2020/10/19 274 users アプリケーション あらびき日記 Amazon SQS 本番

Amazon SQS は可用性やスケーラビリティの高いメッセジキューサービスであり、AWS の代表的なサービスの 1 つと言えるでしょう。ところが、本番の運用に耐えられるアプリケーションにしようと思うと考えることが意外に多いものです。本エントリーでは簡単なサンプルアプリケーションをベースに、本番で運用するために考... 続きを読む

マイクロサービスのTelepresenceを使ったローカル開発環境の話 - Mercari Engineering Blog

2019/05/28 112 users Telepresence SRE Twitter Keke

あいさつ返答サービスのアーキテクチャ図 今年、株式会社メルカリに入社し、希望であったメルペイ SREチームの配属になったSREのkeke(Twitter: @kekesan1515)です。 マイクロサービスは、サービスのスケーラビリティ、新技術への親和性、ベロシティ、モジュラティの観点から、より早く「価値」を届けることにつながり、... 続きを読む

LINEのインフラプラットフォームの裏側––スケーラビリティを確保しつつ運用コストを小さくするためにやったこと - ログミーTech

2018/12/05 56 users ログミーTech インフラ 運用コスト line 裏側

LINEのインフラプラットフォームの裏側 スケーラビリティを確保しつつ運用コストを小さくするためにやったこと LINEのインフラプラットフォームはどのように大規模サービスをスケールさせ運用コストの小さなインフラを提供しているのか 2018年11月21日、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE D... 続きを読む

Azure アプリケーションの設計原則 | Microsoft Docs

2018/10/26 110 users Microsoft Docs 設計原則 アプリケーショ 冗長

次の設計原則に従って、アプリケーションのスケーラビリティを上げて、回復力や管理しやすさを強化します。 自動修復機能を設計します 。 分散システムでは、障害が発生します。 障害の発生に備えてアプリケーションの自動修復機能を設計します。 すべての要素を冗長にします 。 単一障害点をなくすようにアプリケーショ... 続きを読む

Kubernetes 1.11が正式リリース。より軽量なIPVSロードバランシング採用、KubeDNSからCoreDNSへ、Kubeletの動的コンフィグレーションなど － Publickey

2018/07/03 73 users コンフィグレーション Publickey CoreDNS

Kubernetes 1.11が正式リリース。より軽量なIPVSロードバランシング採用、KubeDNSからCoreDNSへ、Kubeletの動的コンフィグレーションなど Kubernetes 1.11ではクラスタのスケーラビリティに関する2つの大きな変更が完了し、より高いスケーラビリティを安定して実現できるようになっています。Kubernetesのコア機能が大き... 続きを読む

Eventual Consistencyまでの一貫性図解大全 - Qiita

2017/12/05 132 users Qiita ACID NoSQL base 文脈

TL;DR; Eventual Consistencyとか言いながらどうせもっとまともな一貫性実装してることはよくあるんだからみんな適切な名前を使おうぜ。 なぜこの記事を書くのか NoSQLの文脈においてスケーラビリティとのトレードオフでEventual Consistencyという用語は結構な頻度で出てくる。 ACIDに対抗してBASE(Basicaly Avalilable, Soft sta... 続きを読む

AWS Batchを本番導入するにあたって考えたことアレコレ - nisshieeのブログ

2017/11/30 74 users nisshiee あれこれ AWS Batch クセ 本番

2017 - 12 - 01 AWS Batchを本番導入するにあたって考えたことアレコレ この記事は Speeeアドベントカレンダー2017の1日目です！よければ購読してやってください。 qiita.com Speee DEVELOPER BLOG もよろしくね！ TL; DR AWS Batch を本番導入したよ 結構クセはあるが、それを補って余りあるメリット（特にスケーラビリティ） 現状はA... 続きを読む

Apache Kafkaがついにバージョン1.0に到達、オープンソース化から約7年。大量のデータを高速に収集できるメッセージ処理システム － Publickey

2017/11/13 230 users Publickey Kafka Apache Kafka

大量のデータを高速に収集できるメッセージ処理システムとして知られる「 Apaceh Kafka 」が、正式バージョンとなる「Apache Kafka 1.0」に11月1日付けで到達したことが、Kafkaの主要な開発元であるConfluentから 発表されました 。 Apache Kafkaはスケーラビリティに優れ、大量のデータをリアルタイムに処理する機能を備えたソフトウェアです。 さまざまなアプリ... 続きを読む

Apache Kafkaに対応したSQLエンジン「KSQL」リリース、ストリームデータをSQLで継続的に処理。Confluentがオープンソースで － Publickey

2017/09/04 165 users Confluent リアルタイムデータ処理 センサー ロク

Apache Kafkaを用いたリアルタイムデータ処理の商用サービスを提供しているConfluentは、Apache Kafkaに対応したオープンソースのSQLエンジン「KSQL」のデベロッパープレビューを リリースしました 。 Apache Kafkaはスケーラビリティに優れ、大量のデータをリアルタイムに処理できるソフトウェアです。さまざまなアプリケーションから送られてくるログや大量のセンサーな... 続きを読む

「Google Cloud Spanner」発表。地球規模の大規模分散環境で稼働するミッションクリティカルなリレーショナルDB。NoSQL並のスケーラビリティでSQL対応、トランザクション処理を実現 － Publickey

2017/02/15 412 users Publickey ミッションクリティカル 地球規模 業務

「Google Cloud Spanner」発表。地球規模の大規模分散環境で稼働するミッションクリティカルなリレーショナルDB。NoSQL並のスケーラビリティでSQL対応、トランザクション処理を実現 Googleは、クラウド上で高度なスケーラビリティを実現する、ミッションクリティカルな業務に対応したリレーショナルデータベースサービス「Google Cloud Spanner」を 発表しました 。 ... 続きを読む

ソフトウェアのスケーラビリティについてスターバックスが教えてくれること | コンピュータサイエンス | POSTD

2016/04/27 161 users プログラマ POSTD チェーン アルバイト コーヒーショップ

「スターバックスでは2相コミットを使わない」という記事を読んでいたら、学生時代にスターバックスでアルバイトをした頃がいきなり関わってきました。何年もの間に次第に分かってきたのは、プログラマでさえ有名なコーヒーショップのチェーンから学べることが思った以上にあるということです。2004年に Gregor Hohphe が「 スターバックスでは2相コミットを使わない（Starbucks Does Not... 続きを読む

スタートアップがさくらのVPSを決して絶対に使うべきではないただひとつの理由。 - 拝神

2016/01/20 278 users VPS 拝神 レンタルサーバー AWS さくら

2016 - 01 - 20 スタートアップがさくらのVPSを決して絶対に使うべきではないただひとつの理由。 最近はwebサービスなんかを立ち上げるときには自社サーバーを使うというのはまずなくて、レンタルサーバーなどを使うと思います。 私はエンジニアではないので詳しいことはわかりませんが、AWSのようなスケーラビリティが重視される側面でない限り、まずはちょっとした規模ならさくらのVPSなどで立ち上... 続きを読む

ParseがRubyからGoへ移行，信頼性が大きく向上

2015/07/10 302 users Parse 英人 マイリーディングリスト Parse API

ParseがRubyからGoへ移行，信頼性が大きく向上 作者： Sergio De Simone , 翻訳者 吉田 英人 投稿日 2015年7月9日 | 共有 |  後で読む マイリーディングリスト Parseはスケーラビリティを向上させるため，APIを含むサービスの一部をRuby on RailsからGoに移行した。同社のエンジニアであるCharity Majors氏が詳しく説明している。これに... 続きを読む

Auto Scaling x Spot Instances によるスケーラビリティと コストカット

2015/06/03 64 users CaC Rails redis Lambda ドワンゴ

Transcript 1. Auto Scaling x Spot Instances によるスケーラビリティと コストカット 2015-06-03 
 塚田朗弘@akitsukada (無所属) 2. 塚田 朗弘 @akitsukada 妻と娘の家族 好きなAWSサービス ⇨ Lambda #iOS #AWS #Rails 
 #MySQL #Redis CAC→ドワンゴ(ニコ生開発)
 →スタ... 続きを読む

Amazon Web Services ブログ: 【AWS発表】EC2 Container Service - ロングランニングアプリケーション対応、負荷分散、その他

2015/04/09 64 users 負荷分散 AWS発表 invent その他 プレビュー

EC2 Container ServiceはDockerコンテナをサポートしたスケーラビリティの高いコンテナ管理サービスで、Amazon Elastic Compute Cloud(EC2)インスタンスのクラスタ上でアプリケーションを走らせることが簡単にできます。我々はAWS re:Inventでプレビューを開始しこれまでたくさんの素晴らしいフィードバックを頂いてきました。 Amazon ECSは... 続きを読む

［速報］VMware、vSphere 6を発表。長距離vMotion、マルチプロセッサVM用フォルトトレラント機能など － Publickey

2015/02/02 55 users Publickey VMware 米VMware 特長 運用

米VMwareは2月3日（日本時間2月3日午前6時）、同社の仮想化製品の最新版「vSphere 6」および関連製品群の最新バージョンを発表しました。 オンラインイベントで新製品群を発表するパット・ゲルシンガーCEO。 vSphere 6は650以上の新機能を搭載。大きな特長としては、さらにスケーラビリティを拡大したこと、可用性の強化、運用の強化など。 前バージョンのvSphere 5.5と比較して... 続きを読む

DSAS開発者の部屋:Goのdatabase/sql.Stmtのスケーラビリティを改善しました

2015/01/26 121 users DATABASE コントリビュータ TechEmpower

先日、 Goに初めて私のパッチが取り込まれ 、コントリビュータに仲間入りしました。 このパッチは、 database/sql.Stmt をヘビーに使った時に性能がだいたい16コア以上のコア数にスケールしないという問題を解決するものです。 こういった問題をどうやって調査するのかと、Goにパッチが取り込まれるまでの手順を紹介します。 背景 私は TechEmpower の FrameworkBench... 続きを読む

PHPでID生成器を実装してみました | チャットワーククリエーターズブログ

2014/12/15 51 users PHP チャットワーククリエーターズブログ ID生成器 安達

こんにちは！Web開発チームの安達です。 この記事は、ChatWork Advent Calendar2014 15日目の記事です。 みなさん、Scala使ってますか？ 今日は「PHPでID生成器を実装してみた」というお話をしたいと思います。 IDの生成 ウェブサービスのグローバル展開やスケーラビリティについて考えだすと、IDの生成に関わる課題が浮かび上がってくると思います。 例.「東京とシドニー... 続きを読む

Amazon Web Services ブログ: 【AWS発表】AWS Lambda – クラウド上でのコード実行

2014/11/13 149 users AWS Lambda AWS発表 コード実行 クラウド上 本日

私たちはクラウドで実行するアプリケーションのビルドをより簡単にしたいと考えています。コードに集中できるようになって欲しいですし、スケーラビリティや信頼性、ランタイム効率が当たり前のことのように十分に高いクラウド中心の環境で働いて欲しいと思います！ AWS Lambdaのプレビューを本日ローンチすることを発表させて頂きます。AWS Lambdaはクラウドでアプリケーションをビルドして実行する新たなプ... 続きを読む

非分散データベースを分散データベース化する「Dynomite」、Netflixがオープンソースで公開 － Publickey

2014/11/06 193 users Publickey memcached redis 単体 限界

RedisやMemcachedといったインメモリデータベースは非常に高速にレスポンスを返してくれるデータストアですが、それ単体ではスケーラビリティや可用性などに限界があります。 The Netflix Tech Blog: Introducing Dynomite - Making Non-Distributed Databases, Distributed Netflixがオープンソースで公開し... 続きを読む

【AWS】とっても便利な’Amazon Route53’のエイリアス機能を利用してロードバランサ(ELB)を設置してみました！ | かわたま.net

2014/08/02 61 users ロードバランサ ELB ＤＮＳ WordPress AWS

【AWS】とっても便利な’Amazon Route53’のエイリアス機能を利用してロードバランサ(ELB)を設置してみました！ 前回、【AWS】AMIMOTOで構築したwordpressに独自ドメイン割当手順【Route53】では直接AMIMOTOのIPアドレスを固定してDNSに設定しました。 今回は、EC2インスタンスのスケーラビリティを考慮して、EC2の前にロードバランサ（ELB）を設置したい... 続きを読む