AWS知見共有会でTerraformのCI/CDパイプラインのセキュリティ等について発表してきました + GitHub新機能Push rulesについて - LayerX エンジニアブログ

2024/04/19 35 users Terraform スケーラブル タイミーさん セキュリティ

先日2024/04/16にタイミーさんのオフィスで開催された、AWS知見共有会というイベントで発表してきました。この会のテーマは「運用のスケーラビリティとセキュリティ」ということで、私は「コンパウンドスタートアップのためのスケーラブルでセキュアなInfrastructure as Codeパイプラインを考える」というタイトルで発表... 続きを読む

NewSQLはデータベースに革命を起こすか - NetflixにおけるCockroachDBのユースケース｜ミック

2024/04/13 368 users NewSQL CockroachDB ACID NoSQL

近年のデータベースの新潮流にNewSQLと呼ばれる一群のデータベース製品群の登場がある。そのコンセプトを一言でいうと、RDBとNoSQLのいいとこどりである。SQLインタフェースと強いデータ一貫性（ACID）というRDBの利点と水平方向のスケーラビリティというNoSQLの長所を兼ね備えた夢のようなデータベースである。下図に見... 続きを読む

大規模データを扱う現場でどんな変化が？ Snowflake導入5社のデータ基盤アーキテクチャと設計意図 - Findy Tools

2024/03/11 27 users Findy Tools 設計意図 大規模データ 現場 変化

公開日 2024/03/11更新日 2024/03/11大規模データを扱う現場でどんな変化が？ Snowflake導入5社のデータ基盤アーキテクチャと設計意図 スケーラビリティやデータ活用までのリードタイム、価格面での懸念に応える製品として注目を集めるSnowflake。特に大規模なデータを取り扱う現場では、Snowflake導入によってどんな変... 続きを読む

Googleのモバイル向けNoSQL「Firestore」が秒間1万回の書き込み制限を撤廃、事実上無制限のスケーラビリティを提供。Firebase Summit 2022

2022/10/24 12 users Firebase Firestore 撤廃 米ニューヨーク

Googleのモバイル向けNoSQL「Firestore」が秒間1万回の書き込み制限を撤廃、事実上無制限のスケーラビリティを提供。Firebase Summit 2022 Googleは10月18日に米ニューヨークでモバイル向けのバックエンドサービスであるFirebaseにフォーカスしたイベント「Firebase Summit 2022」を開催しました。 GoogleはこのFirebase... 続きを読む

1000万ユーザに耐えるサーバを作ってみた

2022/05/01 299 users サーバ Twitter GitHub DynamoDB 実装

概要 スケーラビリティが高く1000万ユーザに耐えるAPIサーバを作成しました。TwitterのようなSNSです。 実装はGitHubで公開しています。 開発環境は次の通りです。 Node 16.14 Express 4.17.3 DynamoDB 2012-08-10 機能要件は次の通りです。 ツイート機能 ツイートに対してコメント機能 フォロー機能 タイムライン機能 ... 続きを読む

Amazon RDS MySQL/PostgreSQLのトランザクション性能が2倍に、可用性とスケーラビリティも高める新「マルチAZ配置オプション」登場

2022/03/03 91 users PostgreSQL deployment MySQL 登場

Amazon RDS MySQL/PostgreSQLのトランザクション性能が2倍に、可用性とスケーラビリティも高める新「マルチAZ配置オプション」登場 Amazon Web Servicesは、Amazon RDSのトランザクションの処理速度を最大で2倍にし、3台のクラスタ構成で可用性を高め、リードのスケーラビリティも向上する、新たな「Multi-AZ Deployment... 続きを読む

Snowflakeのアーキテクチャはどうなっているか　圧倒的なスケーラビリティを実現するクラウドネイティブ設計思想

2021/11/25 15 users Snowflake アーキテクチャ クラウドネイティブ 特長

Snowflakeのアーキテクチャはどうなっているか　圧倒的なスケーラビリティを実現するクラウドネイティブ設計思想：Snowflakeで何ができる？　基礎情報解説（3） 過去2回の記事でSnowflakeとは何か、何ができるかを見てきました。今回はSnowflakeの特長を裏付ける実装とクラウドネイティブな設計思想を見ていきます。 続きを読む

CockroachDB から覗く形式手法の世界 #JTF2021w / July Tech Festa 2021 winter - Speaker Deck

2021/01/24 17 users CockroachDB None Speaker Deck

Transcript チェシャ猫 (@y_taka_23) July Tech Festa 2021 Winter (24th Jan. 2021) None 形式手法ツール TLA+ により「証明」済 • CockroachDB の概要 ◦ スケーラビリティを実現するアーキテクチャ ◦ 生じた課題と Parallel Commit による解決 • 形式手法ツール TLA+ の概要 ◦ 理論はともかく、ツールとしての雰囲気 ◦... 続きを読む

AWS LambdaでAPI開発するときのパターン集 - Qiita

2020/11/27 264 users Qiita サーバレス AWS Lambda 死活監視 API

背景 AWS LambdaでAPI開発をする AWS LambdaとAPI Gatewayを組み合わせることでサーバレスのAPIを開発することが可能です。サーバレスで構築することで手間をかけずにスケーラビリティやコストの最適化を手に入れることができ、さらに死活監視等が不要のため運用のコストを大幅に下げることができます。 開発パターンが... 続きを読む

Amazon SQS のメッセージを処理するアプリケーションを本番で運用するために考えるべき基本的な 5 つのこと - あらびき日記

2020/10/19 274 users アプリケーション あらびき日記 Amazon SQS 本番

Amazon SQS は可用性やスケーラビリティの高いメッセジキューサービスであり、AWS の代表的なサービスの 1 つと言えるでしょう。ところが、本番の運用に耐えられるアプリケーションにしようと思うと考えることが意外に多いものです。本エントリーでは簡単なサンプルアプリケーションをベースに、本番で運用するために考... 続きを読む

JAMstackってなに？実践に学ぶ高速表示を実現するアーキテクチャの構成 - エンジニアHub｜若手Webエンジニアのキャリアを考える！

2019/12/10 13 users JamStack アーキテクチャ APIs エンジニアHub

JAMstackという言葉をご存知でしょうか。JAMstackは、「JavaScript」「APIs」「Markup」という3つの技術を組み合わせた、新しいWebアプリケーションアーキテクチャです。パフォーマンスの改善、セキュリティの担保、スケーラビリティの確保が見込めるため、フロントエンド界隈で、大きな注目を集めています。 しかしまだ... 続きを読む

"Well-Architected"なアーキテクチャに必要なこととは？ 現役CTOたちが選出した、Startup Architecture of the year 2019【AWS Summit Tokyo】 (1/3)：CodeZine（コードジン）

2019/08/21 40 users CodeZine Well-Architected ゴス

6月13日、AWS Summit Tokyoにてスタートアップ企業によるピッチコンテスト「Startup Architecture of the year」が開催された。2回目となる今年は、創業3年以内のスタートアップ企業を対象に実施。各社のビジネスのビジョンと、それを支えるシステムアーキテクチャに焦点を当て、スケーラビリティやパフォーマンス、コス... 続きを読む

マイクロサービスのTelepresenceを使ったローカル開発環境の話 - Mercari Engineering Blog

2019/05/28 112 users Telepresence SRE Twitter Keke

あいさつ返答サービスのアーキテクチャ図 今年、株式会社メルカリに入社し、希望であったメルペイ SREチームの配属になったSREのkeke(Twitter: @kekesan1515)です。 マイクロサービスは、サービスのスケーラビリティ、新技術への親和性、ベロシティ、モジュラティの観点から、より早く「価値」を届けることにつながり、... 続きを読む

Google Cloud Platform Japan 公式ブログ: GKE Advanced ―― 信頼性、単純性、スケーラビリティを高めたエンタープライズ向けの GKE 新エディション

2019/04/26 17 users GKE エンタープライズ向け 新エディション 単純性 信頼性

Google Cloud Platform (Google App Engine, Compute Engine, BigQuery や Container Engine など）の情報の日本公式ブログ 続きを読む

LINEのインフラプラットフォームの裏側––スケーラビリティを確保しつつ運用コストを小さくするためにやったこと - ログミーTech

2018/12/05 56 users ログミーTech インフラ 運用コスト line 裏側

LINEのインフラプラットフォームの裏側 スケーラビリティを確保しつつ運用コストを小さくするためにやったこと LINEのインフラプラットフォームはどのように大規模サービスをスケールさせ運用コストの小さなインフラを提供しているのか 2018年11月21日、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE D... 続きを読む

Azure アプリケーションの設計原則 | Microsoft Docs

2018/10/26 110 users Microsoft Docs 設計原則 アプリケーショ 冗長

次の設計原則に従って、アプリケーションのスケーラビリティを上げて、回復力や管理しやすさを強化します。 自動修復機能を設計します 。 分散システムでは、障害が発生します。 障害の発生に備えてアプリケーションの自動修復機能を設計します。 すべての要素を冗長にします 。 単一障害点をなくすようにアプリケーショ... 続きを読む

ブロックチェーンとスケーラビリティ – uniqys – Medium

2018/08/31 31 users uniqys medium スケーラビリティ問題 うえ 開発

Uniqys Kitの開発をしている@koropicotです。 Uniqys Kitでは公式サイトでも説明しているように、サイドチェーンとしてDApps毎にブロックチェーンを作成することでスケーラビリティ問題に対処しています。 この記事では、ブロックチェーンにおけるスケーラビリティについて概論したうえで、Uniqys Kitがなぜこのような選... 続きを読む

Kubernetes 1.11が正式リリース。より軽量なIPVSロードバランシング採用、KubeDNSからCoreDNSへ、Kubeletの動的コンフィグレーションなど － Publickey

2018/07/03 73 users コンフィグレーション Publickey CoreDNS

Kubernetes 1.11が正式リリース。より軽量なIPVSロードバランシング採用、KubeDNSからCoreDNSへ、Kubeletの動的コンフィグレーションなど Kubernetes 1.11ではクラスタのスケーラビリティに関する2つの大きな変更が完了し、より高いスケーラビリティを安定して実現できるようになっています。Kubernetesのコア機能が大き... 続きを読む

MicroViewControllerで無限にスケールするiOS開発 by tarunon | プロポーザル | iOSDC Japan 2018 - fortee.jp

2018/06/13 15 users プロポーザル mock fortee.jp 我々 開発速度

レギュラートーク（30分） MicroViewControllerで無限にスケールするiOS開発 iOSDC Japan 2018 `MicroViewController`という仕組みを導入したことで我々はメンバーの誰もが経験したことのない開発速度とスケーラビリティを手に入れました。 「10人規模で画面の開発が可能」「全てのVCとVMは500行未満」「手軽に値レベルで実現可能なMock」「50の... 続きを読む

Well-Architectedなアーキテクチャが大集合！ Startup Architecture of the year 2018に輝いたのは？【AWS Summit Tokyoレポート】 (1/3)：CodeZine（コードジン）

2018/06/13 29 users CodeZine Well-Architected 担保

6月1日、AWS Summit Tokyoの最終日にスタートアップのピッチコンテスト「Startup Architecture of the year」が開催された。ビジネスを支えるシステムアーキテクチャに焦点を当て、スケーラビリティの担保や先進技術の取り入れ方、セキュリティへの取り組みなど、さまざまな観点からWell-Architectedなアーキテクチャを選出する。一般公募から厳しい一次選考を... 続きを読む

Eventual Consistencyまでの一貫性図解大全 - Qiita

2017/12/05 132 users Qiita ACID NoSQL base 文脈

TL;DR; Eventual Consistencyとか言いながらどうせもっとまともな一貫性実装してることはよくあるんだからみんな適切な名前を使おうぜ。 なぜこの記事を書くのか NoSQLの文脈においてスケーラビリティとのトレードオフでEventual Consistencyという用語は結構な頻度で出てくる。 ACIDに対抗してBASE(Basicaly Avalilable, Soft sta... 続きを読む

AWS Batchを本番導入するにあたって考えたことアレコレ - nisshieeのブログ

2017/11/30 74 users nisshiee あれこれ AWS Batch クセ 本番

2017 - 12 - 01 AWS Batchを本番導入するにあたって考えたことアレコレ この記事は Speeeアドベントカレンダー2017の1日目です！よければ購読してやってください。 qiita.com Speee DEVELOPER BLOG もよろしくね！ TL; DR AWS Batch を本番導入したよ 結構クセはあるが、それを補って余りあるメリット（特にスケーラビリティ） 現状はA... 続きを読む

Apache Kafkaがついにバージョン1.0に到達、オープンソース化から約7年。大量のデータを高速に収集できるメッセージ処理システム － Publickey

2017/11/13 230 users Publickey Kafka Apache Kafka

大量のデータを高速に収集できるメッセージ処理システムとして知られる「 Apaceh Kafka 」が、正式バージョンとなる「Apache Kafka 1.0」に11月1日付けで到達したことが、Kafkaの主要な開発元であるConfluentから 発表されました 。 Apache Kafkaはスケーラビリティに優れ、大量のデータをリアルタイムに処理する機能を備えたソフトウェアです。 さまざまなアプリ... 続きを読む

初めてのAWS Batch – 必要な各コンポーネントを理解する – ｜ Developers.IO

2017/10/16 12 users Developers.IO AWS Batch SQS 千葉

コンニチハ、千葉です。 AWS Batchを導入する機会があり、AWS Batchのコンポーネントを整理してみました。 AWS Batchとは？ AWS Batch登場以前、バッチ処理でスケーラビリティをもたせようとすると以下のような構成案がありました。SQSを利用したpull型のバッチ処理です。 処理対象をSQSにキューイング EC2上にデプロイされたプログラムにより、キューを取得、処理、キュー... 続きを読む

ビットコインで有効化された「SegWit」を技術的に理解する | ビットコインの最新情報 BTCN｜ビットコインニュース

2017/09/05 18 users SegWit scalability ビットコイン 解決案

前回の記事で解説したように、ビットコインの抱える大きな問題のうち、トランザクション展性（Transaction Malleability）とスケーラビリティ（Scalability）という２つの問題があります。SegWitは元々、トランザクション展性の解決案としてBicoin Core開発者のPieter前回の記事 で解説したように、ビットコインの抱える大きな問題のうち、トランザクション展性（Tr... 続きを読む