レプリケーションとは、仕組み～3つのお勧めケースまで総解説

2022/10/27 18 users 復旧 サーバー 複製 パフォーマンス低下 災害

レプリケーションとは、「複製（レプリカ）」を作る機能のことです。 さて、突然ですが質問です。 災害などによるシステム障害でサーバーがダウンしたとき、復旧まであなたはどのくらい業務を止められますか？ あなたは今、サーバーへのアクセスに時間がかかり、パフォーマンス低下に陥っていませんか？ 災害対策に『遠... 続きを読む

PostgreSQLをWebブラウザ上で動かす「Postgres-WASM」、オープンソースで公開。Webブラウザ上のx86仮想マシンで実行、レプリケーションも可能

2022/10/04 175 users WebAssembly PostgreSQL 仮想マシン

PostgreSQLをWebブラウザ上で動かす「Postgres-WASM」、オープンソースで公開。Webブラウザ上のx86仮想マシンで実行、レプリケーションも可能 WebAssemblyを用いてWebブラウザにx86の仮想マシンを構成することで、PostgreSQLをWebブラウザ上で実行可能にした「Postgres-WASM」がオープンソースで公開されました。 Today ... 続きを読む

BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場

2022/09/19 163 users BigQuery PostgreSQL MySQL データ

BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場 Google Cloudは、BigQueryに対してMySQLやPostgreSQL、Oracle Databaseからニアリアルタイムで直接データのレプリケーションを可能にする新サービス「Datastream for BigQuery」をプレビューリリースし... 続きを読む

Litestream メモ

2022/05/05 15 users SQLite Litestream メモ リアルタイム

Litestream Litestream - Streaming SQLite Replication benbjohnson/litestream: Streaming replication for SQLite. SQLite を S3 のようなオンラインオブジェクトストレージにリアルタイムでレプリケーションをとる仕組み。 事例 A database for 2022 · Tailscale Tailscale が Litestream へ移行している 続きを読む

MySQL のレプリケーションから10年間逃げてきた我々が学んだこと8選 - Cybozu Inside Out | サイボウズエンジニアのブログ

2020/10/26 436 users SRE MySQL サイボウズエンジニア トランザクション

こんにちは。クラウド運用チームで SRE をしている飯塚です。 今回は、MySQL のレプリケーション機能を約10年もの間ずっと使ってこなかった私たちが、レプリケーションを使った高可用性構成に移行するための取り組みの中で学んだことについて紹介します。 背景 巨大なテーブルへの primary key の付与 トランザクション... 続きを読む

Google、MySQL/PostgreSQLでクロスリージョンのレプリカを実現する「cross-region replica for Cloud SQL」発表 － Publickey

2020/06/08 9 users Publickey PostgreSQL MySQL 発表

Google、MySQL/PostgreSQLでクロスリージョンのレプリカを実現する「cross-region replica for Cloud SQL」発表 Googleは、MySQLとPostgreSQLなどのマネージドデータベースサービスを提供する「Google Cloud SQL」で、リージョンをまたいだレプリケーションを実現する新機能「cross-region replica for Cloud SQL」を発... 続きを読む

いつの間に！？既存オブジェクトを S3 レプリケーション出来るようになっていた！ ｜ Developers.IO

2020/02/10 18 users Developers.IO SDK ご存知 公式ガイド

これまで S3 のレプリケーションにおいて、「既存オブジェクトはレプリケーション出来ない」とばかり思っていましたが、2019年11月頃にひっそりと既存オブジェクトのレプリケーションが出来るようになっていたのをご存知だったでしょうか?（私は先日、S3 の公式ガイドで見つけるまで知りませんでした） そういえば SDK ... 続きを読む

[アップデート] 同一リージョン内でS3バケットのレプリケーションが出来るようになりました！ ｜ DevelopersIO

2019/09/18 29 users DevelopersIO CRR リージョン パケット 待望

待望のアップデートがリリースされました！S3 バケットの同一リージョン内でのレプリケーションです！ Amazon S3 introduces Same-Region Replication これまで異なるリージョンのバケットに対して Cross-Region レプリケーション(CRR)を行うことは出来ましたが、同一リージョンのバケットに対しても Same-Region レプリ... 続きを読む

Amazon Aurora MySQL 互換エディションでグローバルトランザクション ID (GTID) によるレプリケーションがサポートされるようになりました | Amazon Web Services ブログ

2019/03/28 14 users GTID 商用データベース ハイエンド 信頼性 ブログ

Amazon Web Services ブログ Amazon Aurora MySQL 互換エディションでグローバルトランザクション ID (GTID) によるレプリケーションがサポートされるようになりました Amazon Aurora MySQL 互換エディションは、ハイエンドな商用データベースの速さや信頼性と、オープンソースデータベースのシンプルさと高い費用対効果... 続きを読む

Amazon RDS for MySQL のパラメーターを設定するためのベストプラクティス。パート 3: セキュリティ、操作管理性、および接続タイムアウトに関連するパラメーター | Amazon Web Services ブログ

2019/02/14 113 users ベストプラクティス パラメーター MySQL セキュリティ

Amazon Web Services ブログ Amazon RDS for MySQL のパラメーターを設定するためのベストプラクティス。パート 3: セキュリティ、操作管理性、および接続タイムアウトに関連するパラメーター このシリーズの前回のブログ投稿では、Amazon RDS for MySQL でレプリケーションを最適化するために使用する MySQL パラメータ... 続きを読む

プロジェクト計画について思うこと - 大西ブログ

2018/12/03 81 users 大西ブログ プロジェクト計画 対空 MySQL t_kyt

この記事は、はてなエンジニア Advent Calendar 2018 の3日目の記事です。 昨日の記事は, id:t_kyt の｢time_zone設定の違うMySQLのレプリケーションについて - 角待ちは対空｣でした。 最近のわたし オープンなプロジェクト計画 PMBOK PMBOK における 5個のプロセス群 PMBOK における 10の知識エリア プロジェクトマネジ... 続きを読む

Amazon Aurora PostgreSQL によるフェイルオーバー | Amazon Web Services ブログ

2018/11/12 45 users フェイルオーバー アーキテクチャ レジリエンス バックアップ

Amazon Web Services ブログ Amazon Aurora PostgreSQL によるフェイルオーバー レプリケーション、フェイルオーバー、レジリエンス、災害対策、バックアップ—従来の、または非クラウドベースのアーキテクチャでは、これらの一部またはすべてを実現するのはとても困難です。さらに、時にはかなりのリエンジニアリング作... 続きを読む

Google Kubernetes Engine 1.10が正式リリース。ゾーンに分散したストレージのレプリケーション、マルチマスターを3つのゾーンに分散して高可用性を実現 － Publickey

2018/05/21 77 users Publickey Kubernetes ストレージ ゾーン

Google Kubernetes Engine 1.10が正式リリース。ゾーンに分散したストレージのレプリケーション、マルチマスターを3つのゾーンに分散して高可用性を実現 Googleは、Kubernetesをマネージドサービスで提供する「Google Kubernetes Engine」の最新バージョンとなる「Google Kubernetes Engine 1.10」（以下、GKE 1.10... 続きを読む

MySQLレプリケーションあれやこれや

2018/01/29 92 users null MySQL ストリーム yoku0825 団体

MySQLレプリケーションあれやこれや 1. MySQLレプリケーションあれやこれ や 個人の意見であり、所属する団体または所属しない団体あるいは NULLの意見を代表するわけがありません 2018/01/26 yoku0825 第2回 オープンソースデータベース比較セミナー 2. MySQLのレプリケーション #とは あるMySQLから別のMySQLにストリームでデータを複製す るための技術 M... 続きを読む

Redis 4.0正式リリース。モジュールによる機能やデータの拡張が可能に、新レプリケーションエンジンで運用が改善 － Publickey

2017/07/17 170 users Publickey リリースノート モジュール 拡張 運用

Redis 4.0正式リリース。モジュールによる機能やデータの拡張が可能に、新レプリケーションエンジンで運用が改善 Redis 4.0はモジュールによる機能拡張の実現、新しいレプリケーションエンジンによる高速なレプリケーション、新しいアルゴリズムの追加によるキャッシュの改善、フラッシュの非同期実行など、多くの機能追加が行われています。 リリースノート には、「内部における変更に関していえば、4.0... 続きを読む

RDS MySQL 5.7からAmazon Auroraにオンライン移行する方法 ｜ Developers.IO

2017/04/26 14 users Developers.IO RDS MySQL RDS 西澤

西澤です。RDS MySQL 5.7環境からAuroraへのレプリケーションを利用したデータ移行を行う機会がありましたので、手順をまとめておきたいと思います。 Auroraリードレプリカ 他のデータベースエンジンからの移行はまだ敷居が高いのですが、既にRDS MySQLを使っているユーザであれば、Amazon Auroraに乗り換えない手はありません。MySQL 5.6との互換性があるのでアプリケ... 続きを読む

MySQLのレプリケーション手法の違い | Yakst

2017/03/09 180 users Yakst MySQL レプリケーション機能 筆者 誤解

ソリューションエンジニアチームに所属する筆者が、今では様々な手法が存在するレプリケーション機能について、改めて特徴や注意点を解説しつつ、レプリケーションのよくある「誤解」に対してもお答えしています。 このブログ記事では、MySQL（および Percona Server ）環境におけるレプリケーション手法に関して改めて考察を行いたいと思います。あわせて、時折見受けられるレプリケーションの間違った考え... 続きを読む

GitLab.comが操作ミスで本番データベース喪失。5つあったはずのバックアップ手段は役立たず、頼みの綱は6時間前に偶然取ったスナップショット － Publickey

2017/02/01 1630 users Publickey 頼みの綱 gitlab.com スパイク

果たしてGitLab.comで何が起きたのでしょうか？ これまでの経緯をまとめました。 スパムによるトラフィックのスパイクからレプリケーションの不調へ GitLab.comは今回のインシデントについての詳細な経過を「 GitLab.com Database Incident - 2017/01/31 」で公開しています。また、もう少し整理された情報がブログ「 GitLab.com Database... 続きを読む

最近よく聞くQuorumは過半数(多数決)よりも一般的でパワフルな概念だった - Qiita

2016/02/21 11 users quorum Cassandra ZooKeeper 多数決

最近では珍しくもなくなった"Quorum"という言葉。Zookeeper, etcd, Serfといったクラスタ中でデータのレプリケーションを行ってくれるようなツールや、Cassandra, Riakといった分散データベース(NoSQL系)のようなツールにおいても、データの複製に一貫性を持たせる仕組みとしてよく聞かれます。 しかしながら、多くのスライドやWebの記事を読んでも、"Quorum"とい... 続きを読む

最近よく聞くQuorumは過半数(多数決)よりも一般的でパワフルな概念だった - Qiita

2016/02/21 192 users quorum Cassandra ZooKeeper 多数決

最近では珍しくもなくなった"Quorum"という言葉。Zookeeper, etcd, Serfといったクラスタ中でデータのレプリケーションを行ってくれるようなツールや、Cassandra, Riakといった分散データベース(NoSQL系)のようなツールにおいても、データの複製に一貫性を持たせる仕組みとしてよく聞かれます。 しかしながら、多くのスライドやWebの記事を読んでも、"Quorum"とい... 続きを読む

半年かかったバグ調査の顛末は - Cybozu Inside Out | サイボウズエンジニアのブログ

2016/01/07 508 users 顛末 サイボウズエンジニア 半年 バグ調査 Linux

2016 - 01 - 08 半年かかったバグ調査の顛末は Linux インフラ プログラミング サイボウズ・ラボの光成です。 今回は原因究明に半年以上かかったバグ調査の紹介をいたします。 弊社はクラウドサービス cybozu.com を提供しています。 クラウドサービスでは障害対策のためのデータバックアップやレプリケーションが必須です。 現在ラボの星野がメイン、私はサブとして弊社サービスでの利用... 続きを読む

第12回　複数のプロセスにおける協調動作のための仕組み─コーディネーション：Hadoopはどのように動くのか ─並列・分散システム技術から読み解くHadoop処理系の設計と実装｜gihyo.jp … 技

2015/10/21 30 users コーディネーション Hadoop ロギング 並列 協調動作

はじめに 前回は，分散システム技術を基本とする耐障害性のための仕組みとして，レプリケーションとロギングについて述べました。今回は，分散システムにおいて複数のプロセスが協調して動作するための仕組みであるコーディネーションについて，その概要を説明します。 コーディネーションとは 並列データ処理系におけるコーディネーションは，複数のプロセス間において，協調して動作をする，または，同意を取るための技術です... 続きを読む

Amazon Web Services ブログ: Amazon Auroraを東京リージョンでご利用頂けるようになりました！

2015/10/07 138 users 東京リージョン Amazon Aurora RDS ブログ

2014年11月にAmazon Relational Database Service(RDS)の5つ目のデータベースエンジンとして発表されたAmazon Auroraはアベイラビリティゾーン内やアベイラビリティゾーン間で強固なレプリケーションやクオーラムを用いた書き込みを行うことでデータを保護し、ディスク障害にも強いデータベースエンジンです。その他にも、最大5倍の性能コスト比の実現や10GBから... 続きを読む

Amazon Web Services ブログ: 【AWS発表】Amazon Auroraをご利用頂けるようになりました！

2015/07/28 80 users AWS発表 Amazon Aurora invent ブログ

昨年のAWS re:InventでAmazon Auroraを発表しました (詳しくは【AWS発表】Amazon Aurora - Amazon RDSに費用対効果の高いMySQL互換のデータベースが登場!!をご覧ください)。Amazon Auroraはアベイラビリティゾーン内やアベイラビリティゾーン間で強固なレプリケーションやクオーラムを用いた書き込みを提供します。また、Amazon Auror... 続きを読む

第1回 MongoDBの単体性能（前編） (1/2)：EnterpriseZine（エンタープライズジン）

2015/07/22 34 users MongoDB EnterpriseZine 連載 前編 実際

「初心者から中級者になるためのMongoDB講座」は、MongoDBをインストールして実際にアプリケーションを作っている方、MongoDBのレプリケーションを運用しているが仕組みはあまりわからない方、シャーディングに手を出そうとしているが不安な方、そんなMongoDB初心者のみなさんへ向けた連載です。MongoDBはサクッとアプリケーションを作るのに適しています。しかし作ったアプリをいざ運用しよう... 続きを読む