PostgreSQLをWebブラウザ上で動かす「Postgres-WASM」、オープンソースで公開。Webブラウザ上のx86仮想マシンで実行、レプリケーションも可能

2022/10/04 175 users WebAssembly PostgreSQL 仮想マシン

PostgreSQLをWebブラウザ上で動かす「Postgres-WASM」、オープンソースで公開。Webブラウザ上のx86仮想マシンで実行、レプリケーションも可能 WebAssemblyを用いてWebブラウザにx86の仮想マシンを構成することで、PostgreSQLをWebブラウザ上で実行可能にした「Postgres-WASM」がオープンソースで公開されました。 Today ... 続きを読む

BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場

2022/09/19 163 users BigQuery PostgreSQL MySQL データ

BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場 Google Cloudは、BigQueryに対してMySQLやPostgreSQL、Oracle Databaseからニアリアルタイムで直接データのレプリケーションを可能にする新サービス「Datastream for BigQuery」をプレビューリリースし... 続きを読む

MySQL のレプリケーションから10年間逃げてきた我々が学んだこと8選 - Cybozu Inside Out | サイボウズエンジニアのブログ

2020/10/26 436 users SRE MySQL サイボウズエンジニア トランザクション

こんにちは。クラウド運用チームで SRE をしている飯塚です。 今回は、MySQL のレプリケーション機能を約10年もの間ずっと使ってこなかった私たちが、レプリケーションを使った高可用性構成に移行するための取り組みの中で学んだことについて紹介します。 背景 巨大なテーブルへの primary key の付与 トランザクション... 続きを読む

Amazon RDS for MySQL のパラメーターを設定するためのベストプラクティス。パート 3: セキュリティ、操作管理性、および接続タイムアウトに関連するパラメーター | Amazon Web Services ブログ

2019/02/14 113 users ベストプラクティス パラメーター MySQL セキュリティ

Amazon Web Services ブログ Amazon RDS for MySQL のパラメーターを設定するためのベストプラクティス。パート 3: セキュリティ、操作管理性、および接続タイムアウトに関連するパラメーター このシリーズの前回のブログ投稿では、Amazon RDS for MySQL でレプリケーションを最適化するために使用する MySQL パラメータ... 続きを読む

プロジェクト計画について思うこと - 大西ブログ

2018/12/03 81 users 大西ブログ プロジェクト計画 対空 MySQL t_kyt

この記事は、はてなエンジニア Advent Calendar 2018 の3日目の記事です。 昨日の記事は, id:t_kyt の｢time_zone設定の違うMySQLのレプリケーションについて - 角待ちは対空｣でした。 最近のわたし オープンなプロジェクト計画 PMBOK PMBOK における 5個のプロセス群 PMBOK における 10の知識エリア プロジェクトマネジ... 続きを読む

Google Kubernetes Engine 1.10が正式リリース。ゾーンに分散したストレージのレプリケーション、マルチマスターを3つのゾーンに分散して高可用性を実現 － Publickey

2018/05/21 77 users Publickey Kubernetes ストレージ ゾーン

Google Kubernetes Engine 1.10が正式リリース。ゾーンに分散したストレージのレプリケーション、マルチマスターを3つのゾーンに分散して高可用性を実現 Googleは、Kubernetesをマネージドサービスで提供する「Google Kubernetes Engine」の最新バージョンとなる「Google Kubernetes Engine 1.10」（以下、GKE 1.10... 続きを読む

MySQLレプリケーションあれやこれや

2018/01/29 92 users null MySQL ストリーム yoku0825 団体

MySQLレプリケーションあれやこれや 1. MySQLレプリケーションあれやこれ や 個人の意見であり、所属する団体または所属しない団体あるいは NULLの意見を代表するわけがありません 2018/01/26 yoku0825 第2回 オープンソースデータベース比較セミナー 2. MySQLのレプリケーション #とは あるMySQLから別のMySQLにストリームでデータを複製す るための技術 M... 続きを読む

Redis 4.0正式リリース。モジュールによる機能やデータの拡張が可能に、新レプリケーションエンジンで運用が改善 － Publickey

2017/07/17 170 users Publickey リリースノート モジュール 拡張 運用

Redis 4.0正式リリース。モジュールによる機能やデータの拡張が可能に、新レプリケーションエンジンで運用が改善 Redis 4.0はモジュールによる機能拡張の実現、新しいレプリケーションエンジンによる高速なレプリケーション、新しいアルゴリズムの追加によるキャッシュの改善、フラッシュの非同期実行など、多くの機能追加が行われています。 リリースノート には、「内部における変更に関していえば、4.0... 続きを読む

MySQLのレプリケーション手法の違い | Yakst

2017/03/09 180 users Yakst MySQL レプリケーション機能 筆者 誤解

ソリューションエンジニアチームに所属する筆者が、今では様々な手法が存在するレプリケーション機能について、改めて特徴や注意点を解説しつつ、レプリケーションのよくある「誤解」に対してもお答えしています。 このブログ記事では、MySQL（および Percona Server ）環境におけるレプリケーション手法に関して改めて考察を行いたいと思います。あわせて、時折見受けられるレプリケーションの間違った考え... 続きを読む

GitLab.comが操作ミスで本番データベース喪失。5つあったはずのバックアップ手段は役立たず、頼みの綱は6時間前に偶然取ったスナップショット － Publickey

2017/02/01 1630 users Publickey 頼みの綱 gitlab.com スパイク

果たしてGitLab.comで何が起きたのでしょうか？ これまでの経緯をまとめました。 スパムによるトラフィックのスパイクからレプリケーションの不調へ GitLab.comは今回のインシデントについての詳細な経過を「 GitLab.com Database Incident - 2017/01/31 」で公開しています。また、もう少し整理された情報がブログ「 GitLab.com Database... 続きを読む

最近よく聞くQuorumは過半数(多数決)よりも一般的でパワフルな概念だった - Qiita

2016/02/21 192 users quorum Cassandra ZooKeeper 多数決

最近では珍しくもなくなった"Quorum"という言葉。Zookeeper, etcd, Serfといったクラスタ中でデータのレプリケーションを行ってくれるようなツールや、Cassandra, Riakといった分散データベース(NoSQL系)のようなツールにおいても、データの複製に一貫性を持たせる仕組みとしてよく聞かれます。 しかしながら、多くのスライドやWebの記事を読んでも、"Quorum"とい... 続きを読む

半年かかったバグ調査の顛末は - Cybozu Inside Out | サイボウズエンジニアのブログ

2016/01/07 508 users 顛末 サイボウズエンジニア 半年 バグ調査 Linux

2016 - 01 - 08 半年かかったバグ調査の顛末は Linux インフラ プログラミング サイボウズ・ラボの光成です。 今回は原因究明に半年以上かかったバグ調査の紹介をいたします。 弊社はクラウドサービス cybozu.com を提供しています。 クラウドサービスでは障害対策のためのデータバックアップやレプリケーションが必須です。 現在ラボの星野がメイン、私はサブとして弊社サービスでの利用... 続きを読む

Amazon Web Services ブログ: Amazon Auroraを東京リージョンでご利用頂けるようになりました！

2015/10/07 138 users 東京リージョン Amazon Aurora RDS ブログ

2014年11月にAmazon Relational Database Service(RDS)の5つ目のデータベースエンジンとして発表されたAmazon Auroraはアベイラビリティゾーン内やアベイラビリティゾーン間で強固なレプリケーションやクオーラムを用いた書き込みを行うことでデータを保護し、ディスク障害にも強いデータベースエンジンです。その他にも、最大5倍の性能コスト比の実現や10GBから... 続きを読む

Amazon Web Services ブログ: 【AWS発表】Amazon Auroraをご利用頂けるようになりました！

2015/07/28 80 users AWS発表 Amazon Aurora invent ブログ

昨年のAWS re:InventでAmazon Auroraを発表しました (詳しくは【AWS発表】Amazon Aurora - Amazon RDSに費用対効果の高いMySQL互換のデータベースが登場!!をご覧ください)。Amazon Auroraはアベイラビリティゾーン内やアベイラビリティゾーン間で強固なレプリケーションやクオーラムを用いた書き込みを提供します。また、Amazon Auror... 続きを読む

Yakst - MySQLのレプリケーションでありがちな10の問題

2014/12/22 73 users Yakst DML DDL MySQL Row

レプリケーションの問題でよくある10パターン。 1) セッションのみで有効なバイナリログ sql_log_bin = 0を設定すると、そのセッション内でバイナリログを無効にできる。つまり、マスタのセッション内で実行したDMLやDDLは、スレーブにはレプリケーションされない。 マスタでバイナリログをオフにする。 mysql> set sql_log_bin = 0 ; Query OK, 0 row... 続きを読む

PostgreSQL 9.4がリリース。ドキュメントDB並の性能でJSONBサポート、レプリケーション機能の高度化など － Publickey

2014/12/21 137 users Publickey JSON JSONB GINインデックス

PostgreSQL 9.4がリリース。ドキュメントDB並の性能でJSONBサポート、レプリケーション機能の高度化など PostgreSQL 9.4の主な新機能は、バイナリ形式のJSONであるJSONBのサポート、高度なレプリケーションに利用できる新しいAPI、GINインデックスの高速化など。 一般的なドキュメントデータベース並の高速性 PostgreSQLでは以前のバージョンからJSON形式をサ... 続きを読む

漢(オトコ)のコンピュータ道: まだMySQL 5.5で消耗してるの？MySQL 5.6でクラッシュセーフなレプリケーションを活用して枕を高くして眠れる日々を満喫する方法

2014/12/15 281 users イカン 月日 クラッシュセーフ オトコ 2014-12-16

2014-12-16 まだMySQL 5.5で消耗してるの？MySQL 5.6でクラッシュセーフなレプリケーションを活用して枕を高くして眠れる日々を満喫する方法 MySQL 5.6が登場してからかなりの月日が過ぎたが、他のことで多忙だったせいか、MySQL 5.6についてはあまりブログで情報を発信していないことに気がついた。これはイカン！！と思い、MySQL Casual Advent Calen... 続きを読む

Yakst - 大規模環境でMySQLのGTIDを適用して得られた教訓

2014/09/24 211 users Yakst GTID MySQL フェイルオーバ 教訓

by Evan Elias and Santosh Praneeth Banda Global Transaction ID (GTID)は、MySQL 5.6の新機能の中でも最も使わずにはいられない機能の一つだ。このおかげで、フェイルオーバやポイントインタイムリカバリ、階層を持ったレプリケーションなどに非常に有益だし、クラッシュセーフなマルチスレッドレプリケーションの必須条件にもなっている。この... 続きを読む

MySQLでのレプリケーション - 日常メモ

2014/09/18 91 users マスタ MySQL MySQLサーバ 複製 用途

MySQL, レプリケーション目次◎レプリケーションとは◎レプリケーションの用途およびメリット・デメリット◎レプリケーションの設定方法◎レプリケーションの運用◎レプリケーションとはレプリケーションとは、あるMySQLサーバで更新されたデータを別のMySQLサーバに複製する機能。MySQLではマスタからスレーブヘの複製は非同期に行われるのが標準である*1。ここで、レプリケーションの種類と仕組みについ... 続きを読む

ITインフラ自動化ツール「Chef 12」がリリース、オープンソース版と商用版でコードを統一化 | SourceForge.JP Magazine

2014/09/09 80 users JP Magazine リリース 商用版 コード 統一化

米Chef Software（旧社名：Opscode）は9月8日、ITインフラ設定管理ツール「Chef」の最新版「Chef 12」をリリースした。高可用性、レプリケーションなどの機能が加わり、WindowsやVMwareとの統合も強化した。Chefはまた、オープンソース版と商用版のコードベースを単一にしたことも発表した。 Chefはサーバーの設定を自動化するツール。RubyとErlangで作成され... 続きを読む

MySQL 5.6 で loss-less semi-sync レプリケーション | Cybozu Inside Out | サイボウズエンジニアのブログ

2014/07/23 58 users 深谷 サイボウズエンジニア バッチ チーム 詳しい説明

こんにちは。運用本部 Hazama チームの深谷です。今回は MySQL 5.6 で loss-less semi-sy...こんにちは。運用本部 Hazama チームの深谷です。 今回は MySQL 5.6 で loss-less semi-sync レプリケーションを実現するパッチについて紹介します。 loss-less semi-sync って何？ 詳しい説明は、他の方のブログ を見ていただ... 続きを読む

DSAS開発者の部屋:MySQL 5.6 でのレプリケーション遅延は危険

2014/07/23 202 users レプリケーション遅延 スレーブ binlog DSAS開発者

MySQL 5.6 の検証中に MySQL 5.5 とは違うタイプのレプリケーション遅延を見つけたので紹介します。 MySQL のレプリケーションのおさらい MySQL のレプリケーションは次のような仕組みで動作しています。 マスターの更新トランザクションが binlog を書く スレーブの I/O スレッドがマスターに接続し、 binlog を取得し、 relay log を書く. マスター側は... 続きを読む

Amazon RDS for PostgreSQLが正式サービスへ。SLAで可用性99.95％を約束 － Publickey

2014/07/22 61 users SLA Publickey PostgreSQL ベータ版

Amazonクラウドは、昨年11月にベータ版として発表されたPostgreSQLデータベースのマネージ度サービス「Amazon RDS for PostgreSQL」を正式サービスにすることを明らかにしました。 Amazon RDS for PostgreSQLは、データベースのバックアップやレプリケーション、アップグレード、ストレージ管理といった運用をすべてクラウド側で行ってくれるマネージドサー... 続きを読む

DSAS開発者の部屋:Redis Sentinel で冗長構成を組む際の注意点

2013/07/23 93 users Redis Sentinel 冗長構成 pub redis

KVS界隈ではすっかりおなじみ(?)のRedisですが、当社でも徐々にそのニーズが高まってきました。 標準機能として、レプリケーション、Pub/Sub、ソート等の便利機能が満載のRedisですが、サービスに投入する際に冗長構成をどう組むかといった点が気になっている方もいるのではないでしょうか。 まだまだ検証中ではあるのですが、Redisに実装されているRedisSentinelを用いて冗長構成を組... 続きを読む

PostgreSQL 9.2の同期レプリケーションを利用する際の勘所 （1/3）：CodeZine

2013/05/01 79 users CodeZine DBMS 同期レプリケーション ERP 加筆

本連載では、TIS株式会社が提供している技術ブログ「Tech-Sketch」から「コレは！」というテーマをピックアップし、加筆修正して皆様にお届けしております。第3回は、PostgreSQL 9.2の同期レプリケーションを利用する際の勘所について紹介します。 DBMSの可用性とPostgreSQLのレプリケーション　勤怠管理やERPなど会社内の業務に欠かせないシステムはもちろんのこと、SNSやEC... 続きを読む