PostgreSQLをWebブラウザ上で動かす「Postgres-WASM」、オープンソースで公開。Webブラウザ上のx86仮想マシンで実行、レプリケーションも可能

2022/10/04 175 users WebAssembly PostgreSQL 仮想マシン

PostgreSQLをWebブラウザ上で動かす「Postgres-WASM」、オープンソースで公開。Webブラウザ上のx86仮想マシンで実行、レプリケーションも可能 WebAssemblyを用いてWebブラウザにx86の仮想マシンを構成することで、PostgreSQLをWebブラウザ上で実行可能にした「Postgres-WASM」がオープンソースで公開されました。 Today ... 続きを読む

BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場

2022/09/19 163 users BigQuery PostgreSQL MySQL データ

BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場 Google Cloudは、BigQueryに対してMySQLやPostgreSQL、Oracle Databaseからニアリアルタイムで直接データのレプリケーションを可能にする新サービス「Datastream for BigQuery」をプレビューリリースし... 続きを読む

MySQL のレプリケーションから10年間逃げてきた我々が学んだこと8選 - Cybozu Inside Out | サイボウズエンジニアのブログ

2020/10/26 436 users SRE MySQL サイボウズエンジニア トランザクション

こんにちは。クラウド運用チームで SRE をしている飯塚です。 今回は、MySQL のレプリケーション機能を約10年もの間ずっと使ってこなかった私たちが、レプリケーションを使った高可用性構成に移行するための取り組みの中で学んだことについて紹介します。 背景 巨大なテーブルへの primary key の付与 トランザクション... 続きを読む

Amazon RDS for MySQL のパラメーターを設定するためのベストプラクティス。パート 3: セキュリティ、操作管理性、および接続タイムアウトに関連するパラメーター | Amazon Web Services ブログ

2019/02/14 113 users ベストプラクティス パラメーター MySQL セキュリティ

Amazon Web Services ブログ Amazon RDS for MySQL のパラメーターを設定するためのベストプラクティス。パート 3: セキュリティ、操作管理性、および接続タイムアウトに関連するパラメーター このシリーズの前回のブログ投稿では、Amazon RDS for MySQL でレプリケーションを最適化するために使用する MySQL パラメータ... 続きを読む

Redis 4.0正式リリース。モジュールによる機能やデータの拡張が可能に、新レプリケーションエンジンで運用が改善 － Publickey

2017/07/17 170 users Publickey リリースノート モジュール 拡張 運用

Redis 4.0正式リリース。モジュールによる機能やデータの拡張が可能に、新レプリケーションエンジンで運用が改善 Redis 4.0はモジュールによる機能拡張の実現、新しいレプリケーションエンジンによる高速なレプリケーション、新しいアルゴリズムの追加によるキャッシュの改善、フラッシュの非同期実行など、多くの機能追加が行われています。 リリースノート には、「内部における変更に関していえば、4.0... 続きを読む

MySQLのレプリケーション手法の違い | Yakst

2017/03/09 180 users Yakst MySQL レプリケーション機能 筆者 誤解

ソリューションエンジニアチームに所属する筆者が、今では様々な手法が存在するレプリケーション機能について、改めて特徴や注意点を解説しつつ、レプリケーションのよくある「誤解」に対してもお答えしています。 このブログ記事では、MySQL（および Percona Server ）環境におけるレプリケーション手法に関して改めて考察を行いたいと思います。あわせて、時折見受けられるレプリケーションの間違った考え... 続きを読む

GitLab.comが操作ミスで本番データベース喪失。5つあったはずのバックアップ手段は役立たず、頼みの綱は6時間前に偶然取ったスナップショット － Publickey

2017/02/01 1630 users Publickey 頼みの綱 gitlab.com スパイク

果たしてGitLab.comで何が起きたのでしょうか？ これまでの経緯をまとめました。 スパムによるトラフィックのスパイクからレプリケーションの不調へ GitLab.comは今回のインシデントについての詳細な経過を「 GitLab.com Database Incident - 2017/01/31 」で公開しています。また、もう少し整理された情報がブログ「 GitLab.com Database... 続きを読む

最近よく聞くQuorumは過半数(多数決)よりも一般的でパワフルな概念だった - Qiita

2016/02/21 192 users quorum Cassandra ZooKeeper 多数決

最近では珍しくもなくなった"Quorum"という言葉。Zookeeper, etcd, Serfといったクラスタ中でデータのレプリケーションを行ってくれるようなツールや、Cassandra, Riakといった分散データベース(NoSQL系)のようなツールにおいても、データの複製に一貫性を持たせる仕組みとしてよく聞かれます。 しかしながら、多くのスライドやWebの記事を読んでも、"Quorum"とい... 続きを読む

半年かかったバグ調査の顛末は - Cybozu Inside Out | サイボウズエンジニアのブログ

2016/01/07 508 users 顛末 サイボウズエンジニア 半年 バグ調査 Linux

2016 - 01 - 08 半年かかったバグ調査の顛末は Linux インフラ プログラミング サイボウズ・ラボの光成です。 今回は原因究明に半年以上かかったバグ調査の紹介をいたします。 弊社はクラウドサービス cybozu.com を提供しています。 クラウドサービスでは障害対策のためのデータバックアップやレプリケーションが必須です。 現在ラボの星野がメイン、私はサブとして弊社サービスでの利用... 続きを読む

Amazon Web Services ブログ: Amazon Auroraを東京リージョンでご利用頂けるようになりました！

2015/10/07 138 users 東京リージョン Amazon Aurora RDS ブログ

2014年11月にAmazon Relational Database Service(RDS)の5つ目のデータベースエンジンとして発表されたAmazon Auroraはアベイラビリティゾーン内やアベイラビリティゾーン間で強固なレプリケーションやクオーラムを用いた書き込みを行うことでデータを保護し、ディスク障害にも強いデータベースエンジンです。その他にも、最大5倍の性能コスト比の実現や10GBから... 続きを読む

PostgreSQL 9.4がリリース。ドキュメントDB並の性能でJSONBサポート、レプリケーション機能の高度化など － Publickey

2014/12/21 137 users Publickey JSON GINインデックス 性能 高度化

PostgreSQL 9.4がリリース。ドキュメントDB並の性能でJSONBサポート、レプリケーション機能の高度化など PostgreSQL 9.4の主な新機能は、バイナリ形式のJSONであるJSONBのサポート、高度なレプリケーションに利用できる新しいAPI、GINインデックスの高速化など。 一般的なドキュメントデータベース並の高速性 PostgreSQLでは以前のバージョンからJSON形式をサ... 続きを読む

漢(オトコ)のコンピュータ道: まだMySQL 5.5で消耗してるの？MySQL 5.6でクラッシュセーフなレプリケーションを活用して枕を高くして眠れる日々を満喫する方法

2014/12/15 281 users イカン 月日 クラッシュセーフ オトコ 2014-12-16

2014-12-16 まだMySQL 5.5で消耗してるの？MySQL 5.6でクラッシュセーフなレプリケーションを活用して枕を高くして眠れる日々を満喫する方法 MySQL 5.6が登場してからかなりの月日が過ぎたが、他のことで多忙だったせいか、MySQL 5.6についてはあまりブログで情報を発信していないことに気がついた。これはイカン！！と思い、MySQL Casual Advent Calen... 続きを読む

Yakst - 大規模環境でMySQLのGTIDを適用して得られた教訓

2014/09/24 211 users Yakst GTID MySQL フェイルオーバ 教訓

by Evan Elias and Santosh Praneeth Banda Global Transaction ID (GTID)は、MySQL 5.6の新機能の中でも最も使わずにはいられない機能の一つだ。このおかげで、フェイルオーバやポイントインタイムリカバリ、階層を持ったレプリケーションなどに非常に有益だし、クラッシュセーフなマルチスレッドレプリケーションの必須条件にもなっている。この... 続きを読む

DSAS開発者の部屋:MySQL 5.6 でのレプリケーション遅延は危険

2014/07/23 202 users レプリケーション遅延 スレーブ binlog DSAS開発者

MySQL 5.6 の検証中に MySQL 5.5 とは違うタイプのレプリケーション遅延を見つけたので紹介します。 MySQL のレプリケーションのおさらい MySQL のレプリケーションは次のような仕組みで動作しています。 マスターの更新トランザクションが binlog を書く スレーブの I/O スレッドがマスターに接続し、 binlog を取得し、 relay log を書く. マスター側は... 続きを読む

MySQL 5.6正式版が公開。オプティマイザやInnoDBの向上でさらに高速。クラッシュセーフなレプリケーションなど － Publickey

2013/02/05 190 users InnoDB オプティマイザ Publickey MySQL

MySQL 5.6正式版が公開。オプティマイザやInnoDBの向上でさらに高速。クラッシュセーフなレプリケーションなど 米オラクルは、MySQL 5.6の正式版が公開されたことを発表しました。MySQLはオープンソースのデータベースで、無料で利用可能なMySQL Community Server 5.6.10も公開されています。 MySQL 5.6のおもな新機能はプレスリリースやドキュメント「Wh... 続きを読む

レプリケーションを使わないMySQLの冗長化 - Yahoo! JAPAN Tech Blog

2012/11/22 548 users 三谷 ヤフー データベース 蓄積 削減

こんにちは、DBMSチームの三谷です。 ヤフーでは多くのサービスでMySQLを利用しています。MySQLはヤフーを支える重要な技術の1つです。 私のチームではヤフーのさまざまなサービスのデータベースを集約して管理・運用しています。 集約することでコストの削減やノウハウの蓄積といった効果を生み出しています。 今回はこの集約環境の冗長化方法についてご紹介します。 集約環境の構成 集約環境ではマスターの... 続きを読む

便利なスクリプト集 MySQL Utilities - rkajiyamaの日記

2012/07/27 319 users rkajiyama MySQL Utilities 知名度

MySQL実は1.0.0が2010年12月にリリースされていたのに全く知名度の無い"MySQL Utilities"。実は便利な機能が複数用意されているので、スクリプトを手作りしなくても済む可能性大です。またリリースに向けて新たなマイルストーンリリースが出てきたMySQL 5.6でのレプリケーションの追加機能と組み合わせる便利機能もあります。MySQL UtilitiesはPythonで書かれたス... 続きを読む

レプリケーション作成を簡単にする mysql40dump という mysqldump の wrapper を作った話 - blog.nomadscafe.jp

2011/12/22 114 users slave バイナリログ wrapper MySQL サーバ

みなさん mysqldump は好きですか？ 自分はどっちでもありません。 MySQLでよくあるMaster-Slave構成を作る手順は以下のようになると思います MasterからSlaveとなるサーバに一貫性を保った状態のコピーをし、そのデータのバイナリログのファイル・ポジションをメモ。 SLAVEでデータをリストアし、Masterのホスト名、レプリケーションに使うユーザ名・パスワードとメモした... 続きを読む

漢(オトコ)のコンピュータ道: MySQLにおけるレプリケーション遅延の傾向と対策

2011/12/12 474 users レプリケーション遅延 MySQL オトコ 傾向 コンピュータ道

2011-12-13 MySQLにおけるレプリケーション遅延の傾向と対策 レプリケーションはMySQLで最もよく使われる機能のひとつだ。レプリケーションは基本的に非同期でデータの複製を行う仕組みになっているのだが、非同期故にどうしても逃れられない問題がある。そのひとつが今回のテーマ、遅延である。というと、MySQLのレプリケーションはすぐに遅延が生じてしまうように感じてしまうかも知れないが、そのよ... 続きを読む

MySQLをmaster:slave=1:1構成にして参照をslaveに向けるのがなぜ良くないか - 酒日記 はてな支店

2011/06/20 494 users slave master MySQL 参照 キャンペーン

MySQLのmasterとslave 1:1にして参照をslave向けるのってやりたがる人多いみたいだけど、性能たいして上がらない割に可用性落ちるだけだからやめようキャンペーン 2011-06-19 00:16:30 via YoruFukurouMySQL はレプリケーションが簡単に構成できるのですが、時折 master 1台 に対して slave 1台、更新処理は master に、参照は s... 続きを読む

54行で分散KVSを実装する（レプリケーション機能付き） - 古橋貞之の日記

2009/11/26 283 users 古橋貞之 KVS サーバープログラム 分散KVS Key

Ruby と MessagePack-RPC があれば、簡単なkey-valueストレージは簡単に作れます。54行で書けます（レプリケーションと負荷分散機能付き。サーバー38行、クライアント16行）。簡単なKVSをベースにして、ログ集計や遠隔デプロイ、遠隔管理機能などの機能を追加していけば、ちょっと便利なサーバープログラムをサクサク自作できるハズ。 この分散KVSは、（keyのハッシュ値 % サー... 続きを読む

漢(オトコ)のコンピュータ道: MySQLレプリケーションを安全に利用するための10のテクニック

2009/03/11 512 users MySQLレプリケーション ディザスタリカバリ オトコ 応用

2009-03-11 MySQLレプリケーションを安全に利用するための10のテクニック MySQLのレプリケーションは非常に簡単に使える割には応用の幅が広いので非常に人気のある機能の一つである。レプリケーションの応用分野は例えば、 バックアップ参照系の負荷分散HA（高可用性）ディザスタリカバリ（サイト間レプリケーション）BI（レポーティングetc）という風にとても多くのバリエーションがある。このブ... 続きを読む

CodeZine：Google、MySQLを強化するパッチを無償リリース（グーグル）

2007/04/25 116 users CodeZine MySQL バッチ グーグル サーバ

Googleは、同社の製品開発の中から生まれたMySQLを強化するパッチを公開した。GoogleのWebサイトから無償でダウンロードできる。 このパッチはMySQLの扱いやすさと信頼性を向上させる目的で作られており、主にスレーブサーバ（レプリケーションとなるサーバ）の機能を強化させることができる。例として、スレーブサーバが更新通知を受け取らない限りマスタサーバを更新させない機能や、再起動なしでスレ... 続きを読む