分析基盤へのデータ連携処理をEmbulkからAmazon Aurora S3 Export機能に切り替えた話 - BASEプロダクトチームブログ

2024/03/27 12 users embulk Looker BigQuery 分析基盤 側面

はじめに こんにちは！Data Platformチームでデータエンジニアとして働いている @shota.imazeki です。 分析基盤の構築・運用などの側面から社内のデータ活用の促進を行っています。 BASEではAurora MySQLにあるデータをEmbulkを用いてBigQueryに連携しています。BigQueryへ連携されたデータは分析基盤としてLookerなど... 続きを読む

Aurora MySQL におけるロック競合（ブロッキング）の原因を事後調査できる仕組みを作った話

2024/03/25 12 users ブロッキング 事後 原因

こんにちは。 DBRE チーム所属の @p2sk です。 DBRE（Database Reliability Engineering）チームでは、横断組織としてデータベースに関する課題解決や、組織のアジリティとガバナンスのバランスを取るためのプラットフォーム開発などを行なっております。DBRE は比較的新しい概念で、DBRE という組織がある会社も少なく... 続きを読む

AWS Aurora MySQL のメンテナンスの準備・実施・振り返りをチーム横断で行った話 - Repro Tech Blog

2024/01/30 18 users チーム横断 Repro Tech Blog メンテナンス

こんにちは、Sys-Infra Unit の小山です。今回は、AWS Aurora MySQL のメンテナンス準備・実施・振り返りまでを複数チーム横断で行った話を紹介します。 背景と課題 Repro では、AWS Aurora MySQL を利用してサービスを提供しています。Aurora MySQL は、MySQL 互換のリレーショナルデータベースサービスで、Aurora MySQ... 続きを読む

AWS、Aurora MySQLとRedshiftをほぼリアルタイムに同期する「Amazon Aurora MySQL zero-ETL integration with Amazon Redshift」正式版に。追加料金なしで利用可能

2023/11/12 16 users RedShift OLTP DWH Amaz AWS

Amazon Web Services（AWS）は、Aurora MySQLとAmazon Redshiftのあいだでデータをほぼリアルタイムに同期する新サービス「Amazon Aurora MySQL zero-ETL integration with Amazon Redshift」（以下、zero-ETL）が正式版となったことを発表しました。 参考：［速報］Amazon AuroraのOLTPとRedshiftのDWHを統合する「Amaz... 続きを読む

pt-online-schema-change の実行が必要かどうか判断するタイミングをより早くした話 - Repro Tech Blog

2023/10/02 13 users pt-online-schema-change スキーマ

Repro では Aurora MySQL を使用しています。いくつか数千万行を越えるデータを持つ大規模なテーブルもあります。 大規模なテーブルのスキーマを変更するときは pt-online-schema-change1 を使用していますが、今回はその必要性を判断するタイミングを早めた話です。 pt-osc が必要になる理由等は次の記事が詳しいです。... 続きを読む

大規模サービスのデータベースエンジンを MySQLからAurora MySQLへの移行 〜リードレプリカ, DNSを利用した最小ダウンタイム移行方法〜 - メドピア開発者ブログ

2023/08/21 33 users ＤＮＳ MySQL リードレプリカ データベースエンジン 移行

バックエンドエンジニアの徳富(@yannKazu1)です。先日、メドピアのメインサービスであるmedpeer.jpで使われているデータベースエンジンを、MySQLからAurora MySQLへと移行しました。今回はその移行のプロセスについて詳しくお話しします。 移行したデータベースの簡単なインフラ構成 移行方針 今回移行するデータベース... 続きを読む

Aurora MySQLをMySQL8.0へ移行した話 - inSmartBank

2023/07/04 87 users inSmartBank サービスリリース SRE 移行

こんにちは！SREを担当してます上平と申します。 このエントリーではAurora MySQL5.7互換からMySQL8.0互換への移行を実施した際の流れや学びに関して紹介したいと思います！ B/43 では Aurora MySQL5.7系をサービスリリースから使っており、Aurora MySQL バージョン2のサポート終了日（2024/10/31）が近づいているのもあ... 続きを読む

Aurora MySQL 5.7とRailsで実現する全文検索機能 - dely Tech Blog

2023/06/23 49 users Rails dely tech blog 全文検索機能

こんにちは。 クラシル開発部、バックエンドエンジニアの松嶋です。 delyに入社してから約3年間、私はSREチームに所属していましたが、昨年10月にバックエンドに転向しました。バックエンドに転向してからは、主にクラシルアプリの公式レシピおよびCGMコンテンツの検索機能に関する開発・改善に取り組んでいます。 クラ... 続きを読む

Aurora MySQL でレコードが存在するのに SELECT すると Empty set が返ってくる事象を調査した話

2023/05/12 140 users select 事象 レコード

こんにちは。 KINTO テクノロジーズの DBRE チーム所属のp2skです。 DBRE（Database Reliability Engineering）チームでは、横断組織としてデータベースに関する課題解決や、組織のアジリティとガバナンスのバランスを取るためのプラットフォーム開発などを行なっております。DBRE は比較的新しい概念で、DBRE という組... 続きを読む

Aurora MySQL 2.x で運用している本番DBから Aurora Serverless v2 な調査用DBを作成してみる - Yappli Tech Blog

2022/10/25 10 users 本番DB Aurora Serverless v 中原 弊社

SREチームの中原です。 Aurora MySQL 2.x で運用している本番DBから Aurora Serverless v2 な調査用DBを作成する方法について書いてみます。 TL;DR Aurora MySQL 2.x で運用しているDBでも Serverless v2 な調査用DB立てられるよ ただし毎回メジャーバージョンアップの処理が必要なので時間かかるよ (弊社の環境で1.5〜3... 続きを読む

Aurora MySQL 5.6のサポート終了とゼロダウンタイムアップグレードへの挑戦 - Cybozu Inside Out | サイボウズエンジニアのブログ

2022/08/23 18 users サイボウズエンジニア Cybozu Inside Out

こんにちは、グローバル向けAWS版kintoneのバックエンドエンジニアをしている@ueokandeです。 8月になって暑い日々が続きますね。そして8月と言えば、Amazon Aurora MySQL-Compatible Edition version 1 with MySQL 5.6 compatibility（以下Aurora MySQL 5.6）のサポート終了までおよそ半年となりました。 グローバル向... 続きを読む

Amazon Aurora MySQLの不具合でローカルディスクが枯渇しクエリが実行出来なくなった話 - Kaizen Platform 開発者ブログ

2022/07/22 11 users クエリ MySQL Kaizen Platform 前田 速度

SRE Group Managerをしている前田です。今回の記事は当社で遭遇したAmazon Aurora MySQLの不具合の話になります。 3行まとめ Amazon Aurora MySQLのローカルストレージが異常な速度で消費、枯渇しクエリを実行するとエラーが発生するようになった 原因調査とAWSサポートへの問い合わせの結果、Aurora MySQL 2.10.0 の不... 続きを読む

ANDPADでのAurora MySQL Ver.2へのバージョンアップ - ANDPAD Tech Blog

2022/06/02 18 users ANDPAD DBMS Aurora ランニング 体重

こんにちは、最近ランニングをサボって体重が増えたANDPADのDBRE植木です。 秋にはフルマラソンに再チャレンジする予定なので改めて頑張ります。 今回はGW前にANDPADでAurora MySQL（以下、Aurora）をVer.1（MySQL5.6互換）からVer.2（5.7互換）にバージョンアップした件について書かせていただきます。DBMSのバージョン... 続きを読む

Aurora MySQL のバックアップは本当にそれでいいのだろうか？ | CyberAgent Developers Blog

2021/06/10 33 users バックアップ SRG MySQL OSS貢献 長谷川

技術本部 サービスリライアビリティグループ（SRG）の長谷川 @rarirureluis です。 #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 また Amazon Aurora MySQL（以下：Aurora MySQL... 続きを読む

クエリログを使ったAurora MySQLの負荷テスト - クックパッド開発者ブログ

2020/10/13 13 users クエリログ MySQL バリオス データベース 負荷テスト

最近はZX-25Rが気になっている菅原です。4気筒250ccといえば、以前バリオス2に乗っていたんですが、あれもよく回るよいバイクでした。足つきの良さが懐かしいです。 この記事では、クエリログを使ったAurora MySQLの負荷テストの話を書きます。 MySQLの負荷テスト サービスに使われているデータベースは、Webサーバと比... 続きを読む

「ローカルMySQL」と「RDS for MySQL」と「Aurora MySQL」で性能を測ってみた ｜ Developers.IO

2019/11/19 82 users MySQL Developers.IO write 性能 構成

はじめに こんにちは。大阪オフィスの林です。 「ローカルMySQL」と「RDS for MySQL」と「Aurora MySQL」でRead/Writeの性能がそれぞれどのくらいなのか実際に検証して確認してみましたので、記事としてまとめておきたいと思います。 注意とお断り 本記事でフォーカスしている「性能」は、システムの構成、システムの使... 続きを読む

MySQLの0000-00-00 00:00:00という負債とridgepoleの限界 - Studyplus Engineering Blog

2019/01/29 36 users Ridgepole migration Studyplus

こんにちは、CTOの島田です。 今回は、StudyplusのDBのmigrationで発生した問題とその解決ステップを説明したいと思います。 前提 schema.rbでの運用 ridgepoleの導入 "0000-00-00 00:00:00" 問題 問題の原因は？ 暫定対応 問題の解消 あるべき姿 まとめ 前提 まずは前提。 Aurora MySQL 5.7 Rails 5.1.6 (対応当時。今... 続きを読む

Aurora MySQLでPerformance Insightsがサポートされました ｜ Developers.IO

2018/08/07 8 users Developers.IO RDS AWS コンソール画面

こんにちわ、吉江です。 皆様、Aurora MySQLを触ってますか？ AWSにおいて、触りやすいデータベースと個人的に思ってます。 少し話は逸れますが、RDSのコンソール画面でこんな画面を見たことはないでしょうか？ このパフォーマンスインサイトとはDBのパフォーマンスを分析することができる機能です。 これまではAurora P... 続きを読む