Amazon BedrockのKnowledge BaseでRAGを構築し、RDSのデータを分析するアプリケーションを開発する | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ

2024/03/29 25 users Rag IoT SQL MySQL AWS

Amazon BedrockのKnowledge BaseでRAGを構築し、RDSのデータを分析するアプリケーションを開発する はじめに こんにちは！ 第一SAチームのshikaです。 普段、あるAmazon RDS上のデータベース（MySQL）に対し、SQLを実行してデータを参照しています。 毎回SQLクエリを実行するのが手間だったので、データ検索を容易にする... 続きを読む

Blue/Green デプロイを使用した、RDS MySQL/PostgreSQLのアップグレード

2024/03/22 8 users PostgreSQL blue アップグレード コンソール

TL;DR RDS　の メジャーバージョンアップグレード を行なった PostgreSQL 11.6 -> 15.5 MySQL 5.7.44 -> 8.0.36 PostgreSQL は AWS CDK を利用した、自前での手動切り替えをベースにした Blue/Green デプロイによるアップグレードを行なった MySQL は AWS コンソールから AWSが提供している機能である RDS Blue/Green De... 続きを読む

原因不明だったRDS負荷のスパイクを改善できた話 - Qiita

2024/01/04 25 users Qiita スパイク 一連 負荷 現象

概要 当時数ヶ月間誰も原因がわからなかった一時的にRDSの負荷（CPU使用率）がスパイクする現象の原因を調査できる環境を整えて、原因分析〜改善まで実施したときの話です。 1つ1つの取り組み自体は大きなことはやっていませんが、一連の動きで得られたものも多かったのでアウトプットしようと思い記事にまとめました。 ... 続きを読む

EC2 Instance Connect Endpoint経由でRDSに接続してみた | DevelopersIO

2023/06/15 62 users DevelopersIO RDP SSH プロトコル 実装

しばたです。 前に書いた記事でEC2 Instance Connect Endpointの接続はWebSocketトンネルを介したものであると説明しました。 また、プロトコルもSSHだけに制限されておらずRDPも使用可能でした。 AWS CLIの実装からEC2 Instance Connect Endpointを読み解いてみた EC2 Instance Connect Endpoint経由でWindows Serverに... 続きを読む

RDSのDBメンテナンスについて

2023/05/31 82 users TiB MySQL メンテナンス 整理 ダウンタイム

内容 らくがき記事、RDSでダウンタイムなしの24-365構成ってどうすればと思い書いている記事です。 とりあえずはRDSでメンテナンスやアップデート処理が走る時に、サービスダウンするのか否かを整理した資料となります。 RDS(MySQL)の整理 機能概要 最大 64 TiB のデータベースサイズをサポート 汎用インスタンスクラス... 続きを読む

皆さん待望の削除保護機能が Amazon DynamoDB でサポートされました | DevelopersIO

2023/03/09 6 users DevelopersIO オペレーションミス シガー パイプ

ウィスキー、シガー、パイプをこよなく愛する大栗です。 Amazon DynamoDB のオペレーションミスを抑止するためにテーブルの削除保護機能がサポートされましたのでご紹介します。 Amazon DynamoDB now supports table deletion protection Amazon DynamoDB の削除保護 EC2 や RDS には削除保護機能が合ったのですが、今ま... 続きを読む

Python で RDS に格納されている各種ログをダウンロードする - 継続は力なり

2023/03/08 15 users Python 各種ログ 継続

タダです. AWS 利用料のうち CloudWatch Logs への取り込みが高くかかっていました( DataProcessing-Bytes という項目).そこで,下記のページを参照して調べてみたところ一番容量があったのが Aurora のログでした.そのログを CloudWatch Logs に出力せずダウンロードし,S3 などにアップロードしていけばコスト削減に繋が... 続きを読む

RDS/Aurora バージョンアップのポイント

2023/01/17 15 users Aurora RDBMS 朝会 JAWS-UG MySQL

Transcript RDS/Aurora バージョンアップのポイント JAWS-UG 朝会 #41　2023/1/17 まつひさ（hmatsu47） 自己紹介 松久裕保（@hmatsu47） • https://qiita.com/hmatsu47 名古屋で Web インフラのお守り係をしています JAWS-UG 名古屋・浜松を中心に活動しています ◦ 「RDBMS（MySQL）の話をする人」として認知されている... 続きを読む

MySQLからPostgreSQLに移行する際のTips - そーだいなるらくがき帳

2022/12/18 232 users PostgreSQL MySQL Tips そーだい 注意点

このエントリーは Classi developers Advent Calendar 2022の18日目。 ネタはなんでもいいよ！とのことなので、Claasiに全く関係なく、MysqlからPostgreSQLに移行する際の注意点を書く。 なお、まだRDSにPostgreSQLがなかった頃のような昔の記事だがこちらに無いことを書いていく。 soudai1025.blogspot.com soudai1025.... 続きを読む

クロスアカウントでの暗号化したRDSのスナップショット利用には気をつけようという話 - LIVESENSE ENGINEER BLOG

2022/12/04 14 users VPoE tl;dr クロスアカウント 社内LT大会 ネタ

これは Livesense Advent Calendar 2022 DAY 4 の記事です。 こんにちは。アルバイト事業部エンジニアの@mnmandahalfです。 今日は先日開催された社内LT大会で話したネタを記事にしてみたいと思います。 VPoEだけが追い出された？！エンジニアLT大会を開催した話 - LIVESENSE ENGINEER BLOG TL;DR クロスアカウントで暗... 続きを読む

クエリログを使ったPostgreSQLの負荷テスト - カンムテックブログ

2022/12/04 69 users SRE Aurora クエリログ PostgreSQL 性能

SREの菅原です。 この記事はカンム Advent Calendar 2022の４日目の記事になります。 少し前にサービスで使っているPostgreSQLをRDSからAuroraに移行しました。 Auroraに移行するため色々と作業を行ったのですが、その中でAuroraの性能を測るために行った負荷テストについて書きます。 pgbench まず最初にpgbenchを使っ... 続きを読む

【衝撃】AWSのRDSがデータを失わないBlue/Greenデプロイに対応しました | DevelopersIO

2022/11/28 308 users DevelopersIO Greenデプロイ Gデプロイ

ステートフル満載なデータベースにまでBlueGreenデプロイを適用するAWSの衝撃の謎技術について、速報をお届けします。 「最近は、データベースもB/Gデプロイできるらしいよ？」 「そりゃそうやろ。B/Gデプロイなんて、最近当たり前………　へ？DBが？無理でしょ？ほぇ？どういうこと？」 最初アップデートのタイトルを見た... 続きを読む

New – Fully Managed Blue/Green Deployments in Amazon Aurora and Amazon RDS | Amazon Web Services

2022/11/28 99 users Databases New

AWS News Blog New – Fully Managed Blue/Green Deployments in Amazon Aurora and Amazon RDS When updating databases, using a blue/green deployment technique is an appealing option for users to minimize risk and downtime. This method of making database updates requires two database environments—your ... 続きを読む

RDSがAuroraより速い！？について調べてみた - なからなLife

2022/04/08 17 users Aurora Twitter 要点 life ベンチマーク

長くなりそうなので、先に要点だけ。 Twitterで 先日の「RDSの方がAuroraより速いケース」の件、とりあえず調べたい範囲のベンチマーク取れた。元記事って2000万件*5=1億件を1クライアントで処理してるのな。で、普通に？HammerDB TPC-Cで多重度上げてもRDSが速いケースがないか調べた。— atsuizo (@atsuizo) 2022年4月7... 続きを読む

New Amazon RDS for MySQL & PostgreSQL Multi-AZ Deployment Option: Improved Write Performance & Faster Failover | Amazon Web Services

2022/03/02 8 users MySQL RDS for Multi-AZ to 2x

AWS News Blog New Amazon RDS for MySQL & PostgreSQL Multi-AZ Deployment Option: Improved Write Performance & Faster Failover Today, we are announcing a new Amazon Relational Database Service (RDS) Multi-AZ deployment option with up to 2x faster transaction commit latency, automated failovers typi... 続きを読む

よくあるオンプレOracleからRDSに移行したDBAの反省文 - ASMのきもち

2021/12/16 211 users Qiita ASM PostgreSQL DBA きもち

この記事は JPOUG Advent Calendar 2021 - Adventar 17日目の記事です。 昨日はShinodaさんの「Oracle Database から PostgreSQL への接続を試す - Qiita」でしたね。 いやーOracle Database Gateway for ODBC全然使ったことがなかったので、これはぜひやってみよ…あれ、RDSでできるの？明日AWSサポートに早速連絡してみ... 続きを読む

New – Amazon DevOps Guru for RDS to Detect, Diagnose, and Resolve Amazon Aurora-Related Issues using ML | Amazon Web Services

2021/12/01 10 users New Amazon Web Services

AWS News Blog New – Amazon DevOps Guru for RDS to Detect, Diagnose, and Resolve Amazon Aurora-Related Issues using ML Today we are announcing Amazon DevOps Guru for RDS, a new capability for Amazon DevOps Guru. It allows developers to easily detect, diagnose, and resolve performance and operation... 続きを読む

マルチAZ DBクラスター、RDS(MySQL,Postgres)の新しい高可用性オプションを試してみた | DevelopersIO

2021/11/24 22 users DevelopersIO すずき マルチAZ AWSチーム

マルチAZ DBクラスター、RDS(MySQL,Postgres)の新しい高可用性オプションを試してみた AWSチームのすずきです。 Amazon RDS でプレビューリリースされたマルチAZ DBクラスター (3−AZ DBクラスター)、 3つのアベイアビリティゾーン(AZ)に3つのインスタンスを配置、1台のライターと、2台のリーダーの構成を試す機会があり... 続きを読む

スイッチロール先のアカウントにあるRDSにローカルPCから接続 | DevelopersIO

2021/10/15 5 users config DevelopersIO 権限 AWS CLI

事前準備、確認 IAMユーザー、スイッチロールの設定 アカウントBのロールにセッションマネージャー接続が可能な権限があることを確認します。 今回は以下の権限を追加しました。 AmazonSSMFullAccess MFAが有効化されているユーザーを使用する場合、ローカルPCのAWS CLI configには以下のようにスイッチロール先の設定を... 続きを読む

5000万件越えのRDS大量データをFirestoreに移行する勘所 - ANDPAD Tech Blog

2021/03/23 90 users Firestore チャットサービス アンドパッド 勘所 課題

はじめまして、開発部の@taikishiinoです。 2020年3月にアンドパッドにジョインし、約一年が経ちました。 現在、チャットサービスの開発・運用をするチームに所属しており、その中で最近、RDSからFirestoreへのデータ移行を行いました。 本記事では、その際の課題やそれに対して実際に行ったことなどを中心にご紹介して... 続きを読む

「RDSのトラブル発生に備えて！やっておくべき設定・監視」登壇資料 #jawsug #jawsdays #jawsdays2021 #jawsdays2021_B | DevelopersIO

2021/03/20 16 users DevelopersIO CONNECT 補足 セッション

おはこんばんちは！オペレーション部のもっさん@福岡オフィスです。 2021/03/20 に開催された JAWS DAYS 2021 -re:Connect- で、「RDSのトラブル発生に備えて！やっておくべき設定・監視」というテーマで登壇しました。 セッション資料 セッションの補足・解説 本セッションの目的 RDS に触れ始めたばかりの方や、これか... 続きを読む

AWSのEC2やRDSの価格＆スペックを簡単に比較できる「EC2Instances.info」を使ってみた - GIGAZINE

2021/02/14 33 users Vantage GIGAZINE ウェブサービス AWS 汎用

クラウドサービスのインスタンスは用途に応じて「汎用」「メモリ特化」「GPU特化」といった具合で、さまざまなカスタマイズが可能。しかし、あまりにも選択肢が多すぎて比較検討が難しいのも事実です。そんなインスタンスの価格やスペック比較を簡単に行えるウェブサービス「EC2Instances.info」をVantageが公開している... 続きを読む

AWSはIaaSでAzureはPaaSという観点で違いを説明｜佐々木康介｜note

2020/12/21 8 users PaaS Azure IaaS Lambda AWS

海外ベンダーの資料にAWSはIaaSでAzureはPaaSって書いてて面白いなと思うと同時に、妙に腑に落ちる分類だなと思いました。それをツイートしたところ、どういうことか書けよとばかりに拡散されたので書きました。 もちろんそんなにバッサリ区分けできるものじゃないし、AWSにはlambdaとかRDSとかPaaSの人気サービスがたく... 続きを読む

Sendgrid Event Webhook + Lambda + RDS Proxy + RDSでバウンスメール撲滅＆メール開封率計測をする - ユアマイスター株式会社エンジニアブログ

2020/12/17 21 users Lambda RDS Proxy

どうも。ユアマイスター星（@inase17000）です。 このブログもしばらくイベントやニュースの告知だけになってしまっていました。。。 今回は久しぶりの技術記事。先日から利用をしているSendgridとAWSの機能紹介と、恥ずかしながらハマったところをシェアします。 それでは行ってみましょう！ 前提条件 ユアマイスターで... 続きを読む

RDSで接続数とメモリ消費量の調整事例 | 外道父の匠

2020/11/24 31 users Aurora MySQL アラート 空きメモリ 側面

RDS Auroraを使っているところで、OSの空きメモリが少なくなったアラートが出たので、それについて細かく考察したら、それなりの量になったのでまとめた感じです。 別にAuroraじゃなくRDS MySQLでも、MySQL Serverでも同じ話なのですが、クラウドならではの側面もあるなということでタイトルはRDSにしております。 RDSの... 続きを読む