Amazon BedrockのKnowledge BaseでRAGを構築し、RDSのデータを分析するアプリケーションを開発する | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ

2024/03/29 25 users Rag IoT SQL MySQL AWS

Amazon BedrockのKnowledge BaseでRAGを構築し、RDSのデータを分析するアプリケーションを開発する はじめに こんにちは！ 第一SAチームのshikaです。 普段、あるAmazon RDS上のデータベース（MySQL）に対し、SQLを実行してデータを参照しています。 毎回SQLクエリを実行するのが手間だったので、データ検索を容易にする... 続きを読む

原因不明だったRDS負荷のスパイクを改善できた話 - Qiita

2024/01/04 25 users Qiita スパイク 一連 負荷 現象

概要 当時数ヶ月間誰も原因がわからなかった一時的にRDSの負荷（CPU使用率）がスパイクする現象の原因を調査できる環境を整えて、原因分析〜改善まで実施したときの話です。 1つ1つの取り組み自体は大きなことはやっていませんが、一連の動きで得られたものも多かったのでアウトプットしようと思い記事にまとめました。 ... 続きを読む

EC2 Instance Connect Endpoint経由でRDSに接続してみた | DevelopersIO

2023/06/15 62 users DevelopersIO RDP SSH プロトコル 実装

しばたです。 前に書いた記事でEC2 Instance Connect Endpointの接続はWebSocketトンネルを介したものであると説明しました。 また、プロトコルもSSHだけに制限されておらずRDPも使用可能でした。 AWS CLIの実装からEC2 Instance Connect Endpointを読み解いてみた EC2 Instance Connect Endpoint経由でWindows Serverに... 続きを読む

RDSのDBメンテナンスについて

2023/05/31 82 users TiB MySQL メンテナンス 整理 ダウンタイム

内容 らくがき記事、RDSでダウンタイムなしの24-365構成ってどうすればと思い書いている記事です。 とりあえずはRDSでメンテナンスやアップデート処理が走る時に、サービスダウンするのか否かを整理した資料となります。 RDS(MySQL)の整理 機能概要 最大 64 TiB のデータベースサイズをサポート 汎用インスタンスクラス... 続きを読む

Python で RDS に格納されている各種ログをダウンロードする - 継続は力なり

2023/03/08 15 users Python 各種ログ 継続

タダです. AWS 利用料のうち CloudWatch Logs への取り込みが高くかかっていました( DataProcessing-Bytes という項目).そこで,下記のページを参照して調べてみたところ一番容量があったのが Aurora のログでした.そのログを CloudWatch Logs に出力せずダウンロードし,S3 などにアップロードしていけばコスト削減に繋が... 続きを読む

RDS/Aurora バージョンアップのポイント

2023/01/17 15 users Aurora RDBMS 朝会 JAWS-UG MySQL

Transcript RDS/Aurora バージョンアップのポイント JAWS-UG 朝会 #41　2023/1/17 まつひさ（hmatsu47） 自己紹介 松久裕保（@hmatsu47） • https://qiita.com/hmatsu47 名古屋で Web インフラのお守り係をしています JAWS-UG 名古屋・浜松を中心に活動しています ◦ 「RDBMS（MySQL）の話をする人」として認知されている... 続きを読む

MySQLからPostgreSQLに移行する際のTips - そーだいなるらくがき帳

2022/12/18 232 users PostgreSQL MySQL Tips そーだい 注意点

このエントリーは Classi developers Advent Calendar 2022の18日目。 ネタはなんでもいいよ！とのことなので、Claasiに全く関係なく、MysqlからPostgreSQLに移行する際の注意点を書く。 なお、まだRDSにPostgreSQLがなかった頃のような昔の記事だがこちらに無いことを書いていく。 soudai1025.blogspot.com soudai1025.... 続きを読む

クロスアカウントでの暗号化したRDSのスナップショット利用には気をつけようという話 - LIVESENSE ENGINEER BLOG

2022/12/04 14 users VPoE tl;dr クロスアカウント 社内LT大会 ネタ

これは Livesense Advent Calendar 2022 DAY 4 の記事です。 こんにちは。アルバイト事業部エンジニアの@mnmandahalfです。 今日は先日開催された社内LT大会で話したネタを記事にしてみたいと思います。 VPoEだけが追い出された？！エンジニアLT大会を開催した話 - LIVESENSE ENGINEER BLOG TL;DR クロスアカウントで暗... 続きを読む

クエリログを使ったPostgreSQLの負荷テスト - カンムテックブログ

2022/12/04 69 users SRE Aurora クエリログ PostgreSQL 性能

SREの菅原です。 この記事はカンム Advent Calendar 2022の４日目の記事になります。 少し前にサービスで使っているPostgreSQLをRDSからAuroraに移行しました。 Auroraに移行するため色々と作業を行ったのですが、その中でAuroraの性能を測るために行った負荷テストについて書きます。 pgbench まず最初にpgbenchを使っ... 続きを読む

【衝撃】AWSのRDSがデータを失わないBlue/Greenデプロイに対応しました | DevelopersIO

2022/11/28 308 users DevelopersIO Greenデプロイ Gデプロイ

ステートフル満載なデータベースにまでBlueGreenデプロイを適用するAWSの衝撃の謎技術について、速報をお届けします。 「最近は、データベースもB/Gデプロイできるらしいよ？」 「そりゃそうやろ。B/Gデプロイなんて、最近当たり前………　へ？DBが？無理でしょ？ほぇ？どういうこと？」 最初アップデートのタイトルを見た... 続きを読む

New – Fully Managed Blue/Green Deployments in Amazon Aurora and Amazon RDS | Amazon Web Services

2022/11/28 99 users Databases New

AWS News Blog New – Fully Managed Blue/Green Deployments in Amazon Aurora and Amazon RDS When updating databases, using a blue/green deployment technique is an appealing option for users to minimize risk and downtime. This method of making database updates requires two database environments—your ... 続きを読む

RDSがAuroraより速い！？について調べてみた - なからなLife

2022/04/08 17 users Aurora Twitter 要点 life ベンチマーク

長くなりそうなので、先に要点だけ。 Twitterで 先日の「RDSの方がAuroraより速いケース」の件、とりあえず調べたい範囲のベンチマーク取れた。元記事って2000万件*5=1億件を1クライアントで処理してるのな。で、普通に？HammerDB TPC-Cで多重度上げてもRDSが速いケースがないか調べた。— atsuizo (@atsuizo) 2022年4月7... 続きを読む

よくあるオンプレOracleからRDSに移行したDBAの反省文 - ASMのきもち

2021/12/16 211 users Qiita ASM PostgreSQL DBA きもち

この記事は JPOUG Advent Calendar 2021 - Adventar 17日目の記事です。 昨日はShinodaさんの「Oracle Database から PostgreSQL への接続を試す - Qiita」でしたね。 いやーOracle Database Gateway for ODBC全然使ったことがなかったので、これはぜひやってみよ…あれ、RDSでできるの？明日AWSサポートに早速連絡してみ... 続きを読む

New – Amazon DevOps Guru for RDS to Detect, Diagnose, and Resolve Amazon Aurora-Related Issues using ML | Amazon Web Services

2021/12/01 10 users New Amazon Web Services

AWS News Blog New – Amazon DevOps Guru for RDS to Detect, Diagnose, and Resolve Amazon Aurora-Related Issues using ML Today we are announcing Amazon DevOps Guru for RDS, a new capability for Amazon DevOps Guru. It allows developers to easily detect, diagnose, and resolve performance and operation... 続きを読む

マルチAZ DBクラスター、RDS(MySQL,Postgres)の新しい高可用性オプションを試してみた | DevelopersIO

2021/11/24 22 users DevelopersIO すずき マルチAZ AWSチーム

マルチAZ DBクラスター、RDS(MySQL,Postgres)の新しい高可用性オプションを試してみた AWSチームのすずきです。 Amazon RDS でプレビューリリースされたマルチAZ DBクラスター (3−AZ DBクラスター)、 3つのアベイアビリティゾーン(AZ)に3つのインスタンスを配置、1台のライターと、2台のリーダーの構成を試す機会があり... 続きを読む

5000万件越えのRDS大量データをFirestoreに移行する勘所 - ANDPAD Tech Blog

2021/03/23 90 users Firestore チャットサービス アンドパッド 勘所 課題

はじめまして、開発部の@taikishiinoです。 2020年3月にアンドパッドにジョインし、約一年が経ちました。 現在、チャットサービスの開発・運用をするチームに所属しており、その中で最近、RDSからFirestoreへのデータ移行を行いました。 本記事では、その際の課題やそれに対して実際に行ったことなどを中心にご紹介して... 続きを読む

「RDSのトラブル発生に備えて！やっておくべき設定・監視」登壇資料 #jawsug #jawsdays #jawsdays2021 #jawsdays2021_B | DevelopersIO

2021/03/20 16 users DevelopersIO CONNECT 補足 セッション

おはこんばんちは！オペレーション部のもっさん@福岡オフィスです。 2021/03/20 に開催された JAWS DAYS 2021 -re:Connect- で、「RDSのトラブル発生に備えて！やっておくべき設定・監視」というテーマで登壇しました。 セッション資料 セッションの補足・解説 本セッションの目的 RDS に触れ始めたばかりの方や、これか... 続きを読む

AWSのEC2やRDSの価格＆スペックを簡単に比較できる「EC2Instances.info」を使ってみた - GIGAZINE

2021/02/14 33 users Vantage GIGAZINE ウェブサービス AWS 汎用

クラウドサービスのインスタンスは用途に応じて「汎用」「メモリ特化」「GPU特化」といった具合で、さまざまなカスタマイズが可能。しかし、あまりにも選択肢が多すぎて比較検討が難しいのも事実です。そんなインスタンスの価格やスペック比較を簡単に行えるウェブサービス「EC2Instances.info」をVantageが公開している... 続きを読む

Sendgrid Event Webhook + Lambda + RDS Proxy + RDSでバウンスメール撲滅＆メール開封率計測をする - ユアマイスター株式会社エンジニアブログ

2020/12/17 21 users Lambda RDS Proxy

どうも。ユアマイスター星（@inase17000）です。 このブログもしばらくイベントやニュースの告知だけになってしまっていました。。。 今回は久しぶりの技術記事。先日から利用をしているSendgridとAWSの機能紹介と、恥ずかしながらハマったところをシェアします。 それでは行ってみましょう！ 前提条件 ユアマイスターで... 続きを読む

RDSで接続数とメモリ消費量の調整事例 | 外道父の匠

2020/11/24 31 users Aurora MySQL アラート 空きメモリ 側面

RDS Auroraを使っているところで、OSの空きメモリが少なくなったアラートが出たので、それについて細かく考察したら、それなりの量になったのでまとめた感じです。 別にAuroraじゃなくRDS MySQLでも、MySQL Serverでも同じ話なのですが、クラウドならではの側面もあるなということでタイトルはRDSにしております。 RDSの... 続きを読む

個人開発・スタートアップで採用すべき最強のアーキテクチャを考えた - Qiita

2020/10/28 418 users Qiita CloudFront DynamoDB API

結論 「アジリティ」「コスト最適化」「スモールな構成」「開発スピード」という観点でWebアプリケーションのアーキテクチャを考えてみました。 ServerlessFrameworkを使い倒す フロントエンドはS3 hosting + CloudFrontで。SSRもLambda@Edgeでできます データベースはRDSは使わずにDynamoDBで APIは基本的にGraphQL。必... 続きを読む

最大同時接続数を1に制限したRDSにRDS Proxyを構成して基本動作を抑えよう | Developers.IO

2020/07/02 21 users クライアントアプリケーション RDS Proxy 岩田 ＥＣ

CX事業本部＠大阪の岩田です。 社内で需要がありそうだったので、RDS Proxyの基本動作について簡単にまとめてみました。クライアントからの最大同時接続数を1に設定したRDSに対してRDS Proxyを構成し、クライアントアプリケーションに見立てたEC2からいくつかのパターンで接続を試行した結果をまとめています。 環境 今... 続きを読む

LambdaからRDS/RDBを利用する際に意識したいポイント5選 | Developers.IO

2020/06/07 149 users Lambda RDB アーキテクチャ 岩田 以後

CX事業本部@大阪の岩田です。私が現在関わっているプロジェクトではLambda × RDSというアーキテクチャを採用して開発を進めています。開発を進める中でLambda × RDS(RDB)という構成についてある程度ノウハウが貯まってきたので、注意したいポイントやオススメの設定をTIPS的に紹介していきます。 環境 以後の説明では以... 続きを読む

Announcing Amazon Relational Database Service (RDS) Snapshot Export to S3

2020/01/24 10 users

You can now export Amazon Relational Database Service (Amazon RDS) or Amazon Aurora snapshots to Amazon S3 as Apache Parquet, an efficient open columnar storage format for analytics. The Parquet format is up to 2x faster to export and consumes up to 6x less storage in Amazon S3, compared to text ... 続きを読む

Aurora ServerlessのData APIは裏側でコネクションプーリングを実現してくれているという話 ｜ Developers.IO

2019/11/11 28 users Lambda コネクションプーリング CX事業本部 問題 裏側

CX事業本部の岩田です。 Aurora ServerlessのData APIがリリースされた際に「Lambda <-> RDSの最大同時接続数の問題が改善される」といった話を聞くことが多かったのですが、なぜhttpsのエンドポイントができただけで同時接続数の問題が解決するのか、いまいち良く分かりませんでした。 # DBへの接続処理 # コールドスタ... 続きを読む