tokioから発表された新しいORM「toasty」を触ってみる - Don't Repeat Yourself

2024/11/04 8 users TOKIO ORM SQLite GitHub Don't

toastyは先日tokioから発表されたORMです。 tokio.rs このORMは現状開発段階のもので、まだ実用に耐えうる段階にはないとGitHubには書かれています。というか、crates.ioにはダミー用関数が用意されているだけで、プロジェクトの依存に追加したとしてもまだ何もできません。現時点で対応しているのはsqliteとDynamoDBの... 続きを読む

冪等性で挑む、非同期処理のパフォーマンスチューニング - GS2 Blog

2024/10/07 15 users Lambda サーバーレスアーキテクチャ 続編 整合性 前回

前回好評だった「冪等性と非同期実行」の続編にあたる記事です。 gs2.hatenablog.com 私たちが提供している Game Server Services はバックエンドに Lambda + DynamoDB といったフルマネージドサービスを活用した、いわゆるサーバーレスアーキテクチャで実装されています。 前回の記事はデータの整合性を保ちつつ、いか... 続きを読む

"これはdynamodbでいけるわ"が流行語になった2ヶ月間の備忘録

2024/08/16 119 users 備忘録 データベース エンジニア 復活 心身とも

はじめに 私ごとではありますが、現場でdynamodbをメインのデータベースとして採用してから約2ヶ月が経ちました。 たった2ヶ月いう期間で、何度も心身ともに崩壊し、そして粘り強く復活を遂げ、かろうじて奇跡的にレベルアップをしてきました。 今回の記事では、これからdynamodbの導入を検討しているエンジニアの皆様に... 続きを読む

CSVデータをS3にアップロード時AWS Lambdaをトリガーし、自動的にDynamoDBへデータを書き込んでみた | DevelopersIO

2024/06/09 14 users Amaz DevelopersIO AWS Lambda

CSVデータをS3にアップロード時AWS Lambdaをトリガーし、自動的にDynamoDBへデータを書き込んでみた はじめに Amazon S3バケットにアップロードしたCSVデータをAmazon DynamoDBテーブルに自動的に書き込むAWS Lambdaの作成方法を紹介します。 CSVデータをAmazon S3バケットにアップロード時、AWS LambdaをトリガーしAmaz... 続きを読む

Amazon Connect フローでの離脱箇所と放棄呼をStep FunctionsとLambdaを組み合わせてDynamoDBに保存してみた | DevelopersIO

2024/05/23 11 users DevelopersIO Lambda KDS フロー 本記事

Amazon Connect フローでの離脱箇所と放棄呼をStep FunctionsとLambdaを組み合わせてDynamoDBに保存してみた はじめに Amazon Connectのフローで離脱箇所や放棄呼をAmazon Kinesis Data Streams（以降、KDS）とAWS Step Functions、AWS Lambdaを用いて取得し、Amazon DynamoDBに保存する方法をまとめました。 本記事の内... 続きを読む

Amazon Connectのフローでの離脱箇所と放棄呼をKinesis Data Streamsを用いて取得し、DynamoDBに保存してみた | DevelopersIO

2024/04/21 9 users DevelopersIO KDS IVR フロー 利用用途

Amazon Connectのフローでの離脱箇所と放棄呼をKinesis Data Streamsを用いて取得し、DynamoDBに保存してみた はじめに Amazon Connectのフローで離脱箇所や放棄呼をAmazon Kinesis Data Streams（以降、KDS）を用いて取得し、DynamoDBに保存する方法をまとめました。 利用用途は以下が挙げられます。 IVRでの途中離脱箇... 続きを読む

Zendesk、DynamoDBからMySQLとS3へ移行し、コストを80％以上削減

2024/02/05 170 users Zendesk MySQL コスト

Rustが再評価される：エコシステムの現状と落とし穴 In this article, we share findings and insights about the Rust community and ecosystem and elaborate on the peculiarities and pitfalls of starting new projects with Rust or migrating to Rust from othe... 続きを読む

DynamoDBでできないこと

2024/01/01 247 users NoSQL RDB 筆者 普段AWS 従来

この記事について 本記事は、筆者が普段AWSの各種サービスを使って感じた感想・気づきをもとに、クラウドアーキの設計やサービスのより良い使い方Tipsを考察するシリーズです。 第二弾も第一弾に引き続きDynamoDBについてです。 DynamoDBはkey-value型のNoSQLであり、従来よく使われていたRDBとは異なるDB特性・クエリ特... 続きを読む

DynamoDBのベストプラクティスを技術的詳細から理解する

2023/11/13 219 users ベストプラクティス

こんにちは。 株式会社CHILLNNという京都のスタートアップにてCTOを務めております永田と申します。 弊社では宿泊施設様向けに宿泊施設の予約管理用のSaaSを提供しており、現時点で1000近くの施設様にご利用いただいています。 現在、これまでに溜め込んだ日本最大級の宿泊コンテンツの検索エンジンを構築しており、その... 続きを読む

Google Cloud Spanner、価格据え置きのままスループットを1.5倍に向上、ノード当たりのストレージも10TBに増強と発表

2023/10/15 7 users スループット ストレージ 増強 AWS 自画

Google Cloudは、大規模分散データベース「Cloud Spanner」について価格を変更することなく従来よりも大幅な性能向上を提供すると発表しました。 Google Cloudとしては珍しく、AWSのAmazon DynamoDBを名指しして「DynamoDBよりも高い性能を半額で提供する」と自画自賛しています。 スループットの50％向上とノード当たり... 続きを読む

いいねとその通知機能をDynamoDBで設計したら思ったよりムズい - エムスリーテックブログ

2023/08/25 163 users fukubaya キャナルシティ劇場 イイネ 複合商業施設

【Unit4 ブログリレー4日目】 こんにちは、エムスリーエンジニアリンググループの福林 (@fukubaya) です。 今回は、SNSではごく一般的ないいねとその通知機能をDynamoDBを利用して実装したら思ったより大変だったので、その詳細をご紹介します。 キャナルシティ劇場は、福岡県福岡市博多区の複合商業施設「キャナルシテ... 続きを読む

Lambda + DynamoDB + LangChainで外部情報に対応したサーバレスチャットボットを作ってみる - NRIネットコムBlog

2023/08/15 16 users LangChain Lambda コンテ チャットボット 保持

Lambda + DynamoDB + LangChainを組み合わせて外部情報に対応したチャットボットを作ってみました。 構成 Lambda Dockerfile requirements.txt lambda_function.py OpenAI Functions Agent 会話履歴の保持 外部情報の参照 DynamoDB 動作確認 まとめ 構成 Lambda LangChainのパッケージが250MBを超えてしまうので、コンテ... 続きを読む

DynamoDBとAmazon Redshiftなど複数のデータベースを、1つのNewSQL「TiDB」で統合に成功［PR］

2023/08/06 13 users NewSQL TiDB 急拡 経理 データベース

DynamoDBとAmazon Redshiftなど複数のデータベースを、1つのNewSQL「TiDB」で統合に成功［PR］ 現在、企業で使われているデータベースの主な役割は、会計や経理、受発注管理、製造管理など、社内業務を適切に管理することで経営を支援するためにデータを記録、分析するための基盤でしょう。 しかしそれに加えて現在急拡... 続きを読む

DynamoDBはバッチ処理よりストリーム処理との相性が良いという話

2023/07/09 11 users テー バッチ 自体 ユーザー バッチ処理

テーブル内に格納されているメールアドレスのデータを使って、1日ごと、1週間ごとに全ユーザーに対してメールを送信したいというバッチがあったとしましょう。 とある1人のユーザーのメールアドレスを調べること自体はQuery操作で可能ですが、バッチ処理の性質上それを全ユーザーに対してやると考えると、実質的にはテー... 続きを読む

イラストで理解するDynamoDBのテーブル - Qiita

2023/05/23 86 users Qiita コンソー テーブル イラスト AWS CLI

はじめに 概要 DynamoDBのテーブルの用語やテーブルの検索方法がまっっったくわからなかったので、イラストをまじえながらいつでも見返せるように書いてみました。 この記事で得られること DynamoDBのテーブルの基礎概念についてイラストで理解できます。 テーブルの操作はaws cliで行なっていますが、もちろんコンソー... 続きを読む

Amazon DynamoDB レイテンシの理解 | Amazon Web Services

2023/05/08 6 users レイテンシ Amazon.com 水平分割 性能 理解

Amazon Web Services ブログ Amazon DynamoDB レイテンシの理解 Amazon DynamoDB は水平分割を使用しほとんどのテーブルサイズに対応することができます。水平分割の例とし、DynamoDB は全てのワークロードサイズに対して数ミリ秒での性能を提供します。Amazon.comなどリテールサイトではDynamoDBをショッピングカードの... 続きを読む

AWS CDKを始めるハンズオン ─ IaCの第一歩をAWS LambdaとDynamoDBのシンプルな仕組みで学ぶ - エンジニアHub｜Webエンジニアのキャリアを考える！

2023/04/27 126 users AWS CDK IAC AWS Lambda ハンズオン

エンジニアHub > 記事一覧 > AWS CDKを始めるハンズオン ─ IaCの第一歩をAWS LambdaとDynamoDBのシンプルな仕組みで学ぶ AWS CDKを始めるハンズオン ─ IaCの第一歩をAWS LambdaとDynamoDBのシンプルな仕組みで学ぶ アマゾン ウェブ サービスが提供するIaC（Infrastructure as Code）の開発キットがAWS CDK（AWS Cloud De... 続きを読む

AWS認証情報をTerraform Cloudに渡さずtfstate置き場として使う方法 | DevelopersIO

2023/03/20 6 users Terr DevelopersIO AWSリソース リソース

「Terraform CloudでAWSリソースをdeployはしなくてもいいけど、tfstate置き場として使いたいな」 tfstateの置き場に困ったことはありませんか？ Terraform Cloudにはstate管理機能があり、とても便利です。 state管理用(S3やDynamodb)のリソースを作成する必要がない stateロック機能が標準でついている 変更差分をTerr... 続きを読む

Amazon DynamoDB の論文を読んでいく - Qiita

2022/12/13 261 users Qiita Abstract AWS 論文 概要

概要 AWS で人気のサービス DynamoDB についての論文が公表され巷で噂になっていたと思う。 今回は、その論文を読み込んでいき、ざっくりまとめていくという記事になります。 完全趣味な記事なので、興味ある人がいれば幸いです笑 Abstract まず論文のタイトルですが、「Amazon DynamoDB: A Scalable, Predictably Perfo... 続きを読む

1000万ユーザに耐えるサーバを作ってみた

2022/05/01 299 users サーバ Twitter GitHub スケーラビリティ 実装

概要 スケーラビリティが高く1000万ユーザに耐えるAPIサーバを作成しました。TwitterのようなSNSです。 実装はGitHubで公開しています。 開発環境は次の通りです。 Node 16.14 Express 4.17.3 DynamoDB 2012-08-10 機能要件は次の通りです。 ツイート機能 ツイートに対してコメント機能 フォロー機能 タイムライン機能 ... 続きを読む

DynamoDBによるOutboxパターンとCDCを用いたCQRSアーキテクチャの実装〜ZOZOMOでの取り組み - ZOZO TECH BLOG

2022/03/24 11 users cDc ZOZO TECH BLOG 保守 普段 開発

こんにちは。ブランドソリューション開発部プロダクト開発ブロックの岡元です。普段はFulfillment by ZOZOとZOZOMOのブランド実店舗の在庫確認・在庫取り置きサービスの開発、保守をしています。 本記事では、ブランド実店舗の在庫確認・在庫取り置きサービスで実装したCQRSアーキテクチャについて紹介させていただきま... 続きを読む

DynamoDB の基礎と設計 / DynamoDB Design Practice

2021/12/10 136 users Transcript 設計 基礎 Inc 実践

Transcript © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon DynamoDB の 基礎と設計 実践で学ぶ Amazon Web Services Japan G.K. Snr. Serverless Specialist Kensuke Shimokawa © 2021, Amazon Web Se... 続きを読む

DynamoDB の設計について考えてみる。 - Qiita

2021/12/08 201 users Qiita キャパシティ ストレージ フルマネージド型 特性

Amazon DynamoDB の特性 フルマネージド型の NoSQL データベースサービス 3つの Availability Zone に保存されるので信頼性が高い 性能要件に応じて、テーブルごとにスループットキャパシティを定義するキャパシティの Auto Scaling、オンデマンドキャパシティといった設定も可能 ストレージの容量制限がない DynamoDB ... 続きを読む

DynamoDB から Redshift へデータ移送する話 （RedshiftのSUPER型の利用事例） - KAYAC engineers' blog

2021/04/26 14 users RedShift preview SUPER 池田 Blog

こんにちは。技術部のSRE所属の池田です。 この記事では、昨年の2020年12月にPreviewが発表されたRedshiftの汎用データ型 SUPER の利用事例として、DynamoDBからRedshiftへデータ移送する話をします。 汎用データ型SUPERは、2020/12/9に 『Amazon Redshift が、ネイティブ JSON と半構造化データ処理のサポートを発表 (... 続きを読む

時系列データの保存先をDynamoDBからTimestreamへ移行すべきか検討してみる | Developers.IO

2020/12/19 8 users アトリビュート カラム ストレージ レコード 時系列データ

計測対象が増えた場合にカラムやアトリビュートが横に増えていくのか、レコードが縦に増えていくのかという違いがあります。 ストレージ Timestreamはメモリストアとマグネティックストアという2種類のストレージを持ちます。それぞれ以下のような役割を持ちます。 メモリストア 新しいデータを保存するためのストレージ... 続きを読む