Zendesk、DynamoDBからMySQLとS3へ移行し、コストを80％以上削減

2024/02/05 170 users Zendesk MySQL コスト

Rustが再評価される：エコシステムの現状と落とし穴 In this article, we share findings and insights about the Rust community and ecosystem and elaborate on the peculiarities and pitfalls of starting new projects with Rust or migrating to Rust from othe... 続きを読む

DynamoDBでできないこと

2024/01/01 247 users NoSQL RDB 筆者 普段AWS 従来

この記事について 本記事は、筆者が普段AWSの各種サービスを使って感じた感想・気づきをもとに、クラウドアーキの設計やサービスのより良い使い方Tipsを考察するシリーズです。 第二弾も第一弾に引き続きDynamoDBについてです。 DynamoDBはkey-value型のNoSQLであり、従来よく使われていたRDBとは異なるDB特性・クエリ特... 続きを読む

DynamoDBのベストプラクティスを技術的詳細から理解する

2023/11/13 219 users ベストプラクティス

こんにちは。 株式会社CHILLNNという京都のスタートアップにてCTOを務めております永田と申します。 弊社では宿泊施設様向けに宿泊施設の予約管理用のSaaSを提供しており、現時点で1000近くの施設様にご利用いただいています。 現在、これまでに溜め込んだ日本最大級の宿泊コンテンツの検索エンジンを構築しており、その... 続きを読む

Google Cloud Spanner、価格据え置きのままスループットを1.5倍に向上、ノード当たりのストレージも10TBに増強と発表

2023/10/15 7 users スループット ストレージ 増強 AWS 自画

Google Cloudは、大規模分散データベース「Cloud Spanner」について価格を変更することなく従来よりも大幅な性能向上を提供すると発表しました。 Google Cloudとしては珍しく、AWSのAmazon DynamoDBを名指しして「DynamoDBよりも高い性能を半額で提供する」と自画自賛しています。 スループットの50％向上とノード当たり... 続きを読む

いいねとその通知機能をDynamoDBで設計したら思ったよりムズい - エムスリーテックブログ

2023/08/25 163 users fukubaya キャナルシティ劇場 イイネ 複合商業施設

【Unit4 ブログリレー4日目】 こんにちは、エムスリーエンジニアリンググループの福林 (@fukubaya) です。 今回は、SNSではごく一般的ないいねとその通知機能をDynamoDBを利用して実装したら思ったより大変だったので、その詳細をご紹介します。 キャナルシティ劇場は、福岡県福岡市博多区の複合商業施設「キャナルシテ... 続きを読む

Lambda + DynamoDB + LangChainで外部情報に対応したサーバレスチャットボットを作ってみる - NRIネットコムBlog

2023/08/15 16 users LangChain Lambda コンテ チャットボット 保持

Lambda + DynamoDB + LangChainを組み合わせて外部情報に対応したチャットボットを作ってみました。 構成 Lambda Dockerfile requirements.txt lambda_function.py OpenAI Functions Agent 会話履歴の保持 外部情報の参照 DynamoDB 動作確認 まとめ 構成 Lambda LangChainのパッケージが250MBを超えてしまうので、コンテ... 続きを読む

DynamoDBとAmazon Redshiftなど複数のデータベースを、1つのNewSQL「TiDB」で統合に成功［PR］

2023/08/06 13 users NewSQL TiDB 急拡 経理 データベース

DynamoDBとAmazon Redshiftなど複数のデータベースを、1つのNewSQL「TiDB」で統合に成功［PR］ 現在、企業で使われているデータベースの主な役割は、会計や経理、受発注管理、製造管理など、社内業務を適切に管理することで経営を支援するためにデータを記録、分析するための基盤でしょう。 しかしそれに加えて現在急拡... 続きを読む

DynamoDBはバッチ処理よりストリーム処理との相性が良いという話

2023/07/09 11 users テー バッチ 自体 ユーザー バッチ処理

テーブル内に格納されているメールアドレスのデータを使って、1日ごと、1週間ごとに全ユーザーに対してメールを送信したいというバッチがあったとしましょう。 とある1人のユーザーのメールアドレスを調べること自体はQuery操作で可能ですが、バッチ処理の性質上それを全ユーザーに対してやると考えると、実質的にはテー... 続きを読む

イラストで理解するDynamoDBのテーブル - Qiita

2023/05/23 86 users Qiita コンソー テーブル イラスト AWS CLI

はじめに 概要 DynamoDBのテーブルの用語やテーブルの検索方法がまっっったくわからなかったので、イラストをまじえながらいつでも見返せるように書いてみました。 この記事で得られること DynamoDBのテーブルの基礎概念についてイラストで理解できます。 テーブルの操作はaws cliで行なっていますが、もちろんコンソー... 続きを読む

Amazon DynamoDB レイテンシの理解 | Amazon Web Services

2023/05/08 6 users レイテンシ Amazon.com 水平分割 性能 理解

Amazon Web Services ブログ Amazon DynamoDB レイテンシの理解 Amazon DynamoDB は水平分割を使用しほとんどのテーブルサイズに対応することができます。水平分割の例とし、DynamoDB は全てのワークロードサイズに対して数ミリ秒での性能を提供します。Amazon.comなどリテールサイトではDynamoDBをショッピングカードの... 続きを読む

AWS CDKを始めるハンズオン ─ IaCの第一歩をAWS LambdaとDynamoDBのシンプルな仕組みで学ぶ - エンジニアHub｜Webエンジニアのキャリアを考える！

2023/04/27 126 users AWS CDK IAC AWS Lambda ハンズオン

エンジニアHub > 記事一覧 > AWS CDKを始めるハンズオン ─ IaCの第一歩をAWS LambdaとDynamoDBのシンプルな仕組みで学ぶ AWS CDKを始めるハンズオン ─ IaCの第一歩をAWS LambdaとDynamoDBのシンプルな仕組みで学ぶ アマゾン ウェブ サービスが提供するIaC（Infrastructure as Code）の開発キットがAWS CDK（AWS Cloud De... 続きを読む

AWS認証情報をTerraform Cloudに渡さずtfstate置き場として使う方法 | DevelopersIO

2023/03/20 6 users Terr DevelopersIO AWSリソース リソース

「Terraform CloudでAWSリソースをdeployはしなくてもいいけど、tfstate置き場として使いたいな」 tfstateの置き場に困ったことはありませんか？ Terraform Cloudにはstate管理機能があり、とても便利です。 state管理用(S3やDynamodb)のリソースを作成する必要がない stateロック機能が標準でついている 変更差分をTerr... 続きを読む

Amazon DynamoDB の論文を読んでいく - Qiita

2022/12/13 261 users Qiita Abstract AWS 論文 概要

概要 AWS で人気のサービス DynamoDB についての論文が公表され巷で噂になっていたと思う。 今回は、その論文を読み込んでいき、ざっくりまとめていくという記事になります。 完全趣味な記事なので、興味ある人がいれば幸いです笑 Abstract まず論文のタイトルですが、「Amazon DynamoDB: A Scalable, Predictably Perfo... 続きを読む

1000万ユーザに耐えるサーバを作ってみた

2022/05/01 299 users サーバ Twitter GitHub スケーラビリティ 実装

概要 スケーラビリティが高く1000万ユーザに耐えるAPIサーバを作成しました。TwitterのようなSNSです。 実装はGitHubで公開しています。 開発環境は次の通りです。 Node 16.14 Express 4.17.3 DynamoDB 2012-08-10 機能要件は次の通りです。 ツイート機能 ツイートに対してコメント機能 フォロー機能 タイムライン機能 ... 続きを読む

DynamoDBによるOutboxパターンとCDCを用いたCQRSアーキテクチャの実装〜ZOZOMOでの取り組み - ZOZO TECH BLOG

2022/03/24 11 users cDc ZOZO TECH BLOG 保守 普段 開発

こんにちは。ブランドソリューション開発部プロダクト開発ブロックの岡元です。普段はFulfillment by ZOZOとZOZOMOのブランド実店舗の在庫確認・在庫取り置きサービスの開発、保守をしています。 本記事では、ブランド実店舗の在庫確認・在庫取り置きサービスで実装したCQRSアーキテクチャについて紹介させていただきま... 続きを読む

DynamoDB の基礎と設計 / DynamoDB Design Practice

2021/12/10 136 users Transcript 設計 基礎 Inc 実践

Transcript © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon DynamoDB の 基礎と設計 実践で学ぶ Amazon Web Services Japan G.K. Snr. Serverless Specialist Kensuke Shimokawa © 2021, Amazon Web Se... 続きを読む

DynamoDB の設計について考えてみる。 - Qiita

2021/12/08 201 users Qiita キャパシティ ストレージ フルマネージド型 特性

Amazon DynamoDB の特性 フルマネージド型の NoSQL データベースサービス 3つの Availability Zone に保存されるので信頼性が高い 性能要件に応じて、テーブルごとにスループットキャパシティを定義するキャパシティの Auto Scaling、オンデマンドキャパシティといった設定も可能 ストレージの容量制限がない DynamoDB ... 続きを読む

DynamoDB から Redshift へデータ移送する話 （RedshiftのSUPER型の利用事例） - KAYAC engineers' blog

2021/04/26 14 users RedShift preview SUPER 池田 Blog

こんにちは。技術部のSRE所属の池田です。 この記事では、昨年の2020年12月にPreviewが発表されたRedshiftの汎用データ型 SUPER の利用事例として、DynamoDBからRedshiftへデータ移送する話をします。 汎用データ型SUPERは、2020/12/9に 『Amazon Redshift が、ネイティブ JSON と半構造化データ処理のサポートを発表 (... 続きを読む

時系列データの保存先をDynamoDBからTimestreamへ移行すべきか検討してみる | Developers.IO

2020/12/19 8 users アトリビュート カラム ストレージ レコード 時系列データ

計測対象が増えた場合にカラムやアトリビュートが横に増えていくのか、レコードが縦に増えていくのかという違いがあります。 ストレージ Timestreamはメモリストアとマグネティックストアという2種類のストレージを持ちます。それぞれ以下のような役割を持ちます。 メモリストア 新しいデータを保存するためのストレージ... 続きを読む

全文検索SaaSのAlgoliaを使って、DynamoDBのデータを柔軟に検索する | Developers.IO

2020/12/12 18 users Algolia RDBMS サーバーレス SQL AWS

はじめに この記事は Serverless Advent Calendar 2020 12日目の記事です。 CX事業本部の佐藤です。AWSのサーバーレスでアプリケーションを構築する際には、DynamoDBをデータベースとして選択するのはよくある構成かと思います。DynamoDBはNoSQLデータベースの一種なので、RDBMSのようなSQLを使った柔軟な検索などはでき... 続きを読む

AWS、DynamoDBをSQLで操作可能に。SQL互換のクエリ言語「PartiQL」対応を発表 － Publickey

2020/11/24 29 users Publickey PartiQL insert SQL 操作

AWSはNoSQLデータベースサービスのDynamoDBが、SQLで操作可能になるSQL互換のクエリ言語「PartiQL」に対応したことを発表しました。 You now can use PartiQL (a SQL-compatible query language) to query, insert, update & delete table data in DynamoDB. PartiQL makes it easier for you to interact with DynamoDB... 続きを読む

[アップデート]PartiQLを使ったDynamoDBのCRUD操作が可能になりました | Developers.IO

2020/11/24 12 users PartiQL par CRUD操作 岩田 CX事業本部

CX事業本部＠大阪の岩田です。 2020/11/23付けのアップデートにより、PartiQLを利用したDynamoDBのCRUD操作が可能になりました これまでDynamoDBのテーブルデータを操作するにはGetItemやPutItemといった独自の操作を利用する必要がありましたが、今後はPartiQLを利用した操作方法を選択することも可能になりました。Par... 続きを読む

DynamoDBのテーブル設計に最適！NoSQL WorkbenchのData modelerで今度こそDynamoDBを使いこなす！ | Developers.IO

2020/11/06 18 users 佐藤智樹 AWS CX事業本部 案件 設計

はじめに CX事業本部の佐藤智樹です。 今回はAWSが提供しているDynamoDB用のアプリ「NoSQL Workbench」の機能を使ってデータモデリングする流れを解説します。 最近案件でテーブル設計を再検討する必要がありNoSQL Workbenchを使ったところ、サンプルデータを入れながら設計が正しいか検証でき非常に便利だったので紹介... 続きを読む

個人開発・スタートアップで採用すべき最強のアーキテクチャを考えた - Qiita

2020/10/28 418 users Qiita RDS CloudFront GraphQL 最強

結論 「アジリティ」「コスト最適化」「スモールな構成」「開発スピード」という観点でWebアプリケーションのアーキテクチャを考えてみました。 ServerlessFrameworkを使い倒す フロントエンドはS3 hosting + CloudFrontで。SSRもLambda@Edgeでできます データベースはRDSは使わずにDynamoDBで APIは基本的にGraphQL。必... 続きを読む

時系列特化データベースの Amazon Timestream が一般公開（GA）しました！！　時系列データの保存・検索・分析にピッタリ！ | Developers.IO

2020/10/01 8 users Developers.IO 時系列データ 磁気 分析 保存

簡単なデータアクセス 「直近のデータはデータベース（たとえばDynamoDB）にあるが一定期間後にS3に移す」といった事はあると思います。 このような場合に全データを検索しようとすると、DynamoDBとS3に対する検索を行うため、異なる手段・仕組みが必要になります。 しかし、Amazon Timestreamでは、メモリストアと磁気... 続きを読む