ゲーム業界のデータベース事情。大量のシャーディングで複雑化する負荷分散、メンテナンスで止めないとスケールアップ・ダウンができないなどの課題。解決方法は？［PR］

2023/11/13 242 users 負荷分散 データベース ダウン メンテナンス 課題

ゲーム業界のデータベース事情。大量のシャーディングで複雑化する負荷分散、メンテナンスで止めないとスケールアップ・ダウンができないなどの課題。解決方法は？［PR］ 日常的に多数の同時アクセスが発生し、大量のデータが蓄積されるオンラインゲームのバックエンドは、データベースにとってもっとも過酷な環境の1つ... 続きを読む

TiDBによる大規模ログデータ管理の挑戦！シャーディングなしで大量インサートをさばくには？ - LINE株式会社 - TiDB User Day 2023

2023/07/14 25 users TiDB ログデータ RDB 大塚 ソフトウェアエンジニア

TiDBによる大規模ログデータ管理の挑戦！シャーディングなしで大量インサートをさばくには？ - LINE株式会社 - TiDB User Day 2023 イベント開催日：2023年7月7日 講演者：LINE株式会社　ITSC データベース室　MySQL 1チーム ソフトウェアエンジニア　大塚 知亮 氏 本スライドでは、TiDBで大量のログデータを管理するRDB... 続きを読む

Auroraのような設計のRDBMSにおいて,LSNの発行はmaster nodeで行わないといけないがために書き込みnodeは一台に制限される(DB管理者が手動でシャーディングするケースは別と指定)という理解は正

2023/02/25 17 users RDBMS Aurora 熊崎 宏樹 node

Auroraのような設計のRDBMSにおいて,LSNの発行はmaster nodeで行わないといけないがために書き込みnodeは一台に制限される(DB管理者が手動でシャーディングするケースは別と指定)という理解は正確ですか？ 熊崎 宏樹:データベースを専門としない人からパワポ絵の解像度でこの質問がされたなら「はい大体そんな感じです」... 続きを読む

ISUCON10 予選敗退の記録と反省 | ebiebievidence.com

2020/09/20 13 users 予選敗退 ISUCON1 反省 記録 初動

目次 はじめに 記録 メンバー 事前準備 初動 ツール 当日 流れ コミュニケーション 実施したこと 上記以外の反省 デプロイフローの確立は第一に行うべき @ebiebievidence がこれから学ぶべきこと チームの役割編成 初動に時間がかかってしまった シャーディング完全に思いつかなかった まとめ はじめに 2020/09/28 に開... 続きを読む

LINEマンガのデータベースをシャーディングしました (データベースエンジニア編) - LINE ENGINEERING

2019/05/29 23 users シャー 小田 LINE Engineering データベース

はじめに こんにちは、データベース室の小田です。 今回はLINEマンガのデータベースをシャーディングした作業について、サーバエンジニア編とデータベースエンジニア編に分けてご紹介したいと思います。 本エントリでは、シャーディングに至った経緯、データベースエンジニア側で検討したことについて書いていこうと思い... 続きを読む

LINEマンガのデータベースをシャーディングしました (サーバーアプリケーション編) - LINE ENGINEERING

2019/05/28 32 users シャー LINE Engineering データベース 経緯

はじめに こんにちは、LINEマンガ開発の伊藤です。 今回はLINEマンガのデータベースをシャーディングした作業について、サーバーエンジニア編とデータベースエンジニア編に分けてご紹介したいと思います。 本エントリでは、シャーディングに至った経緯や対応方針、アプリケーション側で改修したことについて書いていこう... 続きを読む

JDBCレイヤでDBのシャーディングを行うsharding-jdbcを試してみた - たけぞう瀕死ブログ

2017/02/20 47 users JDBC Sharding レイヤ github.com 手法

2017 - 02 - 21 JDBCレイヤでDBのシャーディングを行うsharding-jdbcを試してみた Java DBのデータ量が増えてきた場合の対策の1つとしてユーザIDなどをキーにデータベースを分割するシャーディングと呼ばれる手法があります。これを JDBC のレイヤで実現してしまうsharding- jdbc というライブラリを見つけました。 github.com sharding-... 続きを読む

第1回 MongoDBの単体性能（前編） (1/2)：EnterpriseZine（エンタープライズジン）

2015/07/22 34 users MongoDB EnterpriseZine 連載 前編 実際

「初心者から中級者になるためのMongoDB講座」は、MongoDBをインストールして実際にアプリケーションを作っている方、MongoDBのレプリケーションを運用しているが仕組みはあまりわからない方、シャーディングに手を出そうとしているが不安な方、そんなMongoDB初心者のみなさんへ向けた連載です。MongoDBはサクッとアプリケーションを作るのに適しています。しかし作ったアプリをいざ運用しよう... 続きを読む

シンプルで移行しやすいデータベースシャーディング - クックパッド開発者ブログ

2015/06/22 390 users Rails クックパッド クックパッド開発者ブログ 小野

2015-06-22 シンプルで移行しやすいデータベースシャーディング 技術部の小野(taiki45)です。クックパッドではこれまで様々なデータベースの負荷対策を行ってきましたが、シャーディングは行われていませんでした。しかし先日クックパッドの認可サーバーが利用している MySQL サーバーの負荷分散のためにクックパッドで初めてのシャーディングを行ったので、Rails アプリケーションでのシャーデ... 続きを読む

データベースのシャーディングを自動運用してくれる「Azure SQL Database Elastic Scale」が公開 － Publickey

2014/10/05 46 users Publickey データベースサーバ データベース 分散

データを分割して複数のデータベースサーバで分散処理することで高いスケーラビリティを実現する手法「シャーディング」が、Microsoft Azureの新機能「Azure SQL Database Elastic Scale」としてプレビュー公開されました。 シャーディングの処理は一般に、データの分割方法や分割したシャードごとのデータベースサーバの割り当て、データベースサーバに割り当てた後で負荷に偏り... 続きを読む

MySQLのシャーディングを実現する「MySQL Fabric」をリリース、米オラクル － Publickey

2014/06/02 79 users Publickey Java Python PHP MySQL

大規模なWebアプリケーションのバックエンドでは、データを分割して複数のデータベースで運用することによりスケーラブルな運用を実現する「シャーディング」と呼ばれる技術がよく使わています。 米オラクルはMySQLでこのシャーディングを実現するソフトウェア「MySQL Fabric」を含む「MySQL Utilities」をリリースしました。 PHP、Java、Pythonに対応 MySQL Fabri... 続きを読む

TwitterとDiggがNoSQLの「Cassandra」を選ぶ理由 － Publickey

2010/03/08 401 users Sharding スケーラブル Cassandra digg

スケーラブルなデータベースを実現する手段として「Sharding MySQL plus memcached」がよく知られる方法だとは、1つ前の記事「MySQL+Memcachedの時代は過ぎ、これからはNoSQLなのか、についての議論」で紹介しました。 ちなみに「Sharding」（シャーディング）とは複数のデータベースにデータを分散して運用することで、ざっくりいえばShared Nothing的... 続きを読む