DWHにおけるデータモデリングで大事にしている考え方 

2024/02/02 94 users データモデリング データウェアハウス 弊社 支援 代表

こんにちは。データエンジニアリングの支援を行っているstable株式会社の代表の宮﨑（@ikki_mz）です。弊社では、クライアント社内のデータウェアハウス（DWH）におけるデータモデリングをサポート... 続きを読む

ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery - Speaker Deck

2019/02/17 165 users ZOZOTOWN BigQuery RedShift お引越

ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery 続きを読む

ベンチャー企業におけるDWH DevOps @ Retty - Retty Tech Blog

2018/12/15 125 users Retty ベンチャー企業 Retty Tech Blog

※ Retty Advent Calendar 15日目の記事です おしながき はじめに ベンチャー企業とデータ活用 完璧さよりも早さを重視する Rettyにおける現状 DWHの開発で大切にしていること プロダクトとしてのUXを大事に プロダクトとしての変化を大事に 開発者として横断的な動きを大事に RettyにおけるDWHの開発プラクティス BigQue... 続きを読む

Dockerでデプロイ、60ノードまでスケールアウト、Sparkで分析 　テラバイト・クラスの集計処理もあっさり返すdashDB LocalでDWHを構築する - はてなニュース

2017/05/29 254 users インメモリ Docker データウェアハウス Spark エム

日本アイ・ビー・エム（以下、日本IBM）の「IBM dashDB Local」は、プライベートクラウド/ハイブリッドクラウドに最適な構成を持つデータウェアハウス（DWH）向けの製品である。Dockerコンテナとしてデプロイ、スケールアウト（規模拡大）でき、データ量や処理負荷の急増に柔軟に対応できる。インメモリの列指向データベースと並列処理により検索処理を高速に実行する。システムの成長に柔軟に対応で... 続きを読む

100倍で考える | Preferred Research

2014/10/06 179 users Preferred Research Wired 100倍

私が最近強く印象に残った言葉が10倍で物事を考えるです[wired]。 これが私の記憶の中で拡大解釈され、今は100倍で物事を考えるようになっています。 「100倍」というのは一見すると不可能なことの例えのように思えますが、決してそんなことはありません。 どの程度現実的か例をあげて考えてみましょう。 DWH（DBと考えても良いです）という分野を考えてみます*1。 *1 この分野は専門家ではないので... 続きを読む

100倍で考える | Preferred Research

2014/10/06 179 users Preferred Research Wired 100倍

私が最近強く印象に残った言葉が10倍で物事を考えるです[wired]。 これが私の記憶の中で拡大解釈され、今は100倍で物事を考えるようになっています。 「100倍」というのは一見すると不可能なことの例えのように思えますが、決してそんなことはありません。 どの程度現実的か例をあげて考えてみましょう。 DWH（DBと考えても良いです）という分野を考えてみます*1。 *1 この分野は専門家ではないので... 続きを読む

Amazon Redshiftで構築するビッグデータ分析環境の構成要素と全体像 （1/2）：CodeZine

2014/05/30 60 users CodeZine データウェアハウス AWS 全体像 構成要素

数多くのAWS（Amazon Web Sevices）サービスのうち、“ビッグデータ”を扱う環境として注目を浴びているのが、データウェアハウス（以下、DWH）サービスの「Amazon Redshift」です。機能追加や改善リリースも頻繁に行われています。しかし、興味や関心はあるものの、使い方や環境構築に不安、疑問をお持ちの方も多いのではないでしょうか。この連載では、Amazon Redshiftと... 続きを読む

数百億件のデータを30秒で解析――クラウド型DWH「Treasure Data」に新サービス - ITmedia エンタープライズ

2013/12/09 117 users Treasure Data 解析 データウェアハウス データ

Hadoopベースのクラウド型DWHサービス「Treasure Data Service」に、数百億件のデータを30秒程度で分析できるというオプションサービスが追加された。 クラウド型のデータウェアハウス（DWH）サービス「Treasure Data Service」を手掛けるトレジャーデータは12月9日、クエリの実行速度を従来比で10～50倍に高速化するというオプションサービス「Treasure... 続きを読む

「Amazon Redshift」を使ってみた　～使いどころと、つまずきがちなポイント （1/2）：CodeZine

2013/07/10 82 users CodeZine データウェアハウス AWS 筆者 使いどころ

2013年6月から東京リージョンでも利用可能になったAmazon Redshift。本記事では、サービス開始当初からいち早く触れてきた筆者が、使ってみた印象、そしてその際につまずいた点などを紹介します。 はじめに　Amazon Redshiftは、Amazon Web Services（AWS）が提供するデータウェアハウス（DWH）サービスで、2013年2月に正式リリースされ、同6月4日には東京リ... 続きを読む

グーグル、BigQueryを正式公開。SQLで大規模データに対して高速処理 － Publickey

2012/05/07 282 users Publickey BigQuery OLAP SQL 一種

BigQueryはカラム型データストアの一種で、テラバイトクラスの大規模データに対して大量の並列処理を行うことで高速に結果を得ることが可能。グーグル 佐藤一憲氏の発言によると、 OLAP/DWH/Data Miningで行われるようなread onlyのad hocクエリをきわめて高速（数秒〜数十秒）に実行します。 とのこと。 SQLによる問い合わせが可能 この高速性に加え、BigQueryではS... 続きを読む