DWHにおけるデータモデリングで大事にしている考え方 

2024/02/02 94 users データモデリング データウェアハウス 弊社 支援 代表

こんにちは。データエンジニアリングの支援を行っているstable株式会社の代表の宮﨑（@ikki_mz）です。弊社では、クライアント社内のデータウェアハウス（DWH）におけるデータモデリングをサポート... 続きを読む

AWS、Aurora MySQLとRedshiftをほぼリアルタイムに同期する「Amazon Aurora MySQL zero-ETL integration with Amazon Redshift」正式版に。追加料金なしで利用可能

2023/11/12 16 users RedShift OLTP Amaz AWS リアルタイム

Amazon Web Services（AWS）は、Aurora MySQLとAmazon Redshiftのあいだでデータをほぼリアルタイムに同期する新サービス「Amazon Aurora MySQL zero-ETL integration with Amazon Redshift」（以下、zero-ETL）が正式版となったことを発表しました。 参考：［速報］Amazon AuroraのOLTPとRedshiftのDWHを統合する「Amaz... 続きを読む

【合格体験記】DB初心者が2か月でSnowPro Coreに合格した - Qiita

2023/07/10 7 users Qiita 言及 合格体験記 興味 勉強

はじめに 先日DB初心者（DWHですらない）から、2か月の勉強でSnowPro Coreを取得しました。 勉強にあたりやってよかったことなどをまとめておきます。資格取得記事は最近無限に生産されているので、あまり他では言及がなさそうなことを中心にしようと思います。 こんな方におすすめ SnowPro Coreに興味はあるが、実務経... 続きを読む

［速報］Amazon AuroraのOLTPとRedshiftのDWHを統合する「Amazon Aurora zero-ETL integration with Amazon Redshift」発表。AWS re:Invent 2022

2022/11/29 42 users あいだ AWS 米ラスベガス 基調講演 年次イベント

Amazon Web Services（AWS）の年次イベント「AWS re:Invent 2022」が米ラスベガスで開催中です。 2日目の基調講演には、AWS CEOのAdam Selipsky氏が生バンドの演奏とともに登場しました。 Selipsky氏は、さまざまなデータを分析する上で多数の分析ツールのあいだでデータを転送しなければならない問題を指摘し、データ転... 続きを読む

楽天グループが数ペタバイト級の会員分析DBを刷新、Google BigQueryを選んだわけ

2022/04/19 8 users Google BigQuery 楽天グループ クラウ データ

楽天グループは2022年4月19日、ユーザーの属性情報や行動情報などを分析するデータベース（DB）である「楽天スーパーDB」の稼働環境に、米Google（グーグル）のクラウドサービス「BigQuery」を採用したと発表した。これまでオンプレミス環境のデータウエアハウス（DWH）で管理していた数ペタバイト級のデータを、クラウ... 続きを読む

MonotaROのデータ基盤10年史（後編） - MonotaRO Tech Blog

2021/12/23 20 users MonotaRO BigQuery 後編 香川 データ基盤

こんにちは。データ基盤グループの香川です。 本記事は、MonotaRO のデータ基盤の歴史についての社内での発表の文字起こし記事の後編になります。 前編の記事： tech-blog.monotaro.com 前編では データ基盤の変遷の概要 2010年頃のデータ基盤 販促基盤とDWH（2010~2015) データ基盤構想とBigQueryの導入（2015~2017年) ... 続きを読む

コンピュートとストレージの分離から紐解くBigQueryの権限モデル - ZOZO Technologies TECH BLOG

2021/09/02 9 users BigQuery コンピュート 塩崎 ストレージ 分離

こんにちは。SRE部DATA-SREチームの塩崎です。Software Design誌の2021年9月号に弊社でのBigQuery活用事例を寄稿しましたので、書店などで見かけた際は購入していただけますと嬉しいです。 gihyo.jp さて、BigQueryはコンピュートとストレージを分離することで高いスケーラビリティを達成しているData WareHouse(DWH)で... 続きを読む

dbtを触ってみた感想 - yasuhisa's blog

2021/07/24 15 users dbt Dataform 前職 構築 バックグラウンド

データエンジニア系の勉強会で最近dbtがぱらぱらと話題に出てくるようになった & 4連休ということで、夏休みの自由研究がてらdbtを触ってみました。書いてる人のバックグラウンドは以下の通り。 DWHやデータマートの構築のためのETLツールを模索中(特にTの部分) プライベートではDataformを使っている 前職でも仕事の一... 続きを読む

データ分析基盤構築の肝は、データレイクとDWHの分離 - NRIネットコム Design & Tech Blog

2021/05/10 9 users NRIネットコム dkfj 欠損 DESIGN 分離

こんにちは佐々木です。 いろいろなところで口を酸っぱくして言っているのは、データレイクとDWHを分離しろと。とりあえずDWHに放り込むという考えはあるけど、DWHに入れる時点でデータの整形が行われて、情報の欠損がでてくる。だから、その前にデータレイクに生のままに入れること— Takuro SASAKI (@dkfj) 2021年5月1... 続きを読む

dbtとDataformを比較し、dbtを使うことにした - Attsun blog

2021/02/12 10 users dbt Pros Dataform 担保 プラットフォーム

TL;DRdbt, Dataformについて簡単に紹介dbtDataform比較対応するプラットフォーム主要な機能外部ツールとの接続性運用時のあれこれ両者のPros/Consまとめ私たちの選択どちらを使うべきなのか？選ばれたのは、dbtでしたまとめ最近、業務でDWH / Datamartの整備やデータ品質の担保を効率的に行いたくなる事情があり、調査し... 続きを読む

BigQueryの監査ログをリアルタイムに監視して使いすぎを防止してみる - ZOZO Technologies TECH BLOG

2021/01/12 16 users BigQuery 七味唐辛子 SaaS 監査ログ SRE部

こんにちは。SRE部の塩崎です。 七味唐辛子の粉末を7種類に分類するという趣味を発展させて、おっとっとを新口動物と旧口動物に分類するという趣味を最近発明しました。 BigQueryは非常にパワフルなData WareHouse(DWH) SaaSであり、大容量のデータを一瞬で分析できます。しかし、課金額がスキャンしたデータ量に比例す... 続きを読む

[動画公開] データ分析を支える技術 DWH再入門 #devio2020 | Developers.IO

2020/06/19 5 users Developers.IO devio2020 データ分析

データアナリティクス事業本部の石川です。今週より開催しているクラスメソッド主催のオンラインカンファレンス、Developers.IO 2020 CONNECTにて「データ分析を支える技術 DWH再入門」というテーマにてセッション動画と資料を公開いたしました。 セッション概要 分かりそうで分からないDWH、何のために導入して、どのよ... 続きを読む

DWHを活用した機械学習プロジェクト/ml-with-dwh - Speaker Deck

2019/12/02 7 users Event クックパッド Speaker Deck

Data Platform Meetup 【vol.2】 https://data-platform-meetup.connpass.com/event/155073/ での発表スライドです。 クックパッドにおける，DWHと密に連携した機械学習プロジェクトの話です。 続きを読む

AI開発とデータ活用なら　データデザイン／富士通クラウドテクノロジーズ | FJCTのデータデザイン事業はDWH/BI/DMP等の構築支援、アドホック分析＆レポート、人工知能開発などのデータ活用

2019/09/10 6 users DMP 富士通クラウドテクノロジーズ 人工知能開発 ＡＩ開発

データを 価値に変える 「Direction」×「Analytics」×「Engineering」 人工知能(AI)の開発をコアバリューに、 世の中のさまざまな課題をデータで解決します。 続きを読む

なぜ大手新聞社は「AWS」から「Google Cloud Platform」への移行を決めたのか：「BigQuery」での成功体験が決め手 - TechTargetジャパン クラウド

2019/05/07 25 users BigQuery データウェアハウス GCP AWS 決め手

関連キーワード Google | Amazon Web Services | クラウドコンピューティング | データウェアハウス（DWH） 英紙「Daily Telegraph」を発行する大手新聞社Telegraph Media Groupは、同社のITインフラのほぼ全てをGoogleのクラウドサービス「Google Cloud Platform」（GCP）に移行することを計画している。その理由はコス... 続きを読む

ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery - Speaker Deck

2019/02/17 165 users ZOZOTOWN BigQuery RedShift お引越

ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery 続きを読む

自社にとってのベストはどれ？─ダイソーが行ったBIツール徹底検証 | IT Leaders

2019/01/15 23 users ダイソー IT Leaders 自社 杉田 ユーザー事例

IT Leaders トップ ＞ テクノロジー一覧 ＞ BI／BA／DWH ＞ ユーザー事例 ＞ 自社にとってのベストはどれ？─ダイソーが行ったBIツール徹底検証 BI／BA／DWH BI／BA／DWH記事一覧へ [ユーザー事例] 自社にとってのベストはどれ？─ダイソーが行ったBIツール徹底検証 2019年1月15日(火)杉田 悟（IT Leaders編集部） データ... 続きを読む

ベンチャー企業におけるDWH DevOps @ Retty - Retty Tech Blog

2018/12/15 125 users Retty ベンチャー企業 Retty Tech Blog

※ Retty Advent Calendar 15日目の記事です おしながき はじめに ベンチャー企業とデータ活用 完璧さよりも早さを重視する Rettyにおける現状 DWHの開発で大切にしていること プロダクトとしてのUXを大事に プロダクトとしての変化を大事に 開発者として横断的な動きを大事に RettyにおけるDWHの開発プラクティス BigQue... 続きを読む

ベンチャー企業におけるDWH DevOps @ Retty - Retty Tech Blog

2018/12/15 16 users Retty ベンチャー企業 Retty Tech Blog

※ Retty Advent Calendar 15日目の記事です おしながき はじめに ベンチャー企業とデータ活用 完璧さよりも早さを重視する Rettyにおける現状 DWHの開発で大切にしていること プロダクトとしてのUXを大事に プロダクトとしての変化を大事に 開発者として横断的な動きを大事に RettyにおけるDWHの開発プラクティス BigQue... 続きを読む

BigQuery MLの線形回帰で電力需要予測やってみた – google-cloud-jp – Medium

2018/07/30 46 users medium google-cloud-jp 線形回帰 吉村

BigQuery MLの線形回帰で電力需要予測やってみたグルーヴノーツ コンサルタントの吉村です。 先週（日本時間7月26日午前1時過ぎ）に発表されたBigQuery MLを試してみました。 BigQuery MLとはGoogleのDWHであるBigQuery上で線形回帰とロジスティック回帰を実現するものです。 もちろんBigQueryで動くのでモデルを作ると... 続きを読む

BigQuery MLの線形回帰で電力需要予測やってみた | MAGELLAN BLOCKS

2018/07/29 21 users MAGELLAN BLOCKS 線形回帰 電力需要予測 並列

グルーヴノーツ コンサルタントの吉村です。 今朝（日本時間7月26日午前1時過ぎ）に発表されたBigQuery MLを試してみました。 BigQuery MLとはGoogleのDWHであるBigQuery上で線形回帰とロジスティック回帰を実現するものです。 もちろんBigQueryで動くのでモデルを作るところも並列で高速に処理されることが期待できます... 続きを読む

グーグルのDWHが機械学習に対応、「BigQuery ML」を発表 | 日経 xTECH（クロステック）

2018/07/26 26 users BigQuery xTech SQLクエリー 推論 グーグル

登録会員限定記事　現在はどなたでも閲覧可能です 米グーグル（Google）は2018年7月25日（米国時間）、クラウドのDWH（データウエアハウス）サービスである「BigQuery」に機械学習の機能を追加した「BigQuery ML」を発表した。ユーザーはSQLクエリーを使って機械学習モデルを開発したり、DWH内のデータに対する推論を実... 続きを読む

S3のログをAmazon Athenaを経由してRedashで分析/可視化 - yasuhisa's blog

2018/02/25 17 users redash JSON BigQuery CSV SQL

2018 - 02 - 26 S3のログをAmazon Athenaを経由してRedashで分析/可視化 DWHやログ基盤を色々試してみたいけど、 Amazon Redshift よりお手軽に始められるツールとして Amazon Athena を教えてもらいました。S3にtsv/csv/json...を置いておくと、SQLで分析できるってやつです。BigQueryと同じくクエリ単位で課金だけど、ロ... 続きを読む

Dockerでデプロイ、60ノードまでスケールアウト、Sparkで分析 　テラバイト・クラスの集計処理もあっさり返すdashDB LocalでDWHを構築する - はてなニュース

2017/05/29 254 users インメモリ Docker データウェアハウス Spark エム

日本アイ・ビー・エム（以下、日本IBM）の「IBM dashDB Local」は、プライベートクラウド/ハイブリッドクラウドに最適な構成を持つデータウェアハウス（DWH）向けの製品である。Dockerコンテナとしてデプロイ、スケールアウト（規模拡大）でき、データ量や処理負荷の急増に柔軟に対応できる。インメモリの列指向データベースと並列処理により検索処理を高速に実行する。システムの成長に柔軟に対応で... 続きを読む

100倍で考える | Preferred Research

2014/10/06 179 users Preferred Research Wired 100倍

私が最近強く印象に残った言葉が10倍で物事を考えるです[wired]。 これが私の記憶の中で拡大解釈され、今は100倍で物事を考えるようになっています。 「100倍」というのは一見すると不可能なことの例えのように思えますが、決してそんなことはありません。 どの程度現実的か例をあげて考えてみましょう。 DWH（DBと考えても良いです）という分野を考えてみます*1。 *1 この分野は専門家ではないので... 続きを読む