DWHにおけるデータモデリングで大事にしている考え方 

2024/02/02 94 users データモデリング データウェアハウス 弊社 支援 代表

こんにちは。データエンジニアリングの支援を行っているstable株式会社の代表の宮﨑（@ikki_mz）です。弊社では、クライアント社内のデータウェアハウス（DWH）におけるデータモデリングをサポート... 続きを読む

AWS、Aurora MySQLとRedshiftをほぼリアルタイムに同期する「Amazon Aurora MySQL zero-ETL integration with Amazon Redshift」正式版に。追加料金なしで利用可能

2023/11/12 16 users RedShift OLTP Amaz AWS リアルタイム

Amazon Web Services（AWS）は、Aurora MySQLとAmazon Redshiftのあいだでデータをほぼリアルタイムに同期する新サービス「Amazon Aurora MySQL zero-ETL integration with Amazon Redshift」（以下、zero-ETL）が正式版となったことを発表しました。 参考：［速報］Amazon AuroraのOLTPとRedshiftのDWHを統合する「Amaz... 続きを読む

［速報］Amazon AuroraのOLTPとRedshiftのDWHを統合する「Amazon Aurora zero-ETL integration with Amazon Redshift」発表。AWS re:Invent 2022

2022/11/29 42 users あいだ AWS 米ラスベガス 基調講演 年次イベント

Amazon Web Services（AWS）の年次イベント「AWS re:Invent 2022」が米ラスベガスで開催中です。 2日目の基調講演には、AWS CEOのAdam Selipsky氏が生バンドの演奏とともに登場しました。 Selipsky氏は、さまざまなデータを分析する上で多数の分析ツールのあいだでデータを転送しなければならない問題を指摘し、データ転... 続きを読む

MonotaROのデータ基盤10年史（後編） - MonotaRO Tech Blog

2021/12/23 20 users MonotaRO BigQuery 後編 香川 データ基盤

こんにちは。データ基盤グループの香川です。 本記事は、MonotaRO のデータ基盤の歴史についての社内での発表の文字起こし記事の後編になります。 前編の記事： tech-blog.monotaro.com 前編では データ基盤の変遷の概要 2010年頃のデータ基盤 販促基盤とDWH（2010~2015) データ基盤構想とBigQueryの導入（2015~2017年) ... 続きを読む

dbtを触ってみた感想 - yasuhisa's blog

2021/07/24 15 users dbt Dataform 前職 構築 バックグラウンド

データエンジニア系の勉強会で最近dbtがぱらぱらと話題に出てくるようになった & 4連休ということで、夏休みの自由研究がてらdbtを触ってみました。書いてる人のバックグラウンドは以下の通り。 DWHやデータマートの構築のためのETLツールを模索中(特にTの部分) プライベートではDataformを使っている 前職でも仕事の一... 続きを読む

dbtとDataformを比較し、dbtを使うことにした - Attsun blog

2021/02/12 10 users dbt Pros Dataform 担保 プラットフォーム

TL;DRdbt, Dataformについて簡単に紹介dbtDataform比較対応するプラットフォーム主要な機能外部ツールとの接続性運用時のあれこれ両者のPros/Consまとめ私たちの選択どちらを使うべきなのか？選ばれたのは、dbtでしたまとめ最近、業務でDWH / Datamartの整備やデータ品質の担保を効率的に行いたくなる事情があり、調査し... 続きを読む

BigQueryの監査ログをリアルタイムに監視して使いすぎを防止してみる - ZOZO Technologies TECH BLOG

2021/01/12 16 users BigQuery 七味唐辛子 SaaS 監査ログ SRE部

こんにちは。SRE部の塩崎です。 七味唐辛子の粉末を7種類に分類するという趣味を発展させて、おっとっとを新口動物と旧口動物に分類するという趣味を最近発明しました。 BigQueryは非常にパワフルなData WareHouse(DWH) SaaSであり、大容量のデータを一瞬で分析できます。しかし、課金額がスキャンしたデータ量に比例す... 続きを読む

なぜ大手新聞社は「AWS」から「Google Cloud Platform」への移行を決めたのか：「BigQuery」での成功体験が決め手 - TechTargetジャパン クラウド

2019/05/07 25 users BigQuery データウェアハウス GCP AWS 決め手

関連キーワード Google | Amazon Web Services | クラウドコンピューティング | データウェアハウス（DWH） 英紙「Daily Telegraph」を発行する大手新聞社Telegraph Media Groupは、同社のITインフラのほぼ全てをGoogleのクラウドサービス「Google Cloud Platform」（GCP）に移行することを計画している。その理由はコス... 続きを読む

ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery - Speaker Deck

2019/02/17 165 users ZOZOTOWN BigQuery RedShift お引越

ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery 続きを読む

自社にとってのベストはどれ？─ダイソーが行ったBIツール徹底検証 | IT Leaders

2019/01/15 23 users ダイソー IT Leaders 自社 杉田 ユーザー事例

IT Leaders トップ ＞ テクノロジー一覧 ＞ BI／BA／DWH ＞ ユーザー事例 ＞ 自社にとってのベストはどれ？─ダイソーが行ったBIツール徹底検証 BI／BA／DWH BI／BA／DWH記事一覧へ [ユーザー事例] 自社にとってのベストはどれ？─ダイソーが行ったBIツール徹底検証 2019年1月15日(火)杉田 悟（IT Leaders編集部） データ... 続きを読む

ベンチャー企業におけるDWH DevOps @ Retty - Retty Tech Blog

2018/12/15 125 users Retty ベンチャー企業 Retty Tech Blog

※ Retty Advent Calendar 15日目の記事です おしながき はじめに ベンチャー企業とデータ活用 完璧さよりも早さを重視する Rettyにおける現状 DWHの開発で大切にしていること プロダクトとしてのUXを大事に プロダクトとしての変化を大事に 開発者として横断的な動きを大事に RettyにおけるDWHの開発プラクティス BigQue... 続きを読む

ベンチャー企業におけるDWH DevOps @ Retty - Retty Tech Blog

2018/12/15 16 users Retty ベンチャー企業 Retty Tech Blog

※ Retty Advent Calendar 15日目の記事です おしながき はじめに ベンチャー企業とデータ活用 完璧さよりも早さを重視する Rettyにおける現状 DWHの開発で大切にしていること プロダクトとしてのUXを大事に プロダクトとしての変化を大事に 開発者として横断的な動きを大事に RettyにおけるDWHの開発プラクティス BigQue... 続きを読む

BigQuery MLの線形回帰で電力需要予測やってみた – google-cloud-jp – Medium

2018/07/30 46 users medium google-cloud-jp 線形回帰 吉村

BigQuery MLの線形回帰で電力需要予測やってみたグルーヴノーツ コンサルタントの吉村です。 先週（日本時間7月26日午前1時過ぎ）に発表されたBigQuery MLを試してみました。 BigQuery MLとはGoogleのDWHであるBigQuery上で線形回帰とロジスティック回帰を実現するものです。 もちろんBigQueryで動くのでモデルを作ると... 続きを読む

BigQuery MLの線形回帰で電力需要予測やってみた | MAGELLAN BLOCKS

2018/07/29 21 users MAGELLAN BLOCKS 線形回帰 電力需要予測 並列

グルーヴノーツ コンサルタントの吉村です。 今朝（日本時間7月26日午前1時過ぎ）に発表されたBigQuery MLを試してみました。 BigQuery MLとはGoogleのDWHであるBigQuery上で線形回帰とロジスティック回帰を実現するものです。 もちろんBigQueryで動くのでモデルを作るところも並列で高速に処理されることが期待できます... 続きを読む

グーグルのDWHが機械学習に対応、「BigQuery ML」を発表 | 日経 xTECH（クロステック）

2018/07/26 26 users BigQuery xTech SQLクエリー 推論 グーグル

登録会員限定記事　現在はどなたでも閲覧可能です 米グーグル（Google）は2018年7月25日（米国時間）、クラウドのDWH（データウエアハウス）サービスである「BigQuery」に機械学習の機能を追加した「BigQuery ML」を発表した。ユーザーはSQLクエリーを使って機械学習モデルを開発したり、DWH内のデータに対する推論を実... 続きを読む

S3のログをAmazon Athenaを経由してRedashで分析/可視化 - yasuhisa's blog

2018/02/25 17 users redash JSON BigQuery CSV SQL

2018 - 02 - 26 S3のログをAmazon Athenaを経由してRedashで分析/可視化 DWHやログ基盤を色々試してみたいけど、 Amazon Redshift よりお手軽に始められるツールとして Amazon Athena を教えてもらいました。S3にtsv/csv/json...を置いておくと、SQLで分析できるってやつです。BigQueryと同じくクエリ単位で課金だけど、ロ... 続きを読む

Dockerでデプロイ、60ノードまでスケールアウト、Sparkで分析 　テラバイト・クラスの集計処理もあっさり返すdashDB LocalでDWHを構築する - はてなニュース

2017/05/29 254 users インメモリ Docker データウェアハウス Spark エム

日本アイ・ビー・エム（以下、日本IBM）の「IBM dashDB Local」は、プライベートクラウド/ハイブリッドクラウドに最適な構成を持つデータウェアハウス（DWH）向けの製品である。Dockerコンテナとしてデプロイ、スケールアウト（規模拡大）でき、データ量や処理負荷の急増に柔軟に対応できる。インメモリの列指向データベースと並列処理により検索処理を高速に実行する。システムの成長に柔軟に対応で... 続きを読む

100倍で考える | Preferred Research

2014/10/06 179 users Preferred Research Wired 100倍

私が最近強く印象に残った言葉が10倍で物事を考えるです[wired]。 これが私の記憶の中で拡大解釈され、今は100倍で物事を考えるようになっています。 「100倍」というのは一見すると不可能なことの例えのように思えますが、決してそんなことはありません。 どの程度現実的か例をあげて考えてみましょう。 DWH（DBと考えても良いです）という分野を考えてみます*1。 *1 この分野は専門家ではないので... 続きを読む

100倍で考える | Preferred Research

2014/10/06 179 users Preferred Research Wired 100倍

私が最近強く印象に残った言葉が10倍で物事を考えるです[wired]。 これが私の記憶の中で拡大解釈され、今は100倍で物事を考えるようになっています。 「100倍」というのは一見すると不可能なことの例えのように思えますが、決してそんなことはありません。 どの程度現実的か例をあげて考えてみましょう。 DWH（DBと考えても良いです）という分野を考えてみます*1。 *1 この分野は専門家ではないので... 続きを読む

ニュース - OSSのDWHソフト「InfiniDB」の開発元が営業終了、国内サポートはアシストが継続：ITpro

2014/09/22 18 users ITpro OSS アシスト 日経コンピュータ 旧社名

データウエアハウス（DWH）のオープンソースソフトウエア（OSS）のである「InfiniDB」の開発元、米InfiniDB（旧社名はCalpont）が2014年9月19日、営業を終了することを明らかにした。OSSとしての開発はコミュニティが継続する。日本におけるInfiniDBの販売代理店であるアシストは2014年9月22日、日経コンピュータの取材に対して「当社として既存顧客へのサポートを継続する... 続きを読む

IT巌流島--インメモリーで競うデータベース対決 - ［2］OLTPとDWHは並び立つか：ITpro

2014/09/08 22 users OLTP ワークロード ITpro 司会 各社

OLTP（オンライントランザクション処理）系とDWH（データウエアハウス）系、異なるワークロードをいかに連携し高速処理するかがユーザーニーズとして浮かび上がってきた。カラムナーとインメモリーを活用することは各社共通だが、実装方法や活用指針には差がある。“脱バッチ処理”へと向かうトレンドを探った。 司会： 製品を見ると、各社とも「インメモリー」「カラムナー」がキーワードになってきました。こうした機能... 続きを読む

ビッグデータを支える人々 - 「RedshiftはHadoopキラーになる」、FlyDataの藤川氏に聞く：ITpro

2014/08/06 43 users RedShift FlyData ITpro シリコンバレー

藤川幸一氏がシリコンバレーで起業した米フライデータ（FlyData）は、様々なデータソースから米アマゾン・ウェブ・サービス（AWS）のデータウエアハウス（DWH）サービス「Amazon Redshift」にデータを転送するというサービス「FlyData」を提供する。藤川氏はAWSのRedshiftが「Hadoopキラーになりつつある」との見方を示す。 フライデータのビジネスの現状はどうか？ 当社は... 続きを読む

Google BigQuery で DWH 構築 - YAPC::Asia Tokyo 2014

2014/06/27 23 users YAPC Asia TOKYO 構築

Currently this talk is in PENDING state. If you would like to see this talk at the event, please consider using the social media buttons below to express your interest! 続きを読む

Amazon Redshiftで構築するビッグデータ分析環境の構成要素と全体像 （1/2）：CodeZine

2014/05/30 60 users CodeZine データウェアハウス AWS 全体像 構成要素

数多くのAWS（Amazon Web Sevices）サービスのうち、“ビッグデータ”を扱う環境として注目を浴びているのが、データウェアハウス（以下、DWH）サービスの「Amazon Redshift」です。機能追加や改善リリースも頻繁に行われています。しかし、興味や関心はあるものの、使い方や環境構築に不安、疑問をお持ちの方も多いのではないでしょうか。この連載では、Amazon Redshiftと... 続きを読む

Clouderaで作るデータ分析環境 - 科学と非科学の迷宮

2014/05/06 36 users Cloudera ETL Hue 迷宮 インポート

2014-05-07 Clouderaで作るデータ分析環境 wyukawaさんがデータ分析環境について書いていましたが、全部 CDH を使えば実現可能なので便乗して書いておこうと思います。 1. ETL 処理 CDH なら以下のツールがあります。 Sqoop RDBMS / DWH などに対するインポート・エクスポートツール。最近日本語の本も出版されたので皆さん買ってください。 Hue を使えば ... 続きを読む