データウェアハウスをRedshiftからSnowflakeに移行するために考えたこと（１） - Uzabase for Engineers

2024/12/06 13 users RedShift Snowflake NewsPicks

この記事は NewsPicks Advent Calendar 2024 の6日目の記事です。 ソーシャル経済メディア「NewsPicks」の中村です。最近はデータ基盤の開発運用、データアナリストのサポート、LLM活用等をやっています。 現在、NewsPicksではデータウェアハウスとして長年利用してきたAmazon RedshiftからSnowflakeへの移行を進めてい... 続きを読む

データウェアハウスのデータモデリングを整理してみた - Qiita

2024/03/03 78 users スノーフレーク データモデリング Qiita ギャラクシー

概要 スタースキーマからスノーフレーク、ギャラクシー、そしてデータボールトやアンカーモデリングまで、各スキーマの特徴、利点、そして適用シナリオを掘り下げます。 スタースキーマ スタースキーマを元に整理します。 スタースキーマ または 星型スキーマ はデータウェアハウスに利用される最も単純なスキーマである... 続きを読む

DWHにおけるデータモデリングで大事にしている考え方 

2024/02/02 94 users データモデリング DWH データエンジニアリング 弊社 支援

こんにちは。データエンジニアリングの支援を行っているstable株式会社の代表の宮﨑（@ikki_mz）です。弊社では、クライアント社内のデータウェアハウス（DWH）におけるデータモデリングをサポート... 続きを読む

新しいデータ基盤アーキテクチャである「データレイクハウス」について調べてみた - Taste of Tech Topics

2022/11/24 203 users Taste of Tech Topics アーキ 炭酸水

最近ソーダストリームを買い、炭酸水を飲むのにはまってます。機械学習エンジニアの@yktm31です。 以前に「AWS Lake Formationでデータレイク体験！」という記事を書いてみて、データ基盤アーキテクチャに興味が湧いてきました。 データレイクハウスは、「データウェアハウス」と「データレイク」を統合したようなアーキ... 続きを読む

なぜ大手新聞社は「AWS」から「Google Cloud Platform」への移行を決めたのか：「BigQuery」での成功体験が決め手 - TechTargetジャパン クラウド

2019/05/07 25 users BigQuery DWH GCP AWS 決め手

関連キーワード Google | Amazon Web Services | クラウドコンピューティング | データウェアハウス（DWH） 英紙「Daily Telegraph」を発行する大手新聞社Telegraph Media Groupは、同社のITインフラのほぼ全てをGoogleのクラウドサービス「Google Cloud Platform」（GCP）に移行することを計画している。その理由はコス... 続きを読む

分析者から見た使いにくいデータ基盤の話 | リクルートテクノロジーズ　メンバーズブログ

2018/12/25 32 users リクルートテクノロジーズ メンバーズブログ データ基盤 秩序

リクルートテクノロジーズのアドベントカレンダーの 12/25 の分です。 https://adventar.org/calendars/3063 要するにデータが潤沢なデータレイクと、秩序だったデータウェアハウスがほしいという話をします。データマートは分析者も必要に応じて作ればいいので、なくても問題ないです。データレイク、データウェアハウ... 続きを読む

Amazon Redshiftの動作はつねに計測されており、この半年の改良で3.5倍もの高速化を実現した。AWS re:Invent 2018 － Publickey

2018/11/29 16 users Publickey Oracle Amazon.com 改良

Amazon Redshiftの動作はつねに計測されており、この半年の改良で3.5倍もの高速化を実現した。AWS re:Invent 2018 Amazon Web Servicesはラスベガスで年次イベント「AWS re:Invent 2018」を開催中です。 Amazon.com CTOのWerner Vogels氏による基調講演でVogels氏は、今月1日にAmazon.comのデータウェアハウスをOracleか... 続きを読む

課題が山積みだったモンストのデータ分析は、ディメンショナル・モデリングでどう変わったのか？【デブサミ2018 夏】 (1/2)：CodeZine（コードジン）

2018/08/09 31 users CodeZine デブサミ2018 コードジン モンスト 課題

世界累計利用者数4500万人を突破した大人気スマートフォンゲーム「モンスターストライク（以下、モンスト）」。本ゲームを提供しているのが株式会社ミクシィ XFLAG スタジオだ。かつて同社はデータ分析において大きな課題を抱えていた。その状態を解決すべく、データウェアハウスの設計手法 ディメンショナル・モデリン... 続きを読む

グーグルのDWHが機械学習に対応、「BigQuery ML」を発表 | 日経 xTECH（クロステック）

2018/07/26 26 users DWH BigQuery xTech SQLクエリー 推論

登録会員限定記事　現在はどなたでも閲覧可能です 米グーグル（Google）は2018年7月25日（米国時間）、クラウドのDWH（データウエアハウス）サービスである「BigQuery」に機械学習の機能を追加した「BigQuery ML」を発表した。ユーザーはSQLクエリーを使って機械学習モデルを開発したり、DWH内のデータに対する推論を実... 続きを読む

インメモリデータベースのMemSQL、マネージドサービスをAWSとAzure、Google Cloudで提供すると発表。リアルタイム検索可能なデータウェアハウス実現 － Publickey

2017/06/20 41 users Publickey MemSQL マネージドサービス AWS

MemSQLはリアルタイムに分析や検索が可能なデータウェアハウスを実現するためのインメモリデータベース。分散処理に対応して性能と容量が向上するのに加え、メモリだけでなく分散ストレージにも対応してデータを配置するため、ペタバイトクラスの大規模データを扱えるスケーラビリティも備えていると説明されています。 ほかのデータベースからのデータのロードや、Kafkaなどを経由してIoTからストリーミングデータ... 続きを読む

Dockerでデプロイ、60ノードまでスケールアウト、Sparkで分析 　テラバイト・クラスの集計処理もあっさり返すdashDB LocalでDWHを構築する - はてなニュース

2017/05/29 254 users DWH インメモリ Docker Spark デプロイ

日本アイ・ビー・エム（以下、日本IBM）の「IBM dashDB Local」は、プライベートクラウド/ハイブリッドクラウドに最適な構成を持つデータウェアハウス（DWH）向けの製品である。Dockerコンテナとしてデプロイ、スケールアウト（規模拡大）でき、データ量や処理負荷の急増に柔軟に対応できる。インメモリの列指向データベースと並列処理により検索処理を高速に実行する。システムの成長に柔軟に対応で... 続きを読む

［速報］「Amazon Redshift Spectrum」発表。Amazon S3にデータを保存したまま複雑なクエリを高速で実行可能に。AWS Summit 2017 San Francisco － Publickey

2017/04/19 215 users Publickey クエリ サンフランシスコ 実行 速報

［速報］「Amazon Redshift Spectrum」発表。Amazon S3にデータを保存したまま複雑なクエリを高速で実行可能に。AWS Summit 2017 San Francisco Amazon Web Servicesは、サンフランシスコでイベント「AWS Summit 2017 San Francisco」を開催。データウェアハウスの新サービス「Amazon Redshift ... 続きを読む

上司に「AIをやれ」といわれたら--機械学習プロジェクトで成果を出すために（前編） - ZDNet Japan

2017/04/02 37 users 上司 成果 ZDNet Japan 機械学習プロジェクト 前編

機械学習などAIテクノロジやデータ分析・データ活用が有効な分野といえば、主にインターネットで事業を展開している企業に限定された話だと思っている方も多いかもしれません。 事実、これらの技術を活用するには大量のデータが必要となり、IT技術をフル活用するインターネット系の業界で先行して発達してきました。 しかし、AIや機械学習の波は、どのような業界にも押し寄せています。多くの企業は既にデータウェアハウス... 続きを読む

PostgreSQL 9.5正式リリース。DWH向け巨大データ用インデックス、アップデートとインサートを組み合わせたUPSERT、行レベルのアクセス制御など － Publickey

2016/01/08 45 users Publickey インサート Heroku アクセス制御

PostgreSQL 9.5正式リリース。DWH向け巨大データ用インデックス、アップデートとインサートを組み合わせたUPSERT、行レベルのアクセス制御など さっそくHerokuでは、同社のデータベースサービス「Heroku Postgres」でPostgreSQL 9.5が利用できるパブリックベータサービスの 提供開始を発表 しています。 PostgreSQL 9.5では、データウェアハウスなど... 続きを読む

Google BigQueryがサービスのデバグに役に立った話 - ゆーすけべー日記

2015/12/08 35 users デバグ BigQuery 実話 ゆーすけべー日記 一貫

2015-12-08 Google BigQueryがサービスのデバグに役に立った話 GoogleがCloud Platformの一貫として提供するBigQueryというサービス。データウェアハウスともビッグデータ解析ツールとも言われていますが、今回は「サービスのデバグに便利」ということをガチの実話を交えて話してみましょう。 BigQueryざっくり紹介 BigQueryはの機能をわかりやすく言う... 続きを読む

IT用語解説系マンガ：食べ超（79）：エンジニアの年収は暴露するほどアップする - ＠IT

2015/09/16 32 users エンジニア 年収 IT用語解説系マンガ ストーンサークル 内側

ストーンサークルの内側で年収を語り合い、気が付けば一人増えているタイプの勉強会が求められます。次回は「ドメイン駆動設計（DDD）」です。 年収：おすすめ記事・超まとめ “Hadoopエンジニアは年収3000万円”――「DW 2.0」とDBエンジニアのキャリア、米国エンジニア事情（＠IT Database Expert 2015年7月） “データウエアハウスの父”ビル・インモン氏が日本のデータベース... 続きを読む

Amazon Web Services ブログ: 【AWS発表】Amazon RedshiftにUDF(ユーザ定義関数)が追加されました

2015/09/12 22 users UDF Jeff アナウンス フィードバック ペタバイト

Amazon Redshiftチームは絶好調です。彼らはお客様のフィードバックに耳を傾け、新しい機能を常にリリースし続けています！以下は、強く待ち望まれていた強力な新機能についてのアナウンスです。 — Jeff; Amazon Redshiftはペタバイトまでスケール可能なデータウェアハウスを簡単に起動する事ができます。Amazon Redshift側でインフラを管理してくれるため、ユーザは運用を... 続きを読む

Database Expertイベントリポート：“Hadoopエンジニアは年収3000万円”――「DW 2.0」とDBエンジニアのキャリア、米国エンジニア事情 (1/3) - ＠IT

2015/07/06 47 users テクノロジ DBエンジニア 根幹 キャリア 形態

Database Expertイベントリポート：“Hadoopエンジニアは年収3000万円”――「DW 2.0」とDBエンジニアのキャリア、米国エンジニア事情 (1/3) “データウエアハウスの父”ビル・インモン氏が日本のデータベースエンジニアを前に講演、データの性質が変わってきたいま、データウエアハウスの次の形態としてインモン氏が示したのは「DW 2.0」。その根幹を支えるテクノロジを扱うスキル... 続きを読む

これからAmazon Redshiftを始める技術者が注意すべき１１つのポイント ｜ Developers.IO

2014/10/07 113 users Developers.IO ポイント PostgreSQL

Amazon Redshiftを使った実案件を経験してこれは注意したほうがいいなというポイントをまとめました。自分が経験した範囲で書いているので多少偏っているかもしれませんが、参考になれば幸いです。データウェアハウスって何？という方は以前入門記事を書きましたのでこちらの記事をご覧ください。 気軽に始めてみよう！クラウド時代のデータウェアハウス超入門 注意事項一覧 PostgreSQLと違う点に注意... 続きを読む

ニュース - OSSのDWHソフト「InfiniDB」の開発元が営業終了、国内サポートはアシストが継続：ITpro

2014/09/22 18 users ITpro DWH OSS アシスト 日経コンピュータ

データウエアハウス（DWH）のオープンソースソフトウエア（OSS）のである「InfiniDB」の開発元、米InfiniDB（旧社名はCalpont）が2014年9月19日、営業を終了することを明らかにした。OSSとしての開発はコミュニティが継続する。日本におけるInfiniDBの販売代理店であるアシストは2014年9月22日、日経コンピュータの取材に対して「当社として既存顧客へのサポートを継続する... 続きを読む

IT巌流島--インメモリーで競うデータベース対決 - ［2］OLTPとDWHは並び立つか：ITpro

2014/09/08 22 users OLTP DWH ワークロード ITpro 司会

OLTP（オンライントランザクション処理）系とDWH（データウエアハウス）系、異なるワークロードをいかに連携し高速処理するかがユーザーニーズとして浮かび上がってきた。カラムナーとインメモリーを活用することは各社共通だが、実装方法や活用指針には差がある。“脱バッチ処理”へと向かうトレンドを探った。 司会： 製品を見ると、各社とも「インメモリー」「カラムナー」がキーワードになってきました。こうした機能... 続きを読む

ビッグデータを支える人々 - 「RedshiftはHadoopキラーになる」、FlyDataの藤川氏に聞く：ITpro

2014/08/06 43 users RedShift FlyData ITpro DWH AWS

藤川幸一氏がシリコンバレーで起業した米フライデータ（FlyData）は、様々なデータソースから米アマゾン・ウェブ・サービス（AWS）のデータウエアハウス（DWH）サービス「Amazon Redshift」にデータを転送するというサービス「FlyData」を提供する。藤川氏はAWSのRedshiftが「Hadoopキラーになりつつある」との見方を示す。 フライデータのビジネスの現状はどうか？ 当社は... 続きを読む

Amazon Redshiftで構築するビッグデータ分析環境の構成要素と全体像 （1/2）：CodeZine

2014/05/30 60 users CodeZine DWH AWS 全体像 構成要素

数多くのAWS（Amazon Web Sevices）サービスのうち、“ビッグデータ”を扱う環境として注目を浴びているのが、データウェアハウス（以下、DWH）サービスの「Amazon Redshift」です。機能追加や改善リリースも頻繁に行われています。しかし、興味や関心はあるものの、使い方や環境構築に不安、疑問をお持ちの方も多いのではないでしょうか。この連載では、Amazon Redshiftと... 続きを読む

数百億件のデータを30秒で解析――クラウド型DWH「Treasure Data」に新サービス - ITmedia エンタープライズ

2013/12/09 117 users Treasure Data 解析 データ DWH ３０秒

Hadoopベースのクラウド型DWHサービス「Treasure Data Service」に、数百億件のデータを30秒程度で分析できるというオプションサービスが追加された。 クラウド型のデータウェアハウス（DWH）サービス「Treasure Data Service」を手掛けるトレジャーデータは12月9日、クエリの実行速度を従来比で10～50倍に高速化するというオプションサービス「Treasure... 続きを読む

データマイニングで犯罪を防ぐ「予測警備」が米国で拡大（下） - Computerworldコラム：Computerworld

2013/11/27 12 users FBI Computerworld アナリスト 捜査 手法

米国では、犯罪に関するデータがFBI（米連邦捜査局）の「N-DEx」というデータウエアハウスで一元的に管理されるようになった。だがこれは、全米規模の捜査を向上するための第一歩にすぎない。次の一歩は、データマイニングの手法を用いて、いつどこで犯罪が起きるかを事前に割り出すことだ。 予測警備は有益なツールではあるが、システムに頼り切りですべての答えを出してもらうのではなく、データを解釈するアナリストは... 続きを読む