グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作 － Publickey

2010/05/25 320 users Publickey BigQuery SQLライク グーグル

「数兆件のデータも対話的に、高速に分析できる」。グーグルは5月19日にこのような表現で新しいサービス「BigQuery」の登場を紹介するエントリを、ブログにポストしています。 グーグルが公開したBigQueryは、Hadoopやデータウェアハウスなどを用いて多くの企業が行おうとしている大規模データ（いわゆる「Big Data」）の分析を、グーグルのクラウドを用いて行うことを可能にするAPIです。利... 続きを読む

［速報］Amazonクラウド、新サービス「RedShift」発表。データウェアハウスの価格破壊へ － Publickey

2012/11/28 306 users Publickey invent RedShift AWS

Amazonクラウドを運営する米Amazon Web Services（AWS）は初めての大型カンファレンス「re:Invent」をラスベガスで開催。初日の基調講演で、クラウド上でデータウェアハウスを提供する新サービス「Redshift」を発表しました。 基調講演では企業向けにクラウドの有効性を説くことに焦点が当てられ、そのハイライトがこのRedshiftの発表でした。Redshiftの発表はAW... 続きを読む

Dockerでデプロイ、60ノードまでスケールアウト、Sparkで分析 　テラバイト・クラスの集計処理もあっさり返すdashDB LocalでDWHを構築する - はてなニュース

2017/05/29 254 users DWH インメモリ Docker Spark デプロイ

日本アイ・ビー・エム（以下、日本IBM）の「IBM dashDB Local」は、プライベートクラウド/ハイブリッドクラウドに最適な構成を持つデータウェアハウス（DWH）向けの製品である。Dockerコンテナとしてデプロイ、スケールアウト（規模拡大）でき、データ量や処理負荷の急増に柔軟に対応できる。インメモリの列指向データベースと並列処理により検索処理を高速に実行する。システムの成長に柔軟に対応で... 続きを読む

［速報］「Amazon Redshift Spectrum」発表。Amazon S3にデータを保存したまま複雑なクエリを高速で実行可能に。AWS Summit 2017 San Francisco － Publickey

2017/04/19 215 users Publickey クエリ サンフランシスコ 実行 速報

［速報］「Amazon Redshift Spectrum」発表。Amazon S3にデータを保存したまま複雑なクエリを高速で実行可能に。AWS Summit 2017 San Francisco Amazon Web Servicesは、サンフランシスコでイベント「AWS Summit 2017 San Francisco」を開催。データウェアハウスの新サービス「Amazon Redshift ... 続きを読む

新しいデータ基盤アーキテクチャである「データレイクハウス」について調べてみた - Taste of Tech Topics

2022/11/24 203 users Taste of Tech Topics アーキ 炭酸水

最近ソーダストリームを買い、炭酸水を飲むのにはまってます。機械学習エンジニアの@yktm31です。 以前に「AWS Lake Formationでデータレイク体験！」という記事を書いてみて、データ基盤アーキテクチャに興味が湧いてきました。 データレイクハウスは、「データウェアハウス」と「データレイク」を統合したようなアーキ... 続きを読む

数百億件のデータを30秒で解析――クラウド型DWH「Treasure Data」に新サービス - ITmedia エンタープライズ

2013/12/09 117 users Treasure Data 解析 データ DWH ３０秒

Hadoopベースのクラウド型DWHサービス「Treasure Data Service」に、数百億件のデータを30秒程度で分析できるというオプションサービスが追加された。 クラウド型のデータウェアハウス（DWH）サービス「Treasure Data Service」を手掛けるトレジャーデータは12月9日、クエリの実行速度を従来比で10～50倍に高速化するというオプションサービス「Treasure... 続きを読む

これからAmazon Redshiftを始める技術者が注意すべき１１つのポイント ｜ Developers.IO

2014/10/07 113 users Developers.IO ポイント PostgreSQL

Amazon Redshiftを使った実案件を経験してこれは注意したほうがいいなというポイントをまとめました。自分が経験した範囲で書いているので多少偏っているかもしれませんが、参考になれば幸いです。データウェアハウスって何？という方は以前入門記事を書きましたのでこちらの記事をご覧ください。 気軽に始めてみよう！クラウド時代のデータウェアハウス超入門 注意事項一覧 PostgreSQLと違う点に注意... 続きを読む

第1回　Amazon Redshiftとは［前編］：Amazon Redshiftではじめるビッグデータ処理入門｜gihyo.jp … 技術評論社

2013/04/15 112 users gihyo.jp Amazon Redshift 第1回

Amazon Redshiftではじめるビッグデータ処理入門 第1回　Amazon Redshiftとは［前編］ 2013年4月15日 藤川幸一 RedShift, データウェアハウス, AWS, PostrgeSQL この記事を読むのに必要な時間：およそ 2 分 Amazon Web Services（AWS）は次々と新しいサービスを世の中に出して，クラウド・コンピューティングの可能性を広げてい... 続きを読む

SaaSでデータウェアハウスを価格破壊, Treasure Dataが分散データベース"Plazma"をローンチ - TechCrunch

2013/04/02 108 users TechCrunch SaaS ローンチ 黒字 筆者

SaaSでデータウェアハウスを価格破壊, Treasure Dataが分散データベース"Plazma"をローンチ [筆者: Michael Seo] データウェアハウスをクラウドから提供するTreasure Dataがそのサービスをローンチしてからまだ半年しか経っていないが、すでに順調な成長カーブに乗っているようだ。昨年黒字に転じたTreasure Dataは、今年は月商が前年比で500%伸びた。... 続きを読む

SaaSでデータウェアハウスを価格破壊, Treasure Dataが分散データベース“Plazma”をローンチ | TechCrunch Japan

2013/04/02 108 users SaaS Plazma ローンチ 黒字 Michael Seo

SaaSでデータウェアハウスを価格破壊, Treasure Dataが分散データベース“Plazma”をローンチ [筆者: Michael Seo] データウェアハウスをクラウドから提供するTreasure Dataがそのサービスをローンチしてからまだ半年しか経っていないが、すでに順調な成長カーブに乗っているようだ。 昨年黒字に転じたTreasure Dataは、今年は月商が前年比で500%伸びた... 続きを読む

DWHにおけるデータモデリングで大事にしている考え方 

2024/02/02 94 users データモデリング DWH データエンジニアリング 弊社 支援

こんにちは。データエンジニアリングの支援を行っているstable株式会社の代表の宮﨑（@ikki_mz）です。弊社では、クライアント社内のデータウェアハウス（DWH）におけるデータモデリングをサポート... 続きを読む

「Amazon Redshift」を使ってみた　～使いどころと、つまずきがちなポイント （1/2）：CodeZine

2013/07/10 82 users CodeZine DWH AWS 筆者 東京リージョン

2013年6月から東京リージョンでも利用可能になったAmazon Redshift。本記事では、サービス開始当初からいち早く触れてきた筆者が、使ってみた印象、そしてその際につまずいた点などを紹介します。 はじめに　Amazon Redshiftは、Amazon Web Services（AWS）が提供するデータウェアハウス（DWH）サービスで、2013年2月に正式リリースされ、同6月4日には東京リ... 続きを読む

データウェアハウスのデータモデリングを整理してみた - Qiita

2024/03/03 78 users スノーフレーク データモデリング Qiita ギャラクシー

概要 スタースキーマからスノーフレーク、ギャラクシー、そしてデータボールトやアンカーモデリングまで、各スキーマの特徴、利点、そして適用シナリオを掘り下げます。 スタースキーマ スタースキーマを元に整理します。 スタースキーマ または 星型スキーマ はデータウェアハウスに利用される最も単純なスキーマである... 続きを読む

Amazon Redshiftで構築するビッグデータ分析環境の構成要素と全体像 （1/2）：CodeZine

2014/05/30 60 users CodeZine DWH AWS 全体像 構成要素

数多くのAWS（Amazon Web Sevices）サービスのうち、“ビッグデータ”を扱う環境として注目を浴びているのが、データウェアハウス（以下、DWH）サービスの「Amazon Redshift」です。機能追加や改善リリースも頻繁に行われています。しかし、興味や関心はあるものの、使い方や環境構築に不安、疑問をお持ちの方も多いのではないでしょうか。この連載では、Amazon Redshiftと... 続きを読む

Database Expertイベントリポート：“Hadoopエンジニアは年収3000万円”――「DW 2.0」とDBエンジニアのキャリア、米国エンジニア事情 (1/3) - ＠IT

2015/07/06 47 users テクノロジ DBエンジニア 根幹 キャリア 形態

Database Expertイベントリポート：“Hadoopエンジニアは年収3000万円”――「DW 2.0」とDBエンジニアのキャリア、米国エンジニア事情 (1/3) “データウエアハウスの父”ビル・インモン氏が日本のデータベースエンジニアを前に講演、データの性質が変わってきたいま、データウエアハウスの次の形態としてインモン氏が示したのは「DW 2.0」。その根幹を支えるテクノロジを扱うスキル... 続きを読む

PostgreSQL 9.5正式リリース。DWH向け巨大データ用インデックス、アップデートとインサートを組み合わせたUPSERT、行レベルのアクセス制御など － Publickey

2016/01/08 45 users Publickey インサート Heroku アクセス制御

PostgreSQL 9.5正式リリース。DWH向け巨大データ用インデックス、アップデートとインサートを組み合わせたUPSERT、行レベルのアクセス制御など さっそくHerokuでは、同社のデータベースサービス「Heroku Postgres」でPostgreSQL 9.5が利用できるパブリックベータサービスの 提供開始を発表 しています。 PostgreSQL 9.5では、データウェアハウスなど... 続きを読む

ビッグデータを支える人々 - 「RedshiftはHadoopキラーになる」、FlyDataの藤川氏に聞く：ITpro

2014/08/06 43 users RedShift FlyData ITpro DWH AWS

藤川幸一氏がシリコンバレーで起業した米フライデータ（FlyData）は、様々なデータソースから米アマゾン・ウェブ・サービス（AWS）のデータウエアハウス（DWH）サービス「Amazon Redshift」にデータを転送するというサービス「FlyData」を提供する。藤川氏はAWSのRedshiftが「Hadoopキラーになりつつある」との見方を示す。 フライデータのビジネスの現状はどうか？ 当社は... 続きを読む

インメモリデータベースのMemSQL、マネージドサービスをAWSとAzure、Google Cloudで提供すると発表。リアルタイム検索可能なデータウェアハウス実現 － Publickey

2017/06/20 41 users Publickey MemSQL マネージドサービス AWS

MemSQLはリアルタイムに分析や検索が可能なデータウェアハウスを実現するためのインメモリデータベース。分散処理に対応して性能と容量が向上するのに加え、メモリだけでなく分散ストレージにも対応してデータを配置するため、ペタバイトクラスの大規模データを扱えるスケーラビリティも備えていると説明されています。 ほかのデータベースからのデータのロードや、Kafkaなどを経由してIoTからストリーミングデータ... 続きを読む

第2回　Amazon Redshiftとは［後編］：Amazon Redshiftではじめるビッグデータ処理入門｜gihyo.jp … 技術評論社

2013/05/07 38 users gihyo.jp Amazon Redshift 第2回

Amazon Redshiftではじめるビッグデータ処理入門 第2回　Amazon Redshiftとは［後編］ 2013年5月7日 藤川幸一 RedShift, Amazon, データウェアハウス, AWS, Hadoop, NoSQL この記事を読むのに必要な時間：およそ 3 分 前回はAmazon Redshiftの基本的な機能の説明を行いました。今回は一歩踏み込んで，具体的にAmazon ... 続きを読む

上司に「AIをやれ」といわれたら--機械学習プロジェクトで成果を出すために（前編） - ZDNet Japan

2017/04/02 37 users 上司 成果 ZDNet Japan 機械学習プロジェクト 前編

機械学習などAIテクノロジやデータ分析・データ活用が有効な分野といえば、主にインターネットで事業を展開している企業に限定された話だと思っている方も多いかもしれません。 事実、これらの技術を活用するには大量のデータが必要となり、IT技術をフル活用するインターネット系の業界で先行して発達してきました。 しかし、AIや機械学習の波は、どのような業界にも押し寄せています。多くの企業は既にデータウェアハウス... 続きを読む

Google BigQueryがサービスのデバグに役に立った話 - ゆーすけべー日記

2015/12/08 35 users デバグ BigQuery 実話 ゆーすけべー日記 一貫

2015-12-08 Google BigQueryがサービスのデバグに役に立った話 GoogleがCloud Platformの一貫として提供するBigQueryというサービス。データウェアハウスともビッグデータ解析ツールとも言われていますが、今回は「サービスのデバグに便利」ということをガチの実話を交えて話してみましょう。 BigQueryざっくり紹介 BigQueryはの機能をわかりやすく言う... 続きを読む

分析者から見た使いにくいデータ基盤の話 | リクルートテクノロジーズ　メンバーズブログ

2018/12/25 32 users リクルートテクノロジーズ メンバーズブログ データ基盤 秩序

リクルートテクノロジーズのアドベントカレンダーの 12/25 の分です。 https://adventar.org/calendars/3063 要するにデータが潤沢なデータレイクと、秩序だったデータウェアハウスがほしいという話をします。データマートは分析者も必要に応じて作ればいいので、なくても問題ないです。データレイク、データウェアハウ... 続きを読む

IT用語解説系マンガ：食べ超（79）：エンジニアの年収は暴露するほどアップする - ＠IT

2015/09/16 32 users エンジニア 年収 IT用語解説系マンガ ストーンサークル 内側

ストーンサークルの内側で年収を語り合い、気が付けば一人増えているタイプの勉強会が求められます。次回は「ドメイン駆動設計（DDD）」です。 年収：おすすめ記事・超まとめ “Hadoopエンジニアは年収3000万円”――「DW 2.0」とDBエンジニアのキャリア、米国エンジニア事情（＠IT Database Expert 2015年7月） “データウエアハウスの父”ビル・インモン氏が日本のデータベース... 続きを読む

課題が山積みだったモンストのデータ分析は、ディメンショナル・モデリングでどう変わったのか？【デブサミ2018 夏】 (1/2)：CodeZine（コードジン）

2018/08/09 31 users CodeZine デブサミ2018 コードジン モンスト 課題

世界累計利用者数4500万人を突破した大人気スマートフォンゲーム「モンスターストライク（以下、モンスト）」。本ゲームを提供しているのが株式会社ミクシィ XFLAG スタジオだ。かつて同社はデータ分析において大きな課題を抱えていた。その状態を解決すべく、データウェアハウスの設計手法 ディメンショナル・モデリン... 続きを読む

クラウド上でデータウェアハウスを構築するAmazon Redshiftが公開。あらゆるデータ処理をクラウドへと誘う戦略 － Publickey

2013/02/19 29 users コンピュータリソース Publickey ストレージ サーバ

クラウド上でデータウェアハウスを構築するAmazon Redshiftが公開。あらゆるデータ処理をクラウドへと誘う戦略 大規模なストレージとサーバなどのコンピュータリソースが必要となるデータウェアハウスを、クラウドで提供するサービス「Amazon Redshift」が、昨年秋以来の限定公開を終了し、一般ユーザーからも利用可能になったことが発表されました。 Amazon Redshiftは昨年開催さ... 続きを読む