新しいデータ基盤アーキテクチャである「データレイクハウス」について調べてみた - Taste of Tech Topics

2022/11/24 203 users Taste of Tech Topics アーキ 炭酸水

最近ソーダストリームを買い、炭酸水を飲むのにはまってます。機械学習エンジニアの@yktm31です。 以前に「AWS Lake Formationでデータレイク体験！」という記事を書いてみて、データ基盤アーキテクチャに興味が湧いてきました。 データレイクハウスは、「データウェアハウス」と「データレイク」を統合したようなアーキ... 続きを読む

Dockerでデプロイ、60ノードまでスケールアウト、Sparkで分析 　テラバイト・クラスの集計処理もあっさり返すdashDB LocalでDWHを構築する - はてなニュース

2017/05/29 254 users DWH インメモリ Docker Spark デプロイ

日本アイ・ビー・エム（以下、日本IBM）の「IBM dashDB Local」は、プライベートクラウド/ハイブリッドクラウドに最適な構成を持つデータウェアハウス（DWH）向けの製品である。Dockerコンテナとしてデプロイ、スケールアウト（規模拡大）でき、データ量や処理負荷の急増に柔軟に対応できる。インメモリの列指向データベースと並列処理により検索処理を高速に実行する。システムの成長に柔軟に対応で... 続きを読む

［速報］「Amazon Redshift Spectrum」発表。Amazon S3にデータを保存したまま複雑なクエリを高速で実行可能に。AWS Summit 2017 San Francisco － Publickey

2017/04/19 215 users Publickey クエリ サンフランシスコ 実行 速報

［速報］「Amazon Redshift Spectrum」発表。Amazon S3にデータを保存したまま複雑なクエリを高速で実行可能に。AWS Summit 2017 San Francisco Amazon Web Servicesは、サンフランシスコでイベント「AWS Summit 2017 San Francisco」を開催。データウェアハウスの新サービス「Amazon Redshift ... 続きを読む

これからAmazon Redshiftを始める技術者が注意すべき１１つのポイント ｜ Developers.IO

2014/10/07 113 users Developers.IO ポイント PostgreSQL

Amazon Redshiftを使った実案件を経験してこれは注意したほうがいいなというポイントをまとめました。自分が経験した範囲で書いているので多少偏っているかもしれませんが、参考になれば幸いです。データウェアハウスって何？という方は以前入門記事を書きましたのでこちらの記事をご覧ください。 気軽に始めてみよう！クラウド時代のデータウェアハウス超入門 注意事項一覧 PostgreSQLと違う点に注意... 続きを読む

数百億件のデータを30秒で解析――クラウド型DWH「Treasure Data」に新サービス - ITmedia エンタープライズ

2013/12/09 117 users Treasure Data 解析 データ DWH ３０秒

Hadoopベースのクラウド型DWHサービス「Treasure Data Service」に、数百億件のデータを30秒程度で分析できるというオプションサービスが追加された。 クラウド型のデータウェアハウス（DWH）サービス「Treasure Data Service」を手掛けるトレジャーデータは12月9日、クエリの実行速度を従来比で10～50倍に高速化するというオプションサービス「Treasure... 続きを読む

第1回　Amazon Redshiftとは［前編］：Amazon Redshiftではじめるビッグデータ処理入門｜gihyo.jp … 技術評論社

2013/04/15 112 users gihyo.jp Amazon Redshift 第1回

Amazon Redshiftではじめるビッグデータ処理入門 第1回　Amazon Redshiftとは［前編］ 2013年4月15日 藤川幸一 RedShift, データウェアハウス, AWS, PostrgeSQL この記事を読むのに必要な時間：およそ 2 分 Amazon Web Services（AWS）は次々と新しいサービスを世の中に出して，クラウド・コンピューティングの可能性を広げてい... 続きを読む

SaaSでデータウェアハウスを価格破壊, Treasure Dataが分散データベース"Plazma"をローンチ - TechCrunch

2013/04/02 108 users TechCrunch SaaS ローンチ 黒字 筆者

SaaSでデータウェアハウスを価格破壊, Treasure Dataが分散データベース"Plazma"をローンチ [筆者: Michael Seo] データウェアハウスをクラウドから提供するTreasure Dataがそのサービスをローンチしてからまだ半年しか経っていないが、すでに順調な成長カーブに乗っているようだ。昨年黒字に転じたTreasure Dataは、今年は月商が前年比で500%伸びた。... 続きを読む

SaaSでデータウェアハウスを価格破壊, Treasure Dataが分散データベース“Plazma”をローンチ | TechCrunch Japan

2013/04/02 108 users SaaS Plazma ローンチ 黒字 Michael Seo

SaaSでデータウェアハウスを価格破壊, Treasure Dataが分散データベース“Plazma”をローンチ [筆者: Michael Seo] データウェアハウスをクラウドから提供するTreasure Dataがそのサービスをローンチしてからまだ半年しか経っていないが、すでに順調な成長カーブに乗っているようだ。 昨年黒字に転じたTreasure Dataは、今年は月商が前年比で500%伸びた... 続きを読む

［速報］Amazonクラウド、新サービス「RedShift」発表。データウェアハウスの価格破壊へ － Publickey

2012/11/28 306 users Publickey invent RedShift AWS

Amazonクラウドを運営する米Amazon Web Services（AWS）は初めての大型カンファレンス「re:Invent」をラスベガスで開催。初日の基調講演で、クラウド上でデータウェアハウスを提供する新サービス「Redshift」を発表しました。 基調講演では企業向けにクラウドの有効性を説くことに焦点が当てられ、そのハイライトがこのRedshiftの発表でした。Redshiftの発表はAW... 続きを読む

グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作 － Publickey

2010/05/25 320 users Publickey BigQuery SQLライク グーグル

「数兆件のデータも対話的に、高速に分析できる」。グーグルは5月19日にこのような表現で新しいサービス「BigQuery」の登場を紹介するエントリを、ブログにポストしています。 グーグルが公開したBigQueryは、Hadoopやデータウェアハウスなどを用いて多くの企業が行おうとしている大規模データ（いわゆる「Big Data」）の分析を、グーグルのクラウドを用いて行うことを可能にするAPIです。利... 続きを読む