新しいデータ基盤アーキテクチャである「データレイクハウス」について調べてみた - Taste of Tech Topics

2022/11/24 203 users Taste of Tech Topics アーキ 炭酸水

最近ソーダストリームを買い、炭酸水を飲むのにはまってます。機械学習エンジニアの@yktm31です。 以前に「AWS Lake Formationでデータレイク体験！」という記事を書いてみて、データ基盤アーキテクチャに興味が湧いてきました。 データレイクハウスは、「データウェアハウス」と「データレイク」を統合したようなアーキ... 続きを読む

Delta Lake とは何か - connecting the dots

2022/09/14 102 users Connecting the dots Parquet

はじめに 環境情報 Delta Lake (デルタレイク) とは Delta Lake の実体 Delta Lake の構造 Parquet と Delta の相違点 Parquetとは何か Parquetの構造 Parquet と Delta の違い Delta Lake が生まれた経緯: データレイクと Delta Lake の違い データレイクのメリット データレイクの課題 *Parquetで構築した場合 Delta L... 続きを読む

AWSで“データのサイロ化”を防げ　すべてのデータを1ヶ所に集めるデータレイクの作り方 - ログミーTech

2021/04/26 183 users AWS ログミーTech リーディングカンパニー サイロ化

リーガルテック領域のリーディングカンパニーである株式会社LegalForceが、「検索インフラTechTalk!」を開催しました。インフラ領域の中でも「検索インフラ」にフォーカスした今回は、検索インフラに関する具体的な事例や取り組みについて各スピーカーから発表がありました。野口真吾氏は、AWSを用いたデータレイクの基... 続きを読む

「AWSではじめるデータレイク」出版記念データレイク解説セミナーの資料公開 | Amazon Web Services ブログ

2020/06/19 153 users AWS Amazon Web Services 資料公開

Amazon Web Services ブログ 「AWSではじめるデータレイク」出版記念データレイク解説セミナーの資料公開 去年よりAWSのメンバー４名（志村、上原、関山、下佐粉）でデータレイクの基礎からアーキテクチャ、構築、運用管理までをカバーした書籍「AWSではじめるデータレイク」を執筆してきたのですが、7月出版の目処がた... 続きを読む