新しいデータ基盤アーキテクチャである「データレイクハウス」について調べてみた - Taste of Tech Topics

2022/11/24 203 users Taste of Tech Topics アーキ 炭酸水

最近ソーダストリームを買い、炭酸水を飲むのにはまってます。機械学習エンジニアの@yktm31です。 以前に「AWS Lake Formationでデータレイク体験！」という記事を書いてみて、データ基盤アーキテクチャに興味が湧いてきました。 データレイクハウスは、「データウェアハウス」と「データレイク」を統合したようなアーキ... 続きを読む

Delta Lake とは何か - connecting the dots

2022/09/14 102 users Connecting the dots Parquet

はじめに 環境情報 Delta Lake (デルタレイク) とは Delta Lake の実体 Delta Lake の構造 Parquet と Delta の相違点 Parquetとは何か Parquetの構造 Parquet と Delta の違い Delta Lake が生まれた経緯: データレイクと Delta Lake の違い データレイクのメリット データレイクの課題 *Parquetで構築した場合 Delta L... 続きを読む

AWS 上にデータレイクを構築し分析する方法を AWS エキスパートと一緒に１日で学びませんか？ | Amazon Web Services

2022/01/31 19 users AWS エキスパート データ分析 活用 方法

Amazon Web Services ブログ AWS 上にデータレイクを構築し分析する方法を AWS エキスパートと一緒に１日で学びませんか？ この記事は、2021年3月30日に Kumar Kumaraguruparan によって投稿された Spend a day with AWS experts, and learn how to build a data lake を翻訳したものです。 データ分析・活用になぜデー... 続きを読む

S3データレイクをAWSの分析サービスを使って有効活用する #AWS-06 #AWSSummit | DevelopersIO

2021/05/16 26 users awssummit DevelopersIO AWS データ

本記事は、AWS Summit Japan 2021のセッション動画、「AWS-06: 貯めるだけじゃもったいない！AWS 分析サービスを使ったデータレイクの有効活用」のレポート記事です。 「データはとりあえずS3に溜めておけ！」とデータレイクっぽいものは作れたけど上手く使いこなせていない方、それなりにいらっしゃるのではないでしょ... 続きを読む

AWSで“データのサイロ化”を防げ　すべてのデータを1ヶ所に集めるデータレイクの作り方 - ログミーTech

2021/04/26 183 users AWS ログミーTech リーディングカンパニー サイロ化

リーガルテック領域のリーディングカンパニーである株式会社LegalForceが、「検索インフラTechTalk!」を開催しました。インフラ領域の中でも「検索インフラ」にフォーカスした今回は、検索インフラに関する具体的な事例や取り組みについて各スピーカーから発表がありました。野口真吾氏は、AWSを用いたデータレイクの基... 続きを読む

「AWSではじめるデータレイク」出版記念データレイク解説セミナーの資料公開 | Amazon Web Services ブログ

2020/06/19 153 users AWS Amazon Web Services 資料公開

Amazon Web Services ブログ 「AWSではじめるデータレイク」出版記念データレイク解説セミナーの資料公開 去年よりAWSのメンバー４名（志村、上原、関山、下佐粉）でデータレイクの基礎からアーキテクチャ、構築、運用管理までをカバーした書籍「AWSではじめるデータレイク」を執筆してきたのですが、7月出版の目処がた... 続きを読む

ASCII.jp：「平均的な開発者にも機械学習の力を」――AWSジャシーCEO基調講演 (1/4)｜今年もビルダーを魅了！AWS re:Invent 2019レポート

2019/12/24 12 users ビルダー コンピュート 魅了 AWS re AWS

Amazon Web Services（AWS）が2019年12月2日～6日（現地時間）、米国ラスベガスで開催した「AWS re:Invent 2019」。同社CEOのアンディ・ジャシー氏による3時間に及ぶ基調講演では、多数の新発表が行われた。 前々回記事のIaaS関連（コンピュート、オンプレミス／エッジ）領域、前回はデータレイク／分析（アナリティクス... 続きを読む

Developers.IO 2019 Tokyoで「Effective Datalake 〜基礎からわかるデータレイクの定義と実践〜」というタイトルで発表してきました #cmdevio ｜ Developers.IO

2019/11/04 27 users クラスメソッド cmdevio 表題 スライド Tokyo

クラスメソッドの石川です。 先日開催いたしましたDevelopers.IO 2019 in TOKYOにお越し頂きましてありがとうございました。 表題の通り、データレイクについてお話をさせて頂きました。 スライド こちら […] 続きを読む

カスタマージャーニーのデータを直接扱えるAdobeのツールが登場 | TechCrunch Japan

2019/09/13 13 users カスタマージャーニー CRM POS Adobe ツール

Adobeは、データを収集して顧客を理解するための分析と顧客体験のプラットフォームに力を入れている。米国時間9月10日、同社はカスタマージャーニーのデータを直接扱い、よりよい顧客体験を実現する新しい分析ツールを発表した。 カスタマージャーニーには、企業のデータレイクからCRM、POSまで、多くのシステムが関係し... 続きを読む

安全なデータレイクの構築が容易になる AWS Lake Formation がついにリリースされました ｜ DevelopersIO

2019/08/09 37 users DevelopersIO 東京リージョン t.co 構築

昨年のre:Invent2018で紹介されたAWS Lake Formation がついにリリースされました。東京リージョンでもリリースされましたので、早速、試してみたいと思います。 ついにきましたLake Formation. データレイクの構築が容易に。 AWS Lake Formation – Now Generally Available | AWS News Blog https://t.co/qBdo8Ubj8O — ... 続きを読む

分析者から見た使いにくいデータ基盤の話 | リクルートテクノロジーズ　メンバーズブログ

2018/12/25 32 users リクルートテクノロジーズ メンバーズブログ データ基盤 秩序

リクルートテクノロジーズのアドベントカレンダーの 12/25 の分です。 https://adventar.org/calendars/3063 要するにデータが潤沢なデータレイクと、秩序だったデータウェアハウスがほしいという話をします。データマートは分析者も必要に応じて作ればいいので、なくても問題ないです。データレイク、データウェアハウ... 続きを読む

[AWS Black Belt Online Seminar] データレイク入門: AWSで様々な規模のデータレイクを分析する効率的な方法 資料及び QA 公開 | Amazon Web Services ブログ

2018/06/25 17 users AWS マーケティング 規模 資料 公開

Amazon Web Services ブログ [AWS Black Belt Online Seminar] データレイク入門: AWSで様々な規模のデータレイクを分析する効率的な方法 資料及び QA 公開 こんにちは、マーケティングの鬼形です。 先日 (2018/6/19) 開催しました AWS Black Belt Online Seminar「データレイク入門: AWSで様々な規模のデータレイクを分... 続きを読む

AWS Glue と Amazon S3 を使用してデータレイクの基礎を構築する | Amazon Web Services ブログ

2017/10/31 33 users AWS Glue 基礎 glue Amazon S3 ブログ

Amazon Web Services ブログ AWS Glue と Amazon S3 を使用してデータレイクの基礎を構築する by AWS Japan Staff | on 31 OCT 2017 | in AWS Glue* | Permalink | Share データレイクは、大量の様々なデータを扱うという課題に対処するため、データを分析および保存するための方法としてますます一般的になっ... 続きを読む