大規模なデータ分析基盤の構築時に待ち受ける“落とし穴”

2024/12/19 78 users 落とし穴 構築時

続きを読む

『データ分析基盤を作ってみよう　～性能設計編～』というタイトルで勉強会を開催しました - NRIネットコムBlog

2024/11/22 116 users NRIネットコムBlog NRIネットコム AWS タイトル

こんにちは、佐々木です。NRIネットコムの社外向け勉強会で、「データ分析基盤を作ってみよう　～性能測定編～」というタイトルで登壇してきました。その前に設計編というテーマで開催しており、今回はその続きです。アーキテクチャ設計をする上でAWSのサービスをどういう観点で評価するのか、またその裏付けを取るため... 続きを読む

データアーキテクチャ特集　データ利活用を推進する8社の技術選定 - Findy Tools

2024/09/11 73 users アーキテクチャ特集 Findy Tools 展望 特集 テーマ

公開日 2024/09/12更新日 2024/09/12データアーキテクチャ特集　データ利活用を推進する8社の技術選定 毎回ご好評頂いているアーキテクチャ特集の今回のテーマは、データ分析基盤です。 データ活用に特に力を入れている日本のIT企業8社にご協力頂き、それぞれの技術選定の裏側と今後の展望についてご寄稿頂きました。 ※... 続きを読む

使われないものを作るな！出口から作るデータ分析基盤 / Data Platform Development Starting from the User Needs

2024/05/16 106 users 出口

本資料は Tech Play イベント『データ基盤運用の工数削減に効いた俺的ベストプラクティス データマネジメントの勘所』での登壇資料です。 https://techplay.jp/event/940296 データ基盤を構築する際、多くの人が最初にdbt、BigQuery、troccoといったツール名を思い浮かべるかもしれません。しかし、ビジネス価値を生み出... 続きを読む

マクドナルド、数千店舗にGoogle Cloudを導入　オペレーションを大幅改善へ

2024/01/25 6 users オペレーション クルー マクドナルド AIソリューション 整備

米McDonald’sが「Google Distributed Cloud」を活用し、世界中にある店舗でデータ分析基盤を整備。クルーの業務負担軽減やサービスの質向上などの実現に向けて活用する。 米McDonald'sは「Google Cloud」を活用し、数千の店舗にクラウドベースのデータ分析環境を導入してAIソリューションを開発すると発表した（注1）。 ... 続きを読む

trocco・BigQuery・Tableauを採用。アソビューがデータ分析基盤の再構築に挑んだ理由 - what we use（技術スタックデータベース）

2023/11/01 19 users アソビュー 反面 技術スタックデータベース 近年 選択肢

はじめまして、アソビューでデータ基盤チームに所属している霧生です。 近年、モダンデータスタックの登場などによりデータ分析基盤は一層盛り上がりを見せています。選択肢も増えてできることが多くなった反面、どう構築していくか迷う場面も多いのではないでしょうか。今回はアソビューのデータ分析基盤の構成と現状の... 続きを読む

【連載】データ分析基盤をdbt・Snowflakeに移行する【設計・実装編】 - Algoage Tech Blog

2023/10/04 5 users 上村 連載 実装編 焦点 設計

こんにちは、Ops-dataチームの上村(@contradiction29) です。以前、弊社内で運用されているデータ分析基盤を移行するにあたり、設計の方針を練る記事を投稿しました。 tech.algoage.dmm.com 今回はその続きとして、移行プロジェクトの実際の進行に焦点を当てて記事を書いていきたいと思います。 はじめに これまでのあら... 続きを読む

デジタル庁のデータ分析基盤「sukuna」｜デジタル庁

2023/06/27 550 users Sukuna デジタル庁

はじめまして。デジタル庁Fact & Data Unit所属、データエンジニアの長谷川です。 本記事ではデジタル庁内でデータ活用を推進するための組織と分析基盤についてご紹介します。 これまでのデジタル庁noteと比べると、技術寄りの話題が多い記事となりますが、庁内のデータ活用に興味のある方はぜひご覧ください。 デジタル... 続きを読む

DuckDBとdbtとRillで作るローカルで動くDWHっぽいもの

2022/11/30 7 users dbt DuckDB サマリ セキュリティ 一定

この記事はdbt Advent Calendar 2022の12月1日の記事です。 サマリ DuckDBとdbtを使えばローカル環境で一定のデータ量であればオレオレDWHっぽいものが作れるようになる 社内にデータ分析基盤がない、データ活用しようにもデータ基盤がなく本格的に取り組もうと思うとセキュリティや運用までかんがえると始めることすら... 続きを読む

初めてECS+Digdag+Embulkでデータ分析基盤を作った話 - Qiita

2022/09/28 6 users Qiita 実装 拡張 過程 現状

こんにちは、theLetterの荻田です。 データ分析基盤を作る機会があり、拡張のしやすさ・現状のデータ量や仕様に合うか・予算問題などを考えた結果どう判断したのかという過程と実装を紹介します。 今後運用する上で出てきた改善点や課題などは半年後くらいに振り返りの記事を書こうと思います。 気になることがあれば気... 続きを読む

Dataformでデータ分析基盤を整備した話 - Adwaysエンジニアブログ

2022/07/22 8 users Dataform クエリ Adwaysエンジニアブログ 定義

こんにちは佐藤です。 今回はサービスのデータ分析基盤を作成する際に使用したDataformについて紹介させていただきます。 背景 Dataformについて 導入して良かったこと 依存関係がわかりやすい クエリのテスト 工夫した点 フォルダの構成について データセット名、テーブル名について シャーディングテーブルの定義につ... 続きを読む

Kubernetes manifests を単一リポジトリで集中管理する運用設計 - LIVESENSE ENGINEER BLOG

2021/12/04 13 users LIVESENSE ENGINEER BLOG 集中 田中

Data Platform グループのリーダーの田中です。データ分析基盤 Livesense Analytics と機械学習基盤 Livesense Brain のプロジェクトマネジメント/アーキテクチャリングをしています。 今回は Livesense Brain における Kubernetes (k8s) manifest の管理方式と運用設計について紹介します。 2種類の管理方式: 個別管理... 続きを読む

急なDXでクラウド基盤がスパゲティ化した話　マッサージ事業者の苦悩と打開策

2021/11/16 11 users キャッシュレス決済 苦悩 打開策 複雑化 クラウド活用

業務のデジタル化を急速に進めた結果、データ分析基盤の構成が複雑化し、期待していた通りに使えなくなってしまったマッサージ事業者のりらく。データ分析基盤の機能を取り戻すため、同社が進めるクラウド活用とは。 全国で600店舗以上のマッサージ店を運営するりらく。2018年以降、ネット予約やキャッシュレス決済、こ... 続きを読む

[動画公開] データ分析を支える技術 データ分析基盤 再入門 #devio2021 | DevelopersIO

2021/10/15 6 users DevelopersIO コンサルティングチーム 再入門

分かりそうで分からない「データ分析基盤」、何のために導入して、どのようにデータを集め、どのような構成でデータを管理・蓄積するのか、欲しいデータの所在や仕様の管理など、コンサルの現場でよく尋ねられる疑問について解説します。 データアナリティクス事業本部のコンサルティングチームの石川です。先週より開催... 続きを読む

NTTドコモ、データ分析基盤にBigQueryを導入、クエリーの約7割をRedshiftからBigQueryに移行 | IT Leaders

2021/09/07 29 users クエリー BigQuery RedShift BigQue

IT Leaders トップ ＞ テクノロジー一覧 ＞ データベース ＞ 新製品・サービス ＞ NTTドコモ、データ分析基盤にBigQueryを導入、クエリーの約7割をRedshiftからBigQueryに移行 データベース データベース記事一覧へ [新製品・サービス] NTTドコモ、データ分析基盤にBigQueryを導入、クエリーの約7割をRedshiftからBigQue... 続きを読む

AWSで作るデータ分析基盤サービスの選定と設計のポイント - Speaker Deck

2021/07/21 9 users AWS Speaker Deck 選定 NRIネットコム 設計

Transcript 2021年3月18日 NRIネットコム株式会社 クラウド事業推進部 佐々木 拓郎 AWSで作る データ分析基盤サービスの 選定と設計のポイント Provided by NRI Netcom 1 Copyright（C） NRI Netcom, Ltd. All rights reserved. NRIネットコムについて データ分析基盤の 作り方 データ分析基盤の プロジェクトの進め方 0... 続きを読む

[書評] AWSの薄い本Ⅲ データ分析基盤を作ってみよう〜設計編〜 | DevelopersIO

2021/07/01 14 users DevelopersIO ダウンロー AWS 書評 薄い本

『AWSの薄い本 IAMのマニアックな話』や各種AWS認定試験対策本を執筆されている佐々木拓郎氏がこの度、データ分析基盤に関する書籍を新たに出版されていました。個人的にも非常に気になる内容でしたので早速購入し読んでみましたので書評というか感想を簡単にではありますが述べてみたいと思います。 (※今回はダウンロー... 続きを読む

データ分析基盤における個人情報の扱いについて - NRIネットコム Design & Tech Blog

2021/06/01 12 users 最初 設計 佐々木 毒入り データ分析基盤構築

こんにちは佐々木です。 誰に望まれた訳でもないですが、データ分析基盤の設計シリーズの第三弾です。今回のテーマは、データ分析基盤における個人情報＆パーソナルデータの扱いについてです。ここを最初に考えておかないと、データ分析基盤は毒入りとなって、扱いづらいものになります。 データ分析基盤構築の肝は、デ... 続きを読む

Classiのデータ分析基盤であるソクラテスの紹介 - Classi開発者ブログ

2021/05/31 7 users 滑川 責務 classi ソクラテス 運用

こんにちは、データプラットフォームチームでデータエンジニアをやっている滑川です。 データプラットフォームチームはデータAI部のメンバーで構成されていて、データ分析基盤を中心としたデータ活用関するシステムに責務を持つチームです。 データAI部が出来てから3年が経ち、データ分析基盤を今の形で運用をして1年半... 続きを読む

メルカリ社が運用する trocco & BigQuery のデータ分析基盤と経済性 #GoogleCloudDay / 20210526 - Speaker Deck

2021/05/26 30 users BigQuery trocco Speaker Deck

Transcript None 䝯䝹䜹䝸♫䚷䚷䛜㐠Ⴀ䛩䜛 řŎIJîîIJБ�ŷ��ĔČ|ŞøŎŸ�䛾 䝕䞊䝍ศᯒᇶ┙䛸⤒῭ᛶ ᪂஭�ᓫᚿ ᰴᘧ఍♫�ŋŎĔīø[ŞīíøŎ ᇳ⾜ᙺဨ��aa�ව�䜹䝇䝍䝬䞊䝃䜽䝉䝇ᮏ㒊 �ᮏ㒊㛗 ⏣㑔�㞝ᶞ ᰴᘧ఍♫�SULPH1XPEHU�௦⾲ྲྀ⥾ᙺ&(2 ͱ�䛒䜙䜖䜛䝕䞊䝍䜢䚸 䝡䝆䝛䝇䛾ຊ䛻ኚ䛘䜛䚹Ͳ ŋŎĔīø[ŞīíøŎ�䛿䚸䝕䞊䝍䝔䜽䝜䝻䝆䞊䜹䞁䝟䝙䞊䚹 䛒䜙䜖䜛䝕䞊䝍䛜⇿Ⓨⓗ䛻ቑ䛘䛶䛔䛟᫬௦... 続きを読む

GCPで構築する、これからの変化に対応出来るデータ分析基盤の作り方 - Speaker Deck

2021/03/04 146 users GCP Speaker Deck BigData Beer

Transcript GCP で構築する これからの変化に対応出来る データ分析基盤の作り方 株式会社リクルートテクノロジーズ ITI本部 DP部　山田 雄、白鳥 昇治、佐伯 嘉康 2020/03/31 Google Cloud Data Platform Day #2 山田　雄(Yamada Yu) @nii_yan データエンジニア (データ基盤の開発・運用) AWS/GCP/BigData/Mail/Beer/Ya... 続きを読む

mikanのデータ分析基盤の歴史 - mikan Tech Blog

2021/02/24 10 users mikan プロダ ij_spitz 株式会社mikan 歴史

こんにちは、株式会社mikanでデータ分析を担当している @ij_spitz です。 データ分析チームのブログも2本目になりますが、今回は前回の記事で少しだけ頭出しをしていたデータ分析基盤の歴史について書いていきます。 ↓前回の記事はこちら mikan-tech.hatenablog.jp 英単語アプリmikanは2014年10月にリリースされたプロダ... 続きを読む

ANDPADの分析環境のアクセスコントロール - ANDPAD Tech Blog

2020/12/17 10 users ANDPAD データ基盤エンジニア 現状 弊社 分析環境

はじめまして。ANDPADでデータ活用を推進している、データ基盤エンジニアのmikanfactoryです。 2020年5月にジョインしてANDPADのデータ活用の基礎部分を細々と固めています。 今回は弊社の分析環境のアクセスコントロールについて詳しく説明します。 分析環境の現状 データ分析基盤の詳細を書いていたら結構な量になって... 続きを読む

jinya-blog: AI Platform / GCP で最強の分析環境を手に入れた話

2020/09/03 19 users GCP データセキュリティ 最強 AI Platform 基盤

日頃から Google Cloud Platform (GCP)がデータ分析基盤の決定版になると言い続けて・・・たぶん5年ほど経ちましたが、このたびやっと、具体的に使える基盤になってきた感じがするので、まとめておきます。 その前に。 まえおき ～ 分析仕事とデータのセキュリティデータ分析の仕事とデータセキュリティとの関係を、ここ... 続きを読む

Sansanのデータエンジニアが語る、名刺データ分析基盤の構築方法 - ログミーTech

2020/04/27 19 users Sansan night 道のり ログミーTech 苦労

Sansanのデータエンジニアが語る、名刺データ分析基盤の構築方法 Sansan DSOC を支える、名刺データ分析基盤 どのようにデータ分析基盤を構築してきたか、活用までの道のりや苦労を現場の人間に聞く「データ分析基盤Developers Night」。4回目の今回は、「活用されるデータ基盤」をテーマに、Sansan株式会社の千葉祐大氏... 続きを読む