使われないものを作るな！出口から作るデータ分析基盤 / Data Platform Development Starting from the User Needs

2024/05/16 106 users 出口

本資料は Tech Play イベント『データ基盤運用の工数削減に効いた俺的ベストプラクティス データマネジメントの勘所』での登壇資料です。 https://techplay.jp/event/940296 データ基盤を構築する際、多くの人が最初にdbt、BigQuery、troccoといったツール名を思い浮かべるかもしれません。しかし、ビジネス価値を生み出... 続きを読む

trocco・BigQuery・Tableauを採用。アソビューがデータ分析基盤の再構築に挑んだ理由 - what we use（技術スタックデータベース）

2023/11/01 19 users アソビュー 反面 技術スタックデータベース 近年 選択肢

はじめまして、アソビューでデータ基盤チームに所属している霧生です。 近年、モダンデータスタックの登場などによりデータ分析基盤は一層盛り上がりを見せています。選択肢も増えてできることが多くなった反面、どう構築していくか迷う場面も多いのではないでしょうか。今回はアソビューのデータ分析基盤の構成と現状の... 続きを読む

デジタル庁のデータ分析基盤「sukuna」｜デジタル庁

2023/06/27 550 users Sukuna デジタル庁

はじめまして。デジタル庁Fact & Data Unit所属、データエンジニアの長谷川です。 本記事ではデジタル庁内でデータ活用を推進するための組織と分析基盤についてご紹介します。 これまでのデジタル庁noteと比べると、技術寄りの話題が多い記事となりますが、庁内のデータ活用に興味のある方はぜひご覧ください。 デジタル... 続きを読む

Kubernetes manifests を単一リポジトリで集中管理する運用設計 - LIVESENSE ENGINEER BLOG

2021/12/04 13 users LIVESENSE ENGINEER BLOG 集中 田中

Data Platform グループのリーダーの田中です。データ分析基盤 Livesense Analytics と機械学習基盤 Livesense Brain のプロジェクトマネジメント/アーキテクチャリングをしています。 今回は Livesense Brain における Kubernetes (k8s) manifest の管理方式と運用設計について紹介します。 2種類の管理方式: 個別管理... 続きを読む

急なDXでクラウド基盤がスパゲティ化した話　マッサージ事業者の苦悩と打開策

2021/11/16 11 users キャッシュレス決済 苦悩 打開策 複雑化 クラウド活用

業務のデジタル化を急速に進めた結果、データ分析基盤の構成が複雑化し、期待していた通りに使えなくなってしまったマッサージ事業者のりらく。データ分析基盤の機能を取り戻すため、同社が進めるクラウド活用とは。 全国で600店舗以上のマッサージ店を運営するりらく。2018年以降、ネット予約やキャッシュレス決済、こ... 続きを読む

NTTドコモ、データ分析基盤にBigQueryを導入、クエリーの約7割をRedshiftからBigQueryに移行 | IT Leaders

2021/09/07 29 users クエリー BigQuery RedShift BigQue

IT Leaders トップ ＞ テクノロジー一覧 ＞ データベース ＞ 新製品・サービス ＞ NTTドコモ、データ分析基盤にBigQueryを導入、クエリーの約7割をRedshiftからBigQueryに移行 データベース データベース記事一覧へ [新製品・サービス] NTTドコモ、データ分析基盤にBigQueryを導入、クエリーの約7割をRedshiftからBigQue... 続きを読む

[書評] AWSの薄い本Ⅲ データ分析基盤を作ってみよう〜設計編〜 | DevelopersIO

2021/07/01 14 users DevelopersIO ダウンロー AWS 書評 薄い本

『AWSの薄い本 IAMのマニアックな話』や各種AWS認定試験対策本を執筆されている佐々木拓郎氏がこの度、データ分析基盤に関する書籍を新たに出版されていました。個人的にも非常に気になる内容でしたので早速購入し読んでみましたので書評というか感想を簡単にではありますが述べてみたいと思います。 (※今回はダウンロー... 続きを読む

データ分析基盤における個人情報の扱いについて - NRIネットコム Design & Tech Blog

2021/06/01 12 users 最初 設計 佐々木 毒入り データ分析基盤構築

こんにちは佐々木です。 誰に望まれた訳でもないですが、データ分析基盤の設計シリーズの第三弾です。今回のテーマは、データ分析基盤における個人情報＆パーソナルデータの扱いについてです。ここを最初に考えておかないと、データ分析基盤は毒入りとなって、扱いづらいものになります。 データ分析基盤構築の肝は、デ... 続きを読む

メルカリ社が運用する trocco & BigQuery のデータ分析基盤と経済性 #GoogleCloudDay / 20210526 - Speaker Deck

2021/05/26 30 users BigQuery trocco Speaker Deck

Transcript None 䝯䝹䜹䝸♫䚷䚷䛜㐠Ⴀ䛩䜛 řŎIJîîIJБ�ŷ��ĔČ|ŞøŎŸ�䛾 䝕䞊䝍ศᯒᇶ┙䛸⤒῭ᛶ ᪂஭�ᓫᚿ ᰴᘧ఍♫�ŋŎĔīø[ŞīíøŎ ᇳ⾜ᙺဨ��aa�ව�䜹䝇䝍䝬䞊䝃䜽䝉䝇ᮏ㒊 �ᮏ㒊㛗 ⏣㑔�㞝ᶞ ᰴᘧ఍♫�SULPH1XPEHU�௦⾲ྲྀ⥾ᙺ&(2 ͱ�䛒䜙䜖䜛䝕䞊䝍䜢䚸 䝡䝆䝛䝇䛾ຊ䛻ኚ䛘䜛䚹Ͳ ŋŎĔīø[ŞīíøŎ�䛿䚸䝕䞊䝍䝔䜽䝜䝻䝆䞊䜹䞁䝟䝙䞊䚹 䛒䜙䜖䜛䝕䞊䝍䛜⇿Ⓨⓗ䛻ቑ䛘䛶䛔䛟᫬௦... 続きを読む

GCPで構築する、これからの変化に対応出来るデータ分析基盤の作り方 - Speaker Deck

2021/03/04 146 users GCP Speaker Deck BigData Beer

Transcript GCP で構築する これからの変化に対応出来る データ分析基盤の作り方 株式会社リクルートテクノロジーズ ITI本部 DP部　山田 雄、白鳥 昇治、佐伯 嘉康 2020/03/31 Google Cloud Data Platform Day #2 山田　雄(Yamada Yu) @nii_yan データエンジニア (データ基盤の開発・運用) AWS/GCP/BigData/Mail/Beer/Ya... 続きを読む

mikanのデータ分析基盤の歴史 - mikan Tech Blog

2021/02/24 10 users mikan プロダ ij_spitz 株式会社mikan 歴史

こんにちは、株式会社mikanでデータ分析を担当している @ij_spitz です。 データ分析チームのブログも2本目になりますが、今回は前回の記事で少しだけ頭出しをしていたデータ分析基盤の歴史について書いていきます。 ↓前回の記事はこちら mikan-tech.hatenablog.jp 英単語アプリmikanは2014年10月にリリースされたプロダ... 続きを読む

ANDPADの分析環境のアクセスコントロール - ANDPAD Tech Blog

2020/12/17 10 users ANDPAD データ基盤エンジニア 現状 弊社 分析環境

はじめまして。ANDPADでデータ活用を推進している、データ基盤エンジニアのmikanfactoryです。 2020年5月にジョインしてANDPADのデータ活用の基礎部分を細々と固めています。 今回は弊社の分析環境のアクセスコントロールについて詳しく説明します。 分析環境の現状 データ分析基盤の詳細を書いていたら結構な量になって... 続きを読む

jinya-blog: AI Platform / GCP で最強の分析環境を手に入れた話

2020/09/03 19 users GCP データセキュリティ 最強 AI Platform 基盤

日頃から Google Cloud Platform (GCP)がデータ分析基盤の決定版になると言い続けて・・・たぶん5年ほど経ちましたが、このたびやっと、具体的に使える基盤になってきた感じがするので、まとめておきます。 その前に。 まえおき ～ 分析仕事とデータのセキュリティデータ分析の仕事とデータセキュリティとの関係を、ここ... 続きを読む

Sansanのデータエンジニアが語る、名刺データ分析基盤の構築方法 - ログミーTech

2020/04/27 19 users Sansan night 道のり ログミーTech 苦労

Sansanのデータエンジニアが語る、名刺データ分析基盤の構築方法 Sansan DSOC を支える、名刺データ分析基盤 どのようにデータ分析基盤を構築してきたか、活用までの道のりや苦労を現場の人間に聞く「データ分析基盤Developers Night」。4回目の今回は、「活用されるデータ基盤」をテーマに、Sansan株式会社の千葉祐大氏... 続きを読む

Vue.jsでカスタムディレクティブを使ってユーザーの「見てる」を可視化する - dely engineering blog

2019/12/18 15 users カスタムディレクティブ クラシル 目次 Vue.js 実装

目次 目次 はじめに とある日のこと カスタムディレクティブとは やりたいこと クラシルのデータ分析基盤 イベント定義シート イベントパラメーター型定義シート サンプル実装 カスタムディレクティブのコード Vueコンポーネントに適用してみる クラシルWebに実際に導入してみた結果 この実装を通して学んだこと おわり... 続きを読む

クラシルのデータ分析基盤 - dely engineering blog

2018/10/18 28 users クラシル dely engineering blog

データ可視化推進室の深尾です。 delyではkurashiruリリース当初からデータ分析を重要視してきました。でも初めから使い勝手の良い分析基盤があった訳ではなく、これまでに何度も改良し今は４世代目となる分析基盤を中心に利用しています。今日はその分析基盤のお話です。まずこれまでの歴史から振り返ってみたいと思い... 続きを読む

DeNAのデータ分析基盤　あらゆるサービスのログを蓄積・分析するインフラの仕組み

2018/09/05 64 users DeNA インフラ 蓄積 ロク サービス

2018年5月23日、トレジャーデータ株式会社が主催するイベント「PLAZMA Data Platform Day: TD Tech Talk」が開催されました。2日間に渡って、TreasureDataを活用する各企業が、運用上の知見やヒントを共有する本イベント。1日目のData Platform Dayでは、分散処理システムの構築やエコシステム開発、運用に対する取り組... 続きを読む

ソーシャルゲームの価値を上げるログデータのつくりかた – てっくぼっと！

2018/08/25 88 users ログデータ 定量 サーバーサイドエンジニア 知見 小川

はじめに 現在データ分析基盤の再構築を担当している、サーバーサイドエンジニアの小川です。これまで私は4つのソーシャルゲームの新規開発・運用を経験してきました。そこでの知見と考察をまとめます。 ログデータは、調査などに必要なただの履歴という立場に置かれがちです。ですが、作業工数を大幅カットしたり、定量... 続きを読む

AWS Glueを用いたデータ分析基盤を構築した✨ - Studyplus Engineering Blog

2018/08/02 34 users AWS Glue マネージドサービス AWS 知見 要件

こんにちは。@morix1500と申します。 この度、スタディプラス様からデータ分析基盤の構築の業務委託を受け、AWSのマネージドサービスを用いて構築を行いました。 その際に得られた知見を共有したいと思います。 データ分析基盤について 今回スタディプラス様から受けたデータ分析基盤の要件は以下のようなものでした。 S... 続きを読む

Ruby で作るデータ分析基盤 - Speaker Deck

2018/07/14 15 users Ruby Speaker Deck

All slide content and descriptions are owned by their creators. 続きを読む

ソーシャルゲームの価値を上げるログデータのつくりかた – てっくぼっと！

2018/07/13 88 users ログデータ 定量 サーバーサイドエンジニア 知見 小川

はじめに 現在データ分析基盤の再構築を担当している、サーバーサイドエンジニアの小川です。これまで私は4つのソーシャルゲームの新規開発・運用を経験してきました。そこでの知見と考察をまとめます。 ログデータは、調査などに必要なただの履歴という立場に置かれがちです。ですが、作業工数を大幅カットしたり、定量... 続きを読む

エンジニアを魅了する次世代 BI ツール『Looker』を Quipper が導入した理由（わけ） - Quipper Product Team Blog

2018/06/04 164 users Looker Quipper わけ 負債 マネージャー

2018 - 06 - 04 エンジニアを魅了する次世代 BI ツール『Looker』を Quipper が導入した理由（わけ） こんにちは、データグループのマネージャーをやっています beniyama と申します。 先の記事 『プロダクトの「負債」を「機能」と呼び直す 〜A/Bテストを用いた"価値"の定量化〜』 でも触れられていますが、データグループではデータ分析基盤の構築（ 参考資料 ）からデ... 続きを読む

情報処理学会第41回インターネットと運用技術研究会で3件の発表をしました - ペパボ研究所ブログ

2018/05/22 11 users ペパボ研究所ブログ 運用技術研究会 発表 3件 zaimy

GMOペパボ株式会社 技術部デザイン戦略チーム データサイエンティストの財津( @zaimy ) です。データ分析基盤の構築やデータ分析、機械学習モデルの開発、ペパボ研究所での研究・研究事務・研究広報をやっています。 2018年5月17日から2日間に渡って開催された、 第41回インターネットと運用技術研究会 (IOT41)で、ペパボ研究所から3件の発表を行いましたので、論文(研究会予稿)とスライド... 続きを読む

Kafka/Fluentd/Sparkを用いたデータ分析基盤の運用話 / ペンギン愛好家 さん - ニコナレ

2018/04/02 67 users Kafka fluentd Spark ニコナレ

新宿Geek Lounge#4 分析基盤Meetup ver2での発表資料です。 https://shinjuku-geek-lounge.connpass.com/even... すべて表示 続きを読む

US版Mercariのリニューアルと今後 (サーバサイド) - Mercari Engineering Blog

2017/12/10 86 users サーバサイド syu_cream サーバサイドエンジニア

2017 - 12 - 10 US版Mercariのリニューアルと今後 (サーバサイド) この記事は Mercari Advent Calendar 10日目の記事です。昨日は @syu_cream の メルカリのデータ分析基盤の紹介〜BigQuery周辺の話〜 でした。 本日はUSサンフランシスコのサーバサイドエンジニア @deme0607 が、今年2017年にリニューアルしたUS版Mercar... 続きを読む