デジタル庁のデータ分析基盤「sukuna」｜デジタル庁

2023/06/27 550 users Sukuna デジタル庁

はじめまして。デジタル庁Fact & Data Unit所属、データエンジニアの長谷川です。 本記事ではデジタル庁内でデータ活用を推進するための組織と分析基盤についてご紹介します。 これまでのデジタル庁noteと比べると、技術寄りの話題が多い記事となりますが、庁内のデータ活用に興味のある方はぜひご覧ください。 デジタル... 続きを読む

Jupyter(Python)とBigQueryによるデータ分析基盤のDevOps #pyconjp // Speaker Deck

2017/09/08 288 users pyconjp DevOps BigQuery Python

Jupyter(Python)とBigQueryによるデータ分析基盤のDevOps #pyconjp / 20170909 続きを読む

エンジニアを魅了する次世代 BI ツール『Looker』を Quipper が導入した理由（わけ） - Quipper Product Team Blog

2018/06/04 164 users Looker Quipper わけ 負債 マネージャー

2018 - 06 - 04 エンジニアを魅了する次世代 BI ツール『Looker』を Quipper が導入した理由（わけ） こんにちは、データグループのマネージャーをやっています beniyama と申します。 先の記事 『プロダクトの「負債」を「機能」と呼び直す 〜A/Bテストを用いた"価値"の定量化〜』 でも触れられていますが、データグループではデータ分析基盤の構築（ 参考資料 ）からデ... 続きを読む

GCPで構築する、これからの変化に対応出来るデータ分析基盤の作り方 - Speaker Deck

2021/03/04 146 users GCP Speaker Deck BigData Beer

Transcript GCP で構築する これからの変化に対応出来る データ分析基盤の作り方 株式会社リクルートテクノロジーズ ITI本部 DP部　山田 雄、白鳥 昇治、佐伯 嘉康 2020/03/31 Google Cloud Data Platform Day #2 山田　雄(Yamada Yu) @nii_yan データエンジニア (データ基盤の開発・運用) AWS/GCP/BigData/Mail/Beer/Ya... 続きを読む

ドリコムを支えるデータ分析基盤がTD+AWSに移行した話 - かにぱんのなく頃に

2015/12/06 138 users ドリコム ドリコムAdventCalendar 去年 テー

2015-12-07 ドリコムを支えるデータ分析基盤がTD+AWSに移行した話 はじめに これは ドリコムAdventCalendar の7日目です 6日目は、keiichironaganoさんによる iTunes 使用許諾更新のとき一旦キャンセルしてほしい話 です 【その2】ドリコム Advent Calendar 2015 もあります 自己紹介 @ka_nipan 去年の ドリコムを支えるデー... 続きを読む

Gunosyのデータ分析基盤、ログ基盤の全容 // Speaker Deck

2017/02/28 112 users Gunosy 全容 Speaker Deck ログ基盤

続きを読む

【14-B-2】グリーを支えるデータ分析基盤の過去と現在（橋本泰一〔グリー〕）

2014/02/19 108 users GREE グリー Inc 過去

【14-B-2】グリーを支えるデータ分析基盤の過去と現在（橋本泰一〔グリー〕） Presentation Transcript Developers Summit 2014 グリーを支えるデータ分析基盤の 過去と現在 2014/02/14 グリー株式会社 Web Game 事業統括本部 橋本 泰一 Copyright © GREE, Inc. All Rights Reserved. 自己紹介： ... 続きを読む

使われないものを作るな！出口から作るデータ分析基盤 / Data Platform Development Starting from the User Needs

2024/05/16 106 users 出口

本資料は Tech Play イベント『データ基盤運用の工数削減に効いた俺的ベストプラクティス データマネジメントの勘所』での登壇資料です。 https://techplay.jp/event/940296 データ基盤を構築する際、多くの人が最初にdbt、BigQuery、troccoといったツール名を思い浮かべるかもしれません。しかし、ビジネス価値を生み出... 続きを読む

ソーシャルゲームの価値を上げるログデータのつくりかた – てっくぼっと！

2018/08/25 88 users ログデータ 定量 サーバーサイドエンジニア 知見 小川

はじめに 現在データ分析基盤の再構築を担当している、サーバーサイドエンジニアの小川です。これまで私は4つのソーシャルゲームの新規開発・運用を経験してきました。そこでの知見と考察をまとめます。 ログデータは、調査などに必要なただの履歴という立場に置かれがちです。ですが、作業工数を大幅カットしたり、定量... 続きを読む

ソーシャルゲームの価値を上げるログデータのつくりかた – てっくぼっと！

2018/07/13 88 users ログデータ 定量 サーバーサイドエンジニア 知見 小川

はじめに 現在データ分析基盤の再構築を担当している、サーバーサイドエンジニアの小川です。これまで私は4つのソーシャルゲームの新規開発・運用を経験してきました。そこでの知見と考察をまとめます。 ログデータは、調査などに必要なただの履歴という立場に置かれがちです。ですが、作業工数を大幅カットしたり、定量... 続きを読む

US版Mercariのリニューアルと今後 (サーバサイド) - Mercari Engineering Blog

2017/12/10 86 users サーバサイド syu_cream サーバサイドエンジニア

2017 - 12 - 10 US版Mercariのリニューアルと今後 (サーバサイド) この記事は Mercari Advent Calendar 10日目の記事です。昨日は @syu_cream の メルカリのデータ分析基盤の紹介〜BigQuery周辺の話〜 でした。 本日はUSサンフランシスコのサーバサイドエンジニア @deme0607 が、今年2017年にリニューアルしたUS版Mercar... 続きを読む

「そのデータ分析基盤、作るか? 使うか?」という話をしてきた - たごもりすメモ

2017/04/25 77 users りすメモ ファンコミュニケーションズ かと エントリ 過去

2017 - 04 - 25 「そのデータ分析基盤、作るか? 使うか?」という話をしてきた ファンコミュニケーションズ さんが自社オフィスで勉強会をはじめるということで、第1回でしゃべりませんかというお誘いを受けたので参加してきた。お誘いありがとうございました! eventdots.jp 内容はどうしようかなと思ったんだけど、相談してみたら 過去のこのエントリ のスタートアップ限定じゃない話とかど... 続きを読む

Kafka/Fluentd/Sparkを用いたデータ分析基盤の運用話 / ペンギン愛好家 さん - ニコナレ

2018/04/02 67 users Kafka fluentd Spark ニコナレ

新宿Geek Lounge#4 分析基盤Meetup ver2での発表資料です。 https://shinjuku-geek-lounge.connpass.com/even... すべて表示 続きを読む

デブサミ2014「グリーを支えるデータ分析基盤の過去と現在」講演メモ #devsumi - 元RX-7乗りの適当な日々

2014/02/14 67 users devsumi 泰一 rsync デブサミ2014 ジョイン

IT どこもそれなりに苦労・工夫しているよなぁと、興味深く聞かせていただきました。 「グリーを支えるデータ分析基盤の過去と現在」橋本 泰一 氏グリー10年ほど東工大で助手・特任准教授した後、2012年にグリーにジョイン 過去の話(2011年)Webサーバからログをrsyncでストレージへバッチ処理で集計してDBへ(MySQL)ストレージもDBもハードウェアはSolaris Sun Fire X45... 続きを読む

DeNAのデータ分析基盤　あらゆるサービスのログを蓄積・分析するインフラの仕組み

2018/09/05 64 users DeNA インフラ 蓄積 ロク サービス

2018年5月23日、トレジャーデータ株式会社が主催するイベント「PLAZMA Data Platform Day: TD Tech Talk」が開催されました。2日間に渡って、TreasureDataを活用する各企業が、運用上の知見やヒントを共有する本イベント。1日目のData Platform Dayでは、分散処理システムの構築やエコシステム開発、運用に対する取り組... 続きを読む

ドリコムの開発を支えるGitリポジトリ - gussan

2014/12/05 62 users ドリコム Gitリポジトリ ka_nipan 開発運用 本日

2014-12-05 ドリコムの開発を支えるGitリポジトリ はじめに これは ドリコム Advent Calendar 2014 の5日目です。 4日目は、@ka_nipan さんによる ドリコムを支えるデータ分析基盤 です。 自己紹介 @gussan ドリコム歴は10年になります。 アーキテクチャ設計、ミドルウェア・ライブラリ及び社内ツールの開発運用等を担当しています。 本日の話 2年前の12... 続きを読む

［速報］マイクロソフト、クラウドのデータ分析基盤「SQL Data Warehouse」発表。Amazon Redshiftに対抗。Build 2015 － Publickey

2015/04/29 61 users データーベース Publickey 基盤 米サンフランシスコ

マイクロソフトは米サンフランシスコで開催中のイベント「Build 2015」において、クラウド上でデータを統合、分析する基盤となるサービス「SQL Data Warehouse」を発表しました。 SQL Data Warehouseは、複数のデーターベースや業務アプリケーションなどのデータを統合し、データ分析の基盤となるデータウェアハウス機能を提供するサービス。数秒でペタバイトクラスまで迅速に拡大... 続きを読む