デジタル庁のデータ分析基盤「sukuna」｜デジタル庁

2023/06/27 550 users Sukuna デジタル庁

はじめまして。デジタル庁Fact & Data Unit所属、データエンジニアの長谷川です。 本記事ではデジタル庁内でデータ活用を推進するための組織と分析基盤についてご紹介します。 これまでのデジタル庁noteと比べると、技術寄りの話題が多い記事となりますが、庁内のデータ活用に興味のある方はぜひご覧ください。 デジタル... 続きを読む

Jupyter(Python)とBigQueryによるデータ分析基盤のDevOps #pyconjp // Speaker Deck

2017/09/08 288 users pyconjp DevOps BigQuery Python

Jupyter(Python)とBigQueryによるデータ分析基盤のDevOps #pyconjp / 20170909 続きを読む

エンジニアを魅了する次世代 BI ツール『Looker』を Quipper が導入した理由（わけ） - Quipper Product Team Blog

2018/06/04 164 users Looker Quipper わけ 負債 マネージャー

2018 - 06 - 04 エンジニアを魅了する次世代 BI ツール『Looker』を Quipper が導入した理由（わけ） こんにちは、データグループのマネージャーをやっています beniyama と申します。 先の記事 『プロダクトの「負債」を「機能」と呼び直す 〜A/Bテストを用いた"価値"の定量化〜』 でも触れられていますが、データグループではデータ分析基盤の構築（ 参考資料 ）からデ... 続きを読む

GCPで構築する、これからの変化に対応出来るデータ分析基盤の作り方 - Speaker Deck

2021/03/04 146 users GCP Speaker Deck BigData Beer

Transcript GCP で構築する これからの変化に対応出来る データ分析基盤の作り方 株式会社リクルートテクノロジーズ ITI本部 DP部　山田 雄、白鳥 昇治、佐伯 嘉康 2020/03/31 Google Cloud Data Platform Day #2 山田　雄(Yamada Yu) @nii_yan データエンジニア (データ基盤の開発・運用) AWS/GCP/BigData/Mail/Beer/Ya... 続きを読む

ドリコムを支えるデータ分析基盤がTD+AWSに移行した話 - かにぱんのなく頃に

2015/12/06 138 users ドリコム ドリコムAdventCalendar 去年 テー

2015-12-07 ドリコムを支えるデータ分析基盤がTD+AWSに移行した話 はじめに これは ドリコムAdventCalendar の7日目です 6日目は、keiichironaganoさんによる iTunes 使用許諾更新のとき一旦キャンセルしてほしい話 です 【その2】ドリコム Advent Calendar 2015 もあります 自己紹介 @ka_nipan 去年の ドリコムを支えるデー... 続きを読む

Gunosyのデータ分析基盤、ログ基盤の全容 // Speaker Deck

2017/02/28 112 users Gunosy 全容 Speaker Deck ログ基盤

続きを読む

【14-B-2】グリーを支えるデータ分析基盤の過去と現在（橋本泰一〔グリー〕）

2014/02/19 108 users GREE グリー Inc 過去

【14-B-2】グリーを支えるデータ分析基盤の過去と現在（橋本泰一〔グリー〕） Presentation Transcript Developers Summit 2014 グリーを支えるデータ分析基盤の 過去と現在 2014/02/14 グリー株式会社 Web Game 事業統括本部 橋本 泰一 Copyright © GREE, Inc. All Rights Reserved. 自己紹介： ... 続きを読む

使われないものを作るな！出口から作るデータ分析基盤 / Data Platform Development Starting from the User Needs

2024/05/16 106 users 出口

本資料は Tech Play イベント『データ基盤運用の工数削減に効いた俺的ベストプラクティス データマネジメントの勘所』での登壇資料です。 https://techplay.jp/event/940296 データ基盤を構築する際、多くの人が最初にdbt、BigQuery、troccoといったツール名を思い浮かべるかもしれません。しかし、ビジネス価値を生み出... 続きを読む

ソーシャルゲームの価値を上げるログデータのつくりかた – てっくぼっと！

2018/08/25 88 users ログデータ 定量 サーバーサイドエンジニア 知見 小川

はじめに 現在データ分析基盤の再構築を担当している、サーバーサイドエンジニアの小川です。これまで私は4つのソーシャルゲームの新規開発・運用を経験してきました。そこでの知見と考察をまとめます。 ログデータは、調査などに必要なただの履歴という立場に置かれがちです。ですが、作業工数を大幅カットしたり、定量... 続きを読む

ソーシャルゲームの価値を上げるログデータのつくりかた – てっくぼっと！

2018/07/13 88 users ログデータ 定量 サーバーサイドエンジニア 知見 小川

はじめに 現在データ分析基盤の再構築を担当している、サーバーサイドエンジニアの小川です。これまで私は4つのソーシャルゲームの新規開発・運用を経験してきました。そこでの知見と考察をまとめます。 ログデータは、調査などに必要なただの履歴という立場に置かれがちです。ですが、作業工数を大幅カットしたり、定量... 続きを読む

US版Mercariのリニューアルと今後 (サーバサイド) - Mercari Engineering Blog

2017/12/10 86 users サーバサイド syu_cream サーバサイドエンジニア

2017 - 12 - 10 US版Mercariのリニューアルと今後 (サーバサイド) この記事は Mercari Advent Calendar 10日目の記事です。昨日は @syu_cream の メルカリのデータ分析基盤の紹介〜BigQuery周辺の話〜 でした。 本日はUSサンフランシスコのサーバサイドエンジニア @deme0607 が、今年2017年にリニューアルしたUS版Mercar... 続きを読む

「そのデータ分析基盤、作るか? 使うか?」という話をしてきた - たごもりすメモ

2017/04/25 77 users りすメモ ファンコミュニケーションズ かと エントリ 過去

2017 - 04 - 25 「そのデータ分析基盤、作るか? 使うか?」という話をしてきた ファンコミュニケーションズ さんが自社オフィスで勉強会をはじめるということで、第1回でしゃべりませんかというお誘いを受けたので参加してきた。お誘いありがとうございました! eventdots.jp 内容はどうしようかなと思ったんだけど、相談してみたら 過去のこのエントリ のスタートアップ限定じゃない話とかど... 続きを読む

Kafka/Fluentd/Sparkを用いたデータ分析基盤の運用話 / ペンギン愛好家 さん - ニコナレ

2018/04/02 67 users Kafka fluentd Spark ニコナレ

新宿Geek Lounge#4 分析基盤Meetup ver2での発表資料です。 https://shinjuku-geek-lounge.connpass.com/even... すべて表示 続きを読む

デブサミ2014「グリーを支えるデータ分析基盤の過去と現在」講演メモ #devsumi - 元RX-7乗りの適当な日々

2014/02/14 67 users devsumi 泰一 rsync デブサミ2014 ジョイン

IT どこもそれなりに苦労・工夫しているよなぁと、興味深く聞かせていただきました。 「グリーを支えるデータ分析基盤の過去と現在」橋本 泰一 氏グリー10年ほど東工大で助手・特任准教授した後、2012年にグリーにジョイン 過去の話(2011年)Webサーバからログをrsyncでストレージへバッチ処理で集計してDBへ(MySQL)ストレージもDBもハードウェアはSolaris Sun Fire X45... 続きを読む

DeNAのデータ分析基盤　あらゆるサービスのログを蓄積・分析するインフラの仕組み

2018/09/05 64 users DeNA インフラ 蓄積 ロク サービス

2018年5月23日、トレジャーデータ株式会社が主催するイベント「PLAZMA Data Platform Day: TD Tech Talk」が開催されました。2日間に渡って、TreasureDataを活用する各企業が、運用上の知見やヒントを共有する本イベント。1日目のData Platform Dayでは、分散処理システムの構築やエコシステム開発、運用に対する取り組... 続きを読む

ドリコムの開発を支えるGitリポジトリ - gussan

2014/12/05 62 users ドリコム Gitリポジトリ ka_nipan 開発運用 本日

2014-12-05 ドリコムの開発を支えるGitリポジトリ はじめに これは ドリコム Advent Calendar 2014 の5日目です。 4日目は、@ka_nipan さんによる ドリコムを支えるデータ分析基盤 です。 自己紹介 @gussan ドリコム歴は10年になります。 アーキテクチャ設計、ミドルウェア・ライブラリ及び社内ツールの開発運用等を担当しています。 本日の話 2年前の12... 続きを読む

［速報］マイクロソフト、クラウドのデータ分析基盤「SQL Data Warehouse」発表。Amazon Redshiftに対抗。Build 2015 － Publickey

2015/04/29 61 users データーベース Publickey 基盤 米サンフランシスコ

マイクロソフトは米サンフランシスコで開催中のイベント「Build 2015」において、クラウド上でデータを統合、分析する基盤となるサービス「SQL Data Warehouse」を発表しました。 SQL Data Warehouseは、複数のデーターベースや業務アプリケーションなどのデータを統合し、データ分析の基盤となるデータウェアハウス機能を提供するサービス。数秒でペタバイトクラスまで迅速に拡大... 続きを読む

データ分析を支える「便利カラム」の問題点とその解決策 - LIVESENSE made*

2017/04/18 49 users LIVESENSE made アーキテクチャ 解決策 問題点

2017 - 04 - 18 データ分析を支える「便利カラム」の問題点とその解決策 分析基盤 こんにちは、'16新卒入社で、Analyticsグループ所属の田中です。 仕事ではデータ分析基盤や機械学習システムの開発・運用を行っています。 今回はデータ分析基盤における「便利カラム」にまつわる問題と、それを解決するためのアーキテクチャについてご紹介します。 リブセンスのデータ分析基盤 みなさんの会社で... 続きを読む

【レポート】AWS Summit Tokyo 2017: 多数のコンサル案件と運用実績で見えた!? 安定＆急成長ビジネスを支えるデータ分析基盤とAWSインフラ環境 #AWSSummit ｜ Developers.IO

2017/06/04 46 users グランドプリンスホテル新高輪 品川プリンスホテル レポート

【レポート】AWS Summit Tokyo 2017: 多数のコンサル案件と運用実績で見えた!? 安定＆急成長ビジネスを支えるデータ分析基盤とAWSインフラ環境 #AWSSummit AWS Summit Tokyo 2017 AWS特集 レポート 『AWS Summit Tokyo 2017』が2017年5月30日(火)〜6月2日(金)、グランドプリンスホテル新高輪 品川プリンスホテル アネッ... 続きを読む

データ分析基盤を支える技術 - YAPC::Asia Tokyo 2015

2015/05/15 36 users YAPC 技術 Asia Tokyo 2015

Currently this talk is in PENDING state. If you would like to see this talk at the event, please consider using the social media buttons below to express your interest! Tweet データ分析の話はそこかしこで行われてますが，それを... 続きを読む

AWS Glueを用いたデータ分析基盤を構築した✨ - Studyplus Engineering Blog

2018/08/02 34 users AWS Glue マネージドサービス AWS 知見 要件

こんにちは。@morix1500と申します。 この度、スタディプラス様からデータ分析基盤の構築の業務委託を受け、AWSのマネージドサービスを用いて構築を行いました。 その際に得られた知見を共有したいと思います。 データ分析基盤について 今回スタディプラス様から受けたデータ分析基盤の要件は以下のようなものでした。 S... 続きを読む

デザインとロジックを分離したかった・・・ - sazae657

2015/12/08 31 users ロジック Twitter Adventar ドリコム デザイン

2015-12-08 デザインとロジックを分離したかった・・・ これは 【その1】ドリコム Advent Calendar 2015 - Adventar の8日目です。 7日目は すべてがKになる (@ka_nipan) | Twitter さんによる ドリコムを支えるデータ分析基盤がTD+AWSに移行した話 - かにぱんのなく頃に です。 【その2】ドリコム Advent Calendar 2... 続きを読む

メルカリ社が運用する trocco & BigQuery のデータ分析基盤と経済性 #GoogleCloudDay / 20210526 - Speaker Deck

2021/05/26 30 users BigQuery trocco Speaker Deck

Transcript None 䝯䝹䜹䝸♫䚷䚷䛜㐠Ⴀ䛩䜛 řŎIJîîIJБ�ŷ��ĔČ|ŞøŎŸ�䛾 䝕䞊䝍ศᯒᇶ┙䛸⤒῭ᛶ ᪂஭�ᓫᚿ ᰴᘧ఍♫�ŋŎĔīø[ŞīíøŎ ᇳ⾜ᙺဨ��aa�ව�䜹䝇䝍䝬䞊䝃䜽䝉䝇ᮏ㒊 �ᮏ㒊㛗 ⏣㑔�㞝ᶞ ᰴᘧ఍♫�SULPH1XPEHU�௦⾲ྲྀ⥾ᙺ&(2 ͱ�䛒䜙䜖䜛䝕䞊䝍䜢䚸 䝡䝆䝛䝇䛾ຊ䛻ኚ䛘䜛䚹Ͳ ŋŎĔīø[ŞīíøŎ�䛿䚸䝕䞊䝍䝔䜽䝜䝻䝆䞊䜹䞁䝟䝙䞊䚹 䛒䜙䜖䜛䝕䞊䝍䛜⇿Ⓨⓗ䛻ቑ䛘䛶䛔䛟᫬௦... 続きを読む

NTTドコモ、データ分析基盤にBigQueryを導入、クエリーの約7割をRedshiftからBigQueryに移行 | IT Leaders

2021/09/07 29 users クエリー BigQuery RedShift BigQue

IT Leaders トップ ＞ テクノロジー一覧 ＞ データベース ＞ 新製品・サービス ＞ NTTドコモ、データ分析基盤にBigQueryを導入、クエリーの約7割をRedshiftからBigQueryに移行 データベース データベース記事一覧へ [新製品・サービス] NTTドコモ、データ分析基盤にBigQueryを導入、クエリーの約7割をRedshiftからBigQue... 続きを読む

クラシルのデータ分析基盤 - dely engineering blog

2018/10/18 28 users クラシル dely engineering blog

データ可視化推進室の深尾です。 delyではkurashiruリリース当初からデータ分析を重要視してきました。でも初めから使い勝手の良い分析基盤があった訳ではなく、これまでに何度も改良し今は４世代目となる分析基盤を中心に利用しています。今日はその分析基盤のお話です。まずこれまでの歴史から振り返ってみたいと思い... 続きを読む