タグ データ分析基盤
人気順 5 users 10 users 100 users 500 users 1000 users使われないものを作るな!出口から作るデータ分析基盤 / Data Platform Development Starting from the User Needs
本資料は Tech Play イベント『データ基盤運用の工数削減に効いた俺的ベストプラクティス データマネジメントの勘所』での登壇資料です。 https://techplay.jp/event/940296 データ基盤を構築する際、多くの人が最初にdbt、BigQuery、troccoといったツール名を思い浮かべるかもしれません。しかし、ビジネス価値を生み出... 続きを読む
デジタル庁のデータ分析基盤「sukuna」|デジタル庁
はじめまして。デジタル庁Fact & Data Unit所属、データエンジニアの長谷川です。 本記事ではデジタル庁内でデータ活用を推進するための組織と分析基盤についてご紹介します。 これまでのデジタル庁noteと比べると、技術寄りの話題が多い記事となりますが、庁内のデータ活用に興味のある方はぜひご覧ください。 デジタル... 続きを読む
GCPで構築する、これからの変化に対応出来るデータ分析基盤の作り方 - Speaker Deck
Transcript GCP で構築する これからの変化に対応出来る データ分析基盤の作り方 株式会社リクルートテクノロジーズ ITI本部 DP部 山田 雄、白鳥 昇治、佐伯 嘉康 2020/03/31 Google Cloud Data Platform Day #2 山田 雄(Yamada Yu) @nii_yan データエンジニア (データ基盤の開発・運用) AWS/GCP/BigData/Mail/Beer/Ya... 続きを読む
DeNAのデータ分析基盤 あらゆるサービスのログを蓄積・分析するインフラの仕組み
2018年5月23日、トレジャーデータ株式会社が主催するイベント「PLAZMA Data Platform Day: TD Tech Talk」が開催されました。2日間に渡って、TreasureDataを活用する各企業が、運用上の知見やヒントを共有する本イベント。1日目のData Platform Dayでは、分散処理システムの構築やエコシステム開発、運用に対する取り組... 続きを読む
ソーシャルゲームの価値を上げるログデータのつくりかた – てっくぼっと!
はじめに 現在データ分析基盤の再構築を担当している、サーバーサイドエンジニアの小川です。これまで私は4つのソーシャルゲームの新規開発・運用を経験してきました。そこでの知見と考察をまとめます。 ログデータは、調査などに必要なただの履歴という立場に置かれがちです。ですが、作業工数を大幅カットしたり、定量... 続きを読む
ソーシャルゲームの価値を上げるログデータのつくりかた – てっくぼっと!
はじめに 現在データ分析基盤の再構築を担当している、サーバーサイドエンジニアの小川です。これまで私は4つのソーシャルゲームの新規開発・運用を経験してきました。そこでの知見と考察をまとめます。 ログデータは、調査などに必要なただの履歴という立場に置かれがちです。ですが、作業工数を大幅カットしたり、定量... 続きを読む
エンジニアを魅了する次世代 BI ツール『Looker』を Quipper が導入した理由(わけ) - Quipper Product Team Blog
2018 - 06 - 04 エンジニアを魅了する次世代 BI ツール『Looker』を Quipper が導入した理由(わけ) こんにちは、データグループのマネージャーをやっています beniyama と申します。 先の記事 『プロダクトの「負債」を「機能」と呼び直す 〜A/Bテストを用いた"価値"の定量化〜』 でも触れられていますが、データグループではデータ分析基盤の構築( 参考資料 )からデ... 続きを読む
Kafka/Fluentd/Sparkを用いたデータ分析基盤の運用話 / ペンギン愛好家 さん - ニコナレ
新宿Geek Lounge#4 分析基盤Meetup ver2での発表資料です。 https://shinjuku-geek-lounge.connpass.com/even... すべて表示 続きを読む
US版Mercariのリニューアルと今後 (サーバサイド) - Mercari Engineering Blog
2017 - 12 - 10 US版Mercariのリニューアルと今後 (サーバサイド) この記事は Mercari Advent Calendar 10日目の記事です。昨日は @syu_cream の メルカリのデータ分析基盤の紹介〜BigQuery周辺の話〜 でした。 本日はUSサンフランシスコのサーバサイドエンジニア @deme0607 が、今年2017年にリニューアルしたUS版Mercar... 続きを読む
Jupyter(Python)とBigQueryによるデータ分析基盤のDevOps #pyconjp // Speaker Deck
Jupyter(Python)とBigQueryによるデータ分析基盤のDevOps #pyconjp / 20170909 続きを読む
「そのデータ分析基盤、作るか? 使うか?」という話をしてきた - たごもりすメモ
2017 - 04 - 25 「そのデータ分析基盤、作るか? 使うか?」という話をしてきた ファンコミュニケーションズ さんが自社オフィスで勉強会をはじめるということで、第1回でしゃべりませんかというお誘いを受けたので参加してきた。お誘いありがとうございました! eventdots.jp 内容はどうしようかなと思ったんだけど、相談してみたら 過去のこのエントリ のスタートアップ限定じゃない話とかど... 続きを読む
Gunosyのデータ分析基盤、ログ基盤の全容 // Speaker Deck
ドリコムを支えるデータ分析基盤がTD+AWSに移行した話 - かにぱんのなく頃に
2015-12-07 ドリコムを支えるデータ分析基盤がTD+AWSに移行した話 はじめに これは ドリコムAdventCalendar の7日目です 6日目は、keiichironaganoさんによる iTunes 使用許諾更新のとき一旦キャンセルしてほしい話 です 【その2】ドリコム Advent Calendar 2015 もあります 自己紹介 @ka_nipan 去年の ドリコムを支えるデー... 続きを読む
[速報]マイクロソフト、クラウドのデータ分析基盤「SQL Data Warehouse」発表。Amazon Redshiftに対抗。Build 2015 - Publickey
マイクロソフトは米サンフランシスコで開催中のイベント「Build 2015」において、クラウド上でデータを統合、分析する基盤となるサービス「SQL Data Warehouse」を発表しました。 SQL Data Warehouseは、複数のデーターベースや業務アプリケーションなどのデータを統合し、データ分析の基盤となるデータウェアハウス機能を提供するサービス。数秒でペタバイトクラスまで迅速に拡大... 続きを読む
ドリコムの開発を支えるGitリポジトリ - gussan
2014-12-05 ドリコムの開発を支えるGitリポジトリ はじめに これは ドリコム Advent Calendar 2014 の5日目です。 4日目は、@ka_nipan さんによる ドリコムを支えるデータ分析基盤 です。 自己紹介 @gussan ドリコム歴は10年になります。 アーキテクチャ設計、ミドルウェア・ライブラリ及び社内ツールの開発運用等を担当しています。 本日の話 2年前の12... 続きを読む
【14-B-2】グリーを支えるデータ分析基盤の過去と現在(橋本泰一〔グリー〕)
【14-B-2】グリーを支えるデータ分析基盤の過去と現在(橋本泰一〔グリー〕) Presentation Transcript Developers Summit 2014 グリーを支えるデータ分析基盤の 過去と現在 2014/02/14 グリー株式会社 Web Game 事業統括本部 橋本 泰一 Copyright © GREE, Inc. All Rights Reserved. 自己紹介: ... 続きを読む
デブサミ2014「グリーを支えるデータ分析基盤の過去と現在」講演メモ #devsumi - 元RX-7乗りの適当な日々
IT どこもそれなりに苦労・工夫しているよなぁと、興味深く聞かせていただきました。 「グリーを支えるデータ分析基盤の過去と現在」橋本 泰一 氏グリー10年ほど東工大で助手・特任准教授した後、2012年にグリーにジョイン 過去の話(2011年)Webサーバからログをrsyncでストレージへバッチ処理で集計してDBへ(MySQL)ストレージもDBもハードウェアはSolaris Sun Fire X45... 続きを読む