はてブログ

はてなブックマーク新着エントリーの過去ログサイトです。



タグ データ基盤

新着順 人気順 5 users 10 users 50 users 100 users 500 users 1000 users
 
(1 - 13 / 13件)
 

次世代データ基盤:データレイクハウスを Google Cloud で実現する

2024/02/22 このエントリーをはてなブックマークに追加 103 users Instapaper Pocket Tweet Facebook Share Evernote Clip Google Cloud MLOps 界隈 クラウドエース

はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段はデータ基盤や MLOps の構築をしたり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。また、昨年は Google Cloud Partner Top Engineer 2024 に選出されました。今年も Goodle Cloud 界隈を盛り上げていけるよう頑張... 続きを読む

データ基盤の管理に役立つ監視用のSQLを紹介します - 10X Product Blog

2023/07/31 このエントリーをはてなブックマークに追加 103 users Instapaper Pocket Tweet Facebook Share Evernote Clip SQL BigQuery syou6162 監視用 監視

Analytics Engineerの吉田(id:syou6162)です。BigQueryを中心に10X社内のデータ関連の管理をしています。10Xに入社してそろそろ一年になろうかとしていますが、データ基盤を適切に管理 / 運用するためにSQLによる監視を少しずつ取り入れています。この記事では、具体的にどのようなSQLを書いて監視しているのか紹介した... 続きを読む

データ基盤にありがちな「何を使って作ればよいか?」という問いに対する処方箋を用意してみました. - Lean Baseball

2022/11/30 このエントリーをはてなブックマークに追加 349 users Instapaper Pocket Tweet Facebook Share Evernote Clip Lean Baseball 処方箋 アーキテクト where

ちょっと昔まではデータ基盤の管理人・アーキテクト, 現在は思いっきりクラウドアーキを扱うコンサルタントになったマンです. 私自身の経験・スキル・このブログに書いているコンテンツの関係で, 「データ基盤って何を使って作ればいいの?」的なHow(もしくはWhere)の相談. 「Googleのビッグクエリーってやつがいいと聞... 続きを読む

DMBOKを用いたアセスメントでデータマネジメントを加速させる - MonotaRO Tech Blog

2022/07/27 このエントリーをはてなブックマークに追加 132 users Instapaper Pocket Tweet Facebook Share Evernote Clip DMBOK アセスメント エントリ syou6162 省略

こんにちは、データ基盤グループの吉田(id:syou6162)です。データ基盤やデータマネジメントに興味を持たれている方はDMBOKを持っている / 読んだことがあるという方も多いのではないでしょうか。このエントリではDMBOK中に紹介されているデータマネジメント成熟度アセスメント(以下、アセスメントと省略)をモノタロウで... 続きを読む

全社員からデータ基盤への問い合わせが殺到して2人では捌けなくなったので仕組みで解決する話〜datatech-jp Casual Talks #2 登壇後記〜 - MonotaRO Tech Blog

2022/06/23 このエントリーをはてなブックマークに追加 256 users Instapaper Pocket Tweet Facebook Share Evernote Clip 補足 from 背景 www.slideshare.net

データ基盤グループの吉本です。 今回は先日開催されたdatatech-jp Casual Talksで登壇した内容について補足も含め紹介します。 datatech-jp.connpass.com 発表資料はこちらです。 データ基盤に関わる問い合わせ対応を仕組みで解決する from 株式会社MonotaRO Tech Team www.slideshare.net 発表内容の背景(問い合わせ... 続きを読む

データ基盤による利益最大化と初期構築プロセス / 20220209

2022/02/07 このエントリーをはてなブックマークに追加 207 users Instapaper Pocket Tweet Facebook Share Evernote Clip

Transcript σʔλج൫ʹΑΔརӹ࠷େԽͱ� ॳظߏஙϓϩηε� � ����������� %BUB$SPTT$POGFSFODF� � !ZV[VUBT� � 4/4Ͱެ։ࡁΈ� ࡱӨ΍ϝϞ͸ෆཁͰ͢ɻϦϥοΫεͯ͠ฉ͍͍͚ͯͨͩΕ͹ͱࢥ͍·͢ɻ ɹ໔੹ɾ஫ҙࣄ߲ᶃ � ҰݴͰݴ͏ͱ � ؾָʹฉ͍ͯͶ � έʔεελσ Ο͸ෳ਺اۀͷࣄྫΛ౿·͑ͨμϛʔ৘ใͰ͢ɻ� ಛఆاۀͷ৘ใެ։΍শࢍɾ൷൑Λҙਤ͢Δ΋ͷͰ͸͋Γ·ͤΜɻ� � ༻ޠ΍πʔϧͷ঺հ͸ݫີͰ͸͋Γ·ͤΜɻ� ࣗ͝਎΍ॴଐνʔϜͰͷཧղɾղऍ͕঺հ಺༰ͱҟͳΔ৔߹͸ɺ� దٓಡΈସ͍͚͑ͯͨͩΔͱ޾͍Ͱ͢ɻ ɹ໔੹ɾ஫ҙࣄ߲ᶄ � ҰݴͰݴ͏ͱ � έν͚ͭͳ͍ͰͶ � ຊࢿྉͷར༻ʹΑΓൃੜ͍͔ͨ͠ͳΔଛ֐ʹରͯ͠΋� ࢿྉ࡞੒ऀ͸ͦͷ੹೚Λෛ͍͔Ͷ·͢ɻ� ຊࢿྉʹهࡌ͞Ε͍ͯΔձ໊ࣾɾ੡඼໊ͳͲ͸ɺ� 続きを読む

データ基盤をサーバーレスで構築したので概要を紹介 - Adwaysエンジニアブログ

2022/01/07 このエントリーをはてなブックマークに追加 161 users Instapaper Pocket Tweet Facebook Share Evernote Clip サーバーレス Adwaysエンジニアブログ 概要 紹介

あけましておめでとうございます。本年もよろしくお願いいたします。 久しぶりに登場しました菊池です。 僕は昨年から新しいデータ基盤を構築するプロジェクトを担当しておりまして、最近システムが無事に実稼働してホッと一息したところです。思い起こせば入社時はインフラ担当部署に配属だったのが、広告配信システム... 続きを読む

エムスリーのデータ基盤を支える設計パターン - エムスリーテックブログ

2021/10/01 このエントリーをはてなブックマークに追加 247 users Instapaper Pocket Tweet Facebook Share Evernote Clip エムスリー 鳥山 肩書き to_lz エムスリーテックブログ

こんにちは、エムスリー エンジニアリンググループ の鳥山 (@to_lz1)です。 ソフトウェアエンジニアとして 製薬企業向けプラットフォームチーム / 電子カルテチーム を兼任しています。 ソフトウェアエンジニアという肩書きではありますが、私は製薬企業向けプラットフォームチームで長らくデータ基盤の整備・改善といっ... 続きを読む

事業に貢献するデータ基盤を作ろう・考え方編 / data_engineering_study_2 - Speaker Deck

2020/08/19 このエントリーをはてなブックマークに追加 102 users Instapaper Pocket Tweet Facebook Share Evernote Clip Speaker Deck Transcript 事業 私見

Transcript 事業に貢献するデータ基盤を作ろう 考え方編 2020/08/19 Data Engineering Study #2 しんゆう @data_analyst_ 注意点 • 全て発表開始時点における私見です 後日(あるいは発表中に)意見が変わっているかもしれませんがご了承ください • データ整備への理解が広まることへの直接の利害関係者です 発表者は本... 続きを読む

「nanaco」からの脱却 セブンのスマホ決済「7pay」に3つの狙い:日経クロストレンド

2019/04/16 このエントリーをはてなブックマークに追加 215 users Instapaper Pocket Tweet Facebook Share Evernote Clip nanaco CRM 巨額 脱却 子会社

相次ぐ参入、巨額を投じたマーケティング施策と、2018年から熱が冷めることのないモバイル決済市場。いよいよセブン&アイ・ホールディングスも参入する。同社は19年7月、子会社を通じてモバイル決済サービス「7pay」を開始する。データ基盤を整備し、CRMを強化するのが狙いだ。 19年4月4日発表の予定通りに7payが始まれ... 続きを読む

最新のログもすぐクエリできる速くて容量無限の最強ログ基盤をRedshift Spectrumで作る - クックパッド開発者ブログ

2018/11/21 このエントリーをはてなブックマークに追加 302 users Instapaper Pocket Tweet Facebook Share Evernote Clip Redshift Spectrum 容量無限 ロク DBMS

こんにちは。去年の今頃は Rust を書いていました。 インフラストラクチャー部データ基盤グループの id:koba789 です。 背景 クックパッドではデータ基盤の DBMS として Amazon Redshift を利用しています。 既存のデータ基盤について詳しいことは クックパッドのデータ活用基盤 - クックパッド開発者ブログ を参照して... 続きを読む

DMM.comのビッグデータ基盤を支える技術 // Speaker Deck

2017/08/25 このエントリーをはてなブックマークに追加 111 users Instapaper Pocket Tweet Facebook Share Evernote Clip Speaker Deck DMM.com ビッグデータ基盤

TECH PLAY Conference 2017 の発表資料となります ビッグデータを活用したWebサービスの技術 #techplayconf2017 #techplayjp https://techplay.jp/event/628968 株式会社DMM.comラボ 鈴木 翔太 / 吉田 龍馬 === 弊社ビッグデータ部では、オンプレミス環境で Hadoop をベースとしたデータ基盤の保守運用... 続きを読む

「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮

2017/07/09 このエントリーをはてなブックマークに追加 832 users Instapaper Pocket Tweet Facebook Share Evernote Clip Hadoop DISCLAIMER 言説 迷宮 主張

Hadoop の時代は終わった、という言説をたまに見かけるようになりました。 もちろん終わってなどいません。しかし、 Hadoop とその取り巻く環境が変化したのは事実です。 本記事では、この変化が何なのかを明らかにし、その上で、なぜ Hadoop の時代は終わったという主張が実態を正しく表していないのかを説明していきます。 DISCLAIMER 私は Hadoop を中心としたデータ基盤を取り扱... 続きを読む

 
(1 - 13 / 13件)