タグ データ基盤
人気順 5 users 10 users 50 users 500 users 1000 users次世代データ基盤:データレイクハウスを Google Cloud で実現する
はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段はデータ基盤や MLOps の構築をしたり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。また、昨年は Google Cloud Partner Top Engineer 2024 に選出されました。今年も Goodle Cloud 界隈を盛り上げていけるよう頑張... 続きを読む
データ基盤の管理に役立つ監視用のSQLを紹介します - 10X Product Blog
Analytics Engineerの吉田(id:syou6162)です。BigQueryを中心に10X社内のデータ関連の管理をしています。10Xに入社してそろそろ一年になろうかとしていますが、データ基盤を適切に管理 / 運用するためにSQLによる監視を少しずつ取り入れています。この記事では、具体的にどのようなSQLを書いて監視しているのか紹介した... 続きを読む
データ基盤にありがちな「何を使って作ればよいか?」という問いに対する処方箋を用意してみました. - Lean Baseball
ちょっと昔まではデータ基盤の管理人・アーキテクト, 現在は思いっきりクラウドアーキを扱うコンサルタントになったマンです. 私自身の経験・スキル・このブログに書いているコンテンツの関係で, 「データ基盤って何を使って作ればいいの?」的なHow(もしくはWhere)の相談. 「Googleのビッグクエリーってやつがいいと聞... 続きを読む
DMBOKを用いたアセスメントでデータマネジメントを加速させる - MonotaRO Tech Blog
こんにちは、データ基盤グループの吉田(id:syou6162)です。データ基盤やデータマネジメントに興味を持たれている方はDMBOKを持っている / 読んだことがあるという方も多いのではないでしょうか。このエントリではDMBOK中に紹介されているデータマネジメント成熟度アセスメント(以下、アセスメントと省略)をモノタロウで... 続きを読む
全社員からデータ基盤への問い合わせが殺到して2人では捌けなくなったので仕組みで解決する話〜datatech-jp Casual Talks #2 登壇後記〜 - MonotaRO Tech Blog
データ基盤グループの吉本です。 今回は先日開催されたdatatech-jp Casual Talksで登壇した内容について補足も含め紹介します。 datatech-jp.connpass.com 発表資料はこちらです。 データ基盤に関わる問い合わせ対応を仕組みで解決する from 株式会社MonotaRO Tech Team www.slideshare.net 発表内容の背景(問い合わせ... 続きを読む
データ基盤による利益最大化と初期構築プロセス / 20220209
Transcript σʔλج൫ʹΑΔརӹ࠷େԽͱ� ॳظߏஙϓϩηε� � ����������� %BUB$SPTT$POGFSFODF� � !ZV[VUBT� � 4/4Ͱެ։ࡁΈ� ࡱӨϝϞෆཁͰ͢ɻϦϥοΫεͯ͠ฉ͍͍͚ͯͨͩΕͱࢥ͍·͢ɻ ɹ໔ɾҙࣄ߲ᶃ � ҰݴͰݴ͏ͱ � ؾָʹฉ͍ͯͶ � έʔεελσ ΟෳاۀͷࣄྫΛ౿·͑ͨμϛʔใͰ͢ɻ� ಛఆاۀͷใެ։শࢍɾ൷Λҙਤ͢ΔͷͰ͋Γ·ͤΜɻ� � ༻ޠπʔϧͷհݫີͰ͋Γ·ͤΜɻ� ࣗ͝ॴଐνʔϜͰͷཧղɾղऍ͕հ༰ͱҟͳΔ߹ɺ� దٓಡΈସ͍͚͑ͯͨͩΔͱ͍Ͱ͢ɻ ɹ໔ɾҙࣄ߲ᶄ � ҰݴͰݴ͏ͱ � έν͚ͭͳ͍ͰͶ � ຊࢿྉͷར༻ʹΑΓൃੜ͍͔ͨ͠ͳΔଛʹରͯ͠� ࢿྉ࡞ऀͦͷΛෛ͍͔Ͷ·͢ɻ� ຊࢿྉʹهࡌ͞Ε͍ͯΔձ໊ࣾɾ໊ͳͲɺ� 続きを読む
データ基盤をサーバーレスで構築したので概要を紹介 - Adwaysエンジニアブログ
あけましておめでとうございます。本年もよろしくお願いいたします。 久しぶりに登場しました菊池です。 僕は昨年から新しいデータ基盤を構築するプロジェクトを担当しておりまして、最近システムが無事に実稼働してホッと一息したところです。思い起こせば入社時はインフラ担当部署に配属だったのが、広告配信システム... 続きを読む
エムスリーのデータ基盤を支える設計パターン - エムスリーテックブログ
こんにちは、エムスリー エンジニアリンググループ の鳥山 (@to_lz1)です。 ソフトウェアエンジニアとして 製薬企業向けプラットフォームチーム / 電子カルテチーム を兼任しています。 ソフトウェアエンジニアという肩書きではありますが、私は製薬企業向けプラットフォームチームで長らくデータ基盤の整備・改善といっ... 続きを読む
事業に貢献するデータ基盤を作ろう・考え方編 / data_engineering_study_2 - Speaker Deck
Transcript 事業に貢献するデータ基盤を作ろう 考え方編 2020/08/19 Data Engineering Study #2 しんゆう @data_analyst_ 注意点 • 全て発表開始時点における私見です 後日(あるいは発表中に)意見が変わっているかもしれませんがご了承ください • データ整備への理解が広まることへの直接の利害関係者です 発表者は本... 続きを読む
「nanaco」からの脱却 セブンのスマホ決済「7pay」に3つの狙い:日経クロストレンド
相次ぐ参入、巨額を投じたマーケティング施策と、2018年から熱が冷めることのないモバイル決済市場。いよいよセブン&アイ・ホールディングスも参入する。同社は19年7月、子会社を通じてモバイル決済サービス「7pay」を開始する。データ基盤を整備し、CRMを強化するのが狙いだ。 19年4月4日発表の予定通りに7payが始まれ... 続きを読む
最新のログもすぐクエリできる速くて容量無限の最強ログ基盤をRedshift Spectrumで作る - クックパッド開発者ブログ
こんにちは。去年の今頃は Rust を書いていました。 インフラストラクチャー部データ基盤グループの id:koba789 です。 背景 クックパッドではデータ基盤の DBMS として Amazon Redshift を利用しています。 既存のデータ基盤について詳しいことは クックパッドのデータ活用基盤 - クックパッド開発者ブログ を参照して... 続きを読む
DMM.comのビッグデータ基盤を支える技術 // Speaker Deck
TECH PLAY Conference 2017 の発表資料となります ビッグデータを活用したWebサービスの技術 #techplayconf2017 #techplayjp https://techplay.jp/event/628968 株式会社DMM.comラボ 鈴木 翔太 / 吉田 龍馬 === 弊社ビッグデータ部では、オンプレミス環境で Hadoop をベースとしたデータ基盤の保守運用... 続きを読む
「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮
Hadoop の時代は終わった、という言説をたまに見かけるようになりました。 もちろん終わってなどいません。しかし、 Hadoop とその取り巻く環境が変化したのは事実です。 本記事では、この変化が何なのかを明らかにし、その上で、なぜ Hadoop の時代は終わったという主張が実態を正しく表していないのかを説明していきます。 DISCLAIMER 私は Hadoop を中心としたデータ基盤を取り扱... 続きを読む