タグ「データ基盤」

タグデータ基盤

新着順人気順 5 users 10 users 50 users 100 users 500 users 1000 users

(1 - 25 / 75件)

「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮

2017/07/09 832 users Hadoop DISCLAIMER 言説迷宮主張

Hadoop の時代は終わった、という言説をたまに見かけるようになりました。もちろん終わってなどいません。しかし、 Hadoop とその取り巻く環境が変化したのは事実です。本記事では、この変化が何なのかを明らかにし、その上で、なぜ Hadoop の時代は終わったという主張が実態を正しく表していないのかを説明していきます。 DISCLAIMER 私は Hadoop を中心としたデータ基盤を取り扱... 続きを読む

データ基盤にありがちな「何を使って作ればよいか？」という問いに対する処方箋を用意してみました. - Lean Baseball

2022/11/30 349 users Lean Baseball 処方箋アーキテクト where

ちょっと昔まではデータ基盤の管理人・アーキテクト, 現在は思いっきりクラウドアーキを扱うコンサルタントになったマンです. 私自身の経験・スキル・このブログに書いているコンテンツの関係で, 「データ基盤って何を使って作ればいいの?」的なHow（もしくはWhere）の相談. 「Googleのビッグクエリーってやつがいいと聞... 続きを読む

全社員からデータ基盤への問い合わせが殺到して2人では捌けなくなったので仕組みで解決する話〜datatech-jp Casual Talks #2 登壇後記〜 - MonotaRO Tech Blog

2022/06/23 256 users 補足 from 背景 www.slideshare.net

データ基盤グループの吉本です。今回は先日開催されたdatatech-jp Casual Talksで登壇した内容について補足も含め紹介します。 datatech-jp.connpass.com 発表資料はこちらです。データ基盤に関わる問い合わせ対応を仕組みで解決する from 株式会社MonotaRO Tech Team www.slideshare.net 発表内容の背景（問い合わせ... 続きを読む

エムスリーのデータ基盤を支える設計パターン - エムスリーテックブログ

2021/10/01 247 users エムスリー鳥山肩書き to_lz エムスリーテックブログ

こんにちは、エムスリーエンジニアリンググループの鳥山 (@to_lz1)です。ソフトウェアエンジニアとして製薬企業向けプラットフォームチーム / 電子カルテチームを兼任しています。ソフトウェアエンジニアという肩書きではありますが、私は製薬企業向けプラットフォームチームで長らくデータ基盤の整備・改善といっ... 続きを読む

「nanaco」からの脱却　セブンのスマホ決済「7pay」に3つの狙い：日経クロストレンド

2019/04/16 215 users nanaco CRM 巨額脱却子会社

相次ぐ参入、巨額を投じたマーケティング施策と、2018年から熱が冷めることのないモバイル決済市場。いよいよセブン＆アイ・ホールディングスも参入する。同社は19年7月、子会社を通じてモバイル決済サービス「7pay」を開始する。データ基盤を整備し、CRMを強化するのが狙いだ。 19年4月4日発表の予定通りに7payが始まれ... 続きを読む

データ基盤による利益最大化と初期構築プロセス / 20220209

2022/02/07 207 users

Transcript σʔλج൫ʹΑΔརӹ࠷େԽͱ� ॳظߏஙϓϩηε� � �� %BUB$SPTT$POGFSFODF� � !ZV[VUBT� � 4/4Ͱެ։ࡁΈ� ࡱӨ΍ϝϞ͸ෆཁͰ͢ɻϦϥοΫεͯ͠ฉ͍͍͚ͯͨͩΕ͹ͱࢥ͍·͢ɻ ɹ໔੹ɾ஫ҙࣄ߲ᶃ � ҰݴͰݴ͏ͱ � ؾָʹฉ͍ͯͶ � έʔεελσ Ο͸ෳ਺اۀͷࣄྫΛ౿·͑ͨμϛʔ৘ใͰ͢ɻ� ಛఆاۀͷ৘ใެ։΍শࢍɾ൷൑Λҙਤ͢Δ΋ͷͰ͸͋Γ·ͤΜɻ� � ༻ޠ΍πʔϧͷ঺հ͸ݫີͰ͸͋Γ·ͤΜɻ� ࣗ͝਎΍ॴଐνʔϜͰͷཧղɾղऍ͕঺հ಺༰ͱҟͳΔ৔߹͸ɺ� దٓಡΈସ͍͚͑ͯͨͩΔͱ޾͍Ͱ͢ɻ ɹ໔੹ɾ஫ҙࣄ߲ᶄ � ҰݴͰݴ͏ͱ � έν͚ͭͳ͍ͰͶ � ຊࢿྉͷར༻ʹΑΓൃੜ͍͔ͨ͠ͳΔଛ֐ʹରͯ͠΋� ࢿྉ࡞੒ऀ͸ͦͷ੹೚Λෛ͍͔Ͷ·͢ɻ� ຊࢿྉʹهࡌ͞Ε͍ͯΔձ໊ࣾɾ੡඼໊ͳͲ͸ɺ� 続きを読む

データ基盤をサーバーレスで構築したので概要を紹介 - Adwaysエンジニアブログ

2022/01/07 161 users サーバーレス Adwaysエンジニアブログ概要紹介

あけましておめでとうございます。本年もよろしくお願いいたします。久しぶりに登場しました菊池です。僕は昨年から新しいデータ基盤を構築するプロジェクトを担当しておりまして、最近システムが無事に実稼働してホッと一息したところです。思い起こせば入社時はインフラ担当部署に配属だったのが、広告配信システム... 続きを読む

DMBOKを用いたアセスメントでデータマネジメントを加速させる - MonotaRO Tech Blog

2022/07/27 132 users DMBOK アセスメントエントリ syou6162 省略

こんにちは、データ基盤グループの吉田(id:syou6162)です。データ基盤やデータマネジメントに興味を持たれている方はDMBOKを持っている / 読んだことがあるという方も多いのではないでしょうか。このエントリではDMBOK中に紹介されているデータマネジメント成熟度アセスメント(以下、アセスメントと省略)をモノタロウで... 続きを読む

DMM.comのビッグデータ基盤を支える技術 // Speaker Deck

2017/08/25 111 users Speaker Deck DMM.com ビッグデータ基盤

TECH PLAY Conference 2017 の発表資料となりますビッグデータを活用したWebサービスの技術 #techplayconf2017 #techplayjp https://techplay.jp/event/628968 株式会社DMM.comラボ鈴木翔太 / 吉田龍馬 === 弊社ビッグデータ部では、オンプレミス環境で Hadoop をベースとしたデータ基盤の保守運用... 続きを読む

次世代データ基盤：データレイクハウスを Google Cloud で実現する

2024/02/22 103 users Google Cloud MLOps 界隈クラウドエース

はじめにこんにちは、クラウドエースデータソリューション部の松本です。普段はデータ基盤や MLOps の構築をしたり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。また、昨年は Google Cloud Partner Top Engineer 2024 に選出されました。今年も Goodle Cloud 界隈を盛り上げていけるよう頑張... 続きを読む

データ基盤の管理に役立つ監視用のSQLを紹介します - 10X Product Blog

2023/07/31 103 users SQL BigQuery syou6162 監視用監視

Analytics Engineerの吉田(id:syou6162)です。BigQueryを中心に10X社内のデータ関連の管理をしています。10Xに入社してそろそろ一年になろうかとしていますが、データ基盤を適切に管理 / 運用するためにSQLによる監視を少しずつ取り入れています。この記事では、具体的にどのようなSQLを書いて監視しているのか紹介した... 続きを読む

事業に貢献するデータ基盤を作ろう・考え方編 / data_engineering_study_2 - Speaker Deck

2020/08/19 102 users Speaker Deck Transcript 事業私見

Transcript 事業に貢献するデータ基盤を作ろう考え方編 2020/08/19 Data Engineering Study #2 しんゆう＠data_analyst_ 注意点 • 全て発表開始時点における私見です後日（あるいは発表中に）意見が変わっているかもしれませんがご了承ください • データ整備への理解が広まることへの直接の利害関係者です発表者は本... 続きを読む

データ基盤の3分類と進化的データモデリング - 下町柚子黄昏記 by @yuzutas0

2018/12/03 97 users データモデリング下町柚子黄昏記 by @yuzutas

この記事は、下書き供養 Advent Calendar 2018 - Adventarの2日目の記事です。めっちゃ専門的な内容になってしまいました。ごめんなさい。某Slackでの議論内容をブログに書こうとしたのですが、下書きのまま放置していました。 Wednesday, August 15th と書いてあるので、約半年前の内容となります。もくじもくじは... 続きを読む

Digdagを使ったジョブ管理 - MicroAd Developers Blog

2018/10/03 90 users Digdag アプリケーションエンジニア MicroAd

はじめまして。アプリケーションエンジニアの中野です。以前、MicroAdのデータ基盤の記事で紹介されていましたが、マイクロアドではデータ基盤刷新のタイミングでワークフロー管理ツールのDigdagを採用しました。今回の記事では、Digdag採用の経緯やワークフローを作成する際に注意した点を紹介します。 Digdag採用の... 続きを読む

ログ一元管理の本質とSIEMの限界 - データ基盤への道 - LayerX エンジニアブログ

2024/03/29 82 users SIEM 本質限界エンジニアブログ

三井物産デジタル・アセットマネジメントで、ガバナンス・コンプラエンジニアリングをしている鈴木 (@ken5scal )です。いきなりですが、ログ管理はどの職種どの場面でも重要です。セキュリティにおいても、古生代よりサーバー、ネットワーク機器、アプリケーションなどから出力されるログを一元的に収集し、監視や分析... 続きを読む

私が妄想している最強のデータ基盤2023

2023/01/08 67 users 最強ポエム新年最後時点

新年になったので今年のやりたいことをまとめようと思いたち筆をとっています。単にやりたいこと書いてもただのポエムになってしまうので、私が今時点で妄想している最強のデータ基盤を描いて、その中でまだ触ったことのない技術を今年触っていこうという意気込みを最後に書こうと思います（意気込みだけにならないよう... 続きを読む

"壊れにくい"データ基盤を構築するためにMackerelチームで実践していること - Hatena Developer Blog

2020/08/04 55 users Mackerelチーム cre カスタマーサクセス構築

こんにちは。MackerelチームにおいてCRE（Customer Reliability Engineer）をしているid:syou6162です。主にカスタマーサクセスを支えるデータ基盤の構築や、データ分析を担当しています。今回は、壊れにくいデータ基盤を構築するため、Mackerelチームで実践していることを紹介します。なぜ壊れにくいデータ基盤を構築... 続きを読む

どのようにデータ基盤を作ったのか？「俺の考えた最強のデータ基盤」は使われない (1/2)：開発現場に“データ文化”を浸透させる「データ基盤」大解剖（3） - ＠IT

2018/08/07 54 users 最強題材大解剖筆者開発現場

開発現場に“データ文化”を浸透させる「データ基盤」大解剖（3）：どのようにデータ基盤を作ったのか？「俺の考えた最強のデータ基盤」は使われない (1/2) 「ゼクシィ縁結び・恋結び」の開発現場において、筆者が実際に行ったことを題材として、「データ基盤」の構築事例を紹介する連載。今回は、「データ基盤」の開発プ... 続きを読む

SQLを使った監視でデータ基盤の品質を向上させる - MonotaRO Tech Blog

2021/08/24 45 users SQL syou6162 監視基盤監視吉田

こんにちは、データ基盤グループの吉田(id:syou6162)です。データ基盤グループでは安定してデータを利用できるように様々な取り組みを行なっています。本エントリでは、データ品質に問題がある場合にすぐに気付けるようにしたSQLによる監視の仕組みを紹介します。背景 SQLを使った監視基盤の構築実際の監視項目例他チ... 続きを読む

LINEとサイバーエージェントは「データ基盤の設計・マネジメント、データエンジニアリング」をどうサービス発展につなげているか？｜TECH PLAY Magazine［テックプレイマガジン］

2019/01/11 44 users マネジメントテックプレイマガジン多角化収集増加

TOP > TECH PLAY Magazine > LINEとサイバーエージェントは「データ基盤の設計・マネジメント、データエンジニアリング」をどうサービス発展につなげているか？ユーザーの増加やサービスの多角化に伴い、各サービスの膨大なデータを収集・蓄積し、分析を行うことは、さらにサービスを発展させるために必要不可欠です。... 続きを読む

ぐるなびデータ基盤の運用について - ぐるなびをちょっと良くするエンジニアブログ

2018/10/16 40 users 運用エンジニアブログ瀧澤 Tips 導入経緯

はじめまして。データマネジメントグループ DMPチームの瀧澤と申します。趣味は映画鑑賞と自宅のスマートホーム化です。ぐるなびではデータ基盤の構築・運用を担当しています。今回は私が運用しているデータ基盤環境の概要や導入経緯、運用のTipsをご紹介させていただこうと思います。ぐるなびでの導入経緯過去環境... 続きを読む

データ基盤を支える民主化とサービスレベル #shinjukugl // Speaker Deck

2018/04/02 38 users Speaker Deck 民主化サービス

All slide content and descriptions are owned by their creators. 続きを読む

セキュリティガードレールを作って、非エンジニアに安心してGCPを提供できるようにした話 - MonotaRO Tech Blog

2021/07/06 37 users セキュリティガードレール GCP セキュリティカード吉本

はじめまして、モノタロウでGCPの管理をしている吉本です。今回はモノタロウの社内全体でデータ基盤として使っているGCPをテーマに、大規模組織におけるクラウド運用の取り組みをお話します。データ民主化による現場主導のデータ活用クラウドの利用拡大に伴う課題 Cloud Asset Inventoryを利用したセキュリティガード... 続きを読む

分析者から見た使いにくいデータ基盤の話 | リクルートテクノロジーズ　メンバーズブログ

2018/12/25 32 users リクルートテクノロジーズメンバーズブログ分析者秩序問題

リクルートテクノロジーズのアドベントカレンダーの 12/25 の分です。 https://adventar.org/calendars/3063 要するにデータが潤沢なデータレイクと、秩序だったデータウェアハウスがほしいという話をします。データマートは分析者も必要に応じて作ればいいので、なくても問題ないです。データレイク、データウェアハウ... 続きを読む

(1 - 25 / 75件)

次の25件 »