タグ「データ基盤」

タグデータ基盤

新着順人気順 5 users 10 users 50 users 100 users 500 users 1000 users

(1 - 25 / 54件)

データカタログ特集　データ利活用に向けたアーキテクチャ6選 - Findy Tools

2024/04/03 29 users Findy Tools アーキテクチャデータ利活用目次

整備したデータ基盤を、事業部や会社全体で活用に持っていく中で「データカタログ」の必要性が増々注目を集めています。今回は、データカタログを導入し、データ利活用に挑んでいる6社に、アーキテクチャの工夫ポイントからデータカタログ導入によって得られた効果などを伺いました。 ◆目次株式会社10X 株式会社ビット... 続きを読む

ログ一元管理の本質とSIEMの限界 - データ基盤への道 - LayerX エンジニアブログ

2024/03/29 82 users SIEM 本質限界エンジニアブログ

三井物産デジタル・アセットマネジメントで、ガバナンス・コンプラエンジニアリングをしている鈴木 (@ken5scal )です。いきなりですが、ログ管理はどの職種どの場面でも重要です。セキュリティにおいても、古生代よりサーバー、ネットワーク機器、アプリケーションなどから出力されるログを一元的に収集し、監視や分析... 続きを読む

Cloud RunとCloud PubSubでサーバレスなデータ基盤2024 with Terraform / Cloud Run and PubSub with Terraform

2024/03/08 10 users サーバレス Cloud Run Google Cloud

Google Cloudのサーバレスなサービスでデータ基盤を作った話. 続きを読む

次世代データ基盤：データレイクハウスを Google Cloud で実現する

2024/02/22 103 users Google Cloud MLOps 界隈クラウドエース

はじめにこんにちは、クラウドエースデータソリューション部の松本です。普段はデータ基盤や MLOps の構築をしたり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。また、昨年は Google Cloud Partner Top Engineer 2024 に選出されました。今年も Goodle Cloud 界隈を盛り上げていけるよう頑張... 続きを読む

先進的な技術を“合理的に”導入する。リクルートが「ニアリアルタイムデータ基盤」を実現できた背景 - はてなニュース

2024/02/22 13 users マッチングクライアント精度向上リクルート収集

どんな企業にとってもデータは「資産」ですが、ユーザーとクライアントのマッチングを軸に事業を展開するリクルートにとっては、ビジネスを支える存在の一つです。リクルートではサービスに関わるデータを収集・蓄積するデータ基盤を構築し、マッチングの精度向上を含むプロダクト改善などに活用してきました。例えばWe... 続きを読む

個人的なdbtの推しポイントを書いてみる - yasuhisa's blog

2024/02/11 15 users dbt ELT Dataform 部類系統

dbtや同じ系統のDataformなど、ELTの特にTransform部分に強みを持つツールを使い始めて大体3年になる。主観だけど、それなりに使い倒している部類だと思う。開発効率を計測するデータ基盤の管理にDataformを使ってみた - yasuhisa's blog dbtを触ってみた感想 - yasuhisa's blog dbt カテゴリーの記事一覧 - yasuhisa's... 続きを読む

データ基盤の管理に役立つ監視用のSQLを紹介します - 10X Product Blog

2023/07/31 103 users SQL BigQuery syou6162 監視用監視

Analytics Engineerの吉田(id:syou6162)です。BigQueryを中心に10X社内のデータ関連の管理をしています。10Xに入社してそろそろ一年になろうかとしていますが、データ基盤を適切に管理 / 運用するためにSQLによる監視を少しずつ取り入れています。この記事では、具体的にどのようなSQLを書いて監視しているのか紹介した... 続きを読む

バクラク事業におけるデータ組織とデータ基盤 2023 - LayerX エンジニアブログ

2023/07/04 14 users LayerX エンジニアブログ LayerX 認知負荷構築

お世話になっております。LayerXの高際と申します。現在は、データ分析組織の立ち上げに注力しています。本記事では、バクラク事業におけるデータ組織とデータ基盤をテーマに取り扱います。データ分析における認知負荷や属人性を解消するための取り組みや、良質なデータを提供するためのデータ基盤の構築について、具体... 続きを読む

機械学習を実用化するエンジニアリングスキル

2023/02/09 10 users エンジニアリングスキル機械学習実用化 MLOps 文学部

Transcript Developers Summit 2023 Inspired 機械学習を実用化するエンジニアリングスキル 2023/02/09 Yusuke Shibui 自己紹介 shibui yusuke • もともと文学部の大学院卒。 • いろいろ → Launchable（いまここ） • MLOps & リサーチ & データ基盤 & バックエンド & インフラ & セールス & マーケティングエンジニア ◦... 続きを読む

私が妄想している最強のデータ基盤2023

2023/01/08 67 users 最強ポエム新年最後時点

新年になったので今年のやりたいことをまとめようと思いたち筆をとっています。単にやりたいこと書いてもただのポエムになってしまうので、私が今時点で妄想している最強のデータ基盤を描いて、その中でまだ触ったことのない技術を今年触っていこうという意気込みを最後に書こうと思います（意気込みだけにならないよう... 続きを読む

データ基盤にありがちな「何を使って作ればよいか？」という問いに対する処方箋を用意してみました. - Lean Baseball

2022/11/30 349 users Lean Baseball 処方箋アーキテクト where

ちょっと昔まではデータ基盤の管理人・アーキテクト, 現在は思いっきりクラウドアーキを扱うコンサルタントになったマンです. 私自身の経験・スキル・このブログに書いているコンテンツの関係で, 「データ基盤って何を使って作ればいいの?」的なHow（もしくはWhere）の相談. 「Googleのビッグクエリーってやつがいいと聞... 続きを読む

DMBOKを用いたアセスメントでデータマネジメントを加速させる - MonotaRO Tech Blog

2022/07/27 132 users DMBOK アセスメントエントリ syou6162 省略

こんにちは、データ基盤グループの吉田(id:syou6162)です。データ基盤やデータマネジメントに興味を持たれている方はDMBOKを持っている / 読んだことがあるという方も多いのではないでしょうか。このエントリではDMBOK中に紹介されているデータマネジメント成熟度アセスメント(以下、アセスメントと省略)をモノタロウで... 続きを読む

全社員からデータ基盤への問い合わせが殺到して2人では捌けなくなったので仕組みで解決する話〜datatech-jp Casual Talks #2 登壇後記〜 - MonotaRO Tech Blog

2022/06/23 256 users 補足 from 背景 www.slideshare.net

データ基盤グループの吉本です。今回は先日開催されたdatatech-jp Casual Talksで登壇した内容について補足も含め紹介します。 datatech-jp.connpass.com 発表資料はこちらです。データ基盤に関わる問い合わせ対応を仕組みで解決する from 株式会社MonotaRO Tech Team www.slideshare.net 発表内容の背景（問い合わせ... 続きを読む

ありがとうRedshift よろしくBigQuery - freee Developers Hub

2022/04/06 18 users BigQuery RedShift freee ナカミチ移行

ナカミチといいます。freeeのデータ基盤でエンジニア業に勤しむ日々です。今回は長年freeeの分析環境を支えてくれたRedshiftをBigQueryに移行したお話。なお技術的な詳細までは触れず、移行プロジェクト全体に関して記述しています。 (Techieな記事を期待した方スミマセンｍｍ) 移行の規模はどんなもんかボリューム的... 続きを読む

BigQueryにおけるポリシータグを用いた秘密情報管理とデータ連携の仕組み - ZOZO TECH BLOG

2022/02/18 14 users BigQuery リソース谷口運用仕様

こんにちは、データ基盤の開発・運用をしている谷口です。本記事では、BigQueryで秘密情報を守るためのリソースである、ポリシータグをご紹介します。ポリシータグの概要から採用理由、仕様を考慮したデータ連携の仕組みや運用における注意点まで幅広くお伝えします。ポリシータグとはポリシータグを採用した理由匿... 続きを読む

ガンダム、メタバースに立つ　開発に150億円　バンナム中期計画

2022/02/08 12 users メタバース Intellectual Property

バンダイナムコグループは2月8日、「機動戦士ガンダム」などのIP（Intellectual Property）を軸にそれぞれの仮想空間を作る「IPメタバース」計画を発表した。今後3年間で150億円を投じ、データ基盤と仮想空間を整備する。 8日に発表した中期計画（22年4月から25年3月）に盛り込んだ。バンダイナムコが持つIPの世界観を生... 続きを読む

データ基盤による利益最大化と初期構築プロセス / 20220209

2022/02/07 207 users

Transcript σʔλج൫ʹΑΔརӹ࠷େԽͱ� ॳظߏஙϓϩηε� � �� %BUB$SPTT$POGFSFODF� � !ZV[VUBT� � 4/4Ͱެ։ࡁΈ� ࡱӨ΍ϝϞ͸ෆཁͰ͢ɻϦϥοΫεͯ͠ฉ͍͍͚ͯͨͩΕ͹ͱࢥ͍·͢ɻ ɹ໔੹ɾ஫ҙࣄ߲ᶃ � ҰݴͰݴ͏ͱ � ؾָʹฉ͍ͯͶ � έʔεελσ Ο͸ෳ਺اۀͷࣄྫΛ౿·͑ͨμϛʔ৘ใͰ͢ɻ� ಛఆاۀͷ৘ใެ։΍শࢍɾ൷൑Λҙਤ͢Δ΋ͷͰ͸͋Γ·ͤΜɻ� � ༻ޠ΍πʔϧͷ঺հ͸ݫີͰ͸͋Γ·ͤΜɻ� ࣗ͝਎΍ॴଐνʔϜͰͷཧղɾղऍ͕঺հ಺༰ͱҟͳΔ৔߹͸ɺ� దٓಡΈସ͍͚͑ͯͨͩΔͱ޾͍Ͱ͢ɻ ɹ໔੹ɾ஫ҙࣄ߲ᶄ � ҰݴͰݴ͏ͱ � έν͚ͭͳ͍ͰͶ � ຊࢿྉͷར༻ʹΑΓൃੜ͍͔ͨ͠ͳΔଛ֐ʹରͯ͠΋� ࢿྉ࡞੒ऀ͸ͦͷ੹೚Λෛ͍͔Ͷ·͢ɻ� ຊࢿྉʹهࡌ͞Ε͍ͯΔձ໊ࣾɾ੡඼໊ͳͲ͸ɺ� 続きを読む

(1 - 25 / 54件)

次の25件 »