TROCCO & BigQueryテーブルメタデータで手軽にデータ取り込みの正常性をチェックする - Nealle Developer's Blog

2024/12/17 16 users 上田 Park Direct Analyticsチーム 方法

本記事はニーリーアドベントカレンダー2024の17日目の記事 その2 です。 はじめに こんにちは。Analyticsチームの上田です。今回は小ネタとして、Park Directのデータ基盤ではどのようにデータ取り込みの正常性をチェックしているか？をご紹介します。 手軽さ (仕組みの単純さ・メンテナンスのしやすさ) を重視した方法... 続きを読む

データウェアハウスをRedshiftからSnowflakeに移行するために考えたこと（１） - Uzabase for Engineers

2024/12/06 13 users データウェアハウス RedShift Snowflake

この記事は NewsPicks Advent Calendar 2024 の6日目の記事です。 ソーシャル経済メディア「NewsPicks」の中村です。最近はデータ基盤の開発運用、データアナリストのサポート、LLM活用等をやっています。 現在、NewsPicksではデータウェアハウスとして長年利用してきたAmazon RedshiftからSnowflakeへの移行を進めてい... 続きを読む

dbtのUnit testsを導入してわかったこと - Oisix ra daichi Creator's Blog（オイシックス・ラ・大地クリエイターズブログ）

2024/12/06 10 users Snowflake dbt Oisix オイシックス・ラ 整備

はじめに DMO（Data Management Office）でデータプラットフォームセクションを担当しています東條です。データプラットフォームセクションはOisixを中心としたデータ基盤の構築・整備を担当しています。このデータ基盤にはSnowflakeとdbtを使用しています。今回dbt-core v1.8.0で追加されたUnit testsを導入してわかっ... 続きを読む

Park Directを支えるデータ基盤の構成 〜2024年12月版〜 - Nealle Developer's Blog

2024/12/05 24 users Nealle Developer 宝庫 上田 構成 概要

本記事はニーリーアドベントカレンダー2024の5日目の記事です🎅 はじめに こんにちは。Analyticsチームの上田です。 当チームは、2024年3月にチームの概要を紹介するnote記事「データ分析の宝庫を前にして〜Analyticsチーム1年目の取り組み～」を公開しました。その記事ではチーム発足後間もないデータ基盤の構成を紹介... 続きを読む

マイベストのデータ基盤の現在と未来 / mybest-data-infra-asis-tobe

2024/11/11 56 users 説明資料 株式会社マイ 未来 マイベスト

株式会社マイベストのデータ基盤に関する説明資料です。 続きを読む

タイミーにおけるデータの利用シーンと データ基盤の挑戦

2024/09/30 95 users タイミー 挑戦 データ 利用シーン

データマネジメントのリアル 〜BtoB企業3社の歩みとこれから〜(https://sansan.connpass.com/event/329234/) の発表資料です 続きを読む

10Xでのデータ基盤の変遷とこれから: データマネジメントのリアル 〜BtoB企業3社の歩みとこれから〜

2024/09/26 10 users 変遷 データマネジメント 10x

https://sansan.connpass.com/event/329234/ での発表資料です 続きを読む

流通小売業の常識を逆転する「デマンドチェーン」を支える指標とデータ基盤 ｜AEON TECH HUB

2024/09/03 13 users 指標 AEON TECH HUB 常識 サプライチェーン 源流

イオンネクストが運営するオンラインマーケットのGreen Beansは、革新的なアプローチで流通小売業の常識を大きくアップデートしようとしている。目指すのは「デマンドチェーン」。「製造」「配送」「販売」のサプライチェーンの流れとは反対に、デマンドチェーンの源流はお客様のニーズにある。イオンネクストCTO 樽石 ... 続きを読む

3フェーズに分けて振り返る atama plus データアーキテクチャ変遷 - Findy Tools

2024/07/28 22 users Findy Tools atama plus 3フェーズ

公開日 2024/07/29更新日 2024/07/263フェーズに分けて振り返る atama plus データアーキテクチャ変遷 こんにちは、atama plus株式会社でEngineering Managerや、SRE、データ基盤などplatform系チームのオーナーをしております、前田（ @kzk_maeda）と申します。 atama plusでは「教育に、人に、社会に、次の可能性を。... 続きを読む

FindyにおけるDataformの活用とその効果 - Findy Tech Blog

2024/07/01 14 users Findy Dataform ファインディ株式会社 構成 弊社

こんにちは。 2024/05よりファインディ株式会社にデータエンジニアとして入社した田頭(tagasyksk)です。本記事では、データ変換サービスであるDataformについてその活用方法や導入後の効果についてご紹介します。 弊社では、現在次のような構成でデータ基盤を構成しており、BigQuery内でのデータ変換にDataformを利用し... 続きを読む

JR東日本、SuicaやJREポイントの会員ID統合へ　5000万人経済圏に　【イブニングスクープ】 - 日本経済新聞

2024/05/27 175 users イブニングスクープ SUICA 縦割り JREポイント 底上げ

JR東日本は2024年度末以降、グループの会員IDを統合する。交通系ICサービス「モバイルSuica（スイカ）」や共通ポイント「JREポイント」など20種類以上を集約し、鉄道や生活サービスに分散する累計5000万人規模のデータ基盤をつくる。鉄道収入の底上げが難しいなか、縦割りを崩したサービス開発を促して経済圏を拡大する... 続きを読む

データ基盤を支える技術

2024/05/10 143 users 技術

主にクラウドの話してます - 広島 での登壇資料です。 https://omoni-cloud.connpass.com/event/315682/ 続きを読む

データカタログ特集　データ利活用に向けたアーキテクチャ6選 - Findy Tools

2024/04/03 29 users Findy Tools アーキテクチャ データ利活用 目次

整備したデータ基盤を、事業部や会社全体で活用に持っていく中で「データカタログ」の必要性が増々注目を集めています。 今回は、データカタログを導入し、データ利活用に挑んでいる6社に、アーキテクチャの工夫ポイントからデータカタログ導入によって得られた効果などを伺いました。 ◆目次 株式会社10X 株式会社ビット... 続きを読む

ログ一元管理の本質とSIEMの限界 - データ基盤への道 - LayerX エンジニアブログ

2024/03/29 82 users SIEM 本質 限界 エンジニアブログ

三井物産デジタル・アセットマネジメントで、ガバナンス・コンプラエンジニアリングをしている 鈴木 (@ken5scal )です。 いきなりですが、ログ管理はどの職種どの場面でも重要です。セキュリティにおいても、古生代よりサーバー、ネットワーク機器、アプリケーションなどから出力されるログを一元的に収集し、監視や分析... 続きを読む

Cloud RunとCloud PubSubでサーバレスなデータ基盤2024 with Terraform / Cloud Run and PubSub with Terraform

2024/03/08 10 users サーバレス Cloud Run Google Cloud

Google Cloudのサーバレスなサービスでデータ基盤を作った話. 続きを読む

次世代データ基盤：データレイクハウスを Google Cloud で実現する

2024/02/22 103 users Google Cloud MLOps 界隈 クラウドエース

はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段はデータ基盤や MLOps の構築をしたり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。また、昨年は Google Cloud Partner Top Engineer 2024 に選出されました。今年も Goodle Cloud 界隈を盛り上げていけるよう頑張... 続きを読む

先進的な技術を“合理的に”導入する。リクルートが「ニアリアルタイムデータ基盤」を実現できた背景 - はてなニュース

2024/02/22 13 users マッチング クライアント 精度向上 リクルート 収集

どんな企業にとってもデータは「資産」ですが、ユーザーとクライアントのマッチングを軸に事業を展開するリクルートにとっては、ビジネスを支える存在の一つです。 リクルートではサービスに関わるデータを収集・蓄積するデータ基盤を構築し、マッチングの精度向上を含むプロダクト改善などに活用してきました。例えばWe... 続きを読む

個人的なdbtの推しポイントを書いてみる - yasuhisa's blog

2024/02/11 15 users dbt ELT Dataform 部類 系統

dbtや同じ系統のDataformなど、ELTの特にTransform部分に強みを持つツールを使い始めて大体3年になる。主観だけど、それなりに使い倒している部類だと思う。 開発効率を計測するデータ基盤の管理にDataformを使ってみた - yasuhisa's blog dbtを触ってみた感想 - yasuhisa's blog dbt カテゴリーの記事一覧 - yasuhisa's... 続きを読む

データ基盤の管理に役立つ監視用のSQLを紹介します - 10X Product Blog

2023/07/31 103 users SQL BigQuery syou6162 監視用 監視

Analytics Engineerの吉田(id:syou6162)です。BigQueryを中心に10X社内のデータ関連の管理をしています。10Xに入社してそろそろ一年になろうかとしていますが、データ基盤を適切に管理 / 運用するためにSQLによる監視を少しずつ取り入れています。この記事では、具体的にどのようなSQLを書いて監視しているのか紹介した... 続きを読む

バクラク事業におけるデータ組織とデータ基盤 2023 - LayerX エンジニアブログ

2023/07/04 14 users LayerX エンジニアブログ データ組織 LayerX

お世話になっております。LayerXの高際と申します。現在は、データ分析組織の立ち上げに注力しています。 本記事では、バクラク事業におけるデータ組織とデータ基盤をテーマに取り扱います。データ分析における認知負荷や属人性を解消するための取り組みや、良質なデータを提供するためのデータ基盤の構築について、具体... 続きを読む

機械学習を実用化するエンジニアリングスキル

2023/02/09 10 users エンジニアリングスキル 機械学習 実用化 MLOps 文学部

Transcript Developers Summit 2023 Inspired 機械学習を実用化する エンジニアリングスキル 2023/02/09 Yusuke Shibui 自己紹介 shibui yusuke • もともと文学部の大学院卒。 • いろいろ → Launchable（いまここ） • MLOps & リサーチ & データ基盤 & バックエンド & インフラ & セールス & マーケティングエンジニア ◦... 続きを読む

私が妄想している最強のデータ基盤2023

2023/01/08 67 users 最強 ポエム 新年 最後 時点

新年になったので今年のやりたいことをまとめようと思いたち筆をとっています。単にやりたいこと書いてもただのポエムになってしまうので、私が今時点で妄想している最強のデータ基盤を描いて、その中でまだ触ったことのない技術を今年触っていこうという意気込みを最後に書こうと思います（意気込みだけにならないよう... 続きを読む

データ基盤にありがちな「何を使って作ればよいか？」という問いに対する処方箋を用意してみました. - Lean Baseball

2022/11/30 349 users Lean Baseball 処方箋 アーキテクト where

ちょっと昔まではデータ基盤の管理人・アーキテクト, 現在は思いっきりクラウドアーキを扱うコンサルタントになったマンです. 私自身の経験・スキル・このブログに書いているコンテンツの関係で, 「データ基盤って何を使って作ればいいの?」的なHow（もしくはWhere）の相談. 「Googleのビッグクエリーってやつがいいと聞... 続きを読む

DMBOKを用いたアセスメントでデータマネジメントを加速させる - MonotaRO Tech Blog

2022/07/27 132 users DMBOK アセスメント エントリ syou6162 省略

こんにちは、データ基盤グループの吉田(id:syou6162)です。データ基盤やデータマネジメントに興味を持たれている方はDMBOKを持っている / 読んだことがあるという方も多いのではないでしょうか。このエントリではDMBOK中に紹介されているデータマネジメント成熟度アセスメント(以下、アセスメントと省略)をモノタロウで... 続きを読む

全社員からデータ基盤への問い合わせが殺到して2人では捌けなくなったので仕組みで解決する話〜datatech-jp Casual Talks #2 登壇後記〜 - MonotaRO Tech Blog

2022/06/23 256 users 補足 from 背景 www.slideshare.net

データ基盤グループの吉本です。 今回は先日開催されたdatatech-jp Casual Talksで登壇した内容について補足も含め紹介します。 datatech-jp.connpass.com 発表資料はこちらです。 データ基盤に関わる問い合わせ対応を仕組みで解決する from 株式会社MonotaRO Tech Team www.slideshare.net 発表内容の背景（問い合わせ... 続きを読む