Elementaryを用いたデータ品質の可視化とデータ基盤の運用改善

2024/03/20 6 users Elementary データ基盤 運用改善 可視化

Tokyo dbt Meetup #8での登壇資料になります。 - https://www.meetup.com/tokyo-dbt-meetup/events/299602585/ 続きを読む

データ品質の5つの分類と品質管理プロセス

2023/12/18 14 users 分類 5つ

風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋（@kazaneya_PR）アドバイザーの笹川で... 続きを読む

DMBOK第1章データマネジメント｜zono

2023/11/24 7 users コミットメント リーダーシップ 特異性 DMBOK 課題

要約データマネジメントはデータと情報の価値を最大化し、ライフサイクルを通じて計画・実施・監督するものです。価値の定量的評価が難しく、データ品質の管理が重要になります。 また、リーダーシップとコミットメントが効果的なデータマネジメントに必要になります。 課題としてデータの特異性やデータ品質、横断的な... 続きを読む

データ品質を支えるdbt test ~Ubieの事例を添えて~

2022/12/05 11 users Twitter Ubie アドベントカレンダー 現職 事例

はじめに こんにちは。おきゆきです。現職のUbieでは、Data Analyst / Analytics Engineerとして働いています。（自己紹介ページとTwitterはこちらです) この記事は、dbt Advent Calendar 2022 5日目の記事 / Ubie Engineers & Designers Advent Calendar 2022 5日目の記事です。2つのアドベントカレンダーに関わる dbt×... 続きを読む

DeNAデータプラットフォームにおけるデータ品質への取組み

2021/11/16 7 users

SpeakerDeck：https://speakerdeck.com/dena_tech/techcon2021autumn-09概要：DeNA データプラットフォームは、アナリスト（データ分析担当者）から企画、経営層まで幅広く利用され、データ分析にもとづいた施策や意思決定が行われています。データプラットフォー... 続きを読む

SQLを使った監視でデータ基盤の品質を向上させる - MonotaRO Tech Blog

2021/08/24 45 users SQL syou6162 監視基盤 監視 吉田

こんにちは、データ基盤グループの吉田(id:syou6162)です。データ基盤グループでは安定してデータを利用できるように様々な取り組みを行なっています。本エントリでは、データ品質に問題がある場合にすぐに気付けるようにしたSQLによる監視の仕組みを紹介します。 背景 SQLを使った監視基盤の構築 実際の監視項目例 他チ... 続きを読む

dbtとDataformを比較し、dbtを使うことにした - Attsun blog

2021/02/12 10 users dbt Pros DWH Dataform 担保

TL;DRdbt, Dataformについて簡単に紹介dbtDataform比較対応するプラットフォーム主要な機能外部ツールとの接続性運用時のあれこれ両者のPros/Consまとめ私たちの選択どちらを使うべきなのか？選ばれたのは、dbtでしたまとめ最近、業務でDWH / Datamartの整備やデータ品質の担保を効率的に行いたくなる事情があり、調査し... 続きを読む

マネーフォワード ケッサイのBigQueryリソース ラベル規約 | Money Forward Kessai TECH BLOG

2021/02/02 10 users BigQuery マネーフォワード 文書 布教活動 ラベル

BigQueryの布教活動をしていますna0です。 この文書は、BigQueryリソースに対する期待値をラベルで明示する提案を行うものです。 組織全体でデータ品質に合意するための第一歩としてBigQueryリソース ラベルを使ってみませんか。 ラベル品質のベースラインとして、マネーフォワード ケッサイで運用している規約を紹介し... 続きを読む

そろそろSQLのウィンドウ関数を理解したい - 連載1/3話 - Qiita

2019/11/19 306 users Qiita 筆者 主題 ABC分析 バスケット分析

はじめに データ分析とデータ品質改善に従事してきた筆者が、SQLを用いた分析の基本である「ウィンドウ関数」の使い方とデータ品質の調査改善を行う手法をまとめてみようと思います。 こちらの記事は、SQLの知識向上と振り返りを主題としているので、ABC分析、バスケット分析、RFM分析などの「データ分析の手法」につい... 続きを読む

Deequ で大規模なデータ品質をテスト | Amazon Web Services ブログ

2019/05/20 20 users ユニットテスト テスト とおり 本番システム 影響

Amazon Web Services ブログ Deequ で大規模なデータ品質をテスト 一般的に、コード用のユニットテストを書くと思いますが、お使いのデータもテストしているのでしょうか? 不正確または不正なデータは、本番システムに大きな影響を与える可能性があります。データ品質問題の例は次のとおりです。 値がない場合は、本番シ... 続きを読む