dbtのUnit testsを導入してわかったこと - Oisix ra daichi Creator's Blog（オイシックス・ラ・大地クリエイターズブログ）

2024/12/06 10 users Snowflake Oisix オイシックス・ラ 整備 構築

はじめに DMO（Data Management Office）でデータプラットフォームセクションを担当しています東條です。データプラットフォームセクションはOisixを中心としたデータ基盤の構築・整備を担当しています。このデータ基盤にはSnowflakeとdbtを使用しています。今回dbt-core v1.8.0で追加されたUnit testsを導入してわかっ... 続きを読む

39社のデータアーキテクチャ特集 - ツールの技術選定のポイントと活用術 - Findy Tools

2024/10/07 73 users Findy Tools データアーキテクチャ 技術選定 各社

公開日 2024/10/08更新日 2024/10/0839社のデータアーキテクチャ特集 - ツールの技術選定のポイントと活用術 8つのデータ系ツール「BigQuery」「Databricks」「dbt」「Fivetran」「Lightdash」「Looker」「Snowflake」「TROCCOⓇ」に39社からご寄稿頂いたレビューから、各社のデータアーキテクチャをまとめた記事です。各... 続きを読む

個人的なdbtの推しポイントを書いてみる - yasuhisa's blog

2024/02/11 15 users ELT Dataform 部類 系統 主観

dbtや同じ系統のDataformなど、ELTの特にTransform部分に強みを持つツールを使い始めて大体3年になる。主観だけど、それなりに使い倒している部類だと思う。 開発効率を計測するデータ基盤の管理にDataformを使ってみた - yasuhisa's blog dbtを触ってみた感想 - yasuhisa's blog dbt カテゴリーの記事一覧 - yasuhisa's... 続きを読む

dbtで見やすいER図を生成する - yasuhisa's blog

2024/02/03 155 users ＥＲ図 万能 yasuhisa's blog 生成過程 背景

背景: dbtを使っていてもER図は欲しい! どうやってER図を生成するか どうやってER図を見やすくするか まとめ 背景: dbtを使っていてもER図は欲しい! dbtはモデル間のリネージなど可視化が得意なツールではありますが、万能なわけではありません。モデルの生成過程などはリネージで担保できますが、分析時に「どれとどの... 続きを読む

vscode-dbt-power-userでdbtの開発やレビューを効率化する - yasuhisa's blog

2023/07/09 12 users 補足 コンパイル済み 単独 yasuhisa's blog

背景 vscode-dbt-power-userがよかったところ 定義にさっと行ける / 戻れる(Go to definitionが使える) VSCode内でモデル間のリネージが見れる VSCode内からdbtのモデルをさっと実行できる モデルファイルの単独の実行も簡単 コンパイル済みのSQLファイルをさっとプレビューできる まとめ 補足: vscode-dbt-power-userの... 続きを読む

マーケター自身がデータを管理するために、広告運用にdbtを導入した経緯と効果 - MonotaRO Tech Blog

2023/02/15 16 users SQL 部署 経緯 過程 マーケティング

こんにちは、マーケティング部門広告グループの小林です。この記事ではオンライン広告運用に使っているデータ変換処理をdbtに移行した過程と得られた効果についてご紹介します。 モノタロウでは、全社的なデータ活用研修などにより、マーケティングのようなビジネス系の部署でも、SQLを自身で書いてデータ抽出を行い、数... 続きを読む

dbt Labs のベストプラクティス全部違反してみた。そして dbt project evaluator を使って全部直してみた。

2022/12/11 12 users ベストプラクティス ツール プロジェクト 自動 評価

サマリ dbt Labs では、dbt のプロジェクト、並びに変換パイプラインに関するベストプラクティスを紹介しています。 さらに、いくつかのベストプラクティスについては、自動で評価可能な dbt project evaluator というツールも公開されています。 今回は、dbt project evaluator で評価可能な、20 個のベストプラクティ... 続きを読む

dbtを触ってみた感想 - yasuhisa's blog

2021/07/24 15 users DWH Dataform 前職 構築 バックグラウンド

データエンジニア系の勉強会で最近dbtがぱらぱらと話題に出てくるようになった & 4連休ということで、夏休みの自由研究がてらdbtを触ってみました。書いてる人のバックグラウンドは以下の通り。 DWHやデータマートの構築のためのETLツールを模索中(特にTの部分) プライベートではDataformを使っている 前職でも仕事の一... 続きを読む

dbtとDataformを比較し、dbtを使うことにした - Attsun blog

2021/02/12 10 users Pros DWH Dataform 担保 プラットフォーム

TL;DRdbt, Dataformについて簡単に紹介dbtDataform比較対応するプラットフォーム主要な機能外部ツールとの接続性運用時のあれこれ両者のPros/Consまとめ私たちの選択どちらを使うべきなのか？選ばれたのは、dbtでしたまとめ最近、業務でDWH / Datamartの整備やデータ品質の担保を効率的に行いたくなる事情があり、調査し... 続きを読む