データ基盤のためのリーダブルSQL

2024/05/21 6 users dbt 念頭 パイプライン データ基盤 言語化

これは何？ 私tenajimaがデータ基盤のパイプラインを作るとき、レビューするときに意識している点を言語化したものです データ基盤を作る上での考え方の一つに役立てていただければ幸いです この記事の前提 dbtを使ったデータ基盤構築を念頭に置いて書いています、dbtの記法が出てきます CTEsが使える環境を想定していま... 続きを読む

データ変更を伴うバッチ処理を書く時に考慮していること - shallowな暮らし

2022/03/19 460 users MySQL shallow インフラ shallow1729

こんにちは、id:shallow1729です。最近はインフラ寄りなお仕事をよくやっていますがこれまでにいくつかデータ移行やデータ基盤構築などのバッチ処理のお仕事をしてきました。以前にも一度そういった経験を元に記事を書いたのですが、MySQLやシステムに関する知識が以前よりも増えた今もう一度書き直したいなと思いました... 続きを読む

Google Cloudではじめる実践データエンジニアリング入門[業務で使えるデータ基盤構築]：書籍案内｜技術評論社

2021/01/16 18 users 技術評論社 Google Cloud 書籍案内

2021年2月20日発売 下田倫大，寳野雄太，饗庭秀一郎，吉田啓二　著 B5変形判／412ページ 定価（本体3,200円＋税） ISBN 978-4-297-11948-5 Amazon 楽天ブックス honto ヨドバシ.com 電子版 電子化の予定があります この本の概要 AIやIoTが実用化フェーズに入りつつあるのみならず，デジタルトランスフォーメーション（DX... 続きを読む

データベースのドキュメント管理を自動化した話 - estie inside blog

2020/08/11 178 users データベース estie inside blog 低コスト

こんにちは、今回はデータ基盤構築を担当しているmarushoがお送りします。 今日はestieで実践しているデータベースのドキュメント管理方法をご紹介します。 はじめに 独自成長していくデータベースたち 失われたドキュメント どうすれば低コストなドキュメント管理ができるのか そして生まれた、schema collectorという... 続きを読む