個人的なdbtの推しポイントを書いてみる - yasuhisa's blog

2024/02/11 15 users dbt ELT Dataform 部類 系統

dbtや同じ系統のDataformなど、ELTの特にTransform部分に強みを持つツールを使い始めて大体3年になる。主観だけど、それなりに使い倒している部類だと思う。 開発効率を計測するデータ基盤の管理にDataformを使ってみた - yasuhisa's blog dbtを触ってみた感想 - yasuhisa's blog dbt カテゴリーの記事一覧 - yasuhisa's... 続きを読む

dbtで見やすいER図を生成する - yasuhisa's blog

2024/02/03 155 users dbt ＥＲ図 万能 生成過程 背景

背景: dbtを使っていてもER図は欲しい! どうやってER図を生成するか どうやってER図を見やすくするか まとめ 背景: dbtを使っていてもER図は欲しい! dbtはモデル間のリネージなど可視化が得意なツールではありますが、万能なわけではありません。モデルの生成過程などはリネージで担保できますが、分析時に「どれとどの... 続きを読む

DWH改善に生かす! 入門elementary - yasuhisa's blog

2024/01/30 6 users

前提: これは何? dbtを使ったデータプロダクトを作っている社内のチームメンバー向けに書いた勉強会用のドキュメントです 社外に公開できるように少し抽象化して書いてます DWHに限らずdbtを使ったデータプロダクトで生かせる話ですが、分かりやすさのためにDWHを題材にしています 3行まとめ elementaryはdbtを利用して... 続きを読む

派生先テーブルの参照回数も考慮して安全にテーブルを撤退する - yasuhisa's blog

2023/10/08 74 users テーブル 親子関係

3行まとめ テーブルの撤退時にはテーブルの参照回数を見ることが多いと思いますが、テーブル単独の参照回数を見るだけだと不十分なことが多いです 派生先のテーブルの参照回数まで考慮すると、テーブルが撤退できるか安全に判断することができます リネージ上の親子関係をWITH RECURSIVEで考慮しながら、累積参照回数をS... 続きを読む

vscode-dbt-power-userでdbtの開発やレビューを効率化する - yasuhisa's blog

2023/07/09 12 users dbt 補足 コンパイル済み 単独 定義

背景 vscode-dbt-power-userがよかったところ 定義にさっと行ける / 戻れる(Go to definitionが使える) VSCode内でモデル間のリネージが見れる VSCode内からdbtのモデルをさっと実行できる モデルファイルの単独の実行も簡単 コンパイル済みのSQLファイルをさっとプレビューできる まとめ 補足: vscode-dbt-power-userの... 続きを読む

データエンジニア / Analytics Engineer向けの権限管理のためのTerraform紹介 - yasuhisa's blog

2023/03/09 69 users 権限管理 データエンジニア roles TERRA スコープ

これは何? 背景: 権限管理とTerraform 権限管理の対象 誰に権限を付与するのか どのスコープで権限を付与するのか どの強さで権限を付与するのか Terraformについて Terraformの概要: 権限管理でTerraformを使うと何がうれしいのか 例: roles/bigquery.jobUserを付与してみる コラム: どこでTerraformを実行するか Terra... 続きを読む

株式会社10Xにアナリティクスエンジニアとして入社しました - yasuhisa's blog

2022/10/05 21 users アナリティクスエンジニア 株式会社MonotaRO 京都

3行まとめ 9/15で株式会社MonotaROを退職し、9/16に株式会社10Xに入社しました アナリティクスエンジニアとして、相変らずデータマネジメントやデータエンジニアリングを中心に活動してます 引き続き京都で働いてますし、変わらずオンラインのコミュニティ活動もやっていく予定です 3行まとめ MonotaROはどうだったの? 1... 続きを読む

dbtを触ってみた感想 - yasuhisa's blog

2021/07/24 15 users dbt DWH Dataform 前職 構築

データエンジニア系の勉強会で最近dbtがぱらぱらと話題に出てくるようになった & 4連休ということで、夏休みの自由研究がてらdbtを触ってみました。書いてる人のバックグラウンドは以下の通り。 DWHやデータマートの構築のためのETLツールを模索中(特にTの部分) プライベートではDataformを使っている 前職でも仕事の一... 続きを読む

昔は苦手だったモブプロを今は推進する側になっていた - yasuhisa's blog

2021/06/13 32 users モブプロ 旗振り エントリ 心境 フォーカス

3~4年前はモブプロにめちゃくちゃ苦手意識があったんだけど、最近はなぜか(?)モブプロを推進していく旗振りをしている。モブプロの取り組み自体については今度会社のTech Blogに書く予定だけど、このエントリでは自分の心境の変化にフォーカスを当てる。人間、数年すると割と変わるもんだなぁと思って面白かったので、記... 続きを読む

コロナ禍での転職活動(データエンジニア)についてのメモ - yasuhisa's blog

2021/03/21 158 users コロナ禍 Twitter 現職 はてなで メモ

Twitterでは先に言っていましたが、現職のはてなを3月末で退職します。3/19が最終出社日でした。はてなでの思い出はこちらに書きました。 そのため、転職活動をしたわけですが、コロナ禍での転職活動は平常時と異なる部分も結構ありました。また、データエンジニアとしての転職は初めての経験でした。誰かの参考になるか... 続きを読む

開発効率を計測するデータ基盤の管理にDataformを使ってみた - yasuhisa's blog

2021/01/22 18 users Dataform デプロイ頻度 Four Keys 背景 感想

Dataformを初めて使ってみたので、雑に感想を書いておきます。結構よかった。 使ってみようとした背景 Dataformについて 試してみてどうだったか よかった まだまだこれからっぽいところ & 気になり 参考 使ってみようとした背景 今週、社内の開発合宿に参加していた。変更のリードタイムやデプロイ頻度などのFour Keys... 続きを読む

はてなで働き始めてからほぼ5年になるので振り返ってみる - yasuhisa's blog

2021/01/14 27 users ポエム 前職 適応 チーム開発 気持ち

そろそろ前職を退職してから、はてなで働き始めて5年(!)が経とうとしている。5年も働いていると、昔何をやっていたか、その当時どういう気持ちで働いていたかを忘れてしまう。備忘録っぽく書き残しておこう。ポエムです、長いです、大体自分向けに書いてる。 NTT CS研 => 株式会社はてな チーム開発への適応 インフラ苦... 続きを読む

esa.ioに分報っぽく投稿するアプリをReactとFirebaseで作った - yasuhisa's blog

2021/01/04 23 users 所感 React Firebase 動機 esa.io

こういう風に投稿すると(左)、esa.ioにこういう感じ(右)で投稿される分報風のアプリを自分用に年末年始に作りました。 作った動機 使った要素技術 Firebase Authentication Firebase Hosting + React Firebase Cloud Functions デプロイ自動化 所感 作った動機 きっと皆さんそうしているように、私も日々ログを残しなが... 続きを読む

データ分析を元にFAQサイトを継続的に改善する - yasuhisa's blog

2020/07/09 194 users データ分析 FAQサイト macke 単語 疑問

FAQサイト、サポート問い合わせをせずとも自分で疑問を解決できて便利ですよね。でも、検索した単語が一件もヒットしないと、ちょっとガッカリしてしまします。そういったガッカリを減らすために、簡単なデータ分析を使ってFAQサイトを継続的に改善する話を書いてみます。 ...というのも、自分が仕事で関わっているMacke... 続きを読む

BigQueryのテーブルのメタデータをCloud Data Catalogで管理する - yasuhisa's blog

2020/05/18 15 users BigQuery table メタデータ View リソース

自分が使いたいと思ったBigQuery上のリソース(tableやview)、内容を事前に完全に把握できている、ということは結構少ないのではないかと思います。そういったときに手助けをしてくれるのがメタデータです。BigQueryのリソースに対するメタデータを、Cloud Data Catalogのタグとして付与する方法を紹介します。Cloud Data... 続きを読む

カスタマーサクセスのためのデータ整備人の活動記録というタイトルでオンライン登壇しました - yasuhisa's blog

2020/05/15 14 users カスタマーサクセス cre タイトル オンライン 活動記録

第3回 データアーキテクト（データ整備人）を”前向きに”考える会という勉強会で、CREとしてデータ基盤を整備する活動についてオンライン登壇しました。 カスタマーサクセスのためのデータ整備人の活動記録 from syou6162 イベント登壇はまあまあやってきたはずなんですが、今回の登壇は初めて要素が満載でした。 CREとし... 続きを読む

MackerelチームのCustomer Reliability Engineerになりました - yasuhisa's blog

2020/03/11 6 users Mackerelチーム cre missasan エントリ

2020/02からMackerelチームのCRE (Customer Reliability Engineer) になりました。もうちょっと早くエントリを書く予定でしたが、職種が変わった & 期初であれこれイベントが多いということで遅くなってしまった...。 CREになろうと思ったきっかけ 一番大きいきっかけはid:missasanと前期一緒に働けたことだろうなぁと思... 続きを読む

データに関連するいくつかの見方と私 - yasuhisa's blog

2020/02/01 8 users 見方 データ アプリケーショ ポエム エントリ

ポエムです。元々書きたかったエントリがあったのですが、長くなってしまったのでパーツ毎に切り出します。 自分のやりたい方向性やキャリア的なものを考えると、大体その中心には「データ」がいます。データに対してどう向き合い方はいくつかパターンがあると思います。 データを生成する Webで言えば、アプリケーショ... 続きを読む

最近の砂場活動その12: Data Studioを使ってGoogle Analyticsと任意のデータを紐付けてデータ分析する - yasuhisa's blog

2019/08/25 14 users 砂場活動 Data Studio 機運 データ データ分析

仕事でデータ分析をやる機運が高まっていて、Google Data Studioをぼちぼち使っていこうとしてる。仕事のデータは分析する前のデータパイプラインなどあれこれ考える必要があるので、ひとまず趣味プロジェクトのML-Newsを題材にして遊んでみる。こういうときに雑に遊べる砂場プロジェクトは最高。 Data Studioの大雑把な... 続きを読む

Machine Learning Casual Talks #10でMackerelのロール内異常検知について発表しました - yasuhisa's blog

2019/05/29 30 users YouTube mackerel MLCT 知見 観点

メルカリさんのオフィスで開かれたMachine Learning Casual Talks (MLCT) #10に「教師なし学習によるMackerelの異常検知機能について 〜設計/運用/評価の観点から〜」というタイトルで登壇してきました。 MLCTは機械学習をサービスで運用していく知見を共有する勉強会です。YouTube等で動画配信を積極的にしてくださって... 続きを読む

2018年の砂場活動振り返り - yasuhisa's blog

2019/01/09 57 users 砂場活動 ミドルウェア 砂場 土台 インフラ

インフラやミドルウェアにとにかく苦手意識があるが、仕事的にいつまでもそう言ってられない。そこで、最悪全部ぶっ壊れても大丈夫な砂場を作り、そこを土台に活動をするというのを2018年の目標に設定していた。 結構な時間をかけたこともあり、それなりの砂場と活動ができて、自分としても勉強になってよかった点が多か... 続きを読む

MACHINE LEARNING Meetup KANSAI #3で機械学習を使った趣味サービスにおける工夫を紹介しました - yasuhisa's blog

2018/10/04 42 users エントリ Machine Learning 登壇 余暇時間

最近、仕事のちゃんとした登壇が多かったので、趣味でやっているWebサービスにおける機械学習関連の工夫について発表してきました。基本的に昔ブログで紹介したエントリのまとめバージョンです。 趣味の余暇時間で開発しているサービスなので、いかに手間をかけずに済むかというのが大事です。テーマは怠惰!! 機械学習を... 続きを読む

「今日から始める機械学習〜はてなの事例〜」というタイトルでデブサミ2018関西で登壇しました - yasuhisa's blog

2018/10/01 35 users 事例 タイトル devsumi 吉田 機械学習

株式会社ハカルスの染田さん(Machine Learning Meetup KANSAI繋がり)からご紹介頂きまして、タイトルの内容で登壇してきました。 今日から始める機械学習〜はてなの事例〜 from syou6162 A-3セッション『今日から始める機械学習～はてなの事例～』吉田 康久さん（はてな）です！ #devsumi #devsumiA pic.twitter.com/Dhe... 続きを読む

Mackerel Meetup #12で異常検知機能について発表しました - yasuhisa's blog

2018/08/03 32 users Mackerel Meetup 検知機能 Fro スライド

タイトルの通りですが、Mackerel Meetup #12で登壇してきました。 ユーザーの皆さんからご要望を直接聞けるので、Meetupは開発者としてもとてもありがたい場になっています。参加してくださった皆さま、ありがとうございました。私が発表したスライドはこちらです。 機械学習を用いたMackerelの異常検知機能について fro... 続きを読む

はてな社内でKaggleハッカソンを行ないました(TakingDataリベンジマッチ編) - yasuhisa's blog

2018/07/24 40 users Kaggle コンペ 知見 試行錯誤 各自好き

先週末、はてな社内でKaggleハッカソンを行ないました。丸一日、各自好きなKaggleのコンペに取り組んで、得られた知見を共有するという会です。 自分は以前TalkingDataというコンペに参加していたのですが、データサイズが結構大きく、一月くらいやってみたももの試行錯誤に四苦八苦してしまい、途中で離脱していました.... 続きを読む