データ基盤の管理に役立つ監視用のSQLを紹介します - 10X Product Blog

2023/07/31 103 users SQL BigQuery データ基盤 監視用 監視

Analytics Engineerの吉田(id:syou6162)です。BigQueryを中心に10X社内のデータ関連の管理をしています。10Xに入社してそろそろ一年になろうかとしていますが、データ基盤を適切に管理 / 運用するためにSQLによる監視を少しずつ取り入れています。この記事では、具体的にどのようなSQLを書いて監視しているのか紹介した... 続きを読む

DMBOKを用いたアセスメントでデータマネジメントを加速させる - MonotaRO Tech Blog

2022/07/27 132 users DMBOK アセスメント エントリ モノタロウ 省略

こんにちは、データ基盤グループの吉田(id:syou6162)です。データ基盤やデータマネジメントに興味を持たれている方はDMBOKを持っている / 読んだことがあるという方も多いのではないでしょうか。このエントリではDMBOK中に紹介されているデータマネジメント成熟度アセスメント(以下、アセスメントと省略)をモノタロウで... 続きを読む

データ管理に役立つメタデータに関する勉強会を社内外で開催しました - MonotaRO Tech Blog

2022/03/04 225 users メタデータ BigQuery 社内外 実例 吉田

こんにちは、データ基盤グループの吉田(id:syou6162)です。先日、モノタロウ社内で「データ管理に役立つメタデータ」に関する勉強会を開催しました。BigQueryのINFORMATION_SCHEMAを中心とした実例を豊富に盛り込んだ内容について話したのですが、社内に限らず有用な内容であると思うので、広く公開します。 開催に至っ... 続きを読む

Pull Requestから社内全チームの開発パフォーマンス指標を可視化し、開発チーム改善に活かそう - Hatena Developer Blog

2021/03/04 231 users pull request GitHub polamjag

こんにちは。id:shiba_yu36です。MackerelチームでWebアプリケーションエンジニアをしています。最近の開発合宿で、id:syou6162やid:polamjagと一緒に、社内の全チームの開発パフォーマンスを表す指標をGitHubのPull Requestから可視化し、開発チームの改善に活かせるようにしました。今回はその紹介をします。 説明する... 続きを読む

"壊れにくい"データ基盤を構築するためにMackerelチームで実践していること - Hatena Developer Blog

2020/08/04 55 users Mackerelチーム データ基盤 cre 構築 データ分析

こんにちは。MackerelチームにおいてCRE（Customer Reliability Engineer）をしているid:syou6162です。主にカスタマーサクセスを支えるデータ基盤の構築や、データ分析を担当しています。 今回は、壊れにくいデータ基盤を構築するため、Mackerelチームで実践していることを紹介します。 なぜ壊れにくいデータ基盤を構築... 続きを読む

教師なし学習によるMackerelの異常検知機能について�〜設計/運用/評価の観点から〜

2019/05/29 52 users mackerel 本名 観点 検知機能 教師

教師なし学習によるMackerelの異常検知機能について�〜設計/運用/評価の観点から〜 1. 教師なし学習による Mackerelの異常検知機能について 〜設計/運用/評価の観点から〜 Machine Learning Casual Talks #10 id:syou6162 2. 自己紹介 •  id:syou6162(本名: 吉田康久) •  専門は自然言語処理や機械学習 •  3年前にはてな... 続きを読む

はてなにおける機械学習の取り組みについて - Hatena Developer Blog

2018/01/10 232 users 機械学習 はてな アプリケーションエンジニア リソース 近況

2018 - 01 - 11 はてなにおける機械学習の取り組みについて こんにちは、アプリケーションエンジニアの id:syou6162 です。2018年になってしまいましたが、2017年のはてなにおける機械学習の取り組みについて振り返ってみたいと思います。 機械学習サブ会とは リソース/ツール整備 定例会 プロジェクトの近況を共有、より専門的な困り事を相談 技術共有/雑談 論文読み会/専門書の輪... 続きを読む

社内で国際会議論文読み会を開催しました - Hatena Developer Blog

2017/09/27 52 users 国際会議論文読み会 社内 ウェブアプリケーションエンジニア

2017 - 09 - 27 社内で国際会議論文読み会を開催しました こんにちは、ウェブアプリケーションエンジニアの id:syou6162 です。秋まっさかり、読書の秋/論文読み会の秋ですね。はてな社内で国際会議論文読み会を開催したので、今回は読み会で取り上げた論文について簡単に紹介していきたいと思います。異常検知、情報検索、自然言語処理といった多様な分野の論文が登場し、読み会も盛り上がりました... 続きを読む

社内でNLP2017 & DEIM2017読み会を開催しました - Hatena Developer Blog

2017/04/28 56 users NLP2017 DEIM2017読み会 社内 エンジニア 主催

2017 - 04 - 28 社内でNLP2017 & DEIM2017読み会を開催しました こんにちは。ウェブアプリケーションエンジニアの id:syou6162 です。 はてな社内で機械学習や自然言語処理に興味のあるエンジニアが集まる機械学習サブ会という技術グループがあるのですが、その機械学習サブ会が主催で 言語処理学会第23回年次大会(NLP2017) と 第9回データ工学と情報マネジメント... 続きを読む

はてな社内で行なっている機械学習勉強会について紹介します - Hatena Developer Blog

2016/12/20 314 users 機械学習勉強会 はてな社内 アプリケーションエンジニア 作戦

2016 - 12 - 21 はてな社内で行なっている機械学習勉強会について紹介します このエントリは、 はてなエンジニアアドベントカレンダー2016 の21日目の記事です。昨日は id:hakobe932 さんによる 次に何を勉強するかを決めるための作戦 でした。 こんにちは、アプリケーションエンジニアの id:syou6162 です。このエントリでは、今年の9月から社内で行なっている機械学習勉... 続きを読む