データ基盤の管理に役立つ監視用のSQLを紹介します - 10X Product Blog

2023/07/31 103 users SQL BigQuery データ基盤 監視用 監視

Analytics Engineerの吉田(id:syou6162)です。BigQueryを中心に10X社内のデータ関連の管理をしています。10Xに入社してそろそろ一年になろうかとしていますが、データ基盤を適切に管理 / 運用するためにSQLによる監視を少しずつ取り入れています。この記事では、具体的にどのようなSQLを書いて監視しているのか紹介した... 続きを読む

DMBOKを用いたアセスメントでデータマネジメントを加速させる - MonotaRO Tech Blog

2022/07/27 132 users DMBOK アセスメント エントリ モノタロウ 省略

こんにちは、データ基盤グループの吉田(id:syou6162)です。データ基盤やデータマネジメントに興味を持たれている方はDMBOKを持っている / 読んだことがあるという方も多いのではないでしょうか。このエントリではDMBOK中に紹介されているデータマネジメント成熟度アセスメント(以下、アセスメントと省略)をモノタロウで... 続きを読む

データ管理に役立つメタデータに関する勉強会を社内外で開催しました - MonotaRO Tech Blog

2022/03/04 225 users メタデータ BigQuery 社内外 実例 吉田

こんにちは、データ基盤グループの吉田(id:syou6162)です。先日、モノタロウ社内で「データ管理に役立つメタデータ」に関する勉強会を開催しました。BigQueryのINFORMATION_SCHEMAを中心とした実例を豊富に盛り込んだ内容について話したのですが、社内に限らず有用な内容であると思うので、広く公開します。 開催に至っ... 続きを読む

MonotaRO Tech Talk #9 (データマネジメント編)を開催しました - MonotaRO Tech Blog

2021/11/04 13 users MonotaRO Tech Blog MonotaRO

こんにちは、データ基盤グループの吉田(id:syou6162)です。10/28(木)に開催したMonotaRO Tech Talk #9 (データマネジメント編)のレポートをお届けします。イベント前の参加希望者が514人、イベント当日も310人がご参加くださり、大変盛り上がったイベントとなりました。 MonotaROのデータ活用と基盤の過去、現在、未来(... 続きを読む

分析者や予算承認者の視点に立ちつつ、BigQuery Flex Slotsの適切なスロット数を定量的に決定する方法を紹介します - MonotaRO Tech Blog

2021/09/09 17 users 視点 MonotaRO Tech Blog 分析者 吉本 方法

こんにちは、データ基盤グループの吉本と吉田(id:syou6162)です。モノタロウでは基本的にはBigQueryを定額料金で利用していますが、利用者の多い時間帯はFlex Slotsも併用しています。本エントリでは、Flex Slotsの適切なスロット数を定量的に決めるために行なった試行錯誤について紹介します。 モノタロウでのBigQuery... 続きを読む

SQLを使った監視でデータ基盤の品質を向上させる - MonotaRO Tech Blog

2021/08/24 45 users SQL 監視基盤 監視 吉田 本エントリ

こんにちは、データ基盤グループの吉田(id:syou6162)です。データ基盤グループでは安定してデータを利用できるように様々な取り組みを行なっています。本エントリでは、データ品質に問題がある場合にすぐに気付けるようにしたSQLによる監視の仕組みを紹介します。 背景 SQLを使った監視基盤の構築 実際の監視項目例 他チ... 続きを読む

Pull Requestから社内全チームの開発パフォーマンス指標を可視化し、開発チーム改善に活かそう - Hatena Developer Blog

2021/03/04 231 users pull request GitHub polamjag

こんにちは。id:shiba_yu36です。MackerelチームでWebアプリケーションエンジニアをしています。最近の開発合宿で、id:syou6162やid:polamjagと一緒に、社内の全チームの開発パフォーマンスを表す指標をGitHubのPull Requestから可視化し、開発チームの改善に活かせるようにしました。今回はその紹介をします。 説明する... 続きを読む

DBのテーブル数、カラム数、コメント数をMackerelに登録するrake task作った - patorashのブログ

2021/02/16 10 users mackerel patorash task カラム 感銘

先日のOSO2020で、はてなの吉田さん(id:syou6162)がカラムのコメント数をMackerelのサービスメトリックとして登録して可視化したという話をして感銘を受けたので早速rake taskを作ってみた。 なお、先日の記事。 patorash.hatenablog.com 言及されていたのは、スライドのここ。一番下に書いてありますね。 オープンセミ... 続きを読む

データ活用の知見や困り事を共有する「突撃! 隣のダッシュボード」会をやっている話 - Hatena Developer Blog

2021/01/14 18 users 知見 突撃 ダッシュボード cre データ活用

こんにちは。MackerelチームにおいてCRE（Customer Reliability Engineer）をしているid:syou6162です。主にカスタマーサクセスを支えるデータ基盤の構築や、データ分析を担当しています。 最近、はてな社内のさまざまなチームでデータ活用が進んでいます。しかし、そういったデータ活用の知見は、それぞれのチーム内で... 続きを読む

Mackerelにおけるカスタマイズグラフ / 式による監視の典型的なパターンを紹介します - Mackerel ブログ #mackerelio

2020/12/12 9 users mackerel mackerelio cre 監視 関数

こんにちは。CRE(Customer Reliability Engineer)のid:syou6162です。普段は主にカスタマーサクセスを支えるデータ基盤の構築や、データ分析を担当しています。 Mackerelでは様々な機能を提供していますが、中でも自由度が高い機能として「カスタマイズグラフ」と「式による監視」があります。関数を使って自分で自由に... 続きを読む

"壊れにくい"データ基盤を構築するためにMackerelチームで実践していること - Hatena Developer Blog

2020/08/04 55 users Mackerelチーム データ基盤 cre 構築 データ分析

こんにちは。MackerelチームにおいてCRE（Customer Reliability Engineer）をしているid:syou6162です。主にカスタマーサクセスを支えるデータ基盤の構築や、データ分析を担当しています。 今回は、壊れにくいデータ基盤を構築するため、Mackerelチームで実践していることを紹介します。 なぜ壊れにくいデータ基盤を構築... 続きを読む

利用状況から見るMackerelで人気のメトリックプラグイン トップ10 - Mackerel ブログ #mackerelio

2020/06/04 15 users mackerel mackerelio メトリック ゆえ 監視

MackerelチームCREの吉田(id:syou6162)です。Mackerelの特徴の一つに豊富なプラグインの存在がありますが、たくさんあるがゆえに「どれを使うといいんだろう?」と迷われる方もいらっしゃるかと思います。また、「プラグインを導入後、ミドルウェアのメトリックが可視化できるようになった。しかし、どのメトリックを監視... 続きを読む

リモートワークでサーバー監視にあたる上で便利なMackerelの機能・三選 - Mackerel ブログ #mackerelio

2020/04/27 8 users mackerel mackerelio WiL Slack

MackerelチームCREの吉田(id:syou6162)です。今日はリモートワークで便利なMackerelの機能を紹介しようと思います。 今見ているグラフをSlackに投稿 & チームメンバーに共有する 物理的に同じ部屋で開発 / 運用をしている場合、大きな画面にMackerelのダッシュボードを映しているという方も多いのではないでしょうか(WIL... 続きを読む

はてな の CRE の今 - えいのうにっき

2020/02/05 9 users うおおおおおお a-know cre a_know 同僚

ウオオオオオオ！！！ はてなのCREが新たなステージに突入するぞ！！ https://t.co/itwjrAu9ae— a-know (@a_know) 2020年2月5日 上記の引用リツイート元のツイート主である id:syou6162 は、社（はてな）の同僚なのですが、この2月から、僕と同じ職種・CRE（Customer Reliability Engineer）になってくれることになりま... 続きを読む

教師なし学習によるMackerelの異常検知機能について�〜設計/運用/評価の観点から〜

2019/05/29 15 users mackerel 本名 観点 検知機能 教師

教師なし学習によるMackerelの異常検知機能について�〜設計/運用/評価の観点から〜 1. 教師なし学習による Mackerelの異常検知機能について 〜設計/運用/評価の観点から〜 Machine Learning Casual Talks #10 id:syou6162 2. 自己紹介 •  id:syou6162(本名: 吉田康久) •  専門は自然言語処理や機械学習 •  3年前にはてな... 続きを読む

教師なし学習によるMackerelの異常検知機能について�〜設計/運用/評価の観点から〜

2019/05/29 52 users mackerel 本名 観点 検知機能 教師

教師なし学習によるMackerelの異常検知機能について�〜設計/運用/評価の観点から〜 1. 教師なし学習による Mackerelの異常検知機能について 〜設計/運用/評価の観点から〜 Machine Learning Casual Talks #10 id:syou6162 2. 自己紹介 •  id:syou6162(本名: 吉田康久) •  専門は自然言語処理や機械学習 •  3年前にはてな... 続きを読む

はてなで合同論文読み会を開催しました - Hatena Developer Blog

2018/12/04 22 users はてな Hatena Developer Blog 推薦

こんにちは。ウェブアプリケーションエンジニアのid:syou6162です。 はてな社内では機械学習や自然言語処理、情報検索/推薦に関する論文読み会を定期的に行なっています。 社内で国際会議論文読み会を開催しました - Hatena Developer Blog 社内でNLP2017 & DEIM2017読み会を開催しました - Hatena Developer Blog 社内... 続きを読む

社内で国際会議論文読み会を開催しました - Hatena Developer Blog

2018/04/18 37 users 国際会議論文読み会 社内 ウェブアプリケーションエンジニア

2018 - 04 - 19 社内で国際会議論文読み会を開催しました こんにちは。ウェブアプリケーションエンジニアの id:syou6162 です。はてな社内では機械学習や自然言語処理に関する論文読み会を定期的に行なっています。 社内で国際会議論文読み会を開催しました - Hatena Developer Blog 社内でNLP2017 & DEIM2017読み会を開催しました - Hatena ... 続きを読む

はてなにおける機械学習の取り組みについて - Hatena Developer Blog

2018/01/10 232 users 機械学習 はてな アプリケーションエンジニア リソース 近況

2018 - 01 - 11 はてなにおける機械学習の取り組みについて こんにちは、アプリケーションエンジニアの id:syou6162 です。2018年になってしまいましたが、2017年のはてなにおける機械学習の取り組みについて振り返ってみたいと思います。 機械学習サブ会とは リソース/ツール整備 定例会 プロジェクトの近況を共有、より専門的な困り事を相談 技術共有/雑談 論文読み会/専門書の輪... 続きを読む

AWS Lambda上で鯖(Mackerel)の曖昧性問題を機械学習で解決しよう - yasuhisa's blog

2017/11/30 44 users mackerel アプリケーションエンジニア 言及 機械学習

2017 - 11 - 30 AWS Lambda上で鯖(Mackerel)の曖昧性問題を機械学習で解決しよう 自然言語処理 Go AWS Mackerel この記事は、 はてなエンジニア Advent Calendar 2017 の1日目の記事です。 サービスに関連する言及のみを観測したい こんにちは。Mackerelチームでアプリケーションエンジニアをやっている id:syou6162 です。... 続きを読む

ホストメトリックの異常検知を行なうmackerel-agentのチェックプラグインを作りました - yasuhisa's blog

2017/11/06 24 users mackerel-agent ホストメトリック 検知 実装

2017 - 11 - 06 ホストメトリックの異常検知を行なうmackerel-agentのチェックプラグインを作りました 異常検知 Mackerel 最近、異常検知の実験/実装を行なっていますが、その過程の中間成果物を mackerel-agent のチェックプラグインとして切り出しました(非公式のプラグインです。サポート宛てにお問い合わせしてもらっても回答できません。 id:syou6162... 続きを読む

社内で国際会議論文読み会を開催しました - Hatena Developer Blog

2017/09/27 52 users 国際会議論文読み会 社内 ウェブアプリケーションエンジニア

2017 - 09 - 27 社内で国際会議論文読み会を開催しました こんにちは、ウェブアプリケーションエンジニアの id:syou6162 です。秋まっさかり、読書の秋/論文読み会の秋ですね。はてな社内で国際会議論文読み会を開催したので、今回は読み会で取り上げた論文について簡単に紹介していきたいと思います。異常検知、情報検索、自然言語処理といった多様な分野の論文が登場し、読み会も盛り上がりました... 続きを読む

機械翻訳勉強会(関西MT勉強会)が5月14(日)にはてな京都オフィスで開催されます - Hatena Developer Blog

2017/05/09 11 users 京都オフィス Hatena Developer Blog

2017 - 05 - 09 機械翻訳勉強会(関西MT勉強会)が5月14(日)にはてな京都オフィスで開催されます こんにちは。ウェブアプリケーションエンジニアの id:syou6162 です。 はてなでは社内の様々なプロダクトで自然言語処理が使われていますが、今回は機械翻訳をはじめとした自然言語処理(単語分割・形態素解析・構文解析・言い換え等)に関する勉強会、関西MT勉強会がはてな京都オフィスで開... 続きを読む

社内でNLP2017 & DEIM2017読み会を開催しました - Hatena Developer Blog

2017/04/28 56 users NLP2017 DEIM2017読み会 社内 エンジニア 主催

2017 - 04 - 28 社内でNLP2017 & DEIM2017読み会を開催しました こんにちは。ウェブアプリケーションエンジニアの id:syou6162 です。 はてな社内で機械学習や自然言語処理に興味のあるエンジニアが集まる機械学習サブ会という技術グループがあるのですが、その機械学習サブ会が主催で 言語処理学会第23回年次大会(NLP2017) と 第9回データ工学と情報マネジメント... 続きを読む

研究開発の実験に使えるホスト名の一覧をMackerelを使って素早く取得する - yasuhisa's blog

2017/02/01 15 users mackerel Mackerelチーム 監視 サーバー 実験

2017 - 02 - 02 研究開発の実験に使えるホスト名の一覧をMackerelを使って素早く取得する Mackerel Go 最近は仕事でサーバーの監視を行なうサービス開発(Mackerelチームに所属しています)の開発をしていますが、1年ほど前までは大学の研究室や企業の研究所で自然言語処理や機械学習の研究を行なっていました id:syou6162 です。研究開発における実験をするときにMa... 続きを読む