複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog

2024/04/29 652 users スキル データエンジニア 棚卸 複数 前職

最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸... 続きを読む

機械学習をプロダクトに入れる際に考える採用基準について - yasuhisa's blog

2016/11/20 476 users プロダクト 機械学習 採用基準 SVM 前提

2016 - 11 - 21 機械学習をプロダクトに入れる際に考える採用基準について 機械学習 サービスに機械学習技術(例えばSVM)を入れる際に、「この機械学習技術は本番サービスに投入しても大丈夫なものか?」を考える基準がまとまっていると人に説明するときに便利だなとふと思ったのでまとめてみました。散々言われ尽くされている話だとは思います。 前提 機械学習がプロダクトの主要な武器になる(例えば最近... 続きを読む

Google機械翻訳の仕組み&できるようになったこと/まだ難しいことについて、社内の機械学習勉強会で説明します - yasuhisa's blog

2016/11/23 446 users 機械学習勉強会 GNMT 社内 難しいこと エントリ

2016 - 11 - 23 Google機械翻訳の仕組み&できるようになったこと/まだ難しいことについて、社内の機械学習勉強会で説明します 社内の機械学習勉強会で機械学習関連で最近話題になったエントリを取り上げているのですが、ここ一ヶ月ではGoogle Neural Machine Translation(GNMT)がとても話題になっていました。直近でGNMTで使われているEncoder-Dec... 続きを読む

社内でKaggleの布教活動をやっている話 - yasuhisa's blog

2018/04/05 243 users Kaggle パラメータチューニング インクリメンタル 誤解

2018 - 04 - 05 社内でKaggleの布教活動をやっている話 機械学習 Kaggle 最近、社内勉強会で機械学習についてエンジニアに説明する機会があり、その際にKaggleについても説明しました。一方で うーん、「Kaggler はパラメータチューニングやアンサンブル等の自明でインクリメンタルな改善『しか』できない」というような誤解はどうやって解いていけばいいんだろう。 — im132... 続きを読む

KaggleのCTR予測コンペで上位10%に入るまでの試行錯誤 - yasuhisa's blog

2018/03/18 241 users isucon Kaggle Avazu 試行錯誤 機械学習

2018 - 03 - 18 KaggleのCTR予測コンペで上位10%に入るまでの試行錯誤 Kaggle 機械学習 週末Kagglerとして avazuのCTR予測コンペ に参加しました。Kaggleは機械学習版の ISUCON だと思ってもらえばよいです。コンペ自体は終わっているので、late submiteであまり意味はないかもしれません、練習です。leaderboard上で上位10%以内に... 続きを読む

実タスクで機械学習を導入するまでの壁とその壁の突破方法 - yasuhisa's blog

2017/04/26 208 users 機械学習 突破方法 ディレクタ 後々 エンジニア

2017 - 04 - 26 実タスクで機械学習を導入するまでの壁とその壁の突破方法 機械学習 自然言語処理 社内で機械学習の案件があった際に、機械学習の経験者しか担当できないと後々の引き継ぎで問題が起こりがちです。これを防ぐために、機械学習に興味があり、これまで機械学習を経験したことがないエンジニアにも担当できる体制を整えられることが望ましいです。しかし、機械学習のことに詳しく知らないディレクタ... 続きを読む

データ分析を元にFAQサイトを継続的に改善する - yasuhisa's blog

2020/07/09 194 users データ分析 FAQサイト macke 単語 疑問

FAQサイト、サポート問い合わせをせずとも自分で疑問を解決できて便利ですよね。でも、検索した単語が一件もヒットしないと、ちょっとガッカリしてしまします。そういったガッカリを減らすために、簡単なデータ分析を使ってFAQサイトを継続的に改善する話を書いてみます。 ...というのも、自分が仕事で関わっているMacke... 続きを読む

AWS Lambdaに入門する - yasuhisa's blog

2017/03/30 179 users AWS Lambda Slack Lambda 単語 特定

2017 - 03 - 31 AWS Lambdaに入門する AWS Go Amazon Elasticsearch Serviceに引き続き、AWS Lambdaに入門しました。Lambdaを使って、Amazon Elasticsearch Serviceで特定の単語を検索をさせてslackに書き込んでくれるbot君を練習台でやってみました。 やりたいこと 準備: 適切なポリシーを設定する Go... 続きを読む

コロナ禍での転職活動(データエンジニア)についてのメモ - yasuhisa's blog

2021/03/21 158 users コロナ禍 Twitter 現職 はてなで メモ

Twitterでは先に言っていましたが、現職のはてなを3月末で退職します。3/19が最終出社日でした。はてなでの思い出はこちらに書きました。 そのため、転職活動をしたわけですが、コロナ禍での転職活動は平常時と異なる部分も結構ありました。また、データエンジニアとしての転職は初めての経験でした。誰かの参考になるか... 続きを読む

dbtで見やすいER図を生成する - yasuhisa's blog

2024/02/03 155 users dbt ＥＲ図 万能 生成過程 背景

背景: dbtを使っていてもER図は欲しい! どうやってER図を生成するか どうやってER図を見やすくするか まとめ 背景: dbtを使っていてもER図は欲しい! dbtはモデル間のリネージなど可視化が得意なツールではありますが、万能なわけではありません。モデルの生成過程などはリネージで担保できますが、分析時に「どれとどの... 続きを読む

NTT CS研を退職して、株式会社はてなに入社しました - yasuhisa's blog

2016/04/03 140 users エイプリルフール 前職 株式会社 研究 かなり

2016 - 04 - 03 NTT CS研を退職して、株式会社はてなに入社しました エイプリルフールも一段落したので、退職&入社エントリを書こうと思います。 これまで 3/31付けで前職のNTT CS研を退職しました。CS研には( インターン期間も含め )4年間お世話になりました。 CS研はとても研究する上でよい環境 CS研は研究をする上でかなりよい環境であったと思っていて 世界で活躍しているト... 続きを読む

異常検知ナイトでLT登壇しました - yasuhisa's blog

2018/02/15 109 users Syo レギュレーション 検知 登壇 機械学習

2018 - 02 - 16 異常検知ナイトでLT登壇しました 異常検知 機械学習 機械学習の中でもマイナーなテーマであろう異常検知がテーマの勉強会、異常検知ナイトというイベントでLTの登壇をしてきました。マイナーテーマなのに300人以上が集まる東京怖い。 3ページしかないですが、発表資料も置いておきます(LTのレギュレーションで3ページ5分)。 異常検知ナイト LT登壇資料 はてな id:syo... 続きを読む

Go言語でWebアプリを書くときにオートリロードどうするといいの問題 - yasuhisa's blog

2018/06/07 106 users オートリロード Go言語 Webアプリ シングルバイナリ 問題

2018 - 06 - 07 Go言語でWebアプリを書くときにオートリロードどうするといいの問題 Go Go言語を書く際、成果物がシングルバイナリになるのは便利です。deployするときや他人に使ってもらうときに、それだけ渡せば使ってもらえるので。cliツールやapiサーバーを書くときにはこの方式で困っていなかったのですが、いわゆるWebアプリをGo言語で書くときのベストプラックティスが分からな... 続きを読む

PyCon mini Osakaで異常検知システム構築の裏側について発表しました - yasuhisa's blog

2018/05/19 85 users 裏側 pyconjp Python トピック 検知システム

2018 - 05 - 19 PyCon mini Osakaで異常検知システム構築の裏側について発表しました 異常検知 Mackerel 現在仕事で作っている異常検知システムについてPyCon mini Osakaで登壇してきました。異常検知というマイナーなトピックですが、多くの人に聞いてもらえてよかったです。 #pyconjp #pyconosaka 「Pythonを用いた異常検知システム構築... 続きを読む

派生先テーブルの参照回数も考慮して安全にテーブルを撤退する - yasuhisa's blog

2023/10/08 74 users テーブル 親子関係

3行まとめ テーブルの撤退時にはテーブルの参照回数を見ることが多いと思いますが、テーブル単独の参照回数を見るだけだと不十分なことが多いです 派生先のテーブルの参照回数まで考慮すると、テーブルが撤退できるか安全に判断することができます リネージ上の親子関係をWITH RECURSIVEで考慮しながら、累積参照回数をS... 続きを読む

データエンジニア / Analytics Engineer向けの権限管理のためのTerraform紹介 - yasuhisa's blog

2023/03/09 69 users 権限管理 データエンジニア roles TERRA スコープ

これは何? 背景: 権限管理とTerraform 権限管理の対象 誰に権限を付与するのか どのスコープで権限を付与するのか どの強さで権限を付与するのか Terraformについて Terraformの概要: 権限管理でTerraformを使うと何がうれしいのか 例: roles/bigquery.jobUserを付与してみる コラム: どこでTerraformを実行するか Terra... 続きを読む

RedPenで技術文書の誤りを指摘してもらおう - yasuhisa's blog

2017/03/27 61 users RedPen emacs 文書 エンジニア 手元

2017 - 03 - 27 RedPenで技術文書の誤りを指摘してもらおう Emacs 自然言語の誤りを指摘してくれるRedPenを手元で使えるようにしてみました、という記事です。気が向いたので、色々書いてみました。 エンジニアであっても意外と文書を書いたり見たりする機会が多い 自然言語も機械が勝手に間違いを指摘して欲しい 自然言語もルールで分かることは機械(RedPen)に指摘してもらう 指摘... 続きを読む

自然言語処理の深層学習において転移学習はうまく行くのか? - yasuhisa's blog

2016/12/04 61 users 転移学習 深層学習 エントリ 言語処理 機械学習

2016 - 12 - 05 自然言語処理の深層学習において転移学習はうまく行くのか? 機械学習 自然言語処理 深層学習 論文100本ノック このエントリは Deep Learning Advent Calendar 2016 5日目 のエントリです。 EMNLP2016 に出ていたHow Transferable are Neural Networks in NLP Applications?を... 続きを読む

2018年の砂場活動振り返り - yasuhisa's blog

2019/01/09 57 users 砂場活動 ミドルウェア 砂場 土台 インフラ

インフラやミドルウェアにとにかく苦手意識があるが、仕事的にいつまでもそう言ってられない。そこで、最悪全部ぶっ壊れても大丈夫な砂場を作り、そこを土台に活動をするというのを2018年の目標に設定していた。 結構な時間をかけたこともあり、それなりの砂場と活動ができて、自分としても勉強になってよかった点が多か... 続きを読む

Hacker Tackleで「はてなにおける機械学習の取り組み」について登壇しました - yasuhisa's blog

2018/02/19 56 users Hacker Tackle 検知 一口 機械学習 言語処理

2018 - 02 - 19 Hacker Tackleで「はてなにおける機械学習の取り組み」について登壇しました 機械学習 自然言語処理 異常検知 はてな LINE福岡で行なわれたHacker Tackleにて登壇してきました。 発表内容は(1)機械学習を使ったサービス開発の難しい点について整理し(2)その難しさを乗り越えていくためにはてながどのような取り組みを行なっているかについてでした。一口... 続きを読む

nasneの残量やGoogle Analyticsの情報をMackerelに監視させよう - yasuhisa's blog

2016/12/05 56 users nasne mackerel アプリケーションエンジニア

2016 - 12 - 06 nasneの残量やGoogle Analyticsの情報をMackerelに監視させよう Mackerel Mackerelアドベントカレンダー 6日目です。昨日は id:buty4649 さんによる mackerelメタデータでパッケージ一覧を管理するCLIツールを作った でした。 こんにちは、株式会社はてなでアプリケーションエンジニアをやっている id:syou6... 続きを読む

tig/hubでレビューしやすい環境を作る - yasuhisa's blog

2017/10/30 53 users tig hub GitHub GHE blame

変更箇所とそれに対応するcommit message 該当行のblame、その変更が行なわれたpull request 今見ている変数の型、関数の定義元 などです。レビューのコメントを書く場所はGithub/GHEである場合が多いと思いますが、上述した内容と行ったりきたりするのは大変です。これらの起点をtigに置くとスムーズに行ったので、その方法をメモしておきます。 続きを読む

劣モジュラ最適化によるエントリの推薦をやってみた - yasuhisa's blog

2017/05/27 47 users エントリ 推薦 Tweet arXiv bot

2017 - 05 - 27 劣モジュラ最適化によるエントリの推薦をやってみた 自然言語処理 離散最適化 Go 背景 半年前から機械学習に関するよさそうなエントリを提示してくれるbot(ML君)を運用しています。 大量のtweetの中から関連するエントリを人手で探す手間は省けるようになったのですが、最近別の問題が起こっています。以下の画像はある日に提示されたエントリの結果ですが、arxivの論文(... 続きを読む

AWS Lambda上で鯖(Mackerel)の曖昧性問題を機械学習で解決しよう - yasuhisa's blog

2017/11/30 44 users mackerel アプリケーションエンジニア 言及 機械学習

2017 - 11 - 30 AWS Lambda上で鯖(Mackerel)の曖昧性問題を機械学習で解決しよう 自然言語処理 Go AWS Mackerel この記事は、 はてなエンジニア Advent Calendar 2017 の1日目の記事です。 サービスに関連する言及のみを観測したい こんにちは。Mackerelチームでアプリケーションエンジニアをやっている id:syou6162 です。... 続きを読む

MACHINE LEARNING Meetup KANSAI #3で機械学習を使った趣味サービスにおける工夫を紹介しました - yasuhisa's blog

2018/10/04 42 users エントリ Machine Learning 登壇 余暇時間

最近、仕事のちゃんとした登壇が多かったので、趣味でやっているWebサービスにおける機械学習関連の工夫について発表してきました。基本的に昔ブログで紹介したエントリのまとめバージョンです。 趣味の余暇時間で開発しているサービスなので、いかに手間をかけずに済むかというのが大事です。テーマは怠惰!! 機械学習を... 続きを読む