複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog

2024/04/29 652 users スキル データエンジニア 棚卸 複数 前職

最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸... 続きを読む

dbtで見やすいER図を生成する - yasuhisa's blog

2024/02/03 155 users dbt ＥＲ図 万能 生成過程 背景

背景: dbtを使っていてもER図は欲しい! どうやってER図を生成するか どうやってER図を見やすくするか まとめ 背景: dbtを使っていてもER図は欲しい! dbtはモデル間のリネージなど可視化が得意なツールではありますが、万能なわけではありません。モデルの生成過程などはリネージで担保できますが、分析時に「どれとどの... 続きを読む

コロナ禍での転職活動(データエンジニア)についてのメモ - yasuhisa's blog

2021/03/21 158 users コロナ禍 Twitter 現職 はてなで メモ

Twitterでは先に言っていましたが、現職のはてなを3月末で退職します。3/19が最終出社日でした。はてなでの思い出はこちらに書きました。 そのため、転職活動をしたわけですが、コロナ禍での転職活動は平常時と異なる部分も結構ありました。また、データエンジニアとしての転職は初めての経験でした。誰かの参考になるか... 続きを読む

データ分析を元にFAQサイトを継続的に改善する - yasuhisa's blog

2020/07/09 194 users データ分析 FAQサイト macke 単語 疑問

FAQサイト、サポート問い合わせをせずとも自分で疑問を解決できて便利ですよね。でも、検索した単語が一件もヒットしないと、ちょっとガッカリしてしまします。そういったガッカリを減らすために、簡単なデータ分析を使ってFAQサイトを継続的に改善する話を書いてみます。 ...というのも、自分が仕事で関わっているMacke... 続きを読む

Go言語でWebアプリを書くときにオートリロードどうするといいの問題 - yasuhisa's blog

2018/06/07 106 users オートリロード Go言語 Webアプリ シングルバイナリ 問題

2018 - 06 - 07 Go言語でWebアプリを書くときにオートリロードどうするといいの問題 Go Go言語を書く際、成果物がシングルバイナリになるのは便利です。deployするときや他人に使ってもらうときに、それだけ渡せば使ってもらえるので。cliツールやapiサーバーを書くときにはこの方式で困っていなかったのですが、いわゆるWebアプリをGo言語で書くときのベストプラックティスが分からな... 続きを読む

社内でKaggleの布教活動をやっている話 - yasuhisa's blog

2018/04/05 243 users Kaggle パラメータチューニング インクリメンタル 誤解

2018 - 04 - 05 社内でKaggleの布教活動をやっている話 機械学習 Kaggle 最近、社内勉強会で機械学習についてエンジニアに説明する機会があり、その際にKaggleについても説明しました。一方で うーん、「Kaggler はパラメータチューニングやアンサンブル等の自明でインクリメンタルな改善『しか』できない」というような誤解はどうやって解いていけばいいんだろう。 — im132... 続きを読む

KaggleのCTR予測コンペで上位10%に入るまでの試行錯誤 - yasuhisa's blog

2018/03/18 241 users isucon Kaggle Avazu 試行錯誤 機械学習

2018 - 03 - 18 KaggleのCTR予測コンペで上位10%に入るまでの試行錯誤 Kaggle 機械学習 週末Kagglerとして avazuのCTR予測コンペ に参加しました。Kaggleは機械学習版の ISUCON だと思ってもらえばよいです。コンペ自体は終わっているので、late submiteであまり意味はないかもしれません、練習です。leaderboard上で上位10%以内に... 続きを読む

異常検知ナイトでLT登壇しました - yasuhisa's blog

2018/02/15 109 users Syo レギュレーション 検知 登壇 機械学習

2018 - 02 - 16 異常検知ナイトでLT登壇しました 異常検知 機械学習 機械学習の中でもマイナーなテーマであろう異常検知がテーマの勉強会、異常検知ナイトというイベントでLTの登壇をしてきました。マイナーテーマなのに300人以上が集まる東京怖い。 3ページしかないですが、発表資料も置いておきます(LTのレギュレーションで3ページ5分)。 異常検知ナイト LT登壇資料 はてな id:syo... 続きを読む

実タスクで機械学習を導入するまでの壁とその壁の突破方法 - yasuhisa's blog

2017/04/26 208 users 機械学習 突破方法 ディレクタ 後々 エンジニア

2017 - 04 - 26 実タスクで機械学習を導入するまでの壁とその壁の突破方法 機械学習 自然言語処理 社内で機械学習の案件があった際に、機械学習の経験者しか担当できないと後々の引き継ぎで問題が起こりがちです。これを防ぐために、機械学習に興味があり、これまで機械学習を経験したことがないエンジニアにも担当できる体制を整えられることが望ましいです。しかし、機械学習のことに詳しく知らないディレクタ... 続きを読む

AWS Lambdaに入門する - yasuhisa's blog

2017/03/30 179 users AWS Lambda Slack Lambda 単語 特定

2017 - 03 - 31 AWS Lambdaに入門する AWS Go Amazon Elasticsearch Serviceに引き続き、AWS Lambdaに入門しました。Lambdaを使って、Amazon Elasticsearch Serviceで特定の単語を検索をさせてslackに書き込んでくれるbot君を練習台でやってみました。 やりたいこと 準備: 適切なポリシーを設定する Go... 続きを読む

Google機械翻訳の仕組み&できるようになったこと/まだ難しいことについて、社内の機械学習勉強会で説明します - yasuhisa's blog

2016/11/23 446 users 機械学習勉強会 GNMT 社内 難しいこと エントリ

2016 - 11 - 23 Google機械翻訳の仕組み&できるようになったこと/まだ難しいことについて、社内の機械学習勉強会で説明します 社内の機械学習勉強会で機械学習関連で最近話題になったエントリを取り上げているのですが、ここ一ヶ月ではGoogle Neural Machine Translation(GNMT)がとても話題になっていました。直近でGNMTで使われているEncoder-Dec... 続きを読む

機械学習をプロダクトに入れる際に考える採用基準について - yasuhisa's blog

2016/11/20 476 users プロダクト 機械学習 採用基準 SVM 前提

2016 - 11 - 21 機械学習をプロダクトに入れる際に考える採用基準について 機械学習 サービスに機械学習技術(例えばSVM)を入れる際に、「この機械学習技術は本番サービスに投入しても大丈夫なものか?」を考える基準がまとまっていると人に説明するときに便利だなとふと思ったのでまとめてみました。散々言われ尽くされている話だとは思います。 前提 機械学習がプロダクトの主要な武器になる(例えば最近... 続きを読む

NTT CS研を退職して、株式会社はてなに入社しました - yasuhisa's blog

2016/04/03 140 users エイプリルフール 前職 株式会社 研究 かなり

2016 - 04 - 03 NTT CS研を退職して、株式会社はてなに入社しました エイプリルフールも一段落したので、退職&入社エントリを書こうと思います。 これまで 3/31付けで前職のNTT CS研を退職しました。CS研には( インターン期間も含め )4年間お世話になりました。 CS研はとても研究する上でよい環境 CS研は研究をする上でかなりよい環境であったと思っていて 世界で活躍しているト... 続きを読む