タグ yasuhisa's blog
人気順 5 users 10 users 100 users 500 users 1000 users複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog
最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸... 続きを読む
dbtで見やすいER図を生成する - yasuhisa's blog
背景: dbtを使っていてもER図は欲しい! どうやってER図を生成するか どうやってER図を見やすくするか まとめ 背景: dbtを使っていてもER図は欲しい! dbtはモデル間のリネージなど可視化が得意なツールではありますが、万能なわけではありません。モデルの生成過程などはリネージで担保できますが、分析時に「どれとどの... 続きを読む
派生先テーブルの参照回数も考慮して安全にテーブルを撤退する - yasuhisa's blog
3行まとめ テーブルの撤退時にはテーブルの参照回数を見ることが多いと思いますが、テーブル単独の参照回数を見るだけだと不十分なことが多いです 派生先のテーブルの参照回数まで考慮すると、テーブルが撤退できるか安全に判断することができます リネージ上の親子関係をWITH RECURSIVEで考慮しながら、累積参照回数をS... 続きを読む
データエンジニア / Analytics Engineer向けの権限管理のためのTerraform紹介 - yasuhisa's blog
これは何? 背景: 権限管理とTerraform 権限管理の対象 誰に権限を付与するのか どのスコープで権限を付与するのか どの強さで権限を付与するのか Terraformについて Terraformの概要: 権限管理でTerraformを使うと何がうれしいのか 例: roles/bigquery.jobUserを付与してみる コラム: どこでTerraformを実行するか Terra... 続きを読む
コロナ禍での転職活動(データエンジニア)についてのメモ - yasuhisa's blog
Twitterでは先に言っていましたが、現職のはてなを3月末で退職します。3/19が最終出社日でした。はてなでの思い出はこちらに書きました。 そのため、転職活動をしたわけですが、コロナ禍での転職活動は平常時と異なる部分も結構ありました。また、データエンジニアとしての転職は初めての経験でした。誰かの参考になるか... 続きを読む
データ分析を元にFAQサイトを継続的に改善する - yasuhisa's blog
FAQサイト、サポート問い合わせをせずとも自分で疑問を解決できて便利ですよね。でも、検索した単語が一件もヒットしないと、ちょっとガッカリしてしまします。そういったガッカリを減らすために、簡単なデータ分析を使ってFAQサイトを継続的に改善する話を書いてみます。 ...というのも、自分が仕事で関わっているMacke... 続きを読む
2018年の砂場活動振り返り - yasuhisa's blog
インフラやミドルウェアにとにかく苦手意識があるが、仕事的にいつまでもそう言ってられない。そこで、最悪全部ぶっ壊れても大丈夫な砂場を作り、そこを土台に活動をするというのを2018年の目標に設定していた。 結構な時間をかけたこともあり、それなりの砂場と活動ができて、自分としても勉強になってよかった点が多か... 続きを読む
Go言語でWebアプリを書くときにオートリロードどうするといいの問題 - yasuhisa's blog
2018 - 06 - 07 Go言語でWebアプリを書くときにオートリロードどうするといいの問題 Go Go言語を書く際、成果物がシングルバイナリになるのは便利です。deployするときや他人に使ってもらうときに、それだけ渡せば使ってもらえるので。cliツールやapiサーバーを書くときにはこの方式で困っていなかったのですが、いわゆるWebアプリをGo言語で書くときのベストプラックティスが分からな... 続きを読む
PyCon mini Osakaで異常検知システム構築の裏側について発表しました - yasuhisa's blog
2018 - 05 - 19 PyCon mini Osakaで異常検知システム構築の裏側について発表しました 異常検知 Mackerel 現在仕事で作っている異常検知システムについてPyCon mini Osakaで登壇してきました。異常検知というマイナーなトピックですが、多くの人に聞いてもらえてよかったです。 #pyconjp #pyconosaka 「Pythonを用いた異常検知システム構築... 続きを読む
社内でKaggleの布教活動をやっている話 - yasuhisa's blog
2018 - 04 - 05 社内でKaggleの布教活動をやっている話 機械学習 Kaggle 最近、社内勉強会で機械学習についてエンジニアに説明する機会があり、その際にKaggleについても説明しました。一方で うーん、「Kaggler はパラメータチューニングやアンサンブル等の自明でインクリメンタルな改善『しか』できない」というような誤解はどうやって解いていけばいいんだろう。 — im132... 続きを読む
KaggleのCTR予測コンペで上位10%に入るまでの試行錯誤 - yasuhisa's blog
2018 - 03 - 18 KaggleのCTR予測コンペで上位10%に入るまでの試行錯誤 Kaggle 機械学習 週末Kagglerとして avazuのCTR予測コンペ に参加しました。Kaggleは機械学習版の ISUCON だと思ってもらえばよいです。コンペ自体は終わっているので、late submiteであまり意味はないかもしれません、練習です。leaderboard上で上位10%以内に... 続きを読む
Hacker Tackleで「はてなにおける機械学習の取り組み」について登壇しました - yasuhisa's blog
2018 - 02 - 19 Hacker Tackleで「はてなにおける機械学習の取り組み」について登壇しました 機械学習 自然言語処理 異常検知 はてな LINE福岡で行なわれたHacker Tackleにて登壇してきました。 発表内容は(1)機械学習を使ったサービス開発の難しい点について整理し(2)その難しさを乗り越えていくためにはてながどのような取り組みを行なっているかについてでした。一口... 続きを読む
異常検知ナイトでLT登壇しました - yasuhisa's blog
2018 - 02 - 16 異常検知ナイトでLT登壇しました 異常検知 機械学習 機械学習の中でもマイナーなテーマであろう異常検知がテーマの勉強会、異常検知ナイトというイベントでLTの登壇をしてきました。マイナーテーマなのに300人以上が集まる東京怖い。 3ページしかないですが、発表資料も置いておきます(LTのレギュレーションで3ページ5分)。 異常検知ナイト LT登壇資料 はてな id:syo... 続きを読む
tig/hubでレビューしやすい環境を作る - yasuhisa's blog
変更箇所とそれに対応するcommit message 該当行のblame、その変更が行なわれたpull request 今見ている変数の型、関数の定義元 などです。レビューのコメントを書く場所はGithub/GHEである場合が多いと思いますが、上述した内容と行ったりきたりするのは大変です。これらの起点をtigに置くとスムーズに行ったので、その方法をメモしておきます。 続きを読む
実タスクで機械学習を導入するまでの壁とその壁の突破方法 - yasuhisa's blog
2017 - 04 - 26 実タスクで機械学習を導入するまでの壁とその壁の突破方法 機械学習 自然言語処理 社内で機械学習の案件があった際に、機械学習の経験者しか担当できないと後々の引き継ぎで問題が起こりがちです。これを防ぐために、機械学習に興味があり、これまで機械学習を経験したことがないエンジニアにも担当できる体制を整えられることが望ましいです。しかし、機械学習のことに詳しく知らないディレクタ... 続きを読む
AWS Lambdaに入門する - yasuhisa's blog
2017 - 03 - 31 AWS Lambdaに入門する AWS Go Amazon Elasticsearch Serviceに引き続き、AWS Lambdaに入門しました。Lambdaを使って、Amazon Elasticsearch Serviceで特定の単語を検索をさせてslackに書き込んでくれるbot君を練習台でやってみました。 やりたいこと 準備: 適切なポリシーを設定する Go... 続きを読む
RedPenで技術文書の誤りを指摘してもらおう - yasuhisa's blog
2017 - 03 - 27 RedPenで技術文書の誤りを指摘してもらおう Emacs 自然言語の誤りを指摘してくれるRedPenを手元で使えるようにしてみました、という記事です。気が向いたので、色々書いてみました。 エンジニアであっても意外と文書を書いたり見たりする機会が多い 自然言語も機械が勝手に間違いを指摘して欲しい 自然言語もルールで分かることは機械(RedPen)に指摘してもらう 指摘... 続きを読む
nasneの残量やGoogle Analyticsの情報をMackerelに監視させよう - yasuhisa's blog
2016 - 12 - 06 nasneの残量やGoogle Analyticsの情報をMackerelに監視させよう Mackerel Mackerelアドベントカレンダー 6日目です。昨日は id:buty4649 さんによる mackerelメタデータでパッケージ一覧を管理するCLIツールを作った でした。 こんにちは、株式会社はてなでアプリケーションエンジニアをやっている id:syou6... 続きを読む
自然言語処理の深層学習において転移学習はうまく行くのか? - yasuhisa's blog
2016 - 12 - 05 自然言語処理の深層学習において転移学習はうまく行くのか? 機械学習 自然言語処理 深層学習 論文100本ノック このエントリは Deep Learning Advent Calendar 2016 5日目 のエントリです。 EMNLP2016 に出ていたHow Transferable are Neural Networks in NLP Applications?を... 続きを読む
Google機械翻訳の仕組み&できるようになったこと/まだ難しいことについて、社内の機械学習勉強会で説明します - yasuhisa's blog
2016 - 11 - 23 Google機械翻訳の仕組み&できるようになったこと/まだ難しいことについて、社内の機械学習勉強会で説明します 社内の機械学習勉強会で機械学習関連で最近話題になったエントリを取り上げているのですが、ここ一ヶ月ではGoogle Neural Machine Translation(GNMT)がとても話題になっていました。直近でGNMTで使われているEncoder-Dec... 続きを読む
機械学習をプロダクトに入れる際に考える採用基準について - yasuhisa's blog
2016 - 11 - 21 機械学習をプロダクトに入れる際に考える採用基準について 機械学習 サービスに機械学習技術(例えばSVM)を入れる際に、「この機械学習技術は本番サービスに投入しても大丈夫なものか?」を考える基準がまとまっていると人に説明するときに便利だなとふと思ったのでまとめてみました。散々言われ尽くされている話だとは思います。 前提 機械学習がプロダクトの主要な武器になる(例えば最近... 続きを読む
NTT CS研を退職して、株式会社はてなに入社しました - yasuhisa's blog
2016 - 04 - 03 NTT CS研を退職して、株式会社はてなに入社しました エイプリルフールも一段落したので、退職&入社エントリを書こうと思います。 これまで 3/31付けで前職のNTT CS研を退職しました。CS研には( インターン期間も含め )4年間お世話になりました。 CS研はとても研究する上でよい環境 CS研は研究をする上でかなりよい環境であったと思っていて 世界で活躍しているト... 続きを読む