複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog

2024/04/29 652 users yasuhisa's blog スキル 棚卸 複数 前職

最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸... 続きを読む

データエンジニアが事業成長をリードする。『SUUMO』のレコメンドAPIはこうして進化した - はてなニュース

2024/01/30 137 users SUUMO 事業成長 はてなニュース

「どのように開発するか」だけでなく、上流からプロジェクトに携わり「何を開発するか」から検討したい、と考えているエンジニアの方は少なくないでしょう。 一方、実際の開発現場では「WHAT（何を開発するか）」がすでにある程度検討され、エンジニアはその実現方法を具体化させるフェーズから参画し「HOW（どのように... 続きを読む

データエンジニア / Analytics Engineer向けの権限管理のためのTerraform紹介 - yasuhisa's blog

2023/03/09 69 users yasuhisa's blog 権限管理 roles 権限

これは何? 背景: 権限管理とTerraform 権限管理の対象 誰に権限を付与するのか どのスコープで権限を付与するのか どの強さで権限を付与するのか Terraformについて Terraformの概要: 権限管理でTerraformを使うと何がうれしいのか 例: roles/bigquery.jobUserを付与してみる コラム: どこでTerraformを実行するか Terra... 続きを読む

データエンジニア道の俺のバイブル

2023/01/03 380 users バイブル functi 不定期 先人 読み物

先人の知恵に学ぶ データエンジニア道で、本当に良かった！読み物を、不定期に追記していく。 A Beginner’s Guide to Data Engineering — Part I データエンジニアをこれから始める人に、必ず薦める記事。データエンジニアの基本を学べるかつ、どういう世界に広がっていくのかまで、一気に学べるのでとても良い。 Functi... 続きを読む

[レポート]みんなの考えた最強のデータアーキテクチャ #datatechjp | DevelopersIO

2022/11/08 132 users connpass DevelopersIO 最強 主催 引用

さがらです。 11月8日20時～22時に、datatech-jp(データエンジニアリング関係のコミュニティ)主催でみんなの考えた最強のデータアーキテクチャというイベントが開催されました。 本記事はこのイベントのレポートブログとなります。 イベント概要 ※connpassより引用 datatech-jpで集ったデータエンジニアが、それぞれみん... 続きを読む

初めての技術選定を頼まれた時に大事だったのは俯瞰的・相対的な考え方だった - MonotaRO Tech Blog

2021/06/03 408 users MonotaRO Tech Blog 技術選定 考え方 背景

背景 お題 技術の差別化 差別化から分かること 情報資産からToBeを考える 俯瞰的・相対的な技術選定 これまでの話から学んだこと 最後に はじめまして、MonotaROでデータエンジニアをやっています、芝本です。 エンジニアのみなさん、技術を使って何か作ってみるのって楽しいですよね。 私は、公私ともに日々物作りに励... 続きを読む

コロナ禍での転職活動(データエンジニア)についてのメモ - yasuhisa's blog

2021/03/21 158 users コロナ禍 Twitter 現職 はてなで メモ

Twitterでは先に言っていましたが、現職のはてなを3月末で退職します。3/19が最終出社日でした。はてなでの思い出はこちらに書きました。 そのため、転職活動をしたわけですが、コロナ禍での転職活動は平常時と異なる部分も結構ありました。また、データエンジニアとしての転職は初めての経験でした。誰かの参考になるか... 続きを読む

データエンジニアの私が機械学習・データサイエンスでオススメしたいスキルマップと本まとめ - 2020年版 - Lean Baseball

2020/09/30 309 users インターン データサイエンティスト 公私とも 機械学習周り

要約すると, データサイエンス・機械学習周りでよく聞かれること&回答を言語化しました. 「データサイエンティストやりたい」「機械学習エンジニアになりたい」というキャリア志望を持つ方は多いと思います. 私の周りでも, 公私ともにそんな志望者の相談を聞いたり, （主にインターンの学生さんですが）一緒に仕事をした... 続きを読む

Kubernetes、やめました | 外道父の匠

2020/06/03 745 users Kubernetes マネージドサービス 酩酊日記 クラウド

最近 Kubernetes 全然触ってねーなって思ってたところに、『6年ぶりぐらいにクラウド使った結果、Kubernetes以外のマネージドサービスとか基本要らなくない？となった話 – データエンジニアの酩酊日記』を見つけて、自分と異なる立場によるコンテナシステムへの感想を興味深く読ませていただきました。 Kubernetes を推... 続きを読む

6年ぶりぐらいにクラウド使った結果、Kubernetes以外のマネージドサービスとか基本要らなくない？となった話 - データエンジニアの酩酊日記

2020/05/31 312 users マネージドサービス GCP バッチ AWS 酩酊日記

ここ半年ぐらい、かなり久々にクラウド使ってアプリやバッチの基盤作ったりしてきて、色々と思ったことを書き捨てる。 「ちょっと検証してみた」程度のものも含めれば、AWSとGCPは一通り主要なマネージドサービスを触ったし、実際に複数のアプリやらバッチやらをマネージドサービス上で本番稼働させて今も運用してるけど... 続きを読む

近年のデータ分析基盤構築における失敗はBigQueryを採用しなかったことに全て起因している - データエンジニアの酩酊日記

2019/10/17 394 users BigQuery 酩酊日記 近年 データ分析基盤構築 失敗

久しぶりにペラペラな思いつきを書き捨てて、寝ます。 2、3年前ぐらいにSIerやコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでるってのが僕のすごく狭い観測範囲での印象。 AWSのReadshiftしかり。 なぜ苦しんでるかっていうと、言うほどス... 続きを読む

アフィカスなしで、本音でITフリーランス向けエージェントを比較する - データエンジニアの日記

2019/04/08 62 users アフィカス アフィリエイトリンク 知能 本音 匂い

GoogleのAIの知能レベルが未だに低いせいで、エージェント情報みたいな金の匂いがする分野でググってもアフィカスサイトばかりが出てきて、本当のところどうなん？っていう本音の情報が中々掴めなかったりする。 どれだけ客観的に書かれてるように見えても、アフィリエイトリンクが貼ってあって誘導してる時点で信用力は... 続きを読む

フリーランスのエンジニアやるなら45歳までに貯金5000万円作れないと死ぬ説 - データエンジニアの日記

2019/04/07 545 users フリーランス 駆け出しエンジニア エンジニア ポジション 日記

フリーランスになることを煽ることで自身のポジションを築いてる人がネット上には一定数いて、それに触発されてかフリーランスに憧れる駆け出しエンジニアを結構見かけることがある。 フリーランスのリスク面について言及してるブログとかもあるけど、最大のリスクについてはあまり言及されているのを見たことが無い。 ... 続きを読む

データサイエンティストの定義は？必要スキルは？現役データエンジニア／アナリストと考えた結論 - エンジニアHub｜若手Webエンジニアのキャリアを考える！

2018/10/30 434 users エンジニアHub アナリスト データサイエンティスト 結論

データエンジニアとデータアナリストの違い 分析と実装。データサイエンティストに求められる要件 数学の素養が重要。技術は仕事で身につけられる！ データエンジニア／アナリストが考える必要なスキルセット データアナリスト・データエンジニアにとっての「事業貢献」 関連記事 「データサイエンティスト」という肩書... 続きを読む

転職してデータサイエンティストからデータエンジニアになりました - ぴよぴよ.py

2018/09/10 51 users ゲームプログラマ データサイエンティスト 前職 New 受託

前回の転職(ゲームプログラマからデータサイエンティストに転職しました - ぴよぴよ.py)から約1年半、再び転職しました。 ゲームプログラマ (2年)→ データサイエンティスト(1年)→ データエンジニア(new) という感じのキャリアです。 前職の話 前職は職種的には「データサイエンティスト」をしていました。 受託の分析会... 続きを読む

今データサイエンティストを目指してる人の7割が5年後に年収350万にしかなれない - データエンジニアの日記

2018/08/25 436 users データサイエンティスト 高給 ITベンダ 日記 昨今

昨今のデータサイエンティスト求人の高給に釣られてこれからデータサイエンティストになろうとしてる人の多くは、望むような収入にありつけないと思う。 理由は簡単で、日本にはびこるITベンダとは名ばかりの人売りベンダが、こぞって「データサイエンティスト募集！未経験応募可！」求人を出しまくってるから。 こいつ... 続きを読む

データエンジニアの始まり（翻訳） - satoshihirose

2018/07/23 111 users Facebook Lyft satoshihirose 翻訳

訳者まえがき 原著者 Maxime Beauchemin の許可を得て以下の記事を翻訳・公開しました。 medium.freecodecamp.org 原著者は、Apache Airflow や Apache Superset のクリエーターで、現在は Lyft で Data Engineer をしています。 データエンジニアの始まり（翻訳） 私は 2011 年にBIエンジニアとしてFacebookに入社しま... 続きを読む

データエンジニアとデータの民主化 〜脱・神 Excel 〜 - 一休.com Developers Blog

2017/12/13 63 users 民主化 一休.com Developers Blog 名前

2017 - 12 - 13 データエンジニアとデータの民主化 〜脱・神 Excel 〜 この記事は 一休.com アドベントカレンダー 2017 の 13 日目です。 一休データサイエンス部の id:kitsuyui です。データエンジニア兼データサイエンティストをやっています。 この記事はもともとアドベントカレンダー上では「脱・神 Excel (仮)」という名前で枠で取っていたのですが、 少し... 続きを読む

「データドリブン開発時代の技術とその選びかた」：デブサミレポート - トレジャーデータ（Treasure Data）公式ブログ

2015/10/23 50 users Tweet Treasure Data トレジャーデータ

2015-10-23 「データドリブン開発時代の技術とその選びかた」：デブサミレポート Tweet はじめに 2015/10/14 にデータエンジニアのためのビッグイベント，Developers Summit Autumn が開催されました。今回のテーマは「データを巡るテクノロジーの冒険」 ，データ関連のテクノロジーにフォーカスしています。このイベントに弊社のソフトウェアエンジニアである田籠（@t... 続きを読む