タグ データエンジニア
人気順 10 users 50 users 100 users 500 users 1000 usersディメンショナルモデリング勉強会を実施しました - 10X Product Blog
データ基盤チームに所属しているデータエンジニアの吉田(id:syou6162)です。10X社内のデータマネジメントの仕事をしています。 最近、社内でディメンショナルモデリング勉強会を行なったですが、なぜ勉強会を行なったのか、どのように行なったのか、勉強会を行なった結果何が得られたかについてまとめます。 ディメンシ... 続きを読む
複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog
最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸... 続きを読む
分析基盤へのデータ連携処理をEmbulkからAmazon Aurora S3 Export機能に切り替えた話 - BASEプロダクトチームブログ
はじめに こんにちは!Data Platformチームでデータエンジニアとして働いている @shota.imazeki です。 分析基盤の構築・運用などの側面から社内のデータ活用の促進を行っています。 BASEではAurora MySQLにあるデータをEmbulkを用いてBigQueryに連携しています。BigQueryへ連携されたデータは分析基盤としてLookerなど... 続きを読む
【データ可視化/Streamlit】Streamlitで作ったアプリからSnowflakeのテーブルを自由に更新する方法 - Qiita
前置き こんにちは。データエンジニアの山口です! Streamlitでデータ可視化アプリを作成しており、 Streamlitアプリ上に手入力した値とSnowflake内の値を結合してデータを可視化したいなと思ったので、やり方を考えてみました。 結論 Streamlitアプリ上に手入力した値をSnowflakeのテーブルにデータを挿入・更新して、 ... 続きを読む
データエンジニアが事業成長をリードする。『SUUMO』のレコメンドAPIはこうして進化した - はてなニュース
「どのように開発するか」だけでなく、上流からプロジェクトに携わり「何を開発するか」から検討したい、と考えているエンジニアの方は少なくないでしょう。 一方、実際の開発現場では「WHAT(何を開発するか)」がすでにある程度検討され、エンジニアはその実現方法を具体化させるフェーズから参画し「HOW(どのように... 続きを読む
入社から 3 ヶ月経ったエンジニアから見た、ここが変だよ ROUTE06 - ROUTE06 Tech Blog
こんにちは。ROUTE06 データエンジニアの id:masutaka26 です。8/16 に入社したので、入社から 3 ヶ月経ち、会社にも慣れてきました。 初投稿である今回の記事では、ROUTE06 に入社して素直に変だと思った、会社の取り組みや習慣をまだフレッシュな気持ちが残っているうちに紹介します。 1. 入社 1on1 マラソン 早速出て... 続きを読む
続・何でも屋になっている SRE 的なチームから責務を分離するまでの道のり 〜新設チームでオンコール体制を構築するまで〜 - Repro Tech Blog
こんにちは、Platform Team というチームでマネージャーをしている荒引 (@a_bicky) です。 Platform Team は、データエンジニア・アーキテクト的な役割を担う Repro Core Unit と、インフラエンジニア・SRE 的な役割を担う Sys-Infra Unit から成るチームです。 先月 SRE Lounge #15 で「何でも屋になっている SRE 的な... 続きを読む
【アップデート情報】 BigQueryで主キーと外部キーが正式にサポートされるようになりました | DevelopersIO
Google Cloudのデータエンジニアをしています、はんざわです。 先日のアップデートで主キーと外部キー正式にGAになりました。 BigQuery release notes とはいえ、大多数の人が想像するRDBの主キーや外部キーと挙動が違ったりする部分もあるので実際の検証も含めながら触っていきたいと思います。 できないこととできるこ... 続きを読む
20230725_データエンジニアに求められるソフトスキル
「データエンジニアに求められるソフトスキル」 デジタル庁 Fact & Data Unit hase-ryo 2023/07/25 株式会社トラックレコード主催「データエンジニアのキャリア戦略を考える。」にて発表 https://tech-track.connpass.com/event/288079/ 続きを読む
ニンテンドーシステムズ、IT技術者の中途採用開始 データエンジニアなど19職種 「良い意味で面倒くさがりな人」求む
任天堂のシステム開発などを担うニンテンドーシステムズは、IT技術者の中途採用を始めると発表した。データエンジニアやフロントエンドエンジニア、ゲームサーバエンジニアなど全19職種を募集している。 続きを読む
バンダイナムコネクサスで構築しているデータ基盤の紹介 | バンダイナムコネクサス データエンジニア tech blog
データ戦略部データインフラストラテジーセクションでデータエンジニアリーダ兼、データストラテジストをしている藤井です。 現在、私の所属しているデータインフラストラテジーセクションは昨年12月に出来たばかりのセクションで名前のとおり、ネクサスの必需品である「データ」という必需品の基盤を支えるセクションで... 続きを読む
データエンジニア / Analytics Engineer向けの権限管理のためのTerraform紹介 - yasuhisa's blog
これは何? 背景: 権限管理とTerraform 権限管理の対象 誰に権限を付与するのか どのスコープで権限を付与するのか どの強さで権限を付与するのか Terraformについて Terraformの概要: 権限管理でTerraformを使うと何がうれしいのか 例: roles/bigquery.jobUserを付与してみる コラム: どこでTerraformを実行するか Terra... 続きを読む
Redshift ServerlessとProvisioned Cluster のちょっとした違い
Transcript Redshift ServerlessとProvisioned Cluster のちょっとした違い 2022/11/24 DataOpsNight #3 19:25 ~ 池田将士 自己紹介 池田 将士 (@mashiike) 面白法人カヤック その他事業部 SREチーム所属 データエンジニア/サーバーサイドエンジニア 出身: 千葉県 趣味: オンラインゲームと食べ比べ、飲み比べ 会社紹介 ... 続きを読む
データエンジニア道の俺のバイブル
先人の知恵に学ぶ データエンジニア道で、本当に良かった!読み物を、不定期に追記していく。 A Beginner’s Guide to Data Engineering — Part I データエンジニアをこれから始める人に、必ず薦める記事。データエンジニアの基本を学べるかつ、どういう世界に広がっていくのかまで、一気に学べるのでとても良い。 Functi... 続きを読む
dbt のデータモニタリングツール Elementary を使ってデータ品質管理を試してみた - Techtouch Developers Blog
テックタッチアドベントカレンダー 13 日目を担当しますデータエンジニアの acchan です。 この間完全個室型のサウナに初めて行ってきまして、贅の極みを堪能してきました。みなさんもこの 1 年間頑張ってきた自分のご褒美にいかがでしょうか。 はじめに Elementaryとは チュートリアルをやってみる 下準備 パッケージの... 続きを読む
[レポート]みんなの考えた最強のデータアーキテクチャ #datatechjp | DevelopersIO
さがらです。 11月8日20時~22時に、datatech-jp(データエンジニアリング関係のコミュニティ)主催でみんなの考えた最強のデータアーキテクチャというイベントが開催されました。 本記事はこのイベントのレポートブログとなります。 イベント概要 ※connpassより引用 datatech-jpで集ったデータエンジニアが、それぞれみん... 続きを読む
プロダクトへの貢献を目指す、Chatworkの次世代データ分析基盤 - Chatwork Creator's Note
こんにちは。データエンジニアのみっつと申します。 CTO室というところで次世代データ分析基盤プロジェクトというものを推進しております。 2022/09/01で入社(中途)してから1年が経ち2年目に突入しました。前職では長年アドテクノロジー分野の大規模データ処理を経験し、Chatworkへはデータエンジニア(DRE)第1号として... 続きを読む
マルチテナント方式からセルフホスティング方式へ。リクルートはこうして横断プロダクトを横展開する - はてなニュース
🎁 記事を最後まで読んで Amazonギフト券1,000円分が当たるアンケート に回答しよう 📝 2021年に7つの中核事業会社および機能会社を組織統合したリクルートでは、各社のデータエンジニアによって組閣された「データ推進室」が領域横断的に各事業領域のデータ戦略・立案を支援しています。前回記事では、そのデータ推進室... 続きを読む
Apache Hudi を用いてレコード単位で削除可能なデータレイクを構築した話
こんにちは。データ統括本部でYahoo!広告のデータエンジニアをしている江島です。 本記事では、Yahoo!広告のデータ分析環境であるデータレイク上のデータを、Apache Hudi を用いてレコード単位で削除可能にした事例を紹介します。 Yahoo!広告のデータ分析環境 Yahoo!広告における データマーケティングソリューション で... 続きを読む
heyの統合データ基盤と今後の展望 - STORES Tech Blog
はじめに はじめまして、4/1からデータチームでデータエンジニアとして働いている @shoso です。 突然ですが、みなさんデータ基盤って開発したことありますか? 私はheyに来るまでなかったのですが、チームの経験あるメンバーと毎日話しながら(助けてもらいながら)開発する中でようやく少し分かって来たような気がしま... 続きを読む
初めての技術選定を頼まれた時に大事だったのは俯瞰的・相対的な考え方だった - MonotaRO Tech Blog
背景 お題 技術の差別化 差別化から分かること 情報資産からToBeを考える 俯瞰的・相対的な技術選定 これまでの話から学んだこと 最後に はじめまして、MonotaROでデータエンジニアをやっています、芝本です。 エンジニアのみなさん、技術を使って何か作ってみるのって楽しいですよね。 私は、公私ともに日々物作りに励... 続きを読む
Classiのデータ分析基盤であるソクラテスの紹介 - Classi開発者ブログ
こんにちは、データプラットフォームチームでデータエンジニアをやっている滑川です。 データプラットフォームチームはデータAI部のメンバーで構成されていて、データ分析基盤を中心としたデータ活用関するシステムに責務を持つチームです。 データAI部が出来てから3年が経ち、データ分析基盤を今の形で運用をして1年半... 続きを読む
コロナ禍での転職活動(データエンジニア)についてのメモ - yasuhisa's blog
Twitterでは先に言っていましたが、現職のはてなを3月末で退職します。3/19が最終出社日でした。はてなでの思い出はこちらに書きました。 そのため、転職活動をしたわけですが、コロナ禍での転職活動は平常時と異なる部分も結構ありました。また、データエンジニアとしての転職は初めての経験でした。誰かの参考になるか... 続きを読む
Factory patternでデータベースのテストを効率化する. はじめに | by Atsushi Sumita | Finatext | Oct, 2020 | Medium
An image of a factory from https://unsplash.com/photos/6xeDIZgoPawはじめにこんにちは, FinatextグループのNowcastでデータエンジニア/データサイエンティストをやっている隅田(@yummydum)と申します. データパイプラインを開発していると, データベースからデータを取り出し, 加工し, 結果を再度データベースに格納... 続きを読む
Pythonで競プロをしよう!〜入門者が知っておくべきTips〜. こんにちは、Finatextグループのナウキャストでデータエンジニアをしているけ… | by Kosaku Ono | Finatext | Oct, 2020 | Medium
こんにちは、Finatextグループのナウキャストでデータエンジニアをしているけびん( Twitter: @Kevinrobot34, AtCoder: Kevinrobot34 )です。先日、PyCon JP 2020で、「Pythonで競プロをしよう! 〜入門者が知っておくべき高速化Tips〜」という題名で発表をさせていただきました。発表時のスライドと動画はこちらです。 ... 続きを読む