タグ「データエンジニア」

タグデータエンジニア

新着順人気順 5 users 10 users 50 users 100 users 500 users 1000 users

(1 - 25 / 42件)

Apache Iceberg: The Definitive Guide 輪読会まとめ

2024/12/02 17 users Apache Iceberg ナウキャスト Iceberg

はじめにこんにちは！ナウキャストのデータエンジニアのけびんです。今年の6月に Iceberg Table が Snowflake の機能として GA したのは記憶に新しいかと思います。自分もこの時から Iceberg に興味を持ちブログを書いたりしました。そんな中、ちょうど良いタイミングで Apache Iceberg: The Definitive Guide が202... 続きを読む

「データエンジニアの市場価値」を上げたい。リクルートグループのニジボックスが“有料級のインプット教材”をつくるワケ - はてなニュース

2024/09/25 297 users ニジボックスわけリクルートグループ有料級リクル

「全ての企業のサービスを成長させる」をミッションに掲げ、WebサイトやアプリのUI/UX改善をはじめ、技術力でサービスやプロダクトの成長を支援してきた、リクルートグループのニジボックス。そんな同社が今注力するのは「データ人材」の育成です。具体的には、BIエンジニア、データエンジニアなど、データ領域でリクル... 続きを読む

データにまつわる“お悩み”を根こそぎ解決。リクルートのビジネスを支える影の仕事人「アナリティクスエンジニア」の素顔 - はてなニュース

2024/09/20 40 users フルコミット素顔アナリティクスエンジニア職種領域

データを利活用してカスタマー・クライアント双方の「不」の解消を目指してきたリクルートが、今注力する領域は「データを用いた意思決定の質向上」とそのための「データの整備」です。そこにフルコミットするため、新たに生まれた職種がアナリティクスエンジニアです。例えば、図書館を作るのがデータエンジニアで、図... 続きを読む

FindyにおけるDataformの活用とその効果 - Findy Tech Blog

2024/07/01 14 users Findy Dataform ファインディ株式会社構成弊社

こんにちは。 2024/05よりファインディ株式会社にデータエンジニアとして入社した田頭(tagasyksk)です。本記事では、データ変換サービスであるDataformについてその活用方法や導入後の効果についてご紹介します。弊社では、現在次のような構成でデータ基盤を構成しており、BigQuery内でのデータ変換にDataformを利用し... 続きを読む

社内勉強会でオライリー本を3週間で読破する方法 - 爆速データエンジニアリングドメインディープダイブ

2024/06/17 23 users オライリー本 ROOM ハルカ社内勉強会新卒

こんにちは。Acompany 新卒のハルカです。 Acompany のプロダクトの 1 つに Data Clean Room があり、それらを利用するデータエンジニアとデータエンジニアリングに対する理解は非常に重要です。そこで、データエンジニアリングにドメインディープダイブするために社内勉強会を開催しました。今回は、以下の 2 点に関し... 続きを読む

複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog

2024/04/29 652 users yasuhisa's blog スキル棚卸複数前職

最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸... 続きを読む

分析基盤へのデータ連携処理をEmbulkからAmazon Aurora S3 Export機能に切り替えた話 - BASEプロダクトチームブログ

2024/03/27 12 users embulk Looker BigQuery 分析基盤側面

はじめにこんにちは！Data Platformチームでデータエンジニアとして働いている @shota.imazeki です。分析基盤の構築・運用などの側面から社内のデータ活用の促進を行っています。 BASEではAurora MySQLにあるデータをEmbulkを用いてBigQueryに連携しています。BigQueryへ連携されたデータは分析基盤としてLookerなど... 続きを読む

【データ可視化/Streamlit】Streamlitで作ったアプリからSnowflakeのテーブルを自由に更新する方法 - Qiita

2024/03/10 11 users Qiita Snowflake Streamlit 前置き

前置きこんにちは。データエンジニアの山口です！ Streamlitでデータ可視化アプリを作成しており、 Streamlitアプリ上に手入力した値とSnowflake内の値を結合してデータを可視化したいなと思ったので、やり方を考えてみました。結論 Streamlitアプリ上に手入力した値をSnowflakeのテーブルにデータを挿入・更新して、 ... 続きを読む

データエンジニアが事業成長をリードする。『SUUMO』のレコメンドAPIはこうして進化した - はてなニュース

2024/01/30 137 users SUUMO 事業成長はてなニュース

「どのように開発するか」だけでなく、上流からプロジェクトに携わり「何を開発するか」から検討したい、と考えているエンジニアの方は少なくないでしょう。一方、実際の開発現場では「WHAT（何を開発するか）」がすでにある程度検討され、エンジニアはその実現方法を具体化させるフェーズから参画し「HOW（どのように... 続きを読む

入社から 3 ヶ月経ったエンジニアから見た、ここが変だよ ROUTE06 - ROUTE06 Tech Blog

2023/12/13 14 users エンジニア masutaka26 入社マラソン習慣

こんにちは。ROUTE06 データエンジニアの id:masutaka26 です。8/16 に入社したので、入社から 3 ヶ月経ち、会社にも慣れてきました。初投稿である今回の記事では、ROUTE06 に入社して素直に変だと思った、会社の取り組みや習慣をまだフレッシュな気持ちが残っているうちに紹介します。 1. 入社 1on1 マラソン早速出て... 続きを読む

【アップデート情報】 BigQueryで主キーと外部キーが正式にサポートされるようになりました | DevelopersIO

2023/07/28 12 users RDB BigQuery DevelopersIO 挙動検証

Google Cloudのデータエンジニアをしています、はんざわです。先日のアップデートで主キーと外部キー正式にGAになりました。 BigQuery release notes とはいえ、大多数の人が想像するRDBの主キーや外部キーと挙動が違ったりする部分もあるので実際の検証も含めながら触っていきたいと思います。できないこととできるこ... 続きを読む

20230725_データエンジニアに求められるソフトスキル

2023/07/27 12 users ソフトスキル Fact Event デジタル庁キャリア戦略

「データエンジニアに求められるソフトスキル」デジタル庁 Fact & Data Unit hase-ryo 2023/07/25 株式会社トラックレコード主催「データエンジニアのキャリア戦略を考える。」にて発表 https://tech-track.connpass.com/event/288079/ 続きを読む

ニンテンドーシステムズ、IT技術者の中途採用開始　データエンジニアなど19職種　「良い意味で面倒くさがりな人」求む

2023/07/05 22 users ニンテンドーシステムズ求む任天堂中途採用 IT技術者

任天堂のシステム開発などを担うニンテンドーシステムズは、IT技術者の中途採用を始めると発表した。データエンジニアやフロントエンドエンジニア、ゲームサーバエンジニアなど全19職種を募集している。続きを読む

データエンジニア / Analytics Engineer向けの権限管理のためのTerraform紹介 - yasuhisa's blog

2023/03/09 69 users yasuhisa's blog 権限管理 roles 権限

これは何? 背景: 権限管理とTerraform 権限管理の対象誰に権限を付与するのかどのスコープで権限を付与するのかどの強さで権限を付与するのか Terraformについて Terraformの概要: 権限管理でTerraformを使うと何がうれしいのか例: roles/bigquery.jobUserを付与してみるコラム: どこでTerraformを実行するか Terra... 続きを読む

Redshift ServerlessとProvisioned Cluster のちょっとした違い

2023/01/16 12 users Redshift Serverless mashiike

Transcript Redshift ServerlessとProvisioned Cluster のちょっとした違い 2022/11/24 DataOpsNight #3 19:25 ~ 池田将士自己紹介池田将士 (@mashiike) 面白法人カヤックその他事業部 SREチーム所属データエンジニア/サーバーサイドエンジニア出身: 千葉県趣味: オンラインゲームと食べ比べ、飲み比べ会社紹介 ... 続きを読む

データエンジニア道の俺のバイブル

2023/01/03 380 users バイブル functi 不定期先人読み物

先人の知恵に学ぶデータエンジニア道で、本当に良かった！読み物を、不定期に追記していく。 A Beginner’s Guide to Data Engineering — Part I データエンジニアをこれから始める人に、必ず薦める記事。データエンジニアの基本を学べるかつ、どういう世界に広がっていくのかまで、一気に学べるのでとても良い。 Functi... 続きを読む

[レポート]みんなの考えた最強のデータアーキテクチャ #datatechjp | DevelopersIO

2022/11/08 132 users connpass DevelopersIO 最強主催引用

さがらです。 11月8日20時～22時に、datatech-jp(データエンジニアリング関係のコミュニティ)主催でみんなの考えた最強のデータアーキテクチャというイベントが開催されました。本記事はこのイベントのレポートブログとなります。イベント概要 ※connpassより引用 datatech-jpで集ったデータエンジニアが、それぞれみん... 続きを読む

マルチテナント方式からセルフホスティング方式へ。リクルートはこうして横断プロダクトを横展開する - はてなニュース

2022/07/29 11 users 立案各社領域アンケート組織

🎁 記事を最後まで読んで Amazonギフト券1,000円分が当たるアンケートに回答しよう 📝 2021年に7つの中核事業会社および機能会社を組織統合したリクルートでは、各社のデータエンジニアによって組閣された「データ推進室」が領域横断的に各事業領域のデータ戦略・立案を支援しています。前回記事では、そのデータ推進室... 続きを読む

初めての技術選定を頼まれた時に大事だったのは俯瞰的・相対的な考え方だった - MonotaRO Tech Blog

2021/06/03 408 users MonotaRO Tech Blog 技術選定考え方背景

背景お題技術の差別化差別化から分かること情報資産からToBeを考える俯瞰的・相対的な技術選定これまでの話から学んだこと最後にはじめまして、MonotaROでデータエンジニアをやっています、芝本です。エンジニアのみなさん、技術を使って何か作ってみるのって楽しいですよね。私は、公私ともに日々物作りに励... 続きを読む

コロナ禍での転職活動(データエンジニア)についてのメモ - yasuhisa's blog

2021/03/21 158 users コロナ禍 Twitter 現職はてなでメモ

Twitterでは先に言っていましたが、現職のはてなを3月末で退職します。3/19が最終出社日でした。はてなでの思い出はこちらに書きました。そのため、転職活動をしたわけですが、コロナ禍での転職活動は平常時と異なる部分も結構ありました。また、データエンジニアとしての転職は初めての経験でした。誰かの参考になるか... 続きを読む

Factory patternでデータベースのテストを効率化する. はじめに | by Atsushi Sumita | Finatext | Oct, 2020 | Medium

2020/10/13 22 users Oct Finatext Photos medium 隅田

An image of a factory from https://unsplash.com/photos/6xeDIZgoPawはじめにこんにちは, FinatextグループのNowcastでデータエンジニア/データサイエンティストをやっている隅田(@yummydum)と申します. データパイプラインを開発していると, データベースからデータを取り出し, 加工し, 結果を再度データベースに格納... 続きを読む

Pythonで競プロをしよう！〜入門者が知っておくべきTips〜. こんにちは、Finatextグループのナウキャストでデータエンジニアをしているけ… | by Kosaku Ono | Finatext | Oct, 2020 | Medium

2020/10/06 26 users ナウキャスト Oct Twitter AtCoder 題名

こんにちは、Finatextグループのナウキャストでデータエンジニアをしているけびん( Twitter: @Kevinrobot34, AtCoder: Kevinrobot34 )です。先日、PyCon JP 2020で、「Pythonで競プロをしよう！〜入門者が知っておくべき高速化Tips〜」という題名で発表をさせていただきました。発表時のスライドと動画はこちらです。 ... 続きを読む

(1 - 25 / 42件)

次の25件 »