Argilla を使って生成 AI の出力クオリティ向上を目指す！ - Techtouch Developers Blog

2024/12/17 9 users 生成 実装方針 課題 プロダクト開発 導入背景

はじめに 導入背景 Argilla とは なぜ Argilla を選んだか 実現したいこと 設計 実装方針 その他実装における工夫点 今後の課題 まとめ はじめに こんにちは。データエンジニアの acchan です。 現在 DAP Lab とよばれるチームに配属しており、生成 AI 技術を使ったプロダクト開発に従事しています。生成 AI の新たな可... 続きを読む

Apache Iceberg: The Definitive Guide 輪読会まとめ

2024/12/02 17 users Apache Iceberg ナウキャスト Iceberg

はじめに こんにちは！ナウキャストのデータエンジニアのけびんです。 今年の6月に Iceberg Table が Snowflake の機能として GA したのは記憶に新しいかと思います。 自分もこの時から Iceberg に興味を持ちブログを書いたりしました。 そんな中、ちょうど良いタイミングで Apache Iceberg: The Definitive Guide が202... 続きを読む

「データエンジニアの市場価値」を上げたい。リクルートグループのニジボックスが“有料級のインプット教材”をつくるワケ - はてなニュース

2024/09/25 297 users ニジボックス わけ リクルートグループ 有料級 リクル

「全ての企業のサービスを成長させる」をミッションに掲げ、WebサイトやアプリのUI/UX改善をはじめ、技術力でサービスやプロダクトの成長を支援してきた、リクルートグループのニジボックス。 そんな同社が今注力するのは「データ人材」の育成です。具体的には、BIエンジニア、データエンジニアなど、データ領域でリクル... 続きを読む

データにまつわる“お悩み”を根こそぎ解決。リクルートのビジネスを支える影の仕事人「アナリティクスエンジニア」の素顔 - はてなニュース

2024/09/20 40 users フルコミット 素顔 アナリティクスエンジニア 職種 領域

データを利活用してカスタマー・クライアント双方の「不」の解消を目指してきたリクルートが、今注力する領域は「データを用いた意思決定の質向上」とそのための「データの整備」です。 そこにフルコミットするため、新たに生まれた職種がアナリティクスエンジニアです。例えば、図書館を作るのがデータエンジニアで、図... 続きを読む

Cloud DLPを使ってBigQuery上のデータをマスキング - Findy Tech Blog

2024/09/02 9 users BigQuery上 マスキング Findy データ ファ

はじめに Findyでデータエンジニアとして働いている開（hiracky16）です。 この記事ではGoogle Cloudの製品であるCloud DLPを中心に弊社で取り組んでいるデータマスキングについて紹介します。 弊社はFindyやFindy Freelanceなど人材に関する事業を取り扱っているため個人データがより集まりやすい環境にあります。 ファ... 続きを読む

FindyにおけるDataformの活用とその効果 - Findy Tech Blog

2024/07/01 14 users Findy Dataform ファインディ株式会社 構成 弊社

こんにちは。 2024/05よりファインディ株式会社にデータエンジニアとして入社した田頭(tagasyksk)です。本記事では、データ変換サービスであるDataformについてその活用方法や導入後の効果についてご紹介します。 弊社では、現在次のような構成でデータ基盤を構成しており、BigQuery内でのデータ変換にDataformを利用し... 続きを読む

社内勉強会でオライリー本を3週間で読破する方法 - 爆速データエンジニアリングドメインディープダイブ

2024/06/17 23 users オライリー本 ROOM ハルカ 社内勉強会 新卒

こんにちは。Acompany 新卒のハルカです。 Acompany のプロダクトの 1 つに Data Clean Room があり、それらを利用するデータエンジニアとデータエンジニアリングに対する理解は非常に重要です。そこで、データエンジニアリングにドメインディープダイブするために社内勉強会を開催しました。 今回は、以下の 2 点に関し... 続きを読む

ディメンショナルモデリング勉強会を実施しました - 10X Product Blog

2024/05/08 8 users 10X Product Blog syou6162 吉田

データ基盤チームに所属しているデータエンジニアの吉田(id:syou6162)です。10X社内のデータマネジメントの仕事をしています。 最近、社内でディメンショナルモデリング勉強会を行なったですが、なぜ勉強会を行なったのか、どのように行なったのか、勉強会を行なった結果何が得られたかについてまとめます。 ディメンシ... 続きを読む

複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog

2024/04/29 652 users yasuhisa's blog スキル 棚卸 複数 前職

最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸... 続きを読む

分析基盤へのデータ連携処理をEmbulkからAmazon Aurora S3 Export機能に切り替えた話 - BASEプロダクトチームブログ

2024/03/27 12 users embulk Looker BigQuery 分析基盤 側面

はじめに こんにちは！Data Platformチームでデータエンジニアとして働いている @shota.imazeki です。 分析基盤の構築・運用などの側面から社内のデータ活用の促進を行っています。 BASEではAurora MySQLにあるデータをEmbulkを用いてBigQueryに連携しています。BigQueryへ連携されたデータは分析基盤としてLookerなど... 続きを読む

【データ可視化/Streamlit】Streamlitで作ったアプリからSnowflakeのテーブルを自由に更新する方法 - Qiita

2024/03/10 11 users Qiita Snowflake Streamlit 前置き

前置き こんにちは。データエンジニアの山口です！ Streamlitでデータ可視化アプリを作成しており、 Streamlitアプリ上に手入力した値とSnowflake内の値を結合してデータを可視化したいなと思ったので、やり方を考えてみました。 結論 Streamlitアプリ上に手入力した値をSnowflakeのテーブルにデータを挿入・更新して、 ... 続きを読む

データエンジニアが事業成長をリードする。『SUUMO』のレコメンドAPIはこうして進化した - はてなニュース

2024/01/30 137 users SUUMO 事業成長 はてなニュース

「どのように開発するか」だけでなく、上流からプロジェクトに携わり「何を開発するか」から検討したい、と考えているエンジニアの方は少なくないでしょう。 一方、実際の開発現場では「WHAT（何を開発するか）」がすでにある程度検討され、エンジニアはその実現方法を具体化させるフェーズから参画し「HOW（どのように... 続きを読む

入社から 3 ヶ月経ったエンジニアから見た、ここが変だよ ROUTE06 - ROUTE06 Tech Blog

2023/12/13 14 users エンジニア masutaka26 入社 マラソン 習慣

こんにちは。ROUTE06 データエンジニアの id:masutaka26 です。8/16 に入社したので、入社から 3 ヶ月経ち、会社にも慣れてきました。 初投稿である今回の記事では、ROUTE06 に入社して素直に変だと思った、会社の取り組みや習慣をまだフレッシュな気持ちが残っているうちに紹介します。 1. 入社 1on1 マラソン 早速出て... 続きを読む

続・何でも屋になっている SRE 的なチームから責務を分離するまでの道のり 〜新設チームでオンコール体制を構築するまで〜 - Repro Tech Blog

2023/09/28 9 users 責務 Sys-Infra Unit SRE Lounge

こんにちは、Platform Team というチームでマネージャーをしている荒引 (@a_bicky) です。 Platform Team は、データエンジニア・アーキテクト的な役割を担う Repro Core Unit と、インフラエンジニア・SRE 的な役割を担う Sys-Infra Unit から成るチームです。 先月 SRE Lounge #15 で「何でも屋になっている SRE 的な... 続きを読む

【アップデート情報】 BigQueryで主キーと外部キーが正式にサポートされるようになりました | DevelopersIO

2023/07/28 12 users RDB BigQuery DevelopersIO 挙動 検証

Google Cloudのデータエンジニアをしています、はんざわです。 先日のアップデートで主キーと外部キー正式にGAになりました。 BigQuery release notes とはいえ、大多数の人が想像するRDBの主キーや外部キーと挙動が違ったりする部分もあるので実際の検証も含めながら触っていきたいと思います。 できないこととできるこ... 続きを読む

20230725_データエンジニアに求められるソフトスキル

2023/07/27 12 users ソフトスキル Fact Event デジタル庁 キャリア戦略

「データエンジニアに求められるソフトスキル」 デジタル庁 Fact & Data Unit hase-ryo 2023/07/25 株式会社トラックレコード主催「データエンジニアのキャリア戦略を考える。」にて発表 https://tech-track.connpass.com/event/288079/ 続きを読む

ニンテンドーシステムズ、IT技術者の中途採用開始　データエンジニアなど19職種　「良い意味で面倒くさがりな人」求む

2023/07/05 22 users ニンテンドーシステムズ 求む 任天堂 中途採用 IT技術者

任天堂のシステム開発などを担うニンテンドーシステムズは、IT技術者の中途採用を始めると発表した。データエンジニアやフロントエンドエンジニア、ゲームサーバエンジニアなど全19職種を募集している。 続きを読む

バンダイナムコネクサスで構築しているデータ基盤の紹介 | バンダイナムコネクサス データエンジニア tech blog

2023/04/06 7 users バンダイナムコネクサス Tech Blog データ基盤 紹介

データ戦略部データインフラストラテジーセクションでデータエンジニアリーダ兼、データストラテジストをしている藤井です。 現在、私の所属しているデータインフラストラテジーセクションは昨年12月に出来たばかりのセクションで名前のとおり、ネクサスの必需品である「データ」という必需品の基盤を支えるセクションで... 続きを読む

データエンジニア / Analytics Engineer向けの権限管理のためのTerraform紹介 - yasuhisa's blog

2023/03/09 69 users yasuhisa's blog 権限管理 roles 権限

これは何? 背景: 権限管理とTerraform 権限管理の対象 誰に権限を付与するのか どのスコープで権限を付与するのか どの強さで権限を付与するのか Terraformについて Terraformの概要: 権限管理でTerraformを使うと何がうれしいのか 例: roles/bigquery.jobUserを付与してみる コラム: どこでTerraformを実行するか Terra... 続きを読む

Redshift ServerlessとProvisioned Cluster のちょっとした違い

2023/01/16 12 users Redshift Serverless mashiike

Transcript Redshift ServerlessとProvisioned Cluster のちょっとした違い 2022/11/24 DataOpsNight #3 19:25 ~ 池田将士 自己紹介 池田 将士 (@mashiike) 面白法人カヤック その他事業部 SREチーム所属 データエンジニア/サーバーサイドエンジニア 出身: 千葉県 趣味: オンラインゲームと食べ比べ、飲み比べ 会社紹介 ... 続きを読む

データエンジニア道の俺のバイブル

2023/01/03 380 users バイブル functi 不定期 先人 読み物

先人の知恵に学ぶ データエンジニア道で、本当に良かった！読み物を、不定期に追記していく。 A Beginner’s Guide to Data Engineering — Part I データエンジニアをこれから始める人に、必ず薦める記事。データエンジニアの基本を学べるかつ、どういう世界に広がっていくのかまで、一気に学べるのでとても良い。 Functi... 続きを読む

dbt のデータモニタリングツール Elementary を使ってデータ品質管理を試してみた - Techtouch Developers Blog

2022/12/13 6 users Elementary dbt チュートリアル 極み サウナ

テックタッチアドベントカレンダー 13 日目を担当しますデータエンジニアの acchan です。 この間完全個室型のサウナに初めて行ってきまして、贅の極みを堪能してきました。みなさんもこの 1 年間頑張ってきた自分のご褒美にいかがでしょうか。 はじめに Elementaryとは チュートリアルをやってみる 下準備 パッケージの... 続きを読む

[レポート]みんなの考えた最強のデータアーキテクチャ #datatechjp | DevelopersIO

2022/11/08 132 users connpass DevelopersIO 最強 主催 引用

さがらです。 11月8日20時～22時に、datatech-jp(データエンジニアリング関係のコミュニティ)主催でみんなの考えた最強のデータアーキテクチャというイベントが開催されました。 本記事はこのイベントのレポートブログとなります。 イベント概要 ※connpassより引用 datatech-jpで集ったデータエンジニアが、それぞれみん... 続きを読む

プロダクトへの貢献を目指す、Chatworkの次世代データ分析基盤 - Chatwork Creator's Note

2022/09/15 5 users ChatWork Note Dre 貢献 プロダクト

こんにちは。データエンジニアのみっつと申します。 CTO室というところで次世代データ分析基盤プロジェクトというものを推進しております。 2022/09/01で入社(中途)してから１年が経ち２年目に突入しました。前職では長年アドテクノロジー分野の大規模データ処理を経験し、Chatworkへはデータエンジニア(DRE)第1号として... 続きを読む

マルチテナント方式からセルフホスティング方式へ。リクルートはこうして横断プロダクトを横展開する - はてなニュース

2022/07/29 11 users 立案 各社 領域 アンケート 組織

🎁 記事を最後まで読んで Amazonギフト券1,000円分が当たるアンケート に回答しよう 📝 2021年に7つの中核事業会社および機能会社を組織統合したリクルートでは、各社のデータエンジニアによって組閣された「データ推進室」が領域横断的に各事業領域のデータ戦略・立案を支援しています。前回記事では、そのデータ推進室... 続きを読む