データエンジニアリングの基礎

2024/03/01 15 users 基礎 クラウドサービス 指針 近年 組織内外

データエンジニアリングとは、組織内外で日々生成されるデータを蓄積し分析するためのデータシステムを構築し維持管理することであり、急速に注目を集めている分野です。近年ではデータエンジニアリングを支えるツールやクラウドサービスが成熟し、組織へのデータ利活用の導入は容易になりましたが、明確な指針のないま... 続きを読む

DWHにおけるデータモデリングで大事にしている考え方 

2024/02/02 94 users データモデリング データウェアハウス DWH 弊社 支援

こんにちは。データエンジニアリングの支援を行っているstable株式会社の代表の宮﨑（@ikki_mz）です。弊社では、クライアント社内のデータウェアハウス（DWH）におけるデータモデリングをサポート... 続きを読む

LLM開発のためのデータエンジニアリング - Qiita

2023/12/24 10 users Qiita LLM開発 LLM GPU 日本語LLM

LLM開発のためのデータエンジニアリング MLOps Advent Calendar 2023の24日目です。 Stability AIでデータ系のソフトウェアエンジニアをやっているcvuskです。主な仕事は日本語LLMのためのデータ開発です。Stability AIでは日本語LLMも各種開発しています。LLMの学習というと大量のGPUを用意して巨大なデータでモデルを... 続きを読む

Data Contract について調べた

2023/04/08 9 users 領域 課題 業務 解決 参考

データエンジニアリングの領域で少し前から目にするようになった “data contract” という言葉。 なんとなく今の業務で困っている課題の解決になりそうな気がしつつもよくわかっていなかったので調べてみた。 data contract について語られているいくつかのブログ記事などを参考にしている。 Data Contract とは#データの... 続きを読む

TechCrunchの2023年予測！データサイエンス分野における4つのトレンド【テッククランチ】

2023/01/26 8 users TechCrunch テッククランチ 複雑 データレイク 4つ

TechCrunchの2023年予測！データサイエンス分野における4つのトレンド【テッククランチ】 2023年1月18日 寄稿者 Torsten Grabs Snowflakeの製品管理ディレクター。データエンジニアリング、データレイク、データサイエンスワークロード、Snowpark開発者エクスペリエンスを統括している。 データサイエンスは長い間、複雑... 続きを読む

なぜETLではなくELTが流行ってきたのか - Qiita

2022/12/05 152 users ETL ELT Qiita 生みの親 データ分析

概要 troccoの生みの親で、現プロダクト責任者をしている @hiro_koba_jp です。 troccoアドベントカレンダー2022の1記事目書いていきます！（みんなも参加してね） データ分析やデータエンジニアリングにおいてETL(Extract Transform Load)という言葉を耳にしたことがある方は多いのではないでしょうか？ 一方、「ETLで... 続きを読む

株式会社10Xにアナリティクスエンジニアとして入社しました - yasuhisa's blog

2022/10/05 21 users アナリティクスエンジニア yasuhisa's blog

3行まとめ 9/15で株式会社MonotaROを退職し、9/16に株式会社10Xに入社しました アナリティクスエンジニアとして、相変らずデータマネジメントやデータエンジニアリングを中心に活動してます 引き続き京都で働いてますし、変わらずオンラインのコミュニティ活動もやっていく予定です 3行まとめ MonotaROはどうだったの? 1... 続きを読む

累計参加者8,500名！ #DataEngineeringStudy の43スライドから学ぶ、データエンジニアリングの羅針盤 / 20220224

2022/02/24 8 users DataEngineeringStudy 羅針盤

Transcript �%BUB&OHJOFFSJOH4UVEZ�ͷ���εϥΠυ͔ΒֶͿ� σʔλΤϯδχΞϦϯάͷཏ਑൫� � ����೥�݄ऩ࿥� גࣜձࣾQSJNF/VNCFSʮ��ʯ์ө༧ఆ� QSFTFOUFE�CZ�!ZV[VUBT� � ྦྷܭࢀՃऀ� ���໊ʂ � ɹ%BUB&OHJOFFSJOH4UVEZ൪֎ฤ ର৅� ʮσʔλ෼ੳΛࢧ͑ΔγεςϜʯʹؔΘΔਓ� ՝୊� ʮԿΛͨ͠Β͍͍ͷʁʯͱ͍͏ٙ໰� ʮ͜ΕͰ͋ͬͯΔͷʁʯͱ͍͏ෆ҆� ఏڙՁ஋� ʮ࣍͸͜ΕΛௐ΂ͯΈΑ͏ʯͱ͍͏ཏ਑൫ � ɹ͜ͷొஃͷ֓ཁ � 4/4Ͱެ։ࡁΈ� ࡱӨ΍ϝϞ͸ෆཁͰ͢ɻϦϥοΫεͯ͠ฉ͍͍͚ͯͨͩΕ͹ͱࢥ͍·͢ɻ� εϥΠυ���� �ຕ�����NJO� ؤுͬͯ෇͍͖͍ͯͯͩ͘͞ɻԿ͔�ͭͰ... 続きを読む

ZOZOからUbie Discoveryに転職しました｜civitaspo｜note

2022/01/27 15 users ZOZO SRE MLOps Ubie Discovery

2021年12月をもってZOZOを退職してUbie Discoveryに転職しました。この記事では転職に至る意思決定や入社後の感想を書きます。 自己紹介こんにちは。中山貴博といいます。インターネット上では@civitaspoというIDで活動しています。職種的にはエンジニアで、技術領域的にはDE（データエンジニアリング）やMLOps、SREを主... 続きを読む

ゼロから始める、データ分析と可視化 - Kyash Product Blog

2021/08/18 577 users Kyash Product Blog 可視化 データ分析

はじめまして。Kyashでデータエンジニアリングを担当しているKyashデータマンです。この記事では、Kyash社内のデータ分析の基礎に関するドキュメントを紹介します。 Kyashでは、データエンジニアリング・ガバナンス・セキュリティなど様々な角度から、公正なデータの取扱いと活用を推進しています。従来は、一部の訓練さ... 続きを読む

エンジニア社内留学制度を利用してAndroidアプリ開発を体験した話 - クックパッド開発者ブログ

2020/07/16 10 users Androidアプリ開発 クックパッド開発者ブログ 異動

こんにちは、事業開発部でデータ分析やデータエンジニアリングをやっている佐藤です。最近の楽しみはクックパッドマートで買ったコーヒー豆を挽いて淹れることです。 今日はクックパッド社内で実施されているエンジニア社内留学制度について紹介します。 エンジニア社内留学制度とは エンジニア社内留学制度は「異動をす... 続きを読む

ZOZOTOWNのインハウス広告運用を支援するデータと仕組みの話 - ZOZO Technologies TECH BLOG

2020/07/01 8 users 大谷 ZOZOTOWN マーケティング部門 背景 収集

こんにちは。ECプラットフォーム部 推薦基盤チームで、DWH・DMP・広告まわりのデータエンジニアリングを担当している大谷です。 本記事では、マーケティング部門の広告運用のインハウス化に伴ってこれまで取り組んできた広告データの収集と活用、その仕組みにフォーカスして事例をご紹介します。 背景 データの収集と活... 続きを読む

新しいグラフ処理ライブラリ「Spark Graph」とは何か？　Apach Spark 2.4 & 3.0の新機能を解説 Part2 - ログミーTech

2019/07/11 15 users ログミーTech What's NEXT 収集 処理 可視化

新しいグラフ処理ライブラリ「Spark Graph」とは何か？ Apach Spark 2.4 & 3.0の新機能を解説 Part2 Spark 2.4 & 3.0 - What's next? - #2/2 2019年3月19日、Data Engineering Meetupが主催するイベント「Data Engineering Meetup #1」が開催されました。データの収集や管理、処理、可視化など、データエンジニアリング... 続きを読む

LINEとサイバーエージェントは「データ基盤の設計・マネジメント、データエンジニアリング」をどうサービス発展につなげているか？｜TECH PLAY Magazine［テックプレイマガジン］

2019/01/11 44 users マネジメント テックプレイマガジン 多角化 収集 増加

TOP > TECH PLAY Magazine >  LINEとサイバーエージェントは「データ基盤の設計・マネジメント、データエンジニアリング」をどうサービス発展につなげているか？ ユーザーの増加やサービスの多角化に伴い、各サービスの膨大なデータを収集・蓄積し、分析を行うことは、さらにサービスを発展させるために必要不可欠です。... 続きを読む

minne のマーケティングダッシュボードを Redash に移行しました - ペパボテックブログ

2017/04/27 67 users minne zaimy redash ペパボテックブログ 昨今

技術部の @gyugyu と @zaimy です。 データ分析の必要性が叫ばれており、様々な分析手法やノウハウが広がっている昨今ですが、分析に際してはその前段階として、いかにデータを効率よく集め分析可能な状態に置くかということに関する課題解決、すなわちデータエンジニアリングも必要です。 今回、このデータエンジニアリングにおいて課題を抱えていた minne のマーケティングダッシュボードを Tabl... 続きを読む