タグ「データエンジニアリング」

タグデータエンジニアリング

新着順人気順 5 users 10 users 50 users 100 users 500 users 1000 users

(1 - 16 / 16件)

社内勉強会でオライリー本を3週間で読破する方法 - 爆速データエンジニアリングドメインディープダイブ

2024/06/17 23 users オライリー本 ROOM ハルカ社内勉強会新卒

こんにちは。Acompany 新卒のハルカです。 Acompany のプロダクトの 1 つに Data Clean Room があり、それらを利用するデータエンジニアとデータエンジニアリングに対する理解は非常に重要です。そこで、データエンジニアリングにドメインディープダイブするために社内勉強会を開催しました。今回は、以下の 2 点に関し... 続きを読む

データエンジニアリングの基礎

2024/03/01 15 users 基礎クラウドサービス指針近年組織内外

データエンジニアリングとは、組織内外で日々生成されるデータを蓄積し分析するためのデータシステムを構築し維持管理することであり、急速に注目を集めている分野です。近年ではデータエンジニアリングを支えるツールやクラウドサービスが成熟し、組織へのデータ利活用の導入は容易になりましたが、明確な指針のないま... 続きを読む

DWHにおけるデータモデリングで大事にしている考え方

2024/02/02 94 users データモデリングデータウェアハウス DWH 弊社支援

こんにちは。データエンジニアリングの支援を行っているstable株式会社の代表の宮﨑（@ikki_mz）です。弊社では、クライアント社内のデータウェアハウス（DWH）におけるデータモデリングをサポート... 続きを読む

LLM開発のためのデータエンジニアリング - Qiita

2023/12/24 10 users Qiita LLM開発 LLM GPU 日本語LLM

LLM開発のためのデータエンジニアリング MLOps Advent Calendar 2023の24日目です。 Stability AIでデータ系のソフトウェアエンジニアをやっているcvuskです。主な仕事は日本語LLMのためのデータ開発です。Stability AIでは日本語LLMも各種開発しています。LLMの学習というと大量のGPUを用意して巨大なデータでモデルを... 続きを読む

Data Contract について調べた

2023/04/08 9 users 領域課題業務解決参考

データエンジニアリングの領域で少し前から目にするようになった “data contract” という言葉。なんとなく今の業務で困っている課題の解決になりそうな気がしつつもよくわかっていなかったので調べてみた。 data contract について語られているいくつかのブログ記事などを参考にしている。 Data Contract とは#データの... 続きを読む

TechCrunchの2023年予測！データサイエンス分野における4つのトレンド【テッククランチ】

2023/01/26 8 users TechCrunch テッククランチ複雑データレイク 4つ

TechCrunchの2023年予測！データサイエンス分野における4つのトレンド【テッククランチ】 2023年1月18日寄稿者 Torsten Grabs Snowflakeの製品管理ディレクター。データエンジニアリング、データレイク、データサイエンスワークロード、Snowpark開発者エクスペリエンスを統括している。データサイエンスは長い間、複雑... 続きを読む

なぜETLではなくELTが流行ってきたのか - Qiita

2022/12/05 152 users ETL ELT Qiita 生みの親データ分析

概要 troccoの生みの親で、現プロダクト責任者をしている @hiro_koba_jp です。 troccoアドベントカレンダー2022の1記事目書いていきます！（みんなも参加してね）データ分析やデータエンジニアリングにおいてETL(Extract Transform Load)という言葉を耳にしたことがある方は多いのではないでしょうか？一方、「ETLで... 続きを読む

株式会社10Xにアナリティクスエンジニアとして入社しました - yasuhisa's blog

2022/10/05 21 users アナリティクスエンジニア yasuhisa's blog

3行まとめ 9/15で株式会社MonotaROを退職し、9/16に株式会社10Xに入社しましたアナリティクスエンジニアとして、相変らずデータマネジメントやデータエンジニアリングを中心に活動してます引き続き京都で働いてますし、変わらずオンラインのコミュニティ活動もやっていく予定です 3行まとめ MonotaROはどうだったの? 1... 続きを読む

累計参加者8,500名！ #DataEngineeringStudy の43スライドから学ぶ、データエンジニアリングの羅針盤 / 20220224

2022/02/24 8 users DataEngineeringStudy 羅針盤

Transcript �%BUB&OHJOFFSJOH4UVEZ�ͷ��εϥΠυ͔ΒֶͿ� σʔλΤϯδχΞϦϯάͷཏ਑൫� � ��೥�݄ऩ࿥� גࣜձࣾQSJNF/VNCFSʮ��ʯ์ө༧ఆ� QSFTFOUFE�CZ�!ZV[VUBT� � ྦྷܭࢀՃऀ� ��໊ʂ � ɹ%BUB&OHJOFFSJOH4UVEZ൪֎ฤ ର৅� ʮσʔλ෼ੳΛࢧ͑ΔγεςϜʯʹؔΘΔਓ� ՝୊� ʮԿΛͨ͠Β͍͍ͷʁʯͱ͍͏ٙ໰� ʮ͜ΕͰ͋ͬͯΔͷʁʯͱ͍͏ෆ҆� ఏڙՁ஋� ʮ࣍͸͜ΕΛௐ΂ͯΈΑ͏ʯͱ͍͏ཏ਑൫ � ɹ͜ͷొஃͷ֓ཁ � 4/4Ͱެ։ࡁΈ� ࡱӨ΍ϝϞ͸ෆཁͰ͢ɻϦϥοΫεͯ͠ฉ͍͍͚ͯͨͩΕ͹ͱࢥ͍·͢ɻ� εϥΠυ�� ຕ��NJO� ؤுͬͯ෇͍͖͍ͯͯͩ͘͞ɻԿ͔�ͭͰ... 続きを読む

(1 - 16 / 16件)