社内勉強会でオライリー本を3週間で読破する方法 - 爆速データエンジニアリングドメインディープダイブ

2024/06/17 23 users オライリー本 ROOM ハルカ 社内勉強会 新卒

こんにちは。Acompany 新卒のハルカです。 Acompany のプロダクトの 1 つに Data Clean Room があり、それらを利用するデータエンジニアとデータエンジニアリングに対する理解は非常に重要です。そこで、データエンジニアリングにドメインディープダイブするために社内勉強会を開催しました。 今回は、以下の 2 点に関し... 続きを読む

データエンジニアリングの基礎

2024/03/01 15 users 基礎 クラウドサービス 指針 近年 組織内外

データエンジニアリングとは、組織内外で日々生成されるデータを蓄積し分析するためのデータシステムを構築し維持管理することであり、急速に注目を集めている分野です。近年ではデータエンジニアリングを支えるツールやクラウドサービスが成熟し、組織へのデータ利活用の導入は容易になりましたが、明確な指針のないま... 続きを読む

DWHにおけるデータモデリングで大事にしている考え方 

2024/02/02 94 users データモデリング データウェアハウス DWH 弊社 支援

こんにちは。データエンジニアリングの支援を行っているstable株式会社の代表の宮﨑（@ikki_mz）です。弊社では、クライアント社内のデータウェアハウス（DWH）におけるデータモデリングをサポート... 続きを読む

LLM開発のためのデータエンジニアリング - Qiita

2023/12/24 10 users Qiita LLM開発 LLM GPU 日本語LLM

LLM開発のためのデータエンジニアリング MLOps Advent Calendar 2023の24日目です。 Stability AIでデータ系のソフトウェアエンジニアをやっているcvuskです。主な仕事は日本語LLMのためのデータ開発です。Stability AIでは日本語LLMも各種開発しています。LLMの学習というと大量のGPUを用意して巨大なデータでモデルを... 続きを読む

なぜETLではなくELTが流行ってきたのか - Qiita

2022/12/05 152 users ETL ELT Qiita 生みの親 データ分析

概要 troccoの生みの親で、現プロダクト責任者をしている @hiro_koba_jp です。 troccoアドベントカレンダー2022の1記事目書いていきます！（みんなも参加してね） データ分析やデータエンジニアリングにおいてETL(Extract Transform Load)という言葉を耳にしたことがある方は多いのではないでしょうか？ 一方、「ETLで... 続きを読む

株式会社10Xにアナリティクスエンジニアとして入社しました - yasuhisa's blog

2022/10/05 21 users アナリティクスエンジニア yasuhisa's blog

3行まとめ 9/15で株式会社MonotaROを退職し、9/16に株式会社10Xに入社しました アナリティクスエンジニアとして、相変らずデータマネジメントやデータエンジニアリングを中心に活動してます 引き続き京都で働いてますし、変わらずオンラインのコミュニティ活動もやっていく予定です 3行まとめ MonotaROはどうだったの? 1... 続きを読む

ZOZOからUbie Discoveryに転職しました｜civitaspo｜note

2022/01/27 15 users ZOZO SRE MLOps Ubie Discovery

2021年12月をもってZOZOを退職してUbie Discoveryに転職しました。この記事では転職に至る意思決定や入社後の感想を書きます。 自己紹介こんにちは。中山貴博といいます。インターネット上では@civitaspoというIDで活動しています。職種的にはエンジニアで、技術領域的にはDE（データエンジニアリング）やMLOps、SREを主... 続きを読む

ゼロから始める、データ分析と可視化 - Kyash Product Blog

2021/08/18 577 users Kyash Product Blog 可視化 データ分析

はじめまして。Kyashでデータエンジニアリングを担当しているKyashデータマンです。この記事では、Kyash社内のデータ分析の基礎に関するドキュメントを紹介します。 Kyashでは、データエンジニアリング・ガバナンス・セキュリティなど様々な角度から、公正なデータの取扱いと活用を推進しています。従来は、一部の訓練さ... 続きを読む

エンジニア社内留学制度を利用してAndroidアプリ開発を体験した話 - クックパッド開発者ブログ

2020/07/16 10 users Androidアプリ開発 クックパッド開発者ブログ 異動

こんにちは、事業開発部でデータ分析やデータエンジニアリングをやっている佐藤です。最近の楽しみはクックパッドマートで買ったコーヒー豆を挽いて淹れることです。 今日はクックパッド社内で実施されているエンジニア社内留学制度について紹介します。 エンジニア社内留学制度とは エンジニア社内留学制度は「異動をす... 続きを読む

新しいグラフ処理ライブラリ「Spark Graph」とは何か？　Apach Spark 2.4 & 3.0の新機能を解説 Part2 - ログミーTech

2019/07/11 15 users ログミーTech What's NEXT 収集 処理 可視化

新しいグラフ処理ライブラリ「Spark Graph」とは何か？ Apach Spark 2.4 & 3.0の新機能を解説 Part2 Spark 2.4 & 3.0 - What's next? - #2/2 2019年3月19日、Data Engineering Meetupが主催するイベント「Data Engineering Meetup #1」が開催されました。データの収集や管理、処理、可視化など、データエンジニアリング... 続きを読む

LINEとサイバーエージェントは「データ基盤の設計・マネジメント、データエンジニアリング」をどうサービス発展につなげているか？｜TECH PLAY Magazine［テックプレイマガジン］

2019/01/11 44 users マネジメント テックプレイマガジン 多角化 収集 増加

TOP > TECH PLAY Magazine >  LINEとサイバーエージェントは「データ基盤の設計・マネジメント、データエンジニアリング」をどうサービス発展につなげているか？ ユーザーの増加やサービスの多角化に伴い、各サービスの膨大なデータを収集・蓄積し、分析を行うことは、さらにサービスを発展させるために必要不可欠です。... 続きを読む

minne のマーケティングダッシュボードを Redash に移行しました - ペパボテックブログ

2017/04/27 67 users minne zaimy redash ペパボテックブログ 昨今

技術部の @gyugyu と @zaimy です。 データ分析の必要性が叫ばれており、様々な分析手法やノウハウが広がっている昨今ですが、分析に際してはその前段階として、いかにデータを効率よく集め分析可能な状態に置くかということに関する課題解決、すなわちデータエンジニアリングも必要です。 今回、このデータエンジニアリングにおいて課題を抱えていた minne のマーケティングダッシュボードを Tabl... 続きを読む