タグ データ基盤
人気順 10 users 50 users 100 users 500 users 1000 usersタイミーにおけるデータの利用シーンと データ基盤の挑戦
データマネジメントのリアル 〜BtoB企業3社の歩みとこれから〜(https://sansan.connpass.com/event/329234/) の発表資料です 続きを読む
10Xでのデータ基盤の変遷とこれから: データマネジメントのリアル 〜BtoB企業3社の歩みとこれから〜
https://sansan.connpass.com/event/329234/ での発表資料です 続きを読む
流通小売業の常識を逆転する「デマンドチェーン」を支える指標とデータ基盤 |AEON TECH HUB
イオンネクストが運営するオンラインマーケットのGreen Beansは、革新的なアプローチで流通小売業の常識を大きくアップデートしようとしている。目指すのは「デマンドチェーン」。「製造」「配送」「販売」のサプライチェーンの流れとは反対に、デマンドチェーンの源流はお客様のニーズにある。イオンネクストCTO 樽石 ... 続きを読む
データ基盤の負債を生まない技術と技術以外の話
こんにちは。データエンジニアリングの支援を行っているstable株式会社の代表の宮﨑(@ikki_mz)です。先日、Findyさん主催の「大規模データの負債解消への道のり Lunch LT」というイベ... 続きを読む
データ基盤の負債を生まない技術と技術以外の話
2024.08.20 大規模データの負債解消への道のり Lunch LT の登壇資料です。 続きを読む
3フェーズに分けて振り返る atama plus データアーキテクチャ変遷 - Findy Tools
公開日 2024/07/29更新日 2024/07/263フェーズに分けて振り返る atama plus データアーキテクチャ変遷 こんにちは、atama plus株式会社でEngineering Managerや、SRE、データ基盤などplatform系チームのオーナーをしております、前田( @kzk_maeda)と申します。 atama plusでは「教育に、人に、社会に、次の可能性を。... 続きを読む
クラシコムさんと合同勉強会を開催しました! - KAYAC Engineers' Blog
技術部の小池です。 2024年7月19日に 北欧、暮らしの道具店 を運営している株式会社クラシコムさんと合同勉強会を開催しました。 クラシコムさんとは SRE と データ基盤 領域の協業によるご縁があり、2019年にも勉強会を開催しています。 クラシコムさんの新オフィス 今回の勉強会は2024年3月に移転したクラシコムさんの... 続きを読む
LLM時代のデータ基盤 : 非構造化データを扱うETLプロセスの重要性 - LayerX エンジニアブログ
こんにちは!LayerXのバクラク事業で機械学習・データ周りを担当しております、たかぎわ (@shun_tak) と申します。 みなさま、ChatGPTの登場に衝撃を受け、これを日々の生活やビジネスに活用されていることかと思います。わたしも社内でChatGPT活用の勉強会を開催したところ、大変大きな反響をいただきました。 tech.lay... 続きを読む
FindyにおけるDataformの活用とその効果 - Findy Tech Blog
こんにちは。 2024/05よりファインディ株式会社にデータエンジニアとして入社した田頭(tagasyksk)です。本記事では、データ変換サービスであるDataformについてその活用方法や導入後の効果についてご紹介します。 弊社では、現在次のような構成でデータ基盤を構成しており、BigQuery内でのデータ変換にDataformを利用し... 続きを読む
JR東日本、SuicaやJREポイントの会員ID統合へ 5000万人経済圏に 【イブニングスクープ】 - 日本経済新聞
JR東日本は2024年度末以降、グループの会員IDを統合する。交通系ICサービス「モバイルSuica(スイカ)」や共通ポイント「JREポイント」など20種類以上を集約し、鉄道や生活サービスに分散する累計5000万人規模のデータ基盤をつくる。鉄道収入の底上げが難しいなか、縦割りを崩したサービス開発を促して経済圏を拡大する... 続きを読む
データ基盤のためのリーダブルSQL
これは何? 私tenajimaがデータ基盤のパイプラインを作るとき、レビューするときに意識している点を言語化したものです データ基盤を作る上での考え方の一つに役立てていただければ幸いです この記事の前提 dbtを使ったデータ基盤構築を念頭に置いて書いています、dbtの記法が出てきます CTEsが使える環境を想定していま... 続きを読む
全社データ活用基盤をTreasureDataからBigQueryへ移行しました - Leverages データ戦略ブログ
はじめに こんにちは。データエンジニアリンググループの森下です。今回は、私がプロジェクトマネージャーとして約3年間かけて実施した、TreasureDataからBigQueryへの全社データ活用基盤移行プロジェクトについてお話します。このプロジェクトは、全社で1日あたり数千件のクエリが実行されるデータ基盤を移行するという... 続きを読む
データ基盤を支える技術
主にクラウドの話してます - 広島 での登壇資料です。 https://omoni-cloud.connpass.com/event/315682/ 続きを読む
クラウドデータレイク
TOPICS Database 発行年月日 2024年05月17日 発売予定 PRINT LENGTH 288 (予定) ISBN 978-4-8144-0067-6 原書 The Cloud Data Lake FORMAT Print PDF EPUB 大量のデータを効率的に管理し、ビッグデータ分析、機械学習、AIなどの高度なデータ分析を実現するためのデータ基盤として、クラウドデータレイクが注目されてい... 続きを読む
データカタログ特集 データ利活用に向けたアーキテクチャ6選 - Findy Tools
整備したデータ基盤を、事業部や会社全体で活用に持っていく中で「データカタログ」の必要性が増々注目を集めています。 今回は、データカタログを導入し、データ利活用に挑んでいる6社に、アーキテクチャの工夫ポイントからデータカタログ導入によって得られた効果などを伺いました。 ◆目次 株式会社10X 株式会社ビット... 続きを読む
ログ一元管理の本質とSIEMの限界 - データ基盤への道 - LayerX エンジニアブログ
三井物産デジタル・アセットマネジメントで、ガバナンス・コンプラエンジニアリングをしている 鈴木 (@ken5scal )です。 いきなりですが、ログ管理はどの職種どの場面でも重要です。セキュリティにおいても、古生代よりサーバー、ネットワーク機器、アプリケーションなどから出力されるログを一元的に収集し、監視や分析... 続きを読む
Elementaryを用いたデータ品質の可視化とデータ基盤の運用改善
Tokyo dbt Meetup #8での登壇資料になります。 - https://www.meetup.com/tokyo-dbt-meetup/events/299602585/ 続きを読む
Cloud RunとCloud PubSubでサーバレスなデータ基盤2024 with Terraform / Cloud Run and PubSub with Terraform
Google Cloudのサーバレスなサービスでデータ基盤を作った話. 続きを読む
次世代データ基盤:データレイクハウスを Google Cloud で実現する
はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段はデータ基盤や MLOps の構築をしたり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。また、昨年は Google Cloud Partner Top Engineer 2024 に選出されました。今年も Goodle Cloud 界隈を盛り上げていけるよう頑張... 続きを読む
先進的な技術を“合理的に”導入する。リクルートが「ニアリアルタイムデータ基盤」を実現できた背景 - はてなニュース
どんな企業にとってもデータは「資産」ですが、ユーザーとクライアントのマッチングを軸に事業を展開するリクルートにとっては、ビジネスを支える存在の一つです。 リクルートではサービスに関わるデータを収集・蓄積するデータ基盤を構築し、マッチングの精度向上を含むプロダクト改善などに活用してきました。例えばWe... 続きを読む
個人的なdbtの推しポイントを書いてみる - yasuhisa's blog
dbtや同じ系統のDataformなど、ELTの特にTransform部分に強みを持つツールを使い始めて大体3年になる。主観だけど、それなりに使い倒している部類だと思う。 開発効率を計測するデータ基盤の管理にDataformを使ってみた - yasuhisa's blog dbtを触ってみた感想 - yasuhisa's blog dbt カテゴリーの記事一覧 - yasuhisa's... 続きを読む
全社横断データ基盤における部分的セルフサービス化への取り組み - Sansan Tech Blog
研究開発部 Architect Groupの大澤秀一です。ブログ寄稿は約2年ぶりです。半年ぐらい前からランニングを始めて、先日フルマラソン完走してきました。おかげで足はボロボロです(笑)。 さて、私たちはBigQueryを中心とした、全社横断データ基盤(以下、データ基盤)の構築とデータ基盤をもとに社内のデータ利活用を推進... 続きを読む
ベアメタルで実現するSpark&Trino on K8sなデータ基盤
DDD&Scalaで作られたプロダクトはその後どうなったか?(Current state of products made with DDD & Scala)MicroAd, Inc.(Engineer)232 views•25 slides 続きを読む
データ基盤の管理に役立つ監視用のSQLを紹介します - 10X Product Blog
Analytics Engineerの吉田(id:syou6162)です。BigQueryを中心に10X社内のデータ関連の管理をしています。10Xに入社してそろそろ一年になろうかとしていますが、データ基盤を適切に管理 / 運用するためにSQLによる監視を少しずつ取り入れています。この記事では、具体的にどのようなSQLを書いて監視しているのか紹介した... 続きを読む
バクラク事業におけるデータ組織とデータ基盤 2023 - LayerX エンジニアブログ
お世話になっております。LayerXの高際と申します。現在は、データ分析組織の立ち上げに注力しています。 本記事では、バクラク事業におけるデータ組織とデータ基盤をテーマに取り扱います。データ分析における認知負荷や属人性を解消するための取り組みや、良質なデータを提供するためのデータ基盤の構築について、具体... 続きを読む