タグ データ基盤
人気順 10 users 50 users 100 users 500 users 1000 usersFindy Toolsのデータ基盤を1ヶ月前倒しで新規構築した話 - Findy Tech Blog
2024/12/21
8 users
Findy Tools
Findy Tech Blog
はじめに この記事はFindy Advent Calendar 2024 21日目の記事です。 adventar.org データソリューションチーム、エンジニアの土屋(@shunsock)です。本日は、Findy Toolsのデータ基盤を構築したので、その内容を共有します。 Findy Toolsは、2024年1月23日にリリースされた開発ツールのレビューサイトです。利用者は開発... 続きを読む
TROCCO & BigQueryテーブルメタデータで手軽にデータ取り込みの正常性をチェックする - Nealle Developer's Blog
2024/12/17
16 users
上田
Park Direct
Analyticsチーム
方法
本記事はニーリーアドベントカレンダー2024の17日目の記事 その2 です。 はじめに こんにちは。Analyticsチームの上田です。今回は小ネタとして、Park Directのデータ基盤ではどのようにデータ取り込みの正常性をチェックしているか？をご紹介します。 手軽さ (仕組みの単純さ・メンテナンスのしやすさ) を重視した方法... 続きを読む
Cloud Composer環境における信頼性向上のためのトラブルシュート事例、あるいはOSSにコントリビュートしたらそのOSSを壊してしまった経験について - Pepabo Tech Portal
2024/12/11
8 users
OSS
Pepabo Tech Portal
信頼性向上
技術部の染矢です。 最近は社内のデータ基盤「Bigfoot」の信頼性向上や機能開発をおこなっています。 Bigfootは、Google CloudのBigQueryとCloud Composerで主に構築された社内システムです。 この記事では、Cloud Composer環境におけるデータパイプラインの信頼性を向上させた事例を紹介します。 前半では、Cloud Compo... 続きを読む
センサーデータを分析するデータ基盤候補として、Data Firehose + S3 Tables + Athenaを試してみた | DevelopersIO
2024/12/07
8 users
Athena
ワークロード
DevelopersIO
候補
センサーデータを分析するデータ基盤候補として、Data Firehose + S3 Tables + Athenaを試してみた 大量のセンサーデータが送られるワークロードでのデータ基盤の候補として、Data Firehose + S3 Tables + Athenaを試してみました はじめに この記事はクラスメソッド発 製造業 Advent Calendar 2024の6日目の記事です。 ... 続きを読む
データウェアハウスをRedshiftからSnowflakeに移行するために考えたこと（１） - Uzabase for Engineers
2024/12/06
13 users
データウェアハウス
RedShift
Snowflake
この記事は NewsPicks Advent Calendar 2024 の6日目の記事です。 ソーシャル経済メディア「NewsPicks」の中村です。最近はデータ基盤の開発運用、データアナリストのサポート、LLM活用等をやっています。 現在、NewsPicksではデータウェアハウスとして長年利用してきたAmazon RedshiftからSnowflakeへの移行を進めてい... 続きを読む
dbtのUnit testsを導入してわかったこと - Oisix ra daichi Creator's Blog（オイシックス・ラ・大地クリエイターズブログ）
2024/12/06
10 users
Snowflake
dbt
Oisix
オイシックス・ラ
整備
はじめに DMO（Data Management Office）でデータプラットフォームセクションを担当しています東條です。データプラットフォームセクションはOisixを中心としたデータ基盤の構築・整備を担当しています。このデータ基盤にはSnowflakeとdbtを使用しています。今回dbt-core v1.8.0で追加されたUnit testsを導入してわかっ... 続きを読む
Park Directを支えるデータ基盤の構成 〜2024年12月版〜 - Nealle Developer's Blog
2024/12/05
24 users
Nealle Developer
宝庫
上田
構成
概要
本記事はニーリーアドベントカレンダー2024の5日目の記事です🎅 はじめに こんにちは。Analyticsチームの上田です。 当チームは、2024年3月にチームの概要を紹介するnote記事「データ分析の宝庫を前にして〜Analyticsチーム1年目の取り組み～」を公開しました。その記事ではチーム発足後間もないデータ基盤の構成を紹介... 続きを読む
マイベストのデータ基盤の現在と未来 / mybest-data-infra-asis-tobe
2024/11/11
56 users
説明資料
株式会社マイ
未来
マイベスト
株式会社マイベストのデータ基盤に関する説明資料です。 続きを読む
タイミーにおけるデータの利用シーンと データ基盤の挑戦
2024/09/30
95 users
タイミー
挑戦
データ
利用シーン
データマネジメントのリアル 〜BtoB企業3社の歩みとこれから〜(https://sansan.connpass.com/event/329234/) の発表資料です 続きを読む
10Xでのデータ基盤の変遷とこれから: データマネジメントのリアル 〜BtoB企業3社の歩みとこれから〜
2024/09/26
10 users
変遷
データマネジメント
10x
https://sansan.connpass.com/event/329234/ での発表資料です 続きを読む
流通小売業の常識を逆転する「デマンドチェーン」を支える指標とデータ基盤 ｜AEON TECH HUB
2024/09/03
13 users
指標
AEON TECH HUB
常識
サプライチェーン
源流
イオンネクストが運営するオンラインマーケットのGreen Beansは、革新的なアプローチで流通小売業の常識を大きくアップデートしようとしている。目指すのは「デマンドチェーン」。「製造」「配送」「販売」のサプライチェーンの流れとは反対に、デマンドチェーンの源流はお客様のニーズにある。イオンネクストCTO 樽石 ... 続きを読む
データ基盤の負債を生まない技術と技術以外の話
こんにちは。データエンジニアリングの支援を行っているstable株式会社の代表の宮﨑（@ikki_mz）です。先日、Findyさん主催の「大規模データの負債解消への道のり Lunch LT」というイベ... 続きを読む
データ基盤の負債を生まない技術と技術以外の話
2024.08.20 大規模データの負債解消への道のり Lunch LT の登壇資料です。 続きを読む
3フェーズに分けて振り返る atama plus データアーキテクチャ変遷 - Findy Tools
2024/07/28
22 users
Findy Tools
atama plus
3フェーズ
公開日 2024/07/29更新日 2024/07/263フェーズに分けて振り返る atama plus データアーキテクチャ変遷 こんにちは、atama plus株式会社でEngineering Managerや、SRE、データ基盤などplatform系チームのオーナーをしております、前田（ @kzk_maeda）と申します。 atama plusでは「教育に、人に、社会に、次の可能性を。... 続きを読む
クラシコムさんと合同勉強会を開催しました！ - KAYAC Engineers' Blog
2024/07/25
7 users
KAYAC engineers
SRE
Blog
合同勉強会
技術部の小池です。 2024年7月19日に 北欧、暮らしの道具店 を運営している株式会社クラシコムさんと合同勉強会を開催しました。 クラシコムさんとは SRE と データ基盤 領域の協業によるご縁があり、2019年にも勉強会を開催しています。 クラシコムさんの新オフィス 今回の勉強会は2024年3月に移転したクラシコムさんの... 続きを読む
LLM時代のデータ基盤 : 非構造化データを扱うETLプロセスの重要性 - LayerX エンジニアブログ
2024/07/04
8 users
LLM時代
LayerX エンジニアブログ
非構造化データ
こんにちは！LayerXのバクラク事業で機械学習・データ周りを担当しております、たかぎわ (@shun_tak) と申します。 みなさま、ChatGPTの登場に衝撃を受け、これを日々の生活やビジネスに活用されていることかと思います。わたしも社内でChatGPT活用の勉強会を開催したところ、大変大きな反響をいただきました。 tech.lay... 続きを読む
FindyにおけるDataformの活用とその効果 - Findy Tech Blog
2024/07/01
14 users
Findy
Dataform
ファインディ株式会社
構成
弊社
こんにちは。 2024/05よりファインディ株式会社にデータエンジニアとして入社した田頭(tagasyksk)です。本記事では、データ変換サービスであるDataformについてその活用方法や導入後の効果についてご紹介します。 弊社では、現在次のような構成でデータ基盤を構成しており、BigQuery内でのデータ変換にDataformを利用し... 続きを読む
JR東日本、SuicaやJREポイントの会員ID統合へ 5000万人経済圏に 【イブニングスクープ】 - 日本経済新聞
2024/05/27
175 users
イブニングスクープ
SUICA
縦割り
JREポイント
底上げ
JR東日本は2024年度末以降、グループの会員IDを統合する。交通系ICサービス「モバイルSuica（スイカ）」や共通ポイント「JREポイント」など20種類以上を集約し、鉄道や生活サービスに分散する累計5000万人規模のデータ基盤をつくる。鉄道収入の底上げが難しいなか、縦割りを崩したサービス開発を促して経済圏を拡大する... 続きを読む
データ基盤のためのリーダブルSQL
2024/05/21
6 users
dbt
念頭
パイプライン
データ基盤構築
言語化
これは何？ 私tenajimaがデータ基盤のパイプラインを作るとき、レビューするときに意識している点を言語化したものです データ基盤を作る上での考え方の一つに役立てていただければ幸いです この記事の前提 dbtを使ったデータ基盤構築を念頭に置いて書いています、dbtの記法が出てきます CTEsが使える環境を想定していま... 続きを読む
全社データ活用基盤をTreasureDataからBigQueryへ移行しました - Leverages データ戦略ブログ
2024/05/20
6 users
BigQuery
TreasureData
クエリ
全社
森下
はじめに こんにちは。データエンジニアリンググループの森下です。今回は、私がプロジェクトマネージャーとして約3年間かけて実施した、TreasureDataからBigQueryへの全社データ活用基盤移行プロジェクトについてお話します。このプロジェクトは、全社で1日あたり数千件のクエリが実行されるデータ基盤を移行するという... 続きを読む
データ基盤を支える技術
主にクラウドの話してます - 広島 での登壇資料です。 https://omoni-cloud.connpass.com/event/315682/ 続きを読む
クラウドデータレイク
2024/04/23
6 users
ePub
発行年月日
機械学習
ビッグデータ分析
データ分析
TOPICS Database 発行年月日 2024年05月17日 発売予定 PRINT LENGTH 288 （予定） ISBN 978-4-8144-0067-6 原書 The Cloud Data Lake FORMAT Print PDF EPUB 大量のデータを効率的に管理し、ビッグデータ分析、機械学習、AIなどの高度なデータ分析を実現するためのデータ基盤として、クラウドデータレイクが注目されてい... 続きを読む
データカタログ特集 データ利活用に向けたアーキテクチャ6選 - Findy Tools
2024/04/03
29 users
Findy Tools
アーキテクチャ
データ利活用
目次
整備したデータ基盤を、事業部や会社全体で活用に持っていく中で「データカタログ」の必要性が増々注目を集めています。 今回は、データカタログを導入し、データ利活用に挑んでいる6社に、アーキテクチャの工夫ポイントからデータカタログ導入によって得られた効果などを伺いました。 ◆目次 株式会社10X 株式会社ビット... 続きを読む
ログ一元管理の本質とSIEMの限界 - データ基盤への道 - LayerX エンジニアブログ
2024/03/29
82 users
SIEM
本質
限界
エンジニアブログ
三井物産デジタル・アセットマネジメントで、ガバナンス・コンプラエンジニアリングをしている 鈴木 (@ken5scal )です。 いきなりですが、ログ管理はどの職種どの場面でも重要です。セキュリティにおいても、古生代よりサーバー、ネットワーク機器、アプリケーションなどから出力されるログを一元的に収集し、監視や分析... 続きを読む
Elementaryを用いたデータ品質の可視化とデータ基盤の運用改善
2024/03/20
6 users
Elementary
運用改善
可視化
データ品質
Tokyo dbt Meetup #8での登壇資料になります。 - https://www.meetup.com/tokyo-dbt-meetup/events/299602585/ 続きを読む