データカタログ特集　データ利活用に向けたアーキテクチャ6選 - Findy Tools

2024/04/03 29 users Findy Tools アーキテクチャ データ利活用 目次

整備したデータ基盤を、事業部や会社全体で活用に持っていく中で「データカタログ」の必要性が増々注目を集めています。 今回は、データカタログを導入し、データ利活用に挑んでいる6社に、アーキテクチャの工夫ポイントからデータカタログ導入によって得られた効果などを伺いました。 ◆目次 株式会社10X 株式会社ビット... 続きを読む

データカタログにNotionを選択した理由

2022/12/09 15 users Notion 理由

実装方法 冪等性を担保したGoogle Cloud Composerの設計と実装で紹介しているとおり、Luupのデータ基盤はGoogle Cloud Composerを軸に動いています。なので今回も、Google Cloud Composerの環境下に作りました。 アウトプットイメージは以下です。 以下のNotion APIのDocumentを参考に実装を進めていきます。 サンプルコ... 続きを読む

データカタログを作成してZOZOTOWNデータベース定義をまとめた話 - ZOZO TECH BLOG

2022/05/24 5 users ZOZO TECH BLOG

こんにちは。ZOZOTOWN開発本部 バックエンド1ブロックの山本です。普段はZOZOTOWNのバックエンドやマイクロサービスAPIなどの開発に携わっています。 ZOZOTOWNは膨大なデータを有しており、テーブルやカラムの数も膨大です。しかし、ER図やテーブル定義に関するドキュメントは手動で更新されていたため情報遅れが生じ、... 続きを読む

Amazon S3 のデータを AWS Glue データカタログで管理し、Amazon SageMaker ノートブックから利用する方法 | Amazon Web Services ブログ

2018/09/04 26 users AWS Glue データサイエンティスト 定義 ノートブック

Amazon Web Services ブログ Amazon S3 のデータを AWS Glue データカタログで管理し、Amazon SageMaker ノートブックから利用する方法 あなたがデータサイエンティストであるとしましょう。会社のシステムが統合され、膨大なデータセットの定義も完了し、データが容易に分析できるとしたら、ラッキーです。そんな会社は... 続きを読む

【速報】AWS上でフルマネージドなデータカタログとETLを実現するサービス『AWS Glue』が発表されました！ #reinvent #glue ｜ Developers.IO

2016/12/01 53 users glue ETL reinvent リリース フルマネージド

【速報】AWS上でフルマネージドなデータカタログとETLを実現するサービス『AWS Glue』が発表されました！ #reinvent #glue AWS re:Invent 2016 AWS特集 Glue AWS re:Invent 2016のDAY2キーノートにて、フルマネージドなデータカタログとETLサービスとなる 『AWS Glue』 のリリースが発表されました！ これまでの状況 AWSのデ... 続きを読む