Amazon DataZone でデータカタログを実現する - Taste of Tech Topics

2024/08/26 13 users Taste of Tech Topics 一史 バジル 組織

はじめに こんにちは一史です。最近自動給水器を買い、ベランダで育てているバジルの水やりを自動化しました。テクノロジーは素晴らしいですね。 さて、AWSにはAmazon DataZoneという組織が蓄積した膨大なデータに対して、データの発見、アクセス制御、管理を簡素化するデータ管理サービスがあります。 データドリブンが... 続きを読む

データカタログにConnected SheetsやLooker Studioの情報を取り込んでレポートのデータソースを追跡する - LayerX エンジニアブログ

2024/06/24 6 users Looker Studio レポート データソース

はじめに こんにちは！バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 弊社では、データの意味やデータの質、データの利活用を一元的に管理することを目的として、データカタログソリューションの一種であるOpenMetadataを導入しました。OpenMetadataを利用することで、様々な種類のデータベースやBI... 続きを読む

データカタログ特集　データ利活用に向けたアーキテクチャ6選 - Findy Tools

2024/04/03 29 users Findy Tools アーキテクチャ データ利活用 目次

整備したデータ基盤を、事業部や会社全体で活用に持っていく中で「データカタログ」の必要性が増々注目を集めています。 今回は、データカタログを導入し、データ利活用に挑んでいる6社に、アーキテクチャの工夫ポイントからデータカタログ導入によって得られた効果などを伺いました。 ◆目次 株式会社10X 株式会社ビット... 続きを読む

データカタログにNotionを選択した理由

2022/12/09 15 users Notion 理由

実装方法 冪等性を担保したGoogle Cloud Composerの設計と実装で紹介しているとおり、Luupのデータ基盤はGoogle Cloud Composerを軸に動いています。なので今回も、Google Cloud Composerの環境下に作りました。 アウトプットイメージは以下です。 以下のNotion APIのDocumentを参考に実装を進めていきます。 サンプルコ... 続きを読む

データカタログを作成してZOZOTOWNデータベース定義をまとめた話 - ZOZO TECH BLOG

2022/05/24 5 users ZOZO TECH BLOG

こんにちは。ZOZOTOWN開発本部 バックエンド1ブロックの山本です。普段はZOZOTOWNのバックエンドやマイクロサービスAPIなどの開発に携わっています。 ZOZOTOWNは膨大なデータを有しており、テーブルやカラムの数も膨大です。しかし、ER図やテーブル定義に関するドキュメントは手動で更新されていたため情報遅れが生じ、... 続きを読む

Amazon S3 のデータを AWS Glue データカタログで管理し、Amazon SageMaker ノートブックから利用する方法 | Amazon Web Services ブログ

2018/09/04 26 users AWS Glue データサイエンティスト 定義 ノートブック

Amazon Web Services ブログ Amazon S3 のデータを AWS Glue データカタログで管理し、Amazon SageMaker ノートブックから利用する方法 あなたがデータサイエンティストであるとしましょう。会社のシステムが統合され、膨大なデータセットの定義も完了し、データが容易に分析できるとしたら、ラッキーです。そんな会社は... 続きを読む

【速報】AWS上でフルマネージドなデータカタログとETLを実現するサービス『AWS Glue』が発表されました！ #reinvent #glue ｜ Developers.IO

2016/12/01 53 users glue ETL reinvent リリース フルマネージド

【速報】AWS上でフルマネージドなデータカタログとETLを実現するサービス『AWS Glue』が発表されました！ #reinvent #glue AWS re:Invent 2016 AWS特集 Glue AWS re:Invent 2016のDAY2キーノートにて、フルマネージドなデータカタログとETLサービスとなる 『AWS Glue』 のリリースが発表されました！ これまでの状況 AWSのデ... 続きを読む