Amazon DataZone でデータカタログを実現する - Taste of Tech Topics

2024/08/26 13 users Taste of Tech Topics 一史 バジル 組織

はじめに こんにちは一史です。最近自動給水器を買い、ベランダで育てているバジルの水やりを自動化しました。テクノロジーは素晴らしいですね。 さて、AWSにはAmazon DataZoneという組織が蓄積した膨大なデータに対して、データの発見、アクセス制御、管理を簡素化するデータ管理サービスがあります。 データドリブンが... 続きを読む

データカタログ特集　データ利活用に向けたアーキテクチャ6選 - Findy Tools

2024/04/03 29 users Findy Tools アーキテクチャ データ利活用 目次

整備したデータ基盤を、事業部や会社全体で活用に持っていく中で「データカタログ」の必要性が増々注目を集めています。 今回は、データカタログを導入し、データ利活用に挑んでいる6社に、アーキテクチャの工夫ポイントからデータカタログ導入によって得られた効果などを伺いました。 ◆目次 株式会社10X 株式会社ビット... 続きを読む

データカタログにNotionを選択した理由

2022/12/09 15 users Notion 理由

実装方法 冪等性を担保したGoogle Cloud Composerの設計と実装で紹介しているとおり、Luupのデータ基盤はGoogle Cloud Composerを軸に動いています。なので今回も、Google Cloud Composerの環境下に作りました。 アウトプットイメージは以下です。 以下のNotion APIのDocumentを参考に実装を進めていきます。 サンプルコ... 続きを読む

Amazon S3 のデータを AWS Glue データカタログで管理し、Amazon SageMaker ノートブックから利用する方法 | Amazon Web Services ブログ

2018/09/04 26 users AWS Glue データサイエンティスト 定義 ノートブック

Amazon Web Services ブログ Amazon S3 のデータを AWS Glue データカタログで管理し、Amazon SageMaker ノートブックから利用する方法 あなたがデータサイエンティストであるとしましょう。会社のシステムが統合され、膨大なデータセットの定義も完了し、データが容易に分析できるとしたら、ラッキーです。そんな会社は... 続きを読む

【速報】AWS上でフルマネージドなデータカタログとETLを実現するサービス『AWS Glue』が発表されました！ #reinvent #glue ｜ Developers.IO

2016/12/01 53 users glue ETL reinvent リリース フルマネージド

【速報】AWS上でフルマネージドなデータカタログとETLを実現するサービス『AWS Glue』が発表されました！ #reinvent #glue AWS re:Invent 2016 AWS特集 Glue AWS re:Invent 2016のDAY2キーノートにて、フルマネージドなデータカタログとETLサービスとなる 『AWS Glue』 のリリースが発表されました！ これまでの状況 AWSのデ... 続きを読む