Auroraを活用してAWS Glueでデータ分析機能を構築した話 - techtekt

2022/03/22 23 users Aurora QuickSight techtekt 小島

ベネッセ i-キャリアの小島です。 dodaキャンパスでは、AWS AthenaやQuickSightを利用して、日々データ分析活用を行っていますが、 今回は、Auroraを活用して、AWS Glueでデータ分析機能を構築しました。 その際に選定したアーキテクトとその理由を中心にお話させていただきたいと思います。 背景 dodaキャンパスでは現... 続きを読む

[アップデート] 1行たりともコードは書かない！AWS GlueでストリーミングETLが可能になりました | Developers.IO

2020/04/30 11 users Developers.IO streaming ETL 1行

[アップデート] 1行たりともコードは書かない！AWS GlueでストリーミングETLが可能になりました 先日のアップデートで AWS Glue がストリーミング ETL をサポートするようになりました！ AWS Glue now supports serverless streaming ETL New – Serverless Streaming ETL with AWS Glue なにが嬉しいのか まず、AWS Glue... 続きを読む

AWS GlueでApache Sparkジョブをスケーリングし、データをパーティション分割するためのベストプラクティス | Amazon Web Services ブログ

2019/10/28 16 users ベストプラクティス パーティション 抽出 データソース 準備

Amazon Web Services ブログ AWS GlueでApache Sparkジョブをスケーリングし、データをパーティション分割するためのベストプラクティス AWS GlueはApache Spark ETLジョブでのデータ分析・データ処理を行うために、様々なデータソースから大量のデータセットを準備(抽出および変換)し、ロードするサーバーレスな環境を... 続きを読む

AWS Glueのワークフロー機能がリリースされたようなので触ってみました - YOMON8.NET

2019/06/12 14 users ワークフロー機能 YOMON8.NET

AWS Summitで発表されたようですが、Glueの標準機能でワークフローが組めるようになったと聞いたので早速試してみました。 Glueでワークフローを組むのは大変だった やってみる CrawlerとJobを用意 ワークフロー作成 トリガー作成 ワークフロー作成 ワークフロー完成 ワークフロー開始 所感 Glueでワークフローを組むの... 続きを読む

Amazon S3 のデータを AWS Glue データカタログで管理し、Amazon SageMaker ノートブックから利用する方法 | Amazon Web Services ブログ

2018/09/04 26 users データサイエンティスト 定義 ノートブック データカタログ

Amazon Web Services ブログ Amazon S3 のデータを AWS Glue データカタログで管理し、Amazon SageMaker ノートブックから利用する方法 あなたがデータサイエンティストであるとしましょう。会社のシステムが統合され、膨大なデータセットの定義も完了し、データが容易に分析できるとしたら、ラッキーです。そんな会社は... 続きを読む

AWS Glueを用いたデータ分析基盤を構築した✨ - Studyplus Engineering Blog

2018/08/02 34 users Studyplus Engineering Blog

こんにちは。@morix1500と申します。 この度、スタディプラス様からデータ分析基盤の構築の業務委託を受け、AWSのマネージドサービスを用いて構築を行いました。 その際に得られた知見を共有したいと思います。 データ分析基盤について 今回スタディプラス様から受けたデータ分析基盤の要件は以下のようなものでした。 S... 続きを読む

AWS Glueで多くの小さなファイルをまとめて読み込むgroupFiles/groupSize指定でパフォーマンスを改善する ｜ Developers.IO

2018/07/08 12 users Developers.IO ジョブ メモリ不足 ファイル 処理

はじめに 最近、データサイズは大きくない割に、ジョブが徐々に遅くなったり、メモリ不足が発生して処理が中断するといった相談を受けましたので、その対策の一つである小さなファイルをまとめて読み込むgroupFiles/grou […] 続きを読む

AWS Cloudtrail Logs を AWS Glue と Amazon Quicksight 使って可視化する | Amazon Web Services ブログ

2018/02/14 21 users permalink Amazon QuickSight

Amazon Web Services ブログ AWS Cloudtrail Logs を AWS Glue と Amazon Quicksight 使って可視化する by AWS Japan Staff | on 14 FEB 2018 | in Amazon QuickSight* , AWS CloudTrail* , AWS Glue* | Permalink | Share AWS Cl... 続きを読む

AWS Glueの開発環境をDockerで構築する（その2） - cloudfishのブログ

2018/02/05 17 users glue フォワ Docker SSH 開発環境

2018 - 02 - 02 AWS Glueの開発環境をDockerで構築する（その2） AWS プログラム Glue 前回、Glueの開発環境をDockerで作りましたが、zeppelinコンテナを起動してホストから ssh フォワ ードを実行して接続するという構成でホストを意識する必要がありましたが、せっかくzeppelinをdockerで作っているので ssh フォワ ードを行う部分もdo... 続きを読む

AWS Glueでリプレースしてみた/gunosy-use-glue // Speaker Deck

2017/12/25 14 users Speaker Deck

All slide content and descriptions are owned by their creators. 続きを読む

AWS Glue と Amazon S3 を使用してデータレイクの基礎を構築する | Amazon Web Services ブログ

2017/10/31 33 users データレイク 基礎 Amazon Web Services

Amazon Web Services ブログ AWS Glue と Amazon S3 を使用してデータレイクの基礎を構築する by AWS Japan Staff | on 31 OCT 2017 | in AWS Glue* | Permalink | Share データレイクは、大量の様々なデータを扱うという課題に対処するため、データを分析および保存するための方法としてますます一般的になっ... 続きを読む

AWS Black Belt - AWS Glue

2017/10/18 30 users AWS Black Belt ソリューションアーキテクト

AWS Black Belt - AWS Glue 1. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 1 アマゾン ウェブ サービス ジャパン株式会社 ソリューションアーキテクト 下佐粉 昭 2017.10.18 【AWS Black Belt Online Seminar】 AWS Glue ... 続きを読む

フルマネージド＆サーバレスなETLサービス「AWS Glue」の仕組みと構成要素を理解する ｜ Developers.IO

2017/08/16 65 users Developers.IO 実行 構成要素 特性上 作成

先日(日本時間の)2017年08月15日にAWS Summit 2017 NYCでアナウンスされたフルマネージドETLサービスの「AWS Glue」がついに 一般利用開始 となりました。早速色々触ってみたいと思っておりますが、サービスの特性上色々なサービスと連動させる必要があり、またAWS Glueを構成する各種要素も幾つか存在しているようで、サクッと作成・設定・実行！...という訳には行かなさそ... 続きを読む

AWS Glue – 一般提供開始 | Amazon Web Services ブログ

2017/08/14 234 users Amazon Web Services extract

Amazon Web Services ブログ AWS Glue – 一般提供開始 by AWS Japan Staff | on 15 AUG 2017 | in General | Permalink | Share 本日、 AWS Glue の一般提供開始がアナウンスされました。Glue はフルマネージドでサーバレス、そして、クラウド最適化された ETL(extract, transform... 続きを読む

AWSのフルマネージド型 ETL サービス『AWS Glue』の紹介動画を観て来たるべきリリースに向けて情報収集してみる ｜ Developers.IO

2017/04/23 33 users YouTube動画 セッション AWS re ETL 発表

昨年2016年12月の『AWS re:Invent 2016』で発表された、AWSによるフルマネージド型ETLサービス『AWS Glue』。イベント当日での発表では『今後リリース予定です』との内容に留まり、詳細なリリース時期等は明らかになっていませんが、イベントにてAWS Glueの内容について言及されたセッションが展開されており、関連するYouTube動画もアップされていました(特にこの動画につ... 続きを読む

【速報】AWS上でフルマネージドなデータカタログとETLを実現するサービス『AWS Glue』が発表されました！ #reinvent #glue ｜ Developers.IO

2016/12/01 53 users glue ETL reinvent リリース フルマネージド

【速報】AWS上でフルマネージドなデータカタログとETLを実現するサービス『AWS Glue』が発表されました！ #reinvent #glue AWS re:Invent 2016 AWS特集 Glue AWS re:Invent 2016のDAY2キーノートにて、フルマネージドなデータカタログとETLサービスとなる 『AWS Glue』 のリリースが発表されました！ これまでの状況 AWSのデ... 続きを読む