Cloud DataflowのテンプレートにPythonの外部パッケージを利用する - YOMON8.NET

2019/12/16 5 users Python テンプレート 外部パッケージ pip PYPI

Cloud Dataflow + Python で作るテンプレートを登録する際に、pipでインストール可能なPyPiなどの外部パッケージをどうやって組み込むか調べました。 使う設定 結局ドキュメントは見つからなかったのですが、ソースコード読んでいたら以下のオプションを見つけました。 class SetupOptions(PipelineOptions): @classmeth... 続きを読む

Google の SQL parser/analyzer の ZetaSQL とは何であるか – apstndb – Medium

2019/05/15 43 users analyzer medium SQL 方言 パイプライン

2019年4月に Google の SQL parser/analyzer の ZetaSQL が公開されました。 現在 BigQuery Standard SQL や Cloud Spanner で実装されている SQL 方言であり、 Cloud Next 2019 で BigQuery UI から Cloud Dataflow で実行されるパイプラインを記述できる機能として発表された DataflowSQL にも使われることがツイート... 続きを読む

KPI に関わる数値の集計処理を Cloud Dataflow に置き換えている話 - Mercari Engineering Blog

2017/11/02 80 users KPI SRE 数値 集計処理 syu_cream

2017 - 11 - 02 KPI に関わる数値の集計処理を Cloud Dataflow に置き換えている話 メルカリのバックエンドを支える SRE(Site Reliability Engineering) チームに最近加わりました @syu_cream です。 本記事では KPI に関わる数値を計算してレポートを生成する集計システムの刷新に取り組んでいる話を紹介します。 現在は刷新の途中で... 続きを読む

No-Ops で大量データ処理を簡単に実現する - BigQuery と Cloud Dataflow で実現する次世代データ処理基盤

2017/01/18 41 users BigQuery Data 福田 大量データ処理

No-Ops で大量データ処理を簡単に実現する - BigQuery と Cloud Dataflow で実現する次世代データ処理基盤 1. 福田 潔 Google Cloud Platform カスタマーエンジニア Google Cloud 部門 No-Ops で大量データ処理を 簡単に実現する BigQuery と Cloud Dataflow で実現する次世代データ処理基盤 2. Data ... 続きを読む

Google、SparkとHadoopのマネージドサービス、Cloud Dataprocを提供開始 | TechCrunch Japan

2015/09/24 26 users Hadoopフレームワーク Hadoop Spark 製品

Googleは、Google Cloud Platformのビッグデータサービス群に新たな製品を今日追加する。新サービスのGoogle Cloud Dataprocは現在ベータ版で、データ処理エンジンのSparkやHadoopフレームワークをバーチャルマシン上で直接管理し、Googleプラットフォーム上のデータパイプラインを統合するCloud Dataflowのような完全マネージド型サービスとの中... 続きを読む

Google、ビッグデータ処理基盤の「Cloud Dataflow」を正式サービスとして公開。エクサバイトまでスケール可能 － Publickey

2015/08/18 34 users エクサバイト Publickey バッチ フルマネージド 一連

Googleは、ビッグデータ処理のためのサービス「Cloud Dataflow」を正式版として公開すると8月12日に発表しました。 Cloud DataflowはGoogle Cloud Platformで提供されるフルマネージドのクラウドサービスで、エクサバイトのスケールまで対応。大量のデータの取得、変換、分析、分類などの一連の処理を、リアルタイムに処理するストリーム処理、逐次的に処理するバッチ... 続きを読む

Google I/O 2014速報：グーグルがビッグデータ分析基盤をサービスとして提供へ――「Cloud Dataflow」をデモ - ＠IT

2014/06/26 34 users サンフランシスコ グーグル デモ デバイス バッチ処理

Google I/O 2014速報：グーグルがビッグデータ分析基盤をサービスとして提供へ――「Cloud Dataflow」をデモ Google I/Oでは、多様なデバイスに注力する発表が相次いだ一方で、データ分析基盤サービスの発表もあった。ストリーム処理もバッチ処理もシンプルな実装で実現する。 米グーグルは2014年6月15日にサンフランシスコで開いた年次開発者会議「Google I/O 201... 続きを読む

ニュース - グーグル、MapReduce後継のビッグデータ処理サービス「Cloud Dataflow」を発表：ITpro

2014/06/26 67 users MapReduce グーグル クラウドサービス バッチ処理

米グーグルは2014年6月25日（米国時間）、ビッグデータ分析のクラウドサービスである「Google Cloud Dataflow」を発表した。グーグルの並列データ処理技術「MapReduce」の後継技術をベースにしたサービスで、バッチ処理だけでなくストリーム処理やリアルタイム処理を実行できることが特徴。25日から同社が米国サンフランシスコ市で開く開発者会議「Google I/O 2014」で発表... 続きを読む