タグ「Google BigQuery」

タグ Google BigQuery

新着順人気順 5 users 10 users 50 users 100 users 500 users 1000 users

(1 - 25 / 29件)

BigQuery や Google Workspace のログを使って分析環境を管理する｜Mercari Analytics Blog

2023/09/05 7 users BigQuery 野本メルカリ監査ログロク

BI Product チームの野本です。メルカリでは Google BigQuery 監査ログと Google Workspace ログイベントを BigQuery にエクスポートして、データ分析環境の管理に活用しています。アクセス履歴を詳細に調べられる BigQuery 監査ログは、分析環境のコスト最適化やテーブルの変更時の影響範囲調査などの管理業務にとても... 続きを読む

楽天グループが数ペタバイト級の会員分析DBを刷新、Google BigQueryを選んだわけ

2022/04/19 8 users 楽天グループクラウ DWH BigQuery グーグル

楽天グループは2022年4月19日、ユーザーの属性情報や行動情報などを分析するデータベース（DB）である「楽天スーパーDB」の稼働環境に、米Google（グーグル）のクラウドサービス「BigQuery」を採用したと発表した。これまでオンプレミス環境のデータウエアハウス（DWH）で管理していた数ペタバイト級のデータを、クラウ... 続きを読む

複数の AWS アカウントの AWS Security Hub 検出結果を Google BigQuery と Google DataPortal(DataStudio) により可視化した話 - Adwaysエンジニアブログ

2022/03/25 8 users エクスポート DataStudio 構想インフラ選定

こんにちは、インフラの天津です。今日は複数アカウントの AWS Security Hub 検出結果の可視化についてお話したいと思います。前提モチベーション AWS Security Hub とは構想ツール・サービスの選定検出結果データのエクスポートについて可視化用データベース（またはクエリサービス）と可視化ツールについて構... 続きを読む

Amazon AuroraのデータをリアルタイムにGoogle BigQueryに連携してみた / Realtime data linkage from Amazon Aurora to Google BigQuery - Speaker Deck

2021/01/28 20 users Speaker Deck リアルタイム BigQuery

Transcript Amazon AuroraのデータをリアルタイムにGoogle BigQueryに連携してみた  株式会社ZOZOテクノロジーズ  SRE部  塩崎健弘 Copyright © ZOZO Technologies, Inc. © ZOZO Technologies, Inc. 株式会社ZOZOテクノロジーズ  SRE部  塩崎健弘  2年前にRedshiftをBigQueryにマイグレーションしたことがきっかけで... 続きを読む

6,000スロットを使うBigQueryのリソース配分最適化への挑戦

2020/03/31 12 users BigQuery リソース配分エンジニアかなりヘビー工夫

こんにちは。エンジニアのg0eです。今回は、6,000スロットを使うBigQueryのリソース配分最適化への挑戦と題して、Google BigQueryの主にスロット周りの話について書いてみたいと思います。背景当社ではプロダクトの中でBigQueryをかなりヘビーに活用しています。どのような使い方をしているか、どのような工夫をしてい... 続きを読む

オープンソースのWebアプリケーション分析ツール「Cube.js」 - エンジニア・プログラマのソーシャルITメディア

2019/09/08 254 users プログラマ npm YARN エンジニア RDB

「Cube.js」は、npmやyarnでインストールできるオープンソースのWebアプリケーション用分析ツールです。RDBだけでなく、AWS AthenaやGoogle BigQueryなどのサーバーレスクエリエンジンと連携するように設計されています。機能が非常に豊富なので、今回は初期セットアップに的を絞ってご紹介します。 ◆ オープンソースのW... 続きを読む

オープンソースのWebアプリケーション分析ツール「Cube.js」 | AnyPicks

2019/07/25 254 users npm YARN AnyPicks RDB オープンソース

BigQueryの新機能を使ってクエリ料金を1/1000にする - Kaizen Platform 開発者ブログ

2018/09/19 76 users BigQuery BigQue 大迫エンジニアウェブサイト

こんにちは、エンジニアの大迫です。 Kaizen Platformでは、以前からGoogle BigQueryを利用して、ウェブサイトの行動ログや広告の配信レポートなど様々なデータを保存・活用できるような仕組みを整え、お客様のウェブサイトや広告クリエイティブの改善に取り組んできました。特にここ最近では、非エンジニア向けにBigQue... 続きを読む

Google BigQueryがサービスのデバグに役に立った話 - ゆーすけべー日記

2015/12/08 35 users デバグデータウェアハウス BigQuery 実話一貫

2015-12-08 Google BigQueryがサービスのデバグに役に立った話 GoogleがCloud Platformの一貫として提供するBigQueryというサービス。データウェアハウスともビッグデータ解析ツールとも言われていますが、今回は「サービスのデバグに便利」ということをガチの実話を交えて話してみましょう。 BigQueryざっくり紹介 BigQueryはの機能をわかりやすく言う... 続きを読む

なぜ私たちはSumo Logicを捨ててBigQueryを選んだのか - tech.guitarrapc.cóm

2015/08/16 193 users BigQuery tech.guitarrapc.cóm

2015-08-16 なぜ私たちはSumo Logicを捨ててBigQueryを選んだのか BigQuery SumoLogic NewRelic ASP.NET C# ログ分析サービスはアプリケーションのインフラであり、サービス開発/運用の中で重要な位置を占めます。謎社では、今年に入って利用しているログ分析サービスを、 Sumo Logic から　Google BigQuery に完全移行しまし... 続きを読む

Google BigQuery クエリーリファレンス - Google Cloud Platform

2015/06/16 41 users Google Cloud Platform

このページは、2015 年 3 月 1日現在の https://cloud.google.com/bigquery/query-reference の翻訳です。最新の情報は、こちらの英語のページもご確認ください。修正等のフィードバックがあれば、こちらからお寄せください。 BigQuery のクエリーは、標準 SQL の SELECT 文にアレンジを加えたものを使って書きます。BigQuery は... 続きを読む

実践 Google BigQuery - Google スライド

2015/04/09 53 users スライド Google

誰でも簡単に超高速なクエリができるBigQueryとは？ - Build Insider

2015/03/31 203 users MapReduce BigQuery クエリパブリック実装

この2つの技術は、グーグル独自の技術というわけではない。しかし、ハードウェアから構築している、既存のグーグルのクラウド技術を活用し、パブリックなクラウドサービスとして提供可能なレベルの実装になっている点がGoogle BigQueryの強みとなっている。 BigQueryの特徴他の類似サービスとの比較巨大データを処理する技術としては、同じグーグルが使ってきたMapReduceというものがある。... 続きを読む

VMwareとGoogleがパブリッククラウドで連携。vCloud AirからBigQueryやGoogle Cloud Storageなどが利用可能に－ Publickey

2015/01/29 32 users VMware Publickey BigQuery 連携機能

VMwareとGoogleはパブリックラウドで連携、vCloud Airの機能としてGoogle Cloud Platformを緊密に連携させることを発表しました。具体的には、vCloud Airから以下のGoogle Cloud Platformの機能が利用可能になります。 Google Cloud Storage（分散オブジェクトストレージ） Google BigQuery（大規模データ処理... 続きを読む

Google BigQueryについて紹介と推測

2015/01/20 29 users 推測紹介

Pornographic Defamatory Illegal/Unlawful Spam Other Violations Thanks for flagging this SlideShare! Oops! An error has occurred. 続きを読む

データ加工機としての Google BigQuery - ゆーすけべー日記

2014/12/30 98 users ゆーすけべー日記

ボケてでは既に「お題」が110万レコード、「ボケ」が2,300万レコード、それに対するユーザーの「評価」が1億1,000万レコード数存在します。このところそれをちょいと利用して、楽しことをしましょうっていうんで、直近1年間の範囲である条件下のデータをエキスポートする必要がありました。ボケての基本的なデータは全て Amazon RDS の MySQL ストレージに格納されていて、この件で出力する形式... 続きを読む

Google BigQueryで今期アニメに関するツイートを分析するぞい！ - Qiita

2014/10/29 79 users Qiita ぞいファイルブラウザ BigQuery CSV

BigQueryでアニメに関するツイートを分析するアニメツイートを記録したCSVをBigQueryに上げるデータ形式を選択する CSV/JSON/AppEngine Backupが選べますが今回はCSVとします。 File Uploadでブラウザからファイルアップロード・・・といきたい所ですがファイルブラウザからのアップロードは10Mバイトに制限されています。 10Mバイト以上のファイルはGo... 続きを読む

Google BigQueryを使ってみた！

2014/10/24 55 users Presentation Transcript サイズ

Google BigQueryを使ってみた！ Presentation Transcript 1. Google BigQueryをつかってみた！ PerlCasual#06 2014/10/24 Yusuke Wada a.k.a. yusukebe 2. 2つの問題意識 3. 1. 開発サイドから • 例えばアクセスログが膨らんで活用できない 1.サイズが大きい 2.分散されている 3.量が... 続きを読む

Google BigQuery の話 #gcpja // Speaker Deck

2014/09/17 33 users gcpja Speaker Deck

gcp ja night で話した BigQuery のスライド。YAPC::Asia のものに数枚だけスライドを追加したもので、ほぼ同じです。続きを読む

Google Enterprise Japan 公式ブログ: Google BigQuery を使って歴史事象パターンの関連を探しだす

2014/09/02 22 users Google Enterprise Japan 関連言語

2014年9月2日火曜日 Google BigQuery を使って歴史事象パターンの関連を探しだす今年の6月、米国、ジョージタウン大学の Kalev Leetaru は 2.5 億レコードの完全な GDELT イベントデータベースが BigQuery で利用可能になったことを発表しました。このデータセットは、100 以上の言語に渡る世界中の放送、印刷、およびWebニュースメディアから配信された内... 続きを読む

Google BigQuery の話 #yapcasia // Speaker Deck

2014/08/30 223 users yapcasia Speaker Deck

All slide content and descriptions are owned by their creators. 続きを読む

BigQuery と Google の Big Data Stack 2.0 - naoyaのはてなダイアリー

2014/08/15 351 users Ove naoya アーキテクチャー BigQuery 洋書

先日、有志で集まって「BigQuery Analytics」という書籍の読書会をやった。その名の通り Google BigQuery について書かれた洋書。BigQuery を最近仕事で使い始めたのだけど、BigQuery が開発された背景とかアーキテクチャーとかあまり調べもせずに使い始めたので、今更ながらその辺のインプットを増やして以降と思った次第。それで、読書会の第1回目は書籍の中でも Ove... 続きを読む

Google BigQuery で DWH 構築 - YAPC::Asia Tokyo 2014

2014/06/27 23 users DWH YAPC Asia TOKYO 構築

Currently this talk is in PENDING state. If you would like to see this talk at the event, please consider using the social media buttons below to express your interest! 続きを読む

GoogleBigQuery - BigQuery Connector for Excelを使ってExcelで超高速クエリ実行を行う - Qiita

2014/06/05 57 users クエリ Qiita Excel 結果

Google BigQueryは超高速でクエリを実行できて便利であるが、結局のところExcelデータでください、みたいなことを言われたりして面倒なことがある。こういったとき、Google BigQuery Connector for Excelを使用すれば、Microsoft Excelから直接Google BigQueryにクエリを発行し結果を取得することが出来る。 BigQuery Conne... 続きを読む

FluentdでGoogle BigQueryにログを挿入してクエリを実行する - Qiita

2014/05/27 130 users Qiita fluentd 虎の子 BigQuery クエリ

Googleの虎の子BigQueryをFluentdユーザーが使わない理由はなくなったとのこと。 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita よし、Google BigQueryを使って超高速ログ解析だ!!!!と思っているとそこまでの道のりは長かった。 Google BigQueryの環境を構築する Google B... 続きを読む

(1 - 25 / 29件)

次の25件 »