hadoop - Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita

2014/05/19 647 users SQL Fluentd meetup 虎の子 Hadoop

とにかくパフォーマンスがすごい。（Fluentd Meetupでの）プレゼン中のデモで、ディスクに収められた5億件のデータをSQLでフルスキャンするのに3秒しかかからない。9億件のデータを正規表現を含んだSQLでスキャンしても、7秒で終わる（これ、記憶がちょっとあいまい。もう少しかかったかも）。これには驚いた。佐藤さんがGoogleに入社して一番驚いた技術が、一般公開される前のBigQueryだっ... 続きを読む

BigQueryで150万円溶かした人の顔 - Qiita

2015/12/06 640 users Qiita 枚挙 クエリ 代役 SQL

※ 代役：プロ生ちゃん（暮井 慧） 巷のBigQueryの噂と言えば「とにかく安い」「数億行フルスキャンしても早い」などなど。とりわけ料金に関しては保存しておくだけであれば無視できるほど安く、SQLに不慣れなプロデューサーがクエリを実行しても月数ドルで済むなど、賞賛すべき事例は枚挙に暇がありません。 しかしこのタイトル。僕は約150万円分使いました。まずは関係各位に改めてお詫びを。これは「主婦でも... 続きを読む

近年のデータ分析基盤構築における失敗はBigQueryを採用しなかったことに全て起因している - データエンジニアの酩酊日記

2019/10/17 394 users 酩酊日記 近年 データ分析基盤構築 データエンジニア 失敗

久しぶりにペラペラな思いつきを書き捨てて、寝ます。 2、3年前ぐらいにSIerやコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでるってのが僕のすごく狭い観測範囲での印象。 AWSのReadshiftしかり。 なぜ苦しんでるかっていうと、言うほどス... 続きを読む

BigQuery と Google の Big Data Stack 2.0 - naoyaのはてなダイアリー

2014/08/15 351 users Ove naoya アーキテクチャー 洋書 インプット

先日、有志で集まって「BigQuery Analytics」という書籍の読書会をやった。その名の通り Google BigQuery について書かれた洋書。BigQuery を最近仕事で使い始めたのだけど、BigQuery が開発された背景とかアーキテクチャーとかあまり調べもせずに使い始めたので、今更ながらその辺のインプットを増やして以降と思った次第。それで、読書会の第1回目は書籍の中でも Ove... 続きを読む

ビッグデータの価格破壊？　Googleが「処理量100GB/月まで無料」の解析サービスBigQueryを提供開始 : ITジャーナリスト星暁雄の"情報論"ノート

2012/05/02 326 users ITジャーナリスト星暁雄 ノート ビッグデータ Google

Googleが、データ解析サービスBigQueryを公開しました（Blog記事）。「ビッグデータの価格破壊」、とも言うべき内容になっています。 Google勤務のKazunori SatoさんがGoogle+に簡潔な解説をポストしてくれています。 ポスト1 BigQueryが一般公開されました！数100億件の全検索が数十秒で完了する超並列クエリサービスで、MapReduceと並びGoogleの根幹... 続きを読む

グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作 － Publickey

2010/05/25 320 users Publickey データウェアハウス SQLライク 命令

「数兆件のデータも対話的に、高速に分析できる」。グーグルは5月19日にこのような表現で新しいサービス「BigQuery」の登場を紹介するエントリを、ブログにポストしています。 グーグルが公開したBigQueryは、Hadoopやデータウェアハウスなどを用いて多くの企業が行おうとしている大規模データ（いわゆる「Big Data」）の分析を、グーグルのクラウドを用いて行うことを可能にするAPIです。利... 続きを読む

83億レコードを移行し、日々2,500万レコードのアクセスログをBigQueryに記録している話（インフラ編） | Money Forward Engineers' Blog

2016/08/03 295 users アクセスログ ビルド マネーフォワード インフラ 村上

こんにちは。 インフラエンジニアの村上です。 マネーフォワードのインフラチームは、サービスに関わるインフラから、自社の作業環境、開発環境、さらにはサービスのインフラの中でも物理的なものからOS・ミドルウェア・アプリケーションのメンテナンス・ビルド・リリース・運用まで幅広く関与しています。 今回はGoogle Cloud PlatformのBigQueryを活用してアクセスログの分析環境を構築した時... 続きを読む

Jupyter(Python)とBigQueryによるデータ分析基盤のDevOps #pyconjp // Speaker Deck

2017/09/08 288 users pyconjp DevOps Jupyter Python

Jupyter(Python)とBigQueryによるデータ分析基盤のDevOps #pyconjp / 20170909 続きを読む

グーグル、BigQueryを正式公開。SQLで大規模データに対して高速処理 － Publickey

2012/05/07 282 users Publickey OLAP DWH SQL グーグル

BigQueryはカラム型データストアの一種で、テラバイトクラスの大規模データに対して大量の並列処理を行うことで高速に結果を得ることが可能。グーグル 佐藤一憲氏の発言によると、 OLAP/DWH/Data Miningで行われるようなread onlyのad hocクエリをきわめて高速（数秒〜数十秒）に実行します。 とのこと。 SQLによる問い合わせが可能 この高速性に加え、BigQueryではS... 続きを読む

Google、都道府県別コロナ予測「COVID-19感染予測（日本版）」提供開始 - ITmedia NEWS

2020/11/17 249 users ITmedia News Google 提供開始 日本版

米Googleは11月17日、8月に米国向けに公開した新型コロナウイルス感染予測サービス「COVID-19 Public Forecasts」の日本版「COVID-19感染予測（日本版）」を公開した。 また、医療機関や研究機関向けにGoogle Cloud Platformで提供されるビッグデータ解析プラットフォーム「BigQuery」やCSVファイルとしても提供する。 ... 続きを読む

論理プログラミング言語Logicaでデータサイエンス100本ノック

2021/06/25 236 users データサイエンス100本ノック カテ クエリ 設問 言語

Googleが発表したOSSプロジェクトである論理プログラミング言語Logicaを使って、データサイエンス100本ノック(構造化データ加工編)の設問を解きながらどのような言語かを確認していく。 (BigQueryのクエリとして実行していく) 最初に、プログラミング言語Logicaの特徴を纏めておく。 論理型プログラミング言語: このカテ... 続きを読む

データ管理に役立つメタデータに関する勉強会を社内外で開催しました - MonotaRO Tech Blog

2022/03/04 225 users メタデータ syou6162 社内外 実例 吉田

こんにちは、データ基盤グループの吉田(id:syou6162)です。先日、モノタロウ社内で「データ管理に役立つメタデータ」に関する勉強会を開催しました。BigQueryのINFORMATION_SCHEMAを中心とした実例を豊富に盛り込んだ内容について話したのですが、社内に限らず有用な内容であると思うので、広く公開します。 開催に至っ... 続きを読む

BigQueryでクエリ一撃で29万円溶かしたけど助かった人の顔

2024/01/29 207 users Solana オヤ ニュース お笑い

SolanaのPublic DataをBigQueryで取得したかった# えー、お笑いを一席. ブロックチェーンSolanaのデータがGoogle Cloud BigQueryで使えるようになったというニュースをたまたまネット推薦記事でみかけた1. おや, 面白そうだ. ちょっとやってみようかな… BigQueryはさわるのが１年以上つかってないかも, どうやるんだっけ... 続きを読む

誰でも簡単に超高速なクエリができるBigQueryとは？ - Build Insider

2015/03/31 203 users MapReduce クエリ パブリック クラウドサービス 実装

この2つの技術は、グーグル独自の技術というわけではない。しかし、ハードウェアから構築している、既存のグーグルのクラウド技術を活用し、パブリックなクラウドサービスとして提供可能なレベルの実装になっている点がGoogle BigQueryの強みとなっている。 BigQueryの特徴 他の類似サービスとの比較 巨大データを処理する技術としては、同じグーグルが使ってきたMapReduceというものがある。... 続きを読む

なぜ私たちはSumo Logicを捨ててBigQueryを選んだのか - tech.guitarrapc.cóm

2015/08/16 193 users tech.guitarrapc.cóm インフラ 運用 位置

2015-08-16 なぜ私たちはSumo Logicを捨ててBigQueryを選んだのか BigQuery SumoLogic NewRelic ASP.NET C# ログ分析サービスはアプリケーションのインフラであり、サービス開発/運用の中で重要な位置を占めます。謎社では、今年に入って利用しているログ分析サービスを、 Sumo Logic から　Google BigQuery に完全移行しまし... 続きを読む

BigQuery に関する１２の誤解の真相を明らかにする – google-cloud-jp – Medium

2018/03/20 189 users medium google-cloud-jp 訳者注 誤解

BigQuery に関する１２の誤解の真相を明らかにする この記事は Busting 12 myths about BigQuery の著者の許可を得た上で @yutah_3 が日本語訳、補足したものです。個人的に気になった話等を含めて “訳者注” を入れながら翻訳します。 割と最近、 Forrester Research のレポート The Forrester Wave™: Insight Pl... 続きを読む

BigQueryにTwitterのタイムラインを入れる [Ruby] - 9mのブログ

2014/07/03 188 users Twitter groonga MongoDB ログデータ

Twitterのタイムラインを保存しておくとなにかと便利なので、色々と保存形式を変えながら4年くらい記録し続けている。かつてはテキストで、MongoDBやMySQLとかGroongaとかいろいろやってきた。どれも問題ないんだけど、増え続けるログデータを保存する場所として考えるとBigQueryが現代にマッチしてるようなのでそちらに移行した。 BigQueryにTLを保存するとできること TLの全て... 続きを読む

SQLおじさん(自称)がBigQueryのStandard SQLを使ってみた

2016/10/23 186 users Twitter KUM SQL 熊野 Ryo Kumano

SQLおじさん(自称)がBigQueryのStandard SQLを使ってみた 1. http://gcpug.jp SQLおじさん(自称)がBigQueryの Standard SQLを使ってみた 熊野 良(Ryo Kumano) GCPUG Fukuoka 4th (2016/10/22) 2. http://gcpug.jp 熊野 良 (Ryo Kumano) Twitter: @kum... 続きを読む

数百GBのデータをMySQLからBigQueryへ同期する - Mercari Engineering Blog

2018/06/28 166 users MySQL メルカリ siroken3 分析基盤 背景

SRE所属の @siroken3 です。最近はもっぱらパートナー会社様とのデータ連携環境構築を主に、時々プロダクションのMySQL環境と分析基盤との連携インフラの構築が多いです。 本記事は、メルカリに出品された過去すべての商品をBigQueryへ同期するにあたって取り組んだ時のお話です。 背景 当社では分析目的などでBigQuery... 続きを読む

ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery - Speaker Deck

2019/02/17 165 users DWH ZOZOTOWN RedShift お引越

ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery 続きを読む

BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場

2022/09/19 163 users レプリケーション PostgreSQL MySQL データ

BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場 Google Cloudは、BigQueryに対してMySQLやPostgreSQL、Oracle Databaseからニアリアルタイムで直接データのレプリケーションを可能にする新サービス「Datastream for BigQuery」をプレビューリリースし... 続きを読む

「BigQuery ML」：SQLで機械学習ってどういうこと？試しにSQLでロジスティック回帰を書いてみた。 | Wantedly Engineer Blog

2018/08/07 163 users ロジスティック回帰 SQL BigQuery ML 原理 一部

はじめに Google Cloud Next 2018でBigQuery MLが発表されました。 文字通り、「BigQuery + 機械学習(Machine Learning)」を実現するもののようです。さっそく試してみたので、どんなものなのかと、その原理（の一部）を紹介したいと思います。この記事ではBigQuery MLの紹介と、それを直接SQLでやったらどのくらい大変... 続きを読む

fluentdでnginxのログをElasticsearchとBigQueryに保存するお話 - HowTelevision 開発者ブログ

2014/08/07 160 users nginx fluentd elasticsearch 案件

2014-08-07 fluentdでnginxのログをElasticsearchとBigQueryに保存するお話 こんにちは。夏休みに長野に行って居酒屋で馬刺しをたらふく食べていたら 地元のおっさん人生の大先輩の絡み酒に付き合わされた祖山です。 4月に入社して以降、サーバサイドのWeb開発やスクラムの導入、サイト内検索の改善など様々な業務に 取り組んでいますが、最近の大きな案件としては、アクセス... 続きを読む

MPP on Hadoop, Redshift, BigQuery - Go ahead!

2014/07/23 158 users RedShift MpP Go ahead プレッシャー 各社

MPP on Hadoop, Redshift, BigQuery Jul 23rd, 2014 | Comments Twitterで「早く今流行のMPPの大まかな使い方の違い書けよ！」というプレッシャーが半端ないのでてきとうに書きます．この記事は俺の経験と勉強会などでユーザから聞いた話をもとに書いているので，すべてが俺の経験ではありません(特にBigQuery)．各社のSAの人とかに聞けば，も... 続きを読む

グーグルのBigQuery、高速処理の仕組みは「カラム型データストア」と「ツリー構造」。解説文書が公開 － Publickey

2012/11/19 153 users Publickey クエリ SQL インデックス グーグル

グーグルのBigQuery、高速処理の仕組みは「カラム型データストア」と「ツリー構造」。解説文書が公開 SQLのクエリに対応し、3億件を超えるデータに対してインデックスを使わないフルスキャン検索で10秒以内に結果を出す。グーグルのBigQueryは大規模なクエリを超高速で実行する能力を提供するサービスです。その内部を解説する文書「An Inside Look at Google BigQuery」... 続きを読む