BigQueryでクエリ一撃で29万円溶かしたけど助かった人の顔

2024/01/29 207 users Solana オヤ ニュース お笑い

SolanaのPublic DataをBigQueryで取得したかった# えー、お笑いを一席. ブロックチェーンSolanaのデータがGoogle Cloud BigQueryで使えるようになったというニュースをたまたまネット推薦記事でみかけた1. おや, 面白そうだ. ちょっとやってみようかな… BigQueryはさわるのが１年以上つかってないかも, どうやるんだっけ... 続きを読む

データ基盤の管理に役立つ監視用のSQLを紹介します - 10X Product Blog

2023/07/31 103 users SQL データ基盤 syou6162 監視用 監視

Analytics Engineerの吉田(id:syou6162)です。BigQueryを中心に10X社内のデータ関連の管理をしています。10Xに入社してそろそろ一年になろうかとしていますが、データ基盤を適切に管理 / 運用するためにSQLによる監視を少しずつ取り入れています。この記事では、具体的にどのようなSQLを書いて監視しているのか紹介した... 続きを読む

BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 - エンジニアHub｜Webエンジニアのキャリアを考える！

2022/12/22 133 users ハンズオン エンジニアHub Google Cloud 技術

エンジニアHub > 記事一覧 > BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 Googleの高度な技術を利用できるGoogle Cloudにおいて、BigQueryは大規模データ... 続きを読む

BigQuery と Snowflake を徹底比較

2022/12/21 119 users Snowflake 徹底比較

最初にBigQueryとSnowflakeの概要と、登場の背景を説明します。 その後、ユーザにとっての使い勝手と、管理者にとっての使い勝手を、ベンダーフリーな立場でそれぞれします。 最後に、BigQueryとSnowflakeどっちが速いのか？といった疑問に対して、アーキテクチャをもとに考察します。 続きを読む

BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場

2022/09/19 163 users レプリケーション PostgreSQL MySQL データ

BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場 Google Cloudは、BigQueryに対してMySQLやPostgreSQL、Oracle Databaseからニアリアルタイムで直接データのレプリケーションを可能にする新サービス「Datastream for BigQuery」をプレビューリリースし... 続きを読む

データ管理に役立つメタデータに関する勉強会を社内外で開催しました - MonotaRO Tech Blog

2022/03/04 225 users メタデータ syou6162 社内外 実例 吉田

こんにちは、データ基盤グループの吉田(id:syou6162)です。先日、モノタロウ社内で「データ管理に役立つメタデータ」に関する勉強会を開催しました。BigQueryのINFORMATION_SCHEMAを中心とした実例を豊富に盛り込んだ内容について話したのですが、社内に限らず有用な内容であると思うので、広く公開します。 開催に至っ... 続きを読む

我が家の BigQuery による台所事情分析 - nownab.log

2021/07/16 135 users OSS フレームワーク nownab.log ダッシュボード

弊家では銀行やクレジットカードの明細を BigQuery に取り込んでダッシュボードを作ったりしています。 また、そのために作った BigQuery 向けの Go 製 ETL フレームワークを OSS として公開しました。 本記事ではざっくりどんなもんかを紹介して、どう作るのかを説明します。 Google Cloud Platform Advent Calendar 20... 続きを読む

論理プログラミング言語Logicaでデータサイエンス100本ノック

2021/06/25 236 users データサイエンス100本ノック カテ クエリ 設問 言語

Googleが発表したOSSプロジェクトである論理プログラミング言語Logicaを使って、データサイエンス100本ノック(構造化データ加工編)の設問を解きながらどのような言語かを確認していく。 (BigQueryのクエリとして実行していく) 最初に、プログラミング言語Logicaの特徴を纏めておく。 論理型プログラミング言語: このカテ... 続きを読む

Google、都道府県別コロナ予測「COVID-19感染予測（日本版）」提供開始 - ITmedia NEWS

2020/11/17 249 users ITmedia News Google 提供開始 日本版

米Googleは11月17日、8月に米国向けに公開した新型コロナウイルス感染予測サービス「COVID-19 Public Forecasts」の日本版「COVID-19感染予測（日本版）」を公開した。 また、医療機関や研究機関向けにGoogle Cloud Platformで提供されるビッグデータ解析プラットフォーム「BigQuery」やCSVファイルとしても提供する。 ... 続きを読む

Google CloudがBigQueryでAWS、Azure上のデータを動かさずに分析できる「BigQuery Omni」を発表：Anthosを活用 - ＠IT

2020/07/14 115 users Azure Anthos AWS BigQuery Omni

Anthosを活用：Google CloudがBigQueryでAWS、Azure上のデータを動かさずに分析できる「BigQuery Omni」を発表 Google Cloudがアナリティクスサービス「BigQuery」のマルチクラウド対応を発表した。AWSやAzureに保存されているデータを転送したり複製したりすることなく、BigQueryで分析できるようになる。 Google Cloud... 続きを読む

近年のデータ分析基盤構築における失敗はBigQueryを採用しなかったことに全て起因している - データエンジニアの酩酊日記

2019/10/17 394 users 酩酊日記 近年 データ分析基盤構築 データエンジニア 失敗

久しぶりにペラペラな思いつきを書き捨てて、寝ます。 2、3年前ぐらいにSIerやコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでるってのが僕のすごく狭い観測範囲での印象。 AWSのReadshiftしかり。 なぜ苦しんでるかっていうと、言うほどス... 続きを読む

ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery - Speaker Deck

2019/02/17 165 users DWH ZOZOTOWN RedShift お引越

ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery 続きを読む

「BigQuery ML」：SQLで機械学習ってどういうこと？試しにSQLでロジスティック回帰を書いてみた。 | Wantedly Engineer Blog

2018/08/07 163 users ロジスティック回帰 SQL BigQuery ML 原理 一部

はじめに Google Cloud Next 2018でBigQuery MLが発表されました。 文字通り、「BigQuery + 機械学習(Machine Learning)」を実現するもののようです。さっそく試してみたので、どんなものなのかと、その原理（の一部）を紹介したいと思います。この記事ではBigQuery MLの紹介と、それを直接SQLでやったらどのくらい大変... 続きを読む

数百GBのデータをMySQLからBigQueryへ同期する - Mercari Engineering Blog

2018/06/28 166 users MySQL メルカリ siroken3 分析基盤 背景

SRE所属の @siroken3 です。最近はもっぱらパートナー会社様とのデータ連携環境構築を主に、時々プロダクションのMySQL環境と分析基盤との連携インフラの構築が多いです。 本記事は、メルカリに出品された過去すべての商品をBigQueryへ同期するにあたって取り組んだ時のお話です。 背景 当社では分析目的などでBigQuery... 続きを読む

BigQuery に関する１２の誤解の真相を明らかにする – google-cloud-jp – Medium

2018/03/20 189 users medium google-cloud-jp 訳者注 誤解

BigQuery に関する１２の誤解の真相を明らかにする この記事は Busting 12 myths about BigQuery の著者の許可を得た上で @yutah_3 が日本語訳、補足したものです。個人的に気になった話等を含めて “訳者注” を入れながら翻訳します。 割と最近、 Forrester Research のレポート The Forrester Wave™: Insight Pl... 続きを読む

ダルビッシュ有さんが2017年に投げた投球データをPythonとBigQueryで軽く調べてみた - Lean Baseball

2018/01/31 141 users faridyu shinyorke Python データ分析

2018 - 01 - 31 ダルビッシュ有さんが2017年に投げた投球データをPythonとBigQueryで軽く調べてみた 野球 Python BigQuery データ分析 今日で週休七日生活が終わる野球エンジニアこと @shinyorke です. 昨年末に,BigQueryに突っ込んだ野球データ でダルビッシュ有さん（ @faridyu ）の投球データについてかる～く調べてみました. 「今年... 続きを読む

Jupyter(Python)とBigQueryによるデータ分析基盤のDevOps #pyconjp // Speaker Deck

2017/09/08 288 users pyconjp DevOps Jupyter Python

Jupyter(Python)とBigQueryによるデータ分析基盤のDevOps #pyconjp / 20170909 続きを読む

SQLおじさん(自称)がBigQueryのStandard SQLを使ってみた

2016/10/23 186 users Twitter KUM SQL 熊野 Ryo Kumano

SQLおじさん(自称)がBigQueryのStandard SQLを使ってみた 1. http://gcpug.jp SQLおじさん(自称)がBigQueryの Standard SQLを使ってみた 熊野 良(Ryo Kumano) GCPUG Fukuoka 4th (2016/10/22) 2. http://gcpug.jp 熊野 良 (Ryo Kumano) Twitter: @kum... 続きを読む

83億レコードを移行し、日々2,500万レコードのアクセスログをBigQueryに記録している話（インフラ編） | Money Forward Engineers' Blog

2016/08/03 295 users アクセスログ ビルド マネーフォワード インフラ 村上

こんにちは。 インフラエンジニアの村上です。 マネーフォワードのインフラチームは、サービスに関わるインフラから、自社の作業環境、開発環境、さらにはサービスのインフラの中でも物理的なものからOS・ミドルウェア・アプリケーションのメンテナンス・ビルド・リリース・運用まで幅広く関与しています。 今回はGoogle Cloud PlatformのBigQueryを活用してアクセスログの分析環境を構築した時... 続きを読む

BigQueryで150万円溶かした人の顔 - Qiita

2015/12/06 640 users Qiita 枚挙 クエリ 代役 SQL

※ 代役：プロ生ちゃん（暮井 慧） 巷のBigQueryの噂と言えば「とにかく安い」「数億行フルスキャンしても早い」などなど。とりわけ料金に関しては保存しておくだけであれば無視できるほど安く、SQLに不慣れなプロデューサーがクエリを実行しても月数ドルで済むなど、賞賛すべき事例は枚挙に暇がありません。 しかしこのタイトル。僕は約150万円分使いました。まずは関係各位に改めてお詫びを。これは「主婦でも... 続きを読む

Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 - Mercari Engineering Blog

2015/09/09 146 users fluentd cubicdaiya ログデータ プログラマ

2015-09-09 Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 エンジニアではなくプログラマと呼ばれたい@cubicdaiyaです。今回はメルカリのログ分析基盤のお話です。 メルカリにおけるログデータ分析 メルカリでは初期の頃からログデータの分析をサービスの成長にとって重要なタスクとして位置づけ、そのための基盤作りに取り... 続きを読む

なぜ私たちはSumo Logicを捨ててBigQueryを選んだのか - tech.guitarrapc.cóm

2015/08/16 193 users tech.guitarrapc.cóm インフラ 運用 位置

2015-08-16 なぜ私たちはSumo Logicを捨ててBigQueryを選んだのか BigQuery SumoLogic NewRelic ASP.NET C# ログ分析サービスはアプリケーションのインフラであり、サービス開発/運用の中で重要な位置を占めます。謎社では、今年に入って利用しているログ分析サービスを、 Sumo Logic から　Google BigQuery に完全移行しまし... 続きを読む

誰でも簡単に超高速なクエリができるBigQueryとは？ - Build Insider

2015/03/31 203 users MapReduce クエリ パブリック クラウドサービス 実装

この2つの技術は、グーグル独自の技術というわけではない。しかし、ハードウェアから構築している、既存のグーグルのクラウド技術を活用し、パブリックなクラウドサービスとして提供可能なレベルの実装になっている点がGoogle BigQueryの強みとなっている。 BigQueryの特徴 他の類似サービスとの比較 巨大データを処理する技術としては、同じグーグルが使ってきたMapReduceというものがある。... 続きを読む

BigQuery と Google の Big Data Stack 2.0 - naoyaのはてなダイアリー

2014/08/15 351 users Ove naoya アーキテクチャー 洋書 インプット

先日、有志で集まって「BigQuery Analytics」という書籍の読書会をやった。その名の通り Google BigQuery について書かれた洋書。BigQuery を最近仕事で使い始めたのだけど、BigQuery が開発された背景とかアーキテクチャーとかあまり調べもせずに使い始めたので、今更ながらその辺のインプットを増やして以降と思った次第。それで、読書会の第1回目は書籍の中でも Ove... 続きを読む

fluentdでnginxのログをElasticsearchとBigQueryに保存するお話 - HowTelevision 開発者ブログ

2014/08/07 160 users nginx fluentd elasticsearch 案件

2014-08-07 fluentdでnginxのログをElasticsearchとBigQueryに保存するお話 こんにちは。夏休みに長野に行って居酒屋で馬刺しをたらふく食べていたら 地元のおっさん人生の大先輩の絡み酒に付き合わされた祖山です。 4月に入社して以降、サーバサイドのWeb開発やスクラムの導入、サイト内検索の改善など様々な業務に 取り組んでいますが、最近の大きな案件としては、アクセス... 続きを読む