BigQueryでクエリ一撃で29万円溶かしたけど助かった人の顔

2024/01/29 207 users Solana オヤ ニュース お笑い

SolanaのPublic DataをBigQueryで取得したかった# えー、お笑いを一席. ブロックチェーンSolanaのデータがGoogle Cloud BigQueryで使えるようになったというニュースをたまたまネット推薦記事でみかけた1. おや, 面白そうだ. ちょっとやってみようかな… BigQueryはさわるのが１年以上つかってないかも, どうやるんだっけ... 続きを読む

ZennにみるCloudRunとBigQueryによるアプリケーション構築 / zenn-cloudrun-bigquery-serverless

2023/09/23 75 users Zenn CloudRun アプリケーショ サーバーレス 部分

Zennは、クラスメソッドが展開する技術者向けの知識共有プラットフォームです。Cloud Runを中心としたGoogle Cloudのソリューションをメインで使用しており、スケーラブルなWebアプリケーションとなっています。 このセッションでは、「サーバーレスとはなにか」という部分から改めてディスカッションし、アプリケーショ... 続きを読む

［速報］Google、AIが支援してくれる「Duet AI」サービス群を多数展開へ。Google WorkspaceやBigQuery、Looker、Meet、Chatなど。Google Cloud Next '23

2023/08/29 79 users Looker Meet chat Duet AI Google

［速報］Google、AIが支援してくれる「Duet AI」サービス群を多数展開へ。Google WorkspaceやBigQuery、Looker、Meet、Chatなど。Google Cloud Next '23 Googleは、日本時間の明日午前1時から開催されるイベント「Google Cloud Next '23」で、AIが人間の作業を支援してくれる「Duet AI」サービス群を多数発表します。 同... 続きを読む

データ基盤の管理に役立つ監視用のSQLを紹介します - 10X Product Blog

2023/07/31 103 users SQL データ基盤 syou6162 監視用 監視

Analytics Engineerの吉田(id:syou6162)です。BigQueryを中心に10X社内のデータ関連の管理をしています。10Xに入社してそろそろ一年になろうかとしていますが、データ基盤を適切に管理 / 運用するためにSQLによる監視を少しずつ取り入れています。この記事では、具体的にどのようなSQLを書いて監視しているのか紹介した... 続きを読む

Google、iPaaS「Application Integration」正式リリース。Salesforceやkintone、BigQuery、MySQLなど多数のサービスをGUIで接続

2023/07/24 85 users SalesForce kintone iPaaS GUI 接続

Google、iPaaS「Application Integration」正式リリース。Salesforceやkintone、BigQuery、MySQLなど多数のサービスをGUIで接続 Google Cloudは新サービス「Applicatoin Integration」の正式リリースを発表しました。 Application Integrationは、さまざまなサービスを統合する、いわゆる「iPaas」（Integration PaaS）... 続きを読む

BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 - エンジニアHub｜Webエンジニアのキャリアを考える！

2022/12/22 133 users ハンズオン エンジニアHub Google Cloud 技術

エンジニアHub > 記事一覧 > BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 Googleの高度な技術を利用できるGoogle Cloudにおいて、BigQueryは大規模データ... 続きを読む

BigQuery と Snowflake を徹底比較

2022/12/21 119 users Snowflake 徹底比較

最初にBigQueryとSnowflakeの概要と、登場の背景を説明します。 その後、ユーザにとっての使い勝手と、管理者にとっての使い勝手を、ベンダーフリーな立場でそれぞれします。 最後に、BigQueryとSnowflakeどっちが速いのか？といった疑問に対して、アーキテクチャをもとに考察します。 続きを読む

BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場

2022/09/19 163 users レプリケーション PostgreSQL MySQL データ

BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場 Google Cloudは、BigQueryに対してMySQLやPostgreSQL、Oracle Databaseからニアリアルタイムで直接データのレプリケーションを可能にする新サービス「Datastream for BigQuery」をプレビューリリースし... 続きを読む

データ管理に役立つメタデータに関する勉強会を社内外で開催しました - MonotaRO Tech Blog

2022/03/04 225 users メタデータ syou6162 社内外 実例 吉田

こんにちは、データ基盤グループの吉田(id:syou6162)です。先日、モノタロウ社内で「データ管理に役立つメタデータ」に関する勉強会を開催しました。BigQueryのINFORMATION_SCHEMAを中心とした実例を豊富に盛り込んだ内容について話したのですが、社内に限らず有用な内容であると思うので、広く公開します。 開催に至っ... 続きを読む

我が家の BigQuery による台所事情分析 - nownab.log

2021/07/16 135 users OSS フレームワーク nownab.log ダッシュボード

弊家では銀行やクレジットカードの明細を BigQuery に取り込んでダッシュボードを作ったりしています。 また、そのために作った BigQuery 向けの Go 製 ETL フレームワークを OSS として公開しました。 本記事ではざっくりどんなもんかを紹介して、どう作るのかを説明します。 Google Cloud Platform Advent Calendar 20... 続きを読む

論理プログラミング言語Logicaでデータサイエンス100本ノック

2021/06/25 236 users データサイエンス100本ノック カテ クエリ 設問 言語

Googleが発表したOSSプロジェクトである論理プログラミング言語Logicaを使って、データサイエンス100本ノック(構造化データ加工編)の設問を解きながらどのような言語かを確認していく。 (BigQueryのクエリとして実行していく) 最初に、プログラミング言語Logicaの特徴を纏めておく。 論理型プログラミング言語: このカテ... 続きを読む

Google、都道府県別コロナ予測「COVID-19感染予測（日本版）」提供開始 - ITmedia NEWS

2020/11/17 249 users ITmedia News Google 提供開始 日本版

米Googleは11月17日、8月に米国向けに公開した新型コロナウイルス感染予測サービス「COVID-19 Public Forecasts」の日本版「COVID-19感染予測（日本版）」を公開した。 また、医療機関や研究機関向けにGoogle Cloud Platformで提供されるビッグデータ解析プラットフォーム「BigQuery」やCSVファイルとしても提供する。 ... 続きを読む

Google CloudがBigQueryでAWS、Azure上のデータを動かさずに分析できる「BigQuery Omni」を発表：Anthosを活用 - ＠IT

2020/07/14 115 users Azure Anthos AWS BigQuery Omni

Anthosを活用：Google CloudがBigQueryでAWS、Azure上のデータを動かさずに分析できる「BigQuery Omni」を発表 Google Cloudがアナリティクスサービス「BigQuery」のマルチクラウド対応を発表した。AWSやAzureに保存されているデータを転送したり複製したりすることなく、BigQueryで分析できるようになる。 Google Cloud... 続きを読む

近年のデータ分析基盤構築における失敗はBigQueryを採用しなかったことに全て起因している - データエンジニアの酩酊日記

2019/10/17 394 users 酩酊日記 近年 データ分析基盤構築 データエンジニア 失敗

久しぶりにペラペラな思いつきを書き捨てて、寝ます。 2、3年前ぐらいにSIerやコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでるってのが僕のすごく狭い観測範囲での印象。 AWSのReadshiftしかり。 なぜ苦しんでるかっていうと、言うほどス... 続きを読む

ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery - Speaker Deck

2019/02/17 165 users DWH ZOZOTOWN RedShift お引越

ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery 続きを読む

BigQueryのコスト可視化ダッシュボードを10分で作る - 下町柚子黄昏記 by @yuzutas0

2018/12/18 50 users 下町柚子黄昏記 by @yuzutas 10分

この記事はGoogle Cloud Platform その１ Advent Calendar 2018 - 18日目の記事です。 以前こういうブコメをしたのですが、言いっ放しだとダサいので、具体的なやり方を書きます。 "アカウントごと/日付ごとのBigQueryコストを可視化できるダッシュボード" なら Stackdriver + BQ + Datastudio を使うと作業時間10分・ほ... 続きを読む

BigQueryでレインボーテーブル攻撃をしてみた - Qiita

2018/12/07 95 users Qiita

とりあえず、アルファベット小文字6文字以下の範囲を総当たり的に探索してみます。 アルファベット1文字だけのテーブルである chars を作成し、それを CROSS JOIN することですべての総当たりパターンを網羅させます。 そして、それら全てに対して、sha256を計算して、目的のハッシュ値を満たすものを表示します。 #stan... 続きを読む

BigQueryで協調フィルタリングを使って使用食材が似たレシピを探す話 - おいしい健康　開発者ブログ

2018/11/13 57 users iOS サーバーサイド 花井 Swift 協調フィルタリング

こんにちは。おいしい健康エンジニアの花井です。 今年の8月に入社しまして、iOS(クライアント)、API(サーバーサイド)、データ分析など幅広くやっています。 言語で言うと、Ruby(Ruby on Rails), Swift, Pythonですね。 今回は、食材が似たレシピを探す話、と題しておいしい健康のデータ分析の話をします。 概要 おいし... 続きを読む

BigQueryの新機能を使ってクエリ料金を1/1000にする - Kaizen Platform 開発者ブログ

2018/09/19 76 users BigQue 大迫 Kaizen Platform 行動ログ

こんにちは、エンジニアの大迫です。 Kaizen Platformでは、以前からGoogle BigQueryを利用して、ウェブサイトの行動ログや広告の配信レポートなど様々なデータを保存・活用できるような仕組みを整え、お客様のウェブサイトや広告クリエイティブの改善に取り組んできました。特にここ最近では、非エンジニア向けにBigQue... 続きを読む

「BigQuery ML」：SQLで機械学習ってどういうこと？試しにSQLでロジスティック回帰を書いてみた。 | Wantedly Engineer Blog

2018/08/07 163 users ロジスティック回帰 SQL BigQuery ML 原理 一部

はじめに Google Cloud Next 2018でBigQuery MLが発表されました。 文字通り、「BigQuery + 機械学習(Machine Learning)」を実現するもののようです。さっそく試してみたので、どんなものなのかと、その原理（の一部）を紹介したいと思います。この記事ではBigQuery MLの紹介と、それを直接SQLでやったらどのくらい大変... 続きを読む

Google Cloud Platform Japan 公式ブログ: 株式会社バンダイナムコスタジオ様の導入事例動画： Google App Engine の活用で、ゲームリリース後のトラブルとは無縁の「平和な日々」という驚きを体験

2018/07/04 89 users 無縁 Compute Engine トラブル 活用 日々

Google Cloud Platform (Google App Engine, Compute Engine, BigQuery や Container Engine など）の情報の日本公式ブログ 続きを読む

数百GBのデータをMySQLからBigQueryへ同期する - Mercari Engineering Blog

2018/06/28 166 users MySQL メルカリ siroken3 分析基盤 背景

SRE所属の @siroken3 です。最近はもっぱらパートナー会社様とのデータ連携環境構築を主に、時々プロダクションのMySQL環境と分析基盤との連携インフラの構築が多いです。 本記事は、メルカリに出品された過去すべての商品をBigQueryへ同期するにあたって取り組んだ時のお話です。 背景 当社では分析目的などでBigQuery... 続きを読む

BigQuery に関する１２の誤解の真相を明らかにする – google-cloud-jp – Medium

2018/03/20 189 users medium google-cloud-jp 訳者注 誤解

BigQuery に関する１２の誤解の真相を明らかにする この記事は Busting 12 myths about BigQuery の著者の許可を得た上で @yutah_3 が日本語訳、補足したものです。個人的に気になった話等を含めて “訳者注” を入れながら翻訳します。 割と最近、 Forrester Research のレポート The Forrester Wave™: Insight Pl... 続きを読む

RedshiftとBigQueryでよく使うSQLの違いTips - Gunosyデータ分析ブログ

2018/02/28 67 users RedShift Gunosy SQL インターン 小川

2018 - 02 - 28 RedshiftとBigQueryでよく使うSQLの違いTips データ分析部インターン生の小川です。インターンでは主に動画収集のロジック実装に取り組んでいました。 Gunosyではログの管理にRedshiftとBigQueryを使用しています。 サービスはAWS上で動いているものも多いので基本はRedshiftで、ログの量が多いものやアドホック分析に用いるものはBi... 続きを読む

ダルビッシュ有さんが2017年に投げた投球データをPythonとBigQueryで軽く調べてみた - Lean Baseball

2018/01/31 141 users faridyu shinyorke Python データ分析

2018 - 01 - 31 ダルビッシュ有さんが2017年に投げた投球データをPythonとBigQueryで軽く調べてみた 野球 Python BigQuery データ分析 今日で週休七日生活が終わる野球エンジニアこと @shinyorke です. 昨年末に,BigQueryに突っ込んだ野球データ でダルビッシュ有さん（ @faridyu ）の投球データについてかる～く調べてみました. 「今年... 続きを読む