Google Cloud Next’24で発表されたBigQueryのアップデート情報をまとめました | DevelopersIO

2024/04/14 8 users DevelopersIO はんざわ セッション 多数 新機能

Google CLoudデータエンジニアのはんざわです。 Google Cloud Next'24において、各サービスで多数のアップデート情報が紹介されました。 この記事では、BigQueryのアップデート情報、特にデータエンジニア向けの情報をまとめて紹介したいと思います！ 新機能が発表されたセッションとその内容を簡単に紹介していきます！... 続きを読む

分析基盤へのデータ連携処理をEmbulkからAmazon Aurora S3 Export機能に切り替えた話 - BASEプロダクトチームブログ

2024/03/27 12 users embulk Looker 分析基盤 base 側面

はじめに こんにちは！Data Platformチームでデータエンジニアとして働いている @shota.imazeki です。 分析基盤の構築・運用などの側面から社内のデータ活用の促進を行っています。 BASEではAurora MySQLにあるデータをEmbulkを用いてBigQueryに連携しています。BigQueryへ連携されたデータは分析基盤としてLookerなど... 続きを読む

BigQueryでクエリ一撃で29万円溶かしたけど助かった人の顔

2024/01/29 207 users Solana オヤ ニュース お笑い

SolanaのPublic DataをBigQueryで取得したかった# えー、お笑いを一席. ブロックチェーンSolanaのデータがGoogle Cloud BigQueryで使えるようになったというニュースをたまたまネット推薦記事でみかけた1. おや, 面白そうだ. ちょっとやってみようかな… BigQueryはさわるのが１年以上つかってないかも, どうやるんだっけ... 続きを読む

現実の CSV ファイルのデータを BigQuery に load する仕組みを作るという泥臭い作業を dlt でやってみる

2024/01/28 7 users DLT load CSV 泥臭い作業 現実

インストールされたバージョンを確認。 $ dlt --version dlt 0.3.25 また、gsfs, pandas, streamlit, google-cloud-bigquery-storage も必要になるのでインストールしておく。 2. pipeline project を作成#次のコマンドで pipeline project を用意する。 これは verified source として Filesystem、destination として ... 続きを読む

BigQuery で Vertex AI の LLM を使用して SQL のみで RAG を構築する

2024/01/23 6 users LLM Rag SQL Vertex AI

はじめに こんにちは、Google Cloud Partner Top Engineer 2024 を受賞いたしました、クラウドエース データソリューション部の松本です。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを... 続きを読む

BigQueryにおけるdbtの増分更新についてまとめてみた - Timee Product Team Blog

2023/12/08 6 users Qiita dbt Timee 現職 ビルド

はじめに ※Timeeのカレンダー | Advent Calendar 2023 - Qiitaの12月8日分の記事です。 okodooooooonです BigQueryの料金爆発。怖いですよね。 dbtでの開発が進んでたくさんのモデルを作るようになると、デイリーのビルドだけでも凄まじいお金が消えていったりします（僕はもう現職で数え切れないくらいやらかしてます）... 続きを読む

全社横断データ基盤における部分的セルフサービス化への取り組み - Sansan Tech Blog

2023/12/08 7 users Sansan Tech Blog ランニング おかげ 半年

研究開発部 Architect Groupの大澤秀一です。ブログ寄稿は約2年ぶりです。半年ぐらい前からランニングを始めて、先日フルマラソン完走してきました。おかげで足はボロボロです（笑）。 さて、私たちはBigQueryを中心とした、全社横断データ基盤（以下、データ基盤）の構築とデータ基盤をもとに社内のデータ利活用を推進... 続きを読む

BigQueryのオンデマンドクエリの利用量にフタをする (上限を設ける) - G-gen Tech Blog

2023/09/26 15 users ふた 杉村 上限 G-gen Tech Blog G-gen

G-gen の杉村です。BigQuery のオンデマンドクエリの利用量にフタをする、つまりスキャンデータ量に上限を設けて突発課金が起きないようにする工夫について紹介します。 はじめに 割り当て (Quota) の設定 Query usage per day 設定手順 割り当て画面へ遷移 対象の割り当てをフィルタ 編集ボタンをクリック 割り当てを設... 続きを読む

ZennにみるCloudRunとBigQueryによるアプリケーション構築 / zenn-cloudrun-bigquery-serverless

2023/09/23 75 users Zenn CloudRun アプリケーショ サーバーレス 部分

Zennは、クラスメソッドが展開する技術者向けの知識共有プラットフォームです。Cloud Runを中心としたGoogle Cloudのソリューションをメインで使用しており、スケーラブルなWebアプリケーションとなっています。 このセッションでは、「サーバーレスとはなにか」という部分から改めてディスカッションし、アプリケーショ... 続きを読む

BigQuery や Google Workspace のログを使って分析環境を管理する｜Mercari Analytics Blog

2023/09/05 7 users 野本 メルカリ 監査ログ Google Workspace

BI Product チームの野本です。 メルカリでは Google BigQuery 監査ログと Google Workspace ログイベントを BigQuery にエクスポートして、データ分析環境の管理に活用しています。アクセス履歴を詳細に調べられる BigQuery 監査ログは、分析環境のコスト最適化やテーブルの変更時の影響範囲調査などの管理業務にとても... 続きを読む

［速報］Google、AIが支援してくれる「Duet AI」サービス群を多数展開へ。Google WorkspaceやBigQuery、Looker、Meet、Chatなど。Google Cloud Next '23

2023/08/29 79 users Looker Meet chat Duet AI Google

［速報］Google、AIが支援してくれる「Duet AI」サービス群を多数展開へ。Google WorkspaceやBigQuery、Looker、Meet、Chatなど。Google Cloud Next '23 Googleは、日本時間の明日午前1時から開催されるイベント「Google Cloud Next '23」で、AIが人間の作業を支援してくれる「Duet AI」サービス群を多数発表します。 同... 続きを読む

オウンドメディア担当者が知っておきたい GA4 × BigQuery 前編（寄稿：小川卓） - はてなビジネスブログ

2023/08/24 11 users 寄稿 オウンドメディア 小川卓 ryuka01 前編

株式会社HAPPY ANALYTICSの小川卓（id:ryuka01）です。 今回は、全2回で Google アナリティクス4（以下「GA4」) × BigQuery に関して紹介をしていきます。 第1回は、BigQueryについての基本的なご説明と、GA4連携におけるメリットなどについてご紹介していきます。 GA4 × BigQuery を活用することで、オウンドメディアの... 続きを読む

データマーケティングの強い味方！？BigQueryと大規模言語モデル(LLM)の統合で始める検索意図分析の事例｜田口 信元

2023/08/21 15 users LLM ゆび 田口 グロースチーム 受診

データマーケティングの強い味方！？BigQueryと大規模言語モデル(LLM)の統合で始める検索意図分析の事例 初めまして、Ubie Product Platformのグロースチームでエンジニアをしてる田口です。「健康が空気のように自然になる世界」を目指し、症状検索による発症から受診までのサポートするサービス症状検索エンジン「ユビ... 続きを読む

データ基盤の管理に役立つ監視用のSQLを紹介します - 10X Product Blog

2023/07/31 103 users SQL データ基盤 syou6162 監視用 監視

Analytics Engineerの吉田(id:syou6162)です。BigQueryを中心に10X社内のデータ関連の管理をしています。10Xに入社してそろそろ一年になろうかとしていますが、データ基盤を適切に管理 / 運用するためにSQLによる監視を少しずつ取り入れています。この記事では、具体的にどのようなSQLを書いて監視しているのか紹介した... 続きを読む

統計ダッシュボード機能を BigQuery と BI Engine で実装する

2023/07/28 8 users Zenn tl;dr 本稿 Google Analyt 課題

先日、統計ダッシュボード機能(β)をリリースしました。記事をひとつでも公開している場合、Zennにログインすればどなたでも統計情報を表示できます。執筆頻度の確認や閲覧回数の参考にお役立てください。 本稿ではどのように実現したかについて課題とともに記録します。 TL;DR 投稿ページの表示イベントは Google Analyt... 続きを読む

【アップデート情報】 BigQueryで主キーと外部キーが正式にサポートされるようになりました | DevelopersIO

2023/07/28 12 users RDB DevelopersIO 挙動 はんざわ 検証

Google Cloudのデータエンジニアをしています、はんざわです。 先日のアップデートで主キーと外部キー正式にGAになりました。 BigQuery release notes とはいえ、大多数の人が想像するRDBの主キーや外部キーと挙動が違ったりする部分もあるので実際の検証も含めながら触っていきたいと思います。 できないこととできるこ... 続きを読む

Google、iPaaS「Application Integration」正式リリース。Salesforceやkintone、BigQuery、MySQLなど多数のサービスをGUIで接続

2023/07/24 85 users SalesForce kintone iPaaS GUI 接続

Google、iPaaS「Application Integration」正式リリース。Salesforceやkintone、BigQuery、MySQLなど多数のサービスをGUIで接続 Google Cloudは新サービス「Applicatoin Integration」の正式リリースを発表しました。 Application Integrationは、さまざまなサービスを統合する、いわゆる「iPaas」（Integration PaaS）... 続きを読む

ぼくのかんがえたさいきょうのスプレッドシート関数 - ブログ - 株式会社JADE

2023/04/13 19 users Jade ボク 株式会社JADE 小坂 BIツール

はじめまして、こんにちは、こんばんは。JADEでSEOコンサルタントをやっております、小坂と申します。 JADEのブログを読んでくださっている皆様の多くは日々データ分析や調査をされているのではないかと思います。Looker Studioのような便利なBIツールを利用したり、BigQueryを駆使することが増えている昨今。それでもな... 続きを読む

【速報】 BigQuery の料金体系が変更されます | DevelopersIO

2023/03/29 45 users DevelopersIO シガー enterprise 速報

ウィスキー、シガー、パイプをこよなく愛する大栗です。 先程開催されたGoogle Data Cloud & AI Summitにて、BigQuery の料金体系の変更が発表されましたので、レポートします。 Introduction to BigQuery editions Dataset storage billing models BigQuery editions BigQuery で Standard、Enterprise、Enterprise Plu... 続きを読む

BigQueryに大幅アップデート！コスト最適化の可能性あり | iret.media

2023/03/29 16 users ヘビーユーザー おさらい AI Summit 検証 コスト

本日の Google Data Cloud & AI Summit にて BigQuery に対する超有益なアップデートが発表されました！ 価格体系の変更について、有効的に活用すればコストの最適化ができるものになります。 ヘビーユーザーは当然のこと、ライトユーザーやこれから検証のために少し触ってみたいような方々に向け、 おさらいも交えなが... 続きを読む

2023 年の BigQuery 権限管理

2023/02/16 14 users GCP インフラ 公式ドキュメント 資料 ゲーム

Transcript 2023 年の BigQuery 権限管理 na0 酒とゲームとインフラとGCP 第18回 はじめのはじめに BigQuery はとても楽しい • 今日の話を知らなくても BigQuery を触り始めるのに差し支えなし！ 気楽に聞いてね • 49 ページ / 20 分 • 資料公開済み Twitter @ na0fu3y • この資料よりも公式ドキュメントが詳しく正しい ... 続きを読む

freee：データ ウェアハウス構築に BigQuery を採用することで、5 ～ 10 倍のパフォーマンスと運用性、利便性を向上 | Google Cloud 公式ブログ

2023/01/31 5 users freee freee株式会社 パフォーマンス 中小企業 向上

freee：データ ウェアハウス構築に BigQuery を採用することで、5 ～ 10 倍のパフォーマンスと運用性、利便性を向上 個人事業や中小企業などのスモール ビジネスに携わるすべての人が、自由に自然体で経営できる環境をつくるための「統合型経営プラットフォーム」を開発、提供する freee株式会社（以下、freee）。2013 ... 続きを読む

商品数の増加を見据えて商品情報作成処理をPythonからBigQueryに移行した話 | SQLによるバッチ処理で工夫した3つのポイント - MonotaRO Tech Blog

2023/01/24 17 users SQL Python バッチ処理 増加 ポイント

こんにちは、EC基盤グループ 商品情報基盤チームの江村です。今回は私が所属している商品情報基盤チームで構築、運用を行っているシステムについてお話します。 モノタロウでは以前から記事になっていますが、検索システムの移行を行っており、現在商品検索ページの裏側の検索システムのSolrからElasticsearchへの切り替... 続きを読む

BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 - エンジニアHub｜Webエンジニアのキャリアを考える！

2022/12/22 133 users ハンズオン エンジニアHub Google Cloud 技術

エンジニアHub > 記事一覧 > BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 Googleの高度な技術を利用できるGoogle Cloudにおいて、BigQueryは大規模データ... 続きを読む

BigQuery と Snowflake を徹底比較

2022/12/21 119 users Snowflake 徹底比較

最初にBigQueryとSnowflakeの概要と、登場の背景を説明します。 その後、ユーザにとっての使い勝手と、管理者にとっての使い勝手を、ベンダーフリーな立場でそれぞれします。 最後に、BigQueryとSnowflakeどっちが速いのか？といった疑問に対して、アーキテクチャをもとに考察します。 続きを読む