ジョブエクスプローラでBigQueryのボトルネックをリサーチする - バイセル Tech Blog

2024/12/20 6 users ボトルネック バイセル Tech Blog

こちらはバイセルテクノロジーズ Advent Calendar 2024 の20日目の記事です。 昨日は辻岡さんによる「品質とスピードを両立するためにチーム体制を変えている話」でした。 こんにちは。データエンジニアの遠藤です。現在、私はデータサイエンス部に所属して「Pocket」と呼ばれる全社データ基盤の開発・運用に従事してい... 続きを読む

Cloud SQLとBigQueryのデータ同期サービス化 - enechain Tech Blog

2024/12/13 9 users Cloud SQL enechain Tech Blog

この記事はenechain Advent Calendar 2024の13日目の記事です。 (English version follows) はじめに アーキテクチャと設計上の考慮点 セキュリティ 使いやすさ 振り返りと課題 振り返り 課題 結論 Introduction Architecture and Design considerations Security Ease of use Reflection and Challenges Reflection Cha... 続きを読む

データメッシュを意識したBigQueryのデータ管理設計 - enechain Tech Blog

2024/12/12 13 users enechain Tech Blog

この記事は enechain Advent Calendar 2024 の12日目の記事です。 はじめに こんにちは！ enechain でデータプラットフォームデスクのEMをしている26Takafujiです。 私は2023年9月にenechainへジョインし、そこからちょうど1年強の時間が経ちました。 入社時はまだ全社横断のデータ基盤は検討中の段階で本格的な提供はこ... 続きを読む

「お前の口調、角が立ってて相手からみたら不快だから治せ」的な指摘は、東大、東工大院卒の新人なら半数くらいは言われる→社会は正論で殴りあってはいけない

2024/11/25 311 users 正論 口調 半数 東大 指摘

ナシェモン @nassyemon 最近はBigQueryばかり書いてます。プロマネもやってますが、本業はエンジニアです。 React/node.js/flask/AWS+terraform+serverless/BQ/elasticsearch スクール→weblab.t.u-tokyo.ac.j ナシェモン @nassyemon 「お前の口調、角が立ってて相手からみたら不快だから治せ」の趣旨の指摘は、東大、東... 続きを読む

39社のデータアーキテクチャ特集 - ツールの技術選定のポイントと活用術 - Findy Tools

2024/10/07 73 users Findy Tools データアーキテクチャ 技術選定 各社

公開日 2024/10/08更新日 2024/10/0839社のデータアーキテクチャ特集 - ツールの技術選定のポイントと活用術 8つのデータ系ツール「BigQuery」「Databricks」「dbt」「Fivetran」「Lightdash」「Looker」「Snowflake」「TROCCOⓇ」に39社からご寄稿頂いたレビューから、各社のデータアーキテクチャをまとめた記事です。各... 続きを読む

【GCP】BigQueryでのETL開発　~DataformのPJ導入と運用方法~ - Insight Edge Tech Blog

2024/09/17 9 users GCP Dataform ETL 目次 ライフサイクル

こんにちは、k-kzkです。私はInsight Edgeに参画して早2年が経ちました。 今回の記事では、私が初めて取り組んだETL開発プロジェクトと、そこで選択したツールであるDataformについてお話しします。 目次 1. はじめに 1.1 ETL 開発とは 1.2 Dataform の選定理由 2. Dataform を利用した ETL 開発のライフサイクル 2.1 リ... 続きを読む

BigQueryの導入理由から新機能Analytics Hubによるコスト削減まで。プレイドのCore Platformチームが活用法を解説する - Findy Tools

2024/08/26 11 users ブレイド アーキ Brown Findy Tools コア

公開日 2024/08/26更新日 2024/08/26BigQueryの導入理由から新機能Analytics Hubによるコスト削減まで。プレイドのCore Platformチームが活用法を解説する はじめに株式会社プレイドのCore Platformチームに所属しているBrownです。このたびはプレイドでコアに使用しているBigQueryについて、なぜBigQueryをコアのアーキ... 続きを読む

BigQueryの承認済みビューを利用した社内データ公開設計 - enechain Tech Blog

2024/07/30 22 users enechain enechain Tech Blog

はじめに 旧BigQuery構成と課題点 新GCP Project/BigQuery構成 承認済みビューの設定 結果 終わりに はじめに enechainのデータプラットフォームデスクで2年目エンジニアをしている菱沼です。 本記事では、社内ユーザに対する閲覧権限をBigQueryの承認済みビューを用いて改善した例をご紹介します。 事業規模の拡大に伴... 続きを読む

AWSだ! Google Cloudだ! Azureだ! 認証連携だ！

2024/05/22 23 users Azure ワークロード IaaS AWS プロバイダー

昨今は、さまざまな要因から、複数のクラウド（IaaS）プロバイダーを活用することが多くなりました。例えば、サービスのワークロードはAWSだが、データ分析はGoogle CloudのBigQueryを使うなどです。異なるプロバイダー間でのリソースにアクセスするには、認証が必要であり、シークレットを安全に発行・交換する必要があ... 続きを読む

全社データ活用基盤をTreasureDataからBigQueryへ移行しました - Leverages データ戦略ブログ

2024/05/20 6 users TreasureData クエリ 全社 森下 データ基盤

はじめに こんにちは。データエンジニアリンググループの森下です。今回は、私がプロジェクトマネージャーとして約3年間かけて実施した、TreasureDataからBigQueryへの全社データ活用基盤移行プロジェクトについてお話します。このプロジェクトは、全社で1日あたり数千件のクエリが実行されるデータ基盤を移行するという... 続きを読む

Google Cloud Next’24で発表されたBigQueryのアップデート情報をまとめました | DevelopersIO

2024/04/14 8 users DevelopersIO はんざわ セッション 多数 新機能

Google CLoudデータエンジニアのはんざわです。 Google Cloud Next'24において、各サービスで多数のアップデート情報が紹介されました。 この記事では、BigQueryのアップデート情報、特にデータエンジニア向けの情報をまとめて紹介したいと思います！ 新機能が発表されたセッションとその内容を簡単に紹介していきます！... 続きを読む

分析基盤へのデータ連携処理をEmbulkからAmazon Aurora S3 Export機能に切り替えた話 - BASEプロダクトチームブログ

2024/03/27 12 users embulk Looker 分析基盤 base 側面

はじめに こんにちは！Data Platformチームでデータエンジニアとして働いている @shota.imazeki です。 分析基盤の構築・運用などの側面から社内のデータ活用の促進を行っています。 BASEではAurora MySQLにあるデータをEmbulkを用いてBigQueryに連携しています。BigQueryへ連携されたデータは分析基盤としてLookerなど... 続きを読む

BigQueryでクエリ一撃で29万円溶かしたけど助かった人の顔

2024/01/29 207 users Solana オヤ ニュース お笑い

SolanaのPublic DataをBigQueryで取得したかった# えー、お笑いを一席. ブロックチェーンSolanaのデータがGoogle Cloud BigQueryで使えるようになったというニュースをたまたまネット推薦記事でみかけた1. おや, 面白そうだ. ちょっとやってみようかな… BigQueryはさわるのが１年以上つかってないかも, どうやるんだっけ... 続きを読む

現実の CSV ファイルのデータを BigQuery に load する仕組みを作るという泥臭い作業を dlt でやってみる

2024/01/28 7 users DLT load CSV 泥臭い作業 現実

インストールされたバージョンを確認。 $ dlt --version dlt 0.3.25 また、gsfs, pandas, streamlit, google-cloud-bigquery-storage も必要になるのでインストールしておく。 2. pipeline project を作成#次のコマンドで pipeline project を用意する。 これは verified source として Filesystem、destination として ... 続きを読む

BigQuery で Vertex AI の LLM を使用して SQL のみで RAG を構築する

2024/01/23 6 users LLM Rag SQL Vertex AI

はじめに こんにちは、Google Cloud Partner Top Engineer 2024 を受賞いたしました、クラウドエース データソリューション部の松本です。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを... 続きを読む

BigQueryにおけるdbtの増分更新についてまとめてみた - Timee Product Team Blog

2023/12/08 6 users Qiita dbt Timee 現職 ビルド

はじめに ※Timeeのカレンダー | Advent Calendar 2023 - Qiitaの12月8日分の記事です。 okodooooooonです BigQueryの料金爆発。怖いですよね。 dbtでの開発が進んでたくさんのモデルを作るようになると、デイリーのビルドだけでも凄まじいお金が消えていったりします（僕はもう現職で数え切れないくらいやらかしてます）... 続きを読む

全社横断データ基盤における部分的セルフサービス化への取り組み - Sansan Tech Blog

2023/12/08 7 users Sansan Tech Blog ランニング おかげ 半年

研究開発部 Architect Groupの大澤秀一です。ブログ寄稿は約2年ぶりです。半年ぐらい前からランニングを始めて、先日フルマラソン完走してきました。おかげで足はボロボロです（笑）。 さて、私たちはBigQueryを中心とした、全社横断データ基盤（以下、データ基盤）の構築とデータ基盤をもとに社内のデータ利活用を推進... 続きを読む

BigQueryのオンデマンドクエリの利用量にフタをする (上限を設ける) - G-gen Tech Blog

2023/09/26 15 users ふた 杉村 上限 G-gen Tech Blog G-gen

G-gen の杉村です。BigQuery のオンデマンドクエリの利用量にフタをする、つまりスキャンデータ量に上限を設けて突発課金が起きないようにする工夫について紹介します。 はじめに 割り当て (Quota) の設定 Query usage per day 設定手順 割り当て画面へ遷移 対象の割り当てをフィルタ 編集ボタンをクリック 割り当てを設... 続きを読む

ZennにみるCloudRunとBigQueryによるアプリケーション構築 / zenn-cloudrun-bigquery-serverless

2023/09/23 75 users Zenn CloudRun アプリケーショ サーバーレス 部分

Zennは、クラスメソッドが展開する技術者向けの知識共有プラットフォームです。Cloud Runを中心としたGoogle Cloudのソリューションをメインで使用しており、スケーラブルなWebアプリケーションとなっています。 このセッションでは、「サーバーレスとはなにか」という部分から改めてディスカッションし、アプリケーショ... 続きを読む

BigQuery や Google Workspace のログを使って分析環境を管理する｜Mercari Analytics Blog

2023/09/05 7 users 野本 メルカリ 監査ログ Google Workspace

BI Product チームの野本です。 メルカリでは Google BigQuery 監査ログと Google Workspace ログイベントを BigQuery にエクスポートして、データ分析環境の管理に活用しています。アクセス履歴を詳細に調べられる BigQuery 監査ログは、分析環境のコスト最適化やテーブルの変更時の影響範囲調査などの管理業務にとても... 続きを読む

［速報］Google、AIが支援してくれる「Duet AI」サービス群を多数展開へ。Google WorkspaceやBigQuery、Looker、Meet、Chatなど。Google Cloud Next '23

2023/08/29 79 users Looker Meet chat Duet AI Google

［速報］Google、AIが支援してくれる「Duet AI」サービス群を多数展開へ。Google WorkspaceやBigQuery、Looker、Meet、Chatなど。Google Cloud Next '23 Googleは、日本時間の明日午前1時から開催されるイベント「Google Cloud Next '23」で、AIが人間の作業を支援してくれる「Duet AI」サービス群を多数発表します。 同... 続きを読む

オウンドメディア担当者が知っておきたい GA4 × BigQuery 前編（寄稿：小川卓） - はてなビジネスブログ

2023/08/24 11 users 寄稿 オウンドメディア 小川卓 ryuka01 前編

株式会社HAPPY ANALYTICSの小川卓（id:ryuka01）です。 今回は、全2回で Google アナリティクス4（以下「GA4」) × BigQuery に関して紹介をしていきます。 第1回は、BigQueryについての基本的なご説明と、GA4連携におけるメリットなどについてご紹介していきます。 GA4 × BigQuery を活用することで、オウンドメディアの... 続きを読む

データマーケティングの強い味方！？BigQueryと大規模言語モデル(LLM)の統合で始める検索意図分析の事例｜田口 信元

2023/08/21 15 users LLM ゆび 田口 グロースチーム 受診

データマーケティングの強い味方！？BigQueryと大規模言語モデル(LLM)の統合で始める検索意図分析の事例 初めまして、Ubie Product Platformのグロースチームでエンジニアをしてる田口です。「健康が空気のように自然になる世界」を目指し、症状検索による発症から受診までのサポートするサービス症状検索エンジン「ユビ... 続きを読む

データ基盤の管理に役立つ監視用のSQLを紹介します - 10X Product Blog

2023/07/31 103 users SQL データ基盤 syou6162 監視用 監視

Analytics Engineerの吉田(id:syou6162)です。BigQueryを中心に10X社内のデータ関連の管理をしています。10Xに入社してそろそろ一年になろうかとしていますが、データ基盤を適切に管理 / 運用するためにSQLによる監視を少しずつ取り入れています。この記事では、具体的にどのようなSQLを書いて監視しているのか紹介した... 続きを読む

統計ダッシュボード機能を BigQuery と BI Engine で実装する

2023/07/28 8 users Zenn tl;dr 本稿 Google Analyt 課題

先日、統計ダッシュボード機能(β)をリリースしました。記事をひとつでも公開している場合、Zennにログインすればどなたでも統計情報を表示できます。執筆頻度の確認や閲覧回数の参考にお役立てください。 本稿ではどのように実現したかについて課題とともに記録します。 TL;DR 投稿ページの表示イベントは Google Analyt... 続きを読む