AWSだ! Google Cloudだ! Azureだ! 認証連携だ！

2024/05/22 23 users Azure ワークロード IaaS AWS プロバイダー

昨今は、さまざまな要因から、複数のクラウド（IaaS）プロバイダーを活用することが多くなりました。例えば、サービスのワークロードはAWSだが、データ分析はGoogle CloudのBigQueryを使うなどです。異なるプロバイダー間でのリソースにアクセスするには、認証が必要であり、シークレットを安全に発行・交換する必要があ... 続きを読む

分析基盤へのデータ連携処理をEmbulkからAmazon Aurora S3 Export機能に切り替えた話 - BASEプロダクトチームブログ

2024/03/27 12 users embulk Looker 分析基盤 base 側面

はじめに こんにちは！Data Platformチームでデータエンジニアとして働いている @shota.imazeki です。 分析基盤の構築・運用などの側面から社内のデータ活用の促進を行っています。 BASEではAurora MySQLにあるデータをEmbulkを用いてBigQueryに連携しています。BigQueryへ連携されたデータは分析基盤としてLookerなど... 続きを読む

BigQueryでクエリ一撃で29万円溶かしたけど助かった人の顔

2024/01/29 207 users Solana オヤ ニュース お笑い

SolanaのPublic DataをBigQueryで取得したかった# えー、お笑いを一席. ブロックチェーンSolanaのデータがGoogle Cloud BigQueryで使えるようになったというニュースをたまたまネット推薦記事でみかけた1. おや, 面白そうだ. ちょっとやってみようかな… BigQueryはさわるのが１年以上つかってないかも, どうやるんだっけ... 続きを読む

BigQueryのオンデマンドクエリの利用量にフタをする (上限を設ける) - G-gen Tech Blog

2023/09/26 15 users ふた 杉村 上限 G-gen Tech Blog G-gen

G-gen の杉村です。BigQuery のオンデマンドクエリの利用量にフタをする、つまりスキャンデータ量に上限を設けて突発課金が起きないようにする工夫について紹介します。 はじめに 割り当て (Quota) の設定 Query usage per day 設定手順 割り当て画面へ遷移 対象の割り当てをフィルタ 編集ボタンをクリック 割り当てを設... 続きを読む

ZennにみるCloudRunとBigQueryによるアプリケーション構築 / zenn-cloudrun-bigquery-serverless

2023/09/23 75 users Zenn CloudRun アプリケーショ サーバーレス 部分

Zennは、クラスメソッドが展開する技術者向けの知識共有プラットフォームです。Cloud Runを中心としたGoogle Cloudのソリューションをメインで使用しており、スケーラブルなWebアプリケーションとなっています。 このセッションでは、「サーバーレスとはなにか」という部分から改めてディスカッションし、アプリケーショ... 続きを読む

［速報］Google、AIが支援してくれる「Duet AI」サービス群を多数展開へ。Google WorkspaceやBigQuery、Looker、Meet、Chatなど。Google Cloud Next '23

2023/08/29 79 users Looker Meet chat Duet AI Google

［速報］Google、AIが支援してくれる「Duet AI」サービス群を多数展開へ。Google WorkspaceやBigQuery、Looker、Meet、Chatなど。Google Cloud Next '23 Googleは、日本時間の明日午前1時から開催されるイベント「Google Cloud Next '23」で、AIが人間の作業を支援してくれる「Duet AI」サービス群を多数発表します。 同... 続きを読む

オウンドメディア担当者が知っておきたい GA4 × BigQuery 前編（寄稿：小川卓） - はてなビジネスブログ

2023/08/24 11 users 寄稿 オウンドメディア 小川卓 ryuka01 前編

株式会社HAPPY ANALYTICSの小川卓（id:ryuka01）です。 今回は、全2回で Google アナリティクス4（以下「GA4」) × BigQuery に関して紹介をしていきます。 第1回は、BigQueryについての基本的なご説明と、GA4連携におけるメリットなどについてご紹介していきます。 GA4 × BigQuery を活用することで、オウンドメディアの... 続きを読む

データマーケティングの強い味方！？BigQueryと大規模言語モデル(LLM)の統合で始める検索意図分析の事例｜田口 信元

2023/08/21 15 users LLM ゆび 田口 グロースチーム 受診

データマーケティングの強い味方！？BigQueryと大規模言語モデル(LLM)の統合で始める検索意図分析の事例 初めまして、Ubie Product Platformのグロースチームでエンジニアをしてる田口です。「健康が空気のように自然になる世界」を目指し、症状検索による発症から受診までのサポートするサービス症状検索エンジン「ユビ... 続きを読む

データ基盤の管理に役立つ監視用のSQLを紹介します - 10X Product Blog

2023/07/31 103 users SQL データ基盤 syou6162 監視用 監視

Analytics Engineerの吉田(id:syou6162)です。BigQueryを中心に10X社内のデータ関連の管理をしています。10Xに入社してそろそろ一年になろうかとしていますが、データ基盤を適切に管理 / 運用するためにSQLによる監視を少しずつ取り入れています。この記事では、具体的にどのようなSQLを書いて監視しているのか紹介した... 続きを読む

【アップデート情報】 BigQueryで主キーと外部キーが正式にサポートされるようになりました | DevelopersIO

2023/07/28 12 users RDB DevelopersIO 挙動 はんざわ 検証

Google Cloudのデータエンジニアをしています、はんざわです。 先日のアップデートで主キーと外部キー正式にGAになりました。 BigQuery release notes とはいえ、大多数の人が想像するRDBの主キーや外部キーと挙動が違ったりする部分もあるので実際の検証も含めながら触っていきたいと思います。 できないこととできるこ... 続きを読む

Google、iPaaS「Application Integration」正式リリース。Salesforceやkintone、BigQuery、MySQLなど多数のサービスをGUIで接続

2023/07/24 85 users SalesForce kintone iPaaS GUI 接続

Google、iPaaS「Application Integration」正式リリース。Salesforceやkintone、BigQuery、MySQLなど多数のサービスをGUIで接続 Google Cloudは新サービス「Applicatoin Integration」の正式リリースを発表しました。 Application Integrationは、さまざまなサービスを統合する、いわゆる「iPaas」（Integration PaaS）... 続きを読む

ぼくのかんがえたさいきょうのスプレッドシート関数 - ブログ - 株式会社JADE

2023/04/13 19 users Jade ボク 株式会社JADE 小坂 BIツール

はじめまして、こんにちは、こんばんは。JADEでSEOコンサルタントをやっております、小坂と申します。 JADEのブログを読んでくださっている皆様の多くは日々データ分析や調査をされているのではないかと思います。Looker Studioのような便利なBIツールを利用したり、BigQueryを駆使することが増えている昨今。それでもな... 続きを読む

【速報】 BigQuery の料金体系が変更されます | DevelopersIO

2023/03/29 45 users DevelopersIO シガー enterprise 速報

ウィスキー、シガー、パイプをこよなく愛する大栗です。 先程開催されたGoogle Data Cloud & AI Summitにて、BigQuery の料金体系の変更が発表されましたので、レポートします。 Introduction to BigQuery editions Dataset storage billing models BigQuery editions BigQuery で Standard、Enterprise、Enterprise Plu... 続きを読む

BigQueryに大幅アップデート！コスト最適化の可能性あり | iret.media

2023/03/29 16 users ヘビーユーザー おさらい iret.media 検証 コスト

本日の Google Data Cloud & AI Summit にて BigQuery に対する超有益なアップデートが発表されました！ 価格体系の変更について、有効的に活用すればコストの最適化ができるものになります。 ヘビーユーザーは当然のこと、ライトユーザーやこれから検証のために少し触ってみたいような方々に向け、 おさらいも交えなが... 続きを読む

2023 年の BigQuery 権限管理

2023/02/16 14 users GCP インフラ 公式ドキュメント 資料 ゲーム

Transcript 2023 年の BigQuery 権限管理 na0 酒とゲームとインフラとGCP 第18回 はじめのはじめに BigQuery はとても楽しい • 今日の話を知らなくても BigQuery を触り始めるのに差し支えなし！ 気楽に聞いてね • 49 ページ / 20 分 • 資料公開済み Twitter @ na0fu3y • この資料よりも公式ドキュメントが詳しく正しい ... 続きを読む

商品数の増加を見据えて商品情報作成処理をPythonからBigQueryに移行した話 | SQLによるバッチ処理で工夫した3つのポイント - MonotaRO Tech Blog

2023/01/24 17 users SQL Python バッチ処理 増加 ポイント

こんにちは、EC基盤グループ 商品情報基盤チームの江村です。今回は私が所属している商品情報基盤チームで構築、運用を行っているシステムについてお話します。 モノタロウでは以前から記事になっていますが、検索システムの移行を行っており、現在商品検索ページの裏側の検索システムのSolrからElasticsearchへの切り替... 続きを読む

BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 - エンジニアHub｜Webエンジニアのキャリアを考える！

2022/12/22 133 users ハンズオン エンジニアHub Google Cloud 技術

エンジニアHub > 記事一覧 > BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 Googleの高度な技術を利用できるGoogle Cloudにおいて、BigQueryは大規模データ... 続きを読む

BigQuery と Snowflake を徹底比較

2022/12/21 119 users Snowflake 徹底比較

最初にBigQueryとSnowflakeの概要と、登場の背景を説明します。 その後、ユーザにとっての使い勝手と、管理者にとっての使い勝手を、ベンダーフリーな立場でそれぞれします。 最後に、BigQueryとSnowflakeどっちが速いのか？といった疑問に対して、アーキテクチャをもとに考察します。 続きを読む

BigQueryによる最大内積検索の実装

2022/11/04 38 users MIPS クエリ 実装 案件 テクニック

はじめに 機械学習エンジニアの本田志温です。最近担当した類似アイテム推薦の案件で、BigQueryを使って最大内積検索（MIPS; maximum inner-product search）1 を実装したので、その方法と高速化のテクニックを紹介します。 類似アイテム推薦は「多数のアイテム候補から、クエリとなるアイテムに最も類似したK件を抽出す... 続きを読む

AI・機械学習チームでのインターンでBigQueryのローカルテスト基盤を作った話 - エムスリーテックブログ

2022/10/31 14 users エムスリー インターン タスク エムスリーテックブログ 後藤

こんにちは、10月後半の2週間、エムスリーのAI・機械学習チームでインターンをしていた後藤です。 今回は私の行ったタスクと、インターン生からみてエムスリーはどのような会社なのかについて書いていこうと思います。 他の学生の方々のインターン選びやBigQueryのテスト手法に悩んでいるエンジニアの方々の参考になれば... 続きを読む

分析系とトランザクションのクエリの壁は消失する!? Google Cloudが予測する2025年までに実現するクラウドテクノロジの動向

2022/10/19 10 users クエリ トランザクション 動向 年次カンファレンス 予測

Google Cloudの年次カンファレンス「Next 22」のデベロッパキーノートで発表された”10の予測”の中から、岩尾エマはるかさんが紹介した4つのトレンドをレポートします。 10月12日から14日にかけてオンラインで開催されたGoogle Cloudの年次カンファレンス「Google Cloud Next ’22」では、BigQueryによる非構造化データの... 続きを読む

［速報］BigQueryが非構造化データのサポートを発表。これで構造化データ（RDB）、半構造化データ（JSON）、非構造化データをサポート。Google Cloud Next '22

2022/10/11 45 users JSON RDB パブリックプレビュー 速報 非構造化データ

Google Cloudは、開催中のイベント「Google Cloud Next '22」において、大規模データ分析サービスのBigQueryで非構造化データのサポートを発表しました。 BigQueryの非構造化データサポートを発表するGoogle Cloud CEO トーマス・クリアン氏 BigQueryは今年1月にJSON型データへのネイティブ対応をパブリックプレビューと... 続きを読む

BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場

2022/09/19 163 users レプリケーション PostgreSQL MySQL データ

BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場 Google Cloudは、BigQueryに対してMySQLやPostgreSQL、Oracle Databaseからニアリアルタイムで直接データのレプリケーションを可能にする新サービス「Datastream for BigQuery」をプレビューリリースし... 続きを読む

BigQueryのセキュリティ対策手順

2022/08/30 38 users

風音屋では、データエンジニア、データアナリスト、ITコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 採用ページからご応募ください。 風音屋アドバイザーの山田雄（@nii_yan）です。 データ活用にお... 続きを読む

BigQueryでのデータ追記処理における冪等化の取り組み - ZOZO TECH BLOG

2022/08/16 23 users 田島 mail ユーザ PUSH通知 集計

こんにちは、MA基盤チームの田島です。私達のチームではMAIL、LINE、PUSH通知といったユーザへの配信をしています。その中でもマス・セグメント配信という一斉に行う配信では、配信対象者のセグメント抽出にBigQueryを利用しています。また、配信前に必要なデータをBigQueryに連携しデータマートの集計をしたり、配信後... 続きを読む