Cloud DLPを使ってBigQuery上のデータをマスキング - Findy Tech Blog

2024/09/02 9 users マスキング Findy Tech Blog Findy ファ

はじめに Findyでデータエンジニアとして働いている開（hiracky16）です。 この記事ではGoogle Cloudの製品であるCloud DLPを中心に弊社で取り組んでいるデータマスキングについて紹介します。 弊社はFindyやFindy Freelanceなど人材に関する事業を取り扱っているため個人データがより集まりやすい環境にあります。 ファ... 続きを読む

BigQueryのテーブルのメタデータをCloud Data Catalogで管理する - yasuhisa's blog

2020/05/18 15 users BigQuery table メタデータ View リソース

自分が使いたいと思ったBigQuery上のリソース(tableやview)、内容を事前に完全に把握できている、ということは結構少ないのではないかと思います。そういったときに手助けをしてくれるのがメタデータです。BigQueryのリソースに対するメタデータを、Cloud Data Catalogのタグとして付与する方法を紹介します。Cloud Data... 続きを読む

BigQuery MLの線形回帰で電力需要予測やってみた – google-cloud-jp – Medium

2018/07/30 46 users medium google-cloud-jp DWH 吉村

BigQuery MLの線形回帰で電力需要予測やってみたグルーヴノーツ コンサルタントの吉村です。 先週（日本時間7月26日午前1時過ぎ）に発表されたBigQuery MLを試してみました。 BigQuery MLとはGoogleのDWHであるBigQuery上で線形回帰とロジスティック回帰を実現するものです。 もちろんBigQueryで動くのでモデルを作ると... 続きを読む

BigQuery MLの線形回帰で電力需要予測やってみた | MAGELLAN BLOCKS

2018/07/29 21 users MAGELLAN BLOCKS 線形回帰 DWH 並列 吉村

グルーヴノーツ コンサルタントの吉村です。 今朝（日本時間7月26日午前1時過ぎ）に発表されたBigQuery MLを試してみました。 BigQuery MLとはGoogleのDWHであるBigQuery上で線形回帰とロジスティック回帰を実現するものです。 もちろんBigQueryで動くのでモデルを作るところも並列で高速に処理されることが期待できます... 続きを読む

BigQuery上でIPアドレスから位置情報を算出する方法 - matsukaz's blog

2017/08/17 22 users matsukaz's blog IPアドレス 位置情報 方法

2017 - 08 - 17 BigQuery上でIPアドレスから位置情報を算出する方法 BigQuery 概要 クライアントの IPアドレス を含んだ行動ログをBigQueryに保存し、どの地域からアクセスされているのかを分析したいなと思ったので、やり方をまとめました。 3年以上前の情報ですが、以下の記事を参考にしています。 cloudplatform.googleblog.com 準備 以下の... 続きを読む