BigQuery スロット需給バランスの改善 〜クエリのパフォーマンス改善の事例から〜｜Mercari Analytics Blog｜note

2023/03/31 5 users メルカリ Note 値上げ オンデマンド 事例

メルカリ Analytics Infra チームの na0 です。この記事では、メルカリにおける BigQuery クエリの改善によるスロット需給バランスの改善について紹介します。 2023-03-30 には、新料金体系 BigQuery Editions も発表されています。こちらには、読み取りデータ量課金（オンデマンド モデル）の値上げも含まれており、ス... 続きを読む

AWS CDKで各種ログに対するAmazon AthenaのPartition Projectionを実装する - mazyu36の日記

2023/03/18 5 users AWS CDK mazyu36 Amazon Athena

Amazon AthenaにPartition Projection（パーティション射影）という機能があります。 dev.classmethod.jp ざっくりいうとパーティション管理を自動化して、高速にクエリが実行でき、お財布にも優しいというものです。個人的にはめちゃくちゃ便利だなと思い、特にログの調査に活用しています。 ログ調査対象のサービスの... 続きを読む

第192回　MySQLのパラレル操作について | gihyo.jp

2023/03/14 11 users gihyo.jp MySQL DDL InnoDB 現行

MySQLでは一般的に、ユーザーからのクエリやDDLなどの操作はシングルスレッドで処理されます。現行のMySQLでは、PostgreSQLやOracle Databaseが提供しているようなパラレルクエリはサポートしていません。しかし、MySQL 8.0とそれ以降から、InnoDBへの一部の操作がパラレルで処理されるようになりました。そのため、1つ... 続きを読む

CSSの進化が早い！ スタイルクエリ（@container style()）の基礎知識と便利な使い方を解説

2023/03/14 121 users CSS スタイルクエリ コンテナクエリ 進化 基礎知識

コンテナクエリがすべてのモダンブラウザの安定版でサポートされ、これからはメディアクエリからコンテナクエリを使用する機会が増えてくると思います。 コンテナクエリは親コンテナに基づいてスタイルを定義できるものですが、親のサイズによるクエリだけではありません。親のスタイル値によるクエリ（スタイルクエリ）... 続きを読む

testing-library でユーザの気持ちになって書くフロントエンドのテスト

2023/03/07 47 users tl;dr ユーザ ソフトウェア フロントエンド 要因

TL;DR フロントエンドのテストが壊れやすく要因の一つは、ユーザがどのようにソフトウェアを使うかをクエリに反映できていないからかも testing-library はソフトウェアを使うユーザの気持ちを反映させやすいようにクエリの優先度をつけていて、それに従うほうがいい 優先度の低いクエリも役に立つことがある 運用してい... 続きを読む

MySQLで階層構造を扱うための再帰的なクエリの実装方法と実用例

2023/03/07 238 users MySQL RDB 階層構造 実用例 結論

１．はじめに RDBでの階層構造の関係を持つデータを扱う上で、 効率的なデータの持ち方や抽出方法について検証を行っています。 結論から先に 階層構造を扱う方法として下記の種類があります。 隣接リスト 経路列挙 入れ子集合 閉包テーブル 再帰クエリ（WITH RECURSIVE）を使うと階層データを扱う上でのパフォーマンス... 続きを読む

Google、OpenAIの「ChatGPT」競合「Bard」を限定公開

2023/02/06 30 users Bard OpenAI chatgpt 競合 テキスト

Googleは、「ChatGPT」と競合する“実験的な会話型AIサービス”の「Bard」の提供を開始する。まずは限定公開だが、「向こう数週間中により広く公開する」。また、Google検索にクエリにテキストで答える新AI機能を間もなく追加する。 米Googleのスンダー・ピチャイCEOは2月6日（現地時間）、“実験的な会話型AIサービス”の「... 続きを読む

GraphQL の Fragment Colocation を導入したら依存関係がスッキリしてクエリもコンポーネントも書きやすくなった

2022/12/11 7 users GraphQL Fragment コンポーネント 依存関係

この記事は Money Forward Engineering 1 Advent Calendar 2022 11 日目の投稿です 🎄 昨日 10 日目は cabossoldir さんによる 『コードレビューのとき、私は何をレビューしているのか？』 でした。 🙈 TL;DR Fragment Colocation とは、コンポーネントが必要とするデータを Fragment にまとめてコンポーネントと同じ場... 続きを読む

ChatGPTはプログラミング言語マスター（語弊ありまくり） - kmizuの日記

2022/12/03 93 users kmizu chatgpt 語弊 Haskell Has

皆さんおはようございます。見ている人は見ていたかもしれませんが、昨夜はかなり遅くまで巷で話題沸騰のChatGPTによくわからんクエリを投げて、その結果をみてげらげら笑っていました。特に存在しないプログラミング言語であり「ScalaにHaskellと同じ型推論を加えた」言語Scalayがあることにしたら、ChatGPTが本当にHas... 続きを読む

RLS + 大量データ下でクエリチューニングして100倍高速化した話 - Beatrust techBlog

2022/11/10 11 users RLS Yuta SRE レイテンシ Beatrust

Beatrust で SRE をやっている Yuta (中川 裕太) です．運用がラクにできるように色々と改善したり，セキュリティ向上したり，インフラ作ったり API 開発したりしています． 今回のブログでは，Row Level Security (RLS) 下で現実的なレイテンシで大量データを扱うためにクエリをチューニングした結果とそこから学んだプ... 続きを読む

BigQueryによる最大内積検索の実装

2022/11/04 38 users BigQuery MIPS 実装 案件 テクニック

はじめに 機械学習エンジニアの本田志温です。最近担当した類似アイテム推薦の案件で、BigQueryを使って最大内積検索（MIPS; maximum inner-product search）1 を実装したので、その方法と高速化のテクニックを紹介します。 類似アイテム推薦は「多数のアイテム候補から、クエリとなるアイテムに最も類似したK件を抽出す... 続きを読む

分析系とトランザクションのクエリの壁は消失する!? Google Cloudが予測する2025年までに実現するクラウドテクノロジの動向

2022/10/19 10 users トランザクション BigQuery 動向 年次カンファレンス

Google Cloudの年次カンファレンス「Next 22」のデベロッパキーノートで発表された”10の予測”の中から、岩尾エマはるかさんが紹介した4つのトレンドをレポートします。 10月12日から14日にかけてオンラインで開催されたGoogle Cloudの年次カンファレンス「Google Cloud Next ’22」では、BigQueryによる非構造化データの... 続きを読む

エンジニアなら解けるかも？プログラミング経験ゼロでもSQLを無料で学べるpaizaのプログラミングゲーム「エンジニア騎士とクエリの魔女 DBエンジニア、魔法使いになる」で遊んでみた

2022/08/22 15 users paiza SQL 魔法使い エンジニア プログラミングゲーム

仕事や趣味でプログラミングを勉強する場合、ウェブサイトや市販の教本を見て学習するのが一般的。プログラミング経験があれば、ある程度勉強のやり方が身についていますが、まったくの未経験だと何から手をつけていいのかわからず、モチベーションが続かないこともあります。ITエンジニア向け転職・就活・学習サービス... 続きを読む

Dataformでデータ分析基盤を整備した話 - Adwaysエンジニアブログ

2022/07/22 8 users Dataform Adwaysエンジニアブログ 定義 佐藤

こんにちは佐藤です。 今回はサービスのデータ分析基盤を作成する際に使用したDataformについて紹介させていただきます。 背景 Dataformについて 導入して良かったこと 依存関係がわかりやすい クエリのテスト 工夫した点 フォルダの構成について データセット名、テーブル名について シャーディングテーブルの定義につ... 続きを読む

Amazon Aurora MySQLの不具合でローカルディスクが枯渇しクエリが実行出来なくなった話 - Kaizen Platform 開発者ブログ

2022/07/22 11 users MySQL Kaizen Platform 前田 エラー 速度

SRE Group Managerをしている前田です。今回の記事は当社で遭遇したAmazon Aurora MySQLの不具合の話になります。 3行まとめ Amazon Aurora MySQLのローカルストレージが異常な速度で消費、枯渇しクエリを実行するとエラーが発生するようになった 原因調査とAWSサポートへの問い合わせの結果、Aurora MySQL 2.10.0 の不... 続きを読む

2022年5月 Google コア アルゴリズム アップデートについて - 株式会社JADE

2022/06/30 12 users 株式会社JADE コア アルゴリズム アップデート コア 変動

Google は、2022年5月25日、コア アルゴリズム アップデートのリリースを発表しました。ロールアウトは6月9日まで続き、その間、検索結果にはさまざまなクエリで変動が見られました。このレポートは、このコア アルゴリズム アップデートについて、日本における日本語の検索結果に、どのようなジャンルで、どのような動... 続きを読む

[はてブ]関連ページ・RSS一覧

2022/05/21 211 users はてブ RSS一覧 関連ページ 憶測 極少数

はてブについて、情報検索したりクエリを投げたりして調べてまとめてみた。自分用メモとして書いたもので、極少数の人しか興味を持たない内容かと思うが、読んでいただければ幸い。 公式等[1・2（参照したページURLを最後に記載。以下同様）]で詳細を確かめられず素人の憶測で説明した箇所がいくつもあり、簡潔明瞭でも... 続きを読む

そのSEO施策で合ってる？ サイト・クエリに応じて「今」取り組むべき具体策とは？ | 【レポート】デジタルマーケターズサミット2022 Winter

2022/05/11 9 users Winter 施策 SEO SEO施策 規模

年々変わっていくSEO施策。今行っているSEOに自信を持っている方はどれだけいるだろうか？　ビジネスの役に立っていると言い切れるだろうか？　本当に必要なSEOだろうか？　SEOは、サイトの規模や目的、ブランド力によって選択すべき施策は異なっている。 そこで、「デジタルマーケターズサミット 2022 Winter」に登壇し... 続きを読む

Node.jsのMySQLパッケージにおけるエスケープ処理だけでは防げない「隠れた」SQLインジェクション - Flatt Security Blog

2022/02/16 398 users SQLインジェクション MySQL MySQLパッケージ

※本記事は筆者styprが英語で執筆した記事を株式会社Flatt Security社内で日本語に翻訳したものになります。 TL;DR Node.jsのエコシステムで最も人気のあるMySQLパッケージの一つである mysqljs/mysql (https://github.com/mysqljs/mysql)において、クエリのエスケープ関数の予期せぬ動作がSQLインジェクションを引き起こ... 続きを読む

GitHub Projects (beta)のデータをSQLでクエリ・更新できるツールを作った - Write and Run

2021/12/21 10 users beta SQL KOBA789 マウス ツール

これは KOBA789 日記 Advent Calendar 2021 - Adventar 21日目の記事です。 GitHub Projects (beta) みなさん GitHub Projects (beta) は使っていますか？　私はめっちゃ使っています。 しかし beta ということもあってまだまだ使いづらかったり機能が足らなかったりすることがありますよね？ マウスでポチポチしながら... 続きを読む

MySQLでIN句の中に大量の値の入ったクエリがフルスキャンを起こす話 - freee Developers Blog

2021/12/18 343 users リアリティ 挙動 MySQL shallow1729 マジ

こんにちは、freee Developers Advent Calendar 2021、19日目のid:shallow1729です。昨日はtdtdsさんで【マジで】サイバー演習シナリオの作り方【怖い】でした！障害訓練後に攻撃方法を解説された時はリアリティの高さに驚きました。 僕はMySQLを使っていて発生した不思議な挙動の調査の話をしようと思います。 今回問題... 続きを読む

論理プログラミング言語Logicaでデータサイエンス100本ノック

2021/06/25 236 users BigQuery データサイエンス100本ノック カテ 設問

Googleが発表したOSSプロジェクトである論理プログラミング言語Logicaを使って、データサイエンス100本ノック(構造化データ加工編)の設問を解きながらどのような言語かを確認していく。 (BigQueryのクエリとして実行していく) 最初に、プログラミング言語Logicaの特徴を纏めておく。 論理型プログラミング言語: このカテ... 続きを読む

ぼくのかんがえる最高のレポーティング基盤 @AWSで実践！Analytics modernization - Speaker Deck

2021/06/08 19 users Transcript かんか レポーティング AWS 基盤

Transcript ぼくのかんがえる最高の レポーティング基盤 大量・多様なデータとの戦い方 AWSで実践！Analytics modernization ～事例祭り編～ みなさん、レポート作ってますか？ ✋ レポートって大変ですよね。 増え続けるデータ。 拡大し続けるレポート要件。 レポートはそこら中が辛い。 場当たり的に作られるクエリ。 ... 続きを読む

GraphQL IDE の “GraphiQL” をカスタマイズして、開発ツールとして活用する - Hatena Developer Blog

2021/05/14 9 users GraphQL ヘッダー GitHub API マンガチーム

こんにちは．マンガチームの id:mangano-ito です．最近は GraphQL API の開発を担当しており，GraphQL に関することを勉強したり実践したりしています．今回は開発ツールについてのお話です． GraphiQL とは GitHub API での使用例 GraphiQL を導入してみよう ツールバーをカスタマイズしてみよう ヘッダーやクエリをカ... 続きを読む

MySQLのquery review helperを作ってみた - tom__bo’s Blog

2021/05/05 15 users MySQL tom__bo’s blog join タスク

せっかくのGWなので、おもちゃを作りました。 Query Review Helperです。 github.com 背景 最近MySQLで実行されるクエリをレビューするタスクが異常に多くなってきました。 開発者の全員がindexやjoin, partition, limit offsetなどなどのハマりどころを知っているというのが理想ではありますが、そうも行きません。 大... 続きを読む