RAG-LLMシステムへのユーザークエリは4つのレベルに分類できる 最も複雑なのは「隠れた根拠からの推論が必要なクエリ」Microsoftによる研究 | AIDB

2024/09/27 30 users AIDB 推論 文書 Microsoft 課題

以下では、クエリのタイプ別に、概要と課題そして解決策を列挙していきます。 クエリタイプ1. 明示的事実クエリ 明示的事実クエリは、質問の中で最も簡単なタイプです。与えられた文書や文書の一部から直接答えを見つけることができます。多くの場合、答えは文書の中にはっきりと書かれていて、難しい推論をしなくても答... 続きを読む

PrismaのTypedSQLがなぜアツイのか

2024/08/29 109 users Prisma アツい クエ ドキュメント かなりアツ

Prisma界隈で話題沸騰中（自分調べ）のTypedSQLだが、自分の中ではかなりアツいと思っているので、その理由を語ろう。なおTypedSQLの機能とか仕組みについては記述しないのでドキュメントや以下の記事を参照するとよい。 Prismaの難しさ 複雑なクエリを組み立てるのが特に難しい。複雑といっても何10行もあるようなクエ... 続きを読む

MySQL 8.0アップグレード後に性能劣化したクエリ: セミジョイン編 - inSmartBank

2024/07/29 114 users inSmartBank 性能

データベースアップグレード後の性能劣化、イヤですよね。 去る2023年某日、弊社ではAmazon Aurora MySQL 互換エディション 2 (MySQL 5.7 互換) から Aurora MySQL 互換エディション 3 (MySQL 8.0 互換) にアップグレードしました。当時の背景やアップグレードに関する知見は以下の記事をぜひ読んでみてください。 blog.... 続きを読む

実務におけるRAG 〜学びと現場のノウハウ〜 | ドクセル

2024/07/22 156 users Rag Retrieval ドクセル generation

RAG (Retrieval-Augmented Generation)とは ● 外部データをRetrieval（検索）して ● プロンプトをAugument（拡張）し ● クエリに対する回答をGeneration（生成） ○ クエリ := ユーザからの問合せ ・・・する技術 ※本講義では「インプット＝クエリ＋プロンプト」と定義 4 RAG (Retrieval-Augmented Generation)とは 登場... 続きを読む

Aurora MySQLのメモリ不足の原因を特定する

2024/05/08 17 users Aurora MySQL メモリ不足 原因 OOM Slack

シンプルフォーム株式会社でインフラエンジニアをしている守屋です。 本記事では Aurora MySQL の OOM(メモリ不足)エラーについて、原因となるクエリを特定するために役立つ Tips を弊社での実例を交えてご紹介します。 発端 突如 Slack に鳴り響く不吉な通知。 「パターン青！障害です！！」 どうやら本番環境の Aurora... 続きを読む

クエリのパフォーマンスチューニングの第一歩。実行計画や統計情報について入門する

2024/05/05 121 users SQL SQLクエリ パフォーマンスチューニング ユーザー

SQL実行の流れ まずはSQLがどのような流れで実行されるのかを見ていきます。 SQL実行の流れは大まかに捉えると以下のようになります。 パーサ パーサでは、ユーザーから送信されたクエリを受け取り、その文法的な正確さを検証します。SQLクエリが正しくフォーマットされているか、必要な構文要素が全て含まれているかを... 続きを読む

もう人間がクエリを書く時代じゃない！SQLクエリの組み立てを自動化するSlack botを開発・導入しました - Pepabo Tech Portal

2024/05/03 217 users SQLクエリ リレーション Slack Bot データベース

こんにちは。SUZURI事業部の@kromiiiと申します。 私のメインの業務はWebアプリケーションの開発ですが、大学院時代のスキルを活かして並行してデータ分析業務も行っています。 データ分析業務ではデータベースのクエリを書くことが多いのですが、私自身SUZURI事業部に配属されたばかりで、テーブルの名前やリレーション... 続きを読む

サブクエリの書き方を2万文字弱かけてすべて解説する

2024/05/02 442 users サブクエリ 構文 SQL MySQL レバテック開発部

これはなに ども、レバテック開発部のもりたです。 今回はSQLのサブクエリについてまとめます。仕事でクエリを書く際、サブクエリは頻出の構文だと思うんですが、同時にサブクエリの書き方を完全に理解しているよという人は案外少ないのではないでしょうか？[1] 実際、MySQLの公式ドキュメントを見ると12ページくらいを... 続きを読む

今更聞けないDBMSのメモリ管理について

2024/04/28 133 users DBMS ハードウェア メモリ 特性 速度

DBMSのメモリ管理について データベース管理システム（DBMS）の設計では、大量のデータと複雑なクエリを処理するために、ハードウェアの特性を最大限引き出すことが求められます。 この記事では、DBMSがどのようにメモリを使ってデータアクセスの速度を向上させ、同時にデータの安全性を確保しているのかを解説します。 ... 続きを読む

ZOZOTOWNのクエリ解釈機能の改善に向けたAPIリプレイスの取り組み - ZOZO TECH BLOG

2024/04/26 13 users ZOZOTOWN ワンピ 検索クエリ 検索精度 処理

はじめに こんにちは。検索基盤部 検索技術ブロックの今井です。 検索基盤部では検索機能や検索精度を改善する中で検索クエリの意図解釈にも取り組んでいます。ZOZOTOWNで検索窓にクエリを入力して検索ボタンを押すと、クエリに応じて検索の絞り込み条件に変換するクエリ解釈機能の処理が動作します。 例えば、「ワンピ... 続きを読む

Cloudflare、世界中からのデータベースアクセスを高速化する「Hyperdrive」正式サービスに。CDNを用いてDBのコネクションプーリングやキャッシュを提供

2024/04/01 11 users コネクションプーリング CDN CloudFlare 新サー

Cloudflare、世界中からのデータベースアクセスを高速化する「Hyperdrive」正式サービスに。CDNを用いてDBのコネクションプーリングやキャッシュを提供 Cloudflareは、グローバルなCDNレイヤでデータベースのコネクションプーリングとクエリのキャッシュを提供することによりデータベースへのアクセスを高速化する新サー... 続きを読む

データ分析のためのSQLを書けるようになるために

2024/04/01 677 users SQL 本稿 新卒 教材 データアナリスト

はじめに 本稿では分析用クエリをスラスラ書けるようになるまでの勉強方法や書き方のコツをまとめてみました。具体的には、自分がクエリを書けるようになるまでに利用した教材と、普段クエリを書く際に意識していることを言語化しています。 想定読者として、SQLをガンガン書く予定の新卒のデータアナリスト/データサイ... 続きを読む

CSSでスタイルクエリ（@container style()）を使えるようになると、実装がいろいろ便利になる

2024/03/19 26 users CSS スタイルクエリ 実装 コンテナクエリ メディアクエリ

コンテナクエリがすべてのモダンブラウザの安定版でサポートされ、メディアクエリに代わり、コンテナクエリを使用する機会も増えてきたと思います。 コンテナクエリは親コンテナに基づいてスタイルを定義できるものですが、親のサイズによるクエリだけではありません。親のスタイル値によるクエリ（スタイルクエリ）も可... 続きを読む

より信頼できるクエリを書くために、SQLでもテストを書く - ハヤオキスルフクロウ

2024/01/29 15 users SQL テスト 株式会社カンム 機械学習エンジニア 弊社

はじめに こんにちは、久しぶりに技術系の記事を書きます、株式会社カンムで機械学習エンジニアをしている fkubota です。 今日はSQLについてです。 弊社に入社してから毎日のようにSQLのクエリを書いてきました。 クエリを書き始めてからもう3年が経とうとしています。 日々クエリを書きながら少しずつ自分のスタイルが... 続きを読む

高効率なSQLクエリの書き方 - Qiita

2024/01/18 273 users ベストプラクティス SQLクエリ SQL Qiita 結合

概要 この記事では、SQLクエリをより効率的に記述するためのベストプラクティスとテクニックに焦点を当てています。データベースのクエリはシステム全体のパフォーマンスに直結するため、最適な書き方を知ることは重要です。インデックスの効果的な活用方法、適切な結合の選択、そして条件の効果的な書き方など、SQLの最... 続きを読む

型キャストの場所のせいで、秒で終わっていたクエリに1時間超かかるようになってしまった話 - SmartHR Tech Blog

2024/01/18 187 users SmartHR 型キャスト CPU使 アップグレード 特定

SmartHRで届出書類という機能を担当しているプロダクトエンジニアのsato-sと申します。 今日は、以前私が調査にとても苦労したパフォーマンス上の問題の話を紹介したいと思います。 TL;DR PostgreSQLのアップグレードを実施した アップグレード後、今までは問題のなかった特定のクエリの実行に1時間超かかり、DBのCPU使... 続きを読む

CDNレイヤでDBのコネクションプーリングとクエリキャッシュを提供。世界中どこからのDBアクセスでも高速化する「Hyperdrive」、Cloudflareが提供

2023/10/10 130 users コネクションプーリング クエリキャッシュ データベース 提供

CDNレイヤでDBのコネクションプーリングとクエリキャッシュを提供。世界中どこからのDBアクセスでも高速化する「Hyperdrive」、Cloudflareが提供 Cloudflareは、グローバルなCDNレイヤでデータベースのコネクションプーリングとクエリのキャッシュを提供することによりデータベースへのアクセスを高速化する新サービス「... 続きを読む

GoでSQLの複雑なクエリのテストを書いてみた - ZOZO TECH BLOG

2023/10/10 78 users SQL ZOZO TECH BLOG テスト

はじめに こんにちは。ブランドソリューション開発本部FAANSバックエンドブロックの佐野です。普段はサーバーサイドエンジニアとして、FAANSのバックエンドシステムを開発しています。 FAANSとは、弊社が2022年8月に正式ローンチした、アパレル店舗で働くショップスタッフの販売サポートツールです。例えば、コーディネ... 続きを読む

MySQL即効クエリチューニング読んだ - $shibayu36->blog;

2023/07/19 115 users MySQL クエリチューニング $shibayu36 作者

MySQL即効クエリチューニング ThinkIT Books 作者:yoku0825インプレスAmazon 最近クエリチューニングの仕事があったので、少し深めに知ろうと読んだ。 MySQLの内部構造がどうなっているかは置いておいて、どうすればクエリの問題を把握できるかが素早く知れる良い本だった。90ページくらいですぐ読めるのも良い。個人的... 続きを読む

MySQLでNested Loopなクエリはインデックスをどう辿っているか - $shibayu36->blog;

2023/07/18 74 users select MySQL インデックス 遅いクエリ Blog

タイムライン的なものをSELECTだけで実装しようと思った時に、Nested LoopなクエリでUsing temporary; Using filesortが出るようなそこそこ遅いクエリになる。その時にMySQLがインデックスをどう辿っているかを知りたかったので調べてみた。MySQLバージョンは8.0.33。 あまり自信はないので、もし間違った話をしていたら... 続きを読む

10万件超のChatGPTアカウントが盗まれてダークウェブで取引されていることが判明、企業の機密情報が漏えいする危険も

2023/06/21 18 users ダークウェブ chatgpt Group-IB 判明 機密情報

シンガポールを拠点とするサイバーセキュリティ企業のGroup-IBが、「10万件を超えるChatGPTのアカウントがマルウェアによって盗まれ、ダークウェブで取引されている」と報告しました。ChatGPTはデフォルトでユーザーのクエリとAIの応答履歴を保存しているため、ChatGPTアカウントへの不正アクセスは企業の機密情報や個人... 続きを読む

Rails: ジョブの中で関連付けをループしないこと（翻訳）｜TechRacho by BPS株式会社

2023/04/14 11 users SQL Rails Ruby Andy Croll 許諾

概要 元サイトの許諾を得て翻訳・公開いたします。 英語記事: Try not to loop through associations inside jobs – Andy Croll 原文公開日: 2023/02/13 著者: Andy Croll SQLを直接使わずにRubyでデータベースとやりとりする方法は、ともすると、ほとんど同じようなクエリをうっかり大量に実行してパフォーマンス低下で... 続きを読む

第192回　MySQLのパラレル操作について | gihyo.jp

2023/03/14 11 users gihyo.jp MySQL DDL InnoDB 現行

MySQLでは一般的に、ユーザーからのクエリやDDLなどの操作はシングルスレッドで処理されます。現行のMySQLでは、PostgreSQLやOracle Databaseが提供しているようなパラレルクエリはサポートしていません。しかし、MySQL 8.0とそれ以降から、InnoDBへの一部の操作がパラレルで処理されるようになりました。そのため、1つ... 続きを読む

CSSの進化が早い！ スタイルクエリ（@container style()）の基礎知識と便利な使い方を解説

2023/03/14 121 users CSS スタイルクエリ コンテナクエリ 進化 基礎知識

コンテナクエリがすべてのモダンブラウザの安定版でサポートされ、これからはメディアクエリからコンテナクエリを使用する機会が増えてくると思います。 コンテナクエリは親コンテナに基づいてスタイルを定義できるものですが、親のサイズによるクエリだけではありません。親のスタイル値によるクエリ（スタイルクエリ）... 続きを読む

testing-library でユーザの気持ちになって書くフロントエンドのテスト

2023/03/07 47 users tl;dr ユーザ ソフトウェア フロントエンド 要因

TL;DR フロントエンドのテストが壊れやすく要因の一つは、ユーザがどのようにソフトウェアを使うかをクエリに反映できていないからかも testing-library はソフトウェアを使うユーザの気持ちを反映させやすいようにクエリの優先度をつけていて、それに従うほうがいい 優先度の低いクエリも役に立つことがある 運用してい... 続きを読む