PrismaのTypedSQLがなぜアツイのか

2024/08/29 109 users Prisma アツい クエ ドキュメント かなりアツ

Prisma界隈で話題沸騰中（自分調べ）のTypedSQLだが、自分の中ではかなりアツいと思っているので、その理由を語ろう。なおTypedSQLの機能とか仕組みについては記述しないのでドキュメントや以下の記事を参照するとよい。 Prismaの難しさ 複雑なクエリを組み立てるのが特に難しい。複雑といっても何10行もあるようなクエ... 続きを読む

MySQL 8.0アップグレード後に性能劣化したクエリ: セミジョイン編 - inSmartBank

2024/07/29 114 users inSmartBank 性能

データベースアップグレード後の性能劣化、イヤですよね。 去る2023年某日、弊社ではAmazon Aurora MySQL 互換エディション 2 (MySQL 5.7 互換) から Aurora MySQL 互換エディション 3 (MySQL 8.0 互換) にアップグレードしました。当時の背景やアップグレードに関する知見は以下の記事をぜひ読んでみてください。 blog.... 続きを読む

実務におけるRAG 〜学びと現場のノウハウ〜 | ドクセル

2024/07/22 156 users Rag Retrieval ドクセル generation

RAG (Retrieval-Augmented Generation)とは ● 外部データをRetrieval（検索）して ● プロンプトをAugument（拡張）し ● クエリに対する回答をGeneration（生成） ○ クエリ := ユーザからの問合せ ・・・する技術 ※本講義では「インプット＝クエリ＋プロンプト」と定義 4 RAG (Retrieval-Augmented Generation)とは 登場... 続きを読む

クエリのパフォーマンスチューニングの第一歩。実行計画や統計情報について入門する

2024/05/05 121 users SQL SQLクエリ パフォーマンスチューニング ユーザー

SQL実行の流れ まずはSQLがどのような流れで実行されるのかを見ていきます。 SQL実行の流れは大まかに捉えると以下のようになります。 パーサ パーサでは、ユーザーから送信されたクエリを受け取り、その文法的な正確さを検証します。SQLクエリが正しくフォーマットされているか、必要な構文要素が全て含まれているかを... 続きを読む

もう人間がクエリを書く時代じゃない！SQLクエリの組み立てを自動化するSlack botを開発・導入しました - Pepabo Tech Portal

2024/05/03 217 users SQLクエリ リレーション Slack Bot データベース

こんにちは。SUZURI事業部の@kromiiiと申します。 私のメインの業務はWebアプリケーションの開発ですが、大学院時代のスキルを活かして並行してデータ分析業務も行っています。 データ分析業務ではデータベースのクエリを書くことが多いのですが、私自身SUZURI事業部に配属されたばかりで、テーブルの名前やリレーション... 続きを読む

サブクエリの書き方を2万文字弱かけてすべて解説する

2024/05/02 442 users サブクエリ 構文 SQL MySQL レバテック開発部

これはなに ども、レバテック開発部のもりたです。 今回はSQLのサブクエリについてまとめます。仕事でクエリを書く際、サブクエリは頻出の構文だと思うんですが、同時にサブクエリの書き方を完全に理解しているよという人は案外少ないのではないでしょうか？[1] 実際、MySQLの公式ドキュメントを見ると12ページくらいを... 続きを読む

今更聞けないDBMSのメモリ管理について

2024/04/28 133 users DBMS ハードウェア メモリ 特性 速度

DBMSのメモリ管理について データベース管理システム（DBMS）の設計では、大量のデータと複雑なクエリを処理するために、ハードウェアの特性を最大限引き出すことが求められます。 この記事では、DBMSがどのようにメモリを使ってデータアクセスの速度を向上させ、同時にデータの安全性を確保しているのかを解説します。 ... 続きを読む

データ分析のためのSQLを書けるようになるために

2024/04/01 677 users SQL 本稿 新卒 教材 データアナリスト

はじめに 本稿では分析用クエリをスラスラ書けるようになるまでの勉強方法や書き方のコツをまとめてみました。具体的には、自分がクエリを書けるようになるまでに利用した教材と、普段クエリを書く際に意識していることを言語化しています。 想定読者として、SQLをガンガン書く予定の新卒のデータアナリスト/データサイ... 続きを読む

高効率なSQLクエリの書き方 - Qiita

2024/01/18 273 users ベストプラクティス SQLクエリ SQL Qiita 結合

概要 この記事では、SQLクエリをより効率的に記述するためのベストプラクティスとテクニックに焦点を当てています。データベースのクエリはシステム全体のパフォーマンスに直結するため、最適な書き方を知ることは重要です。インデックスの効果的な活用方法、適切な結合の選択、そして条件の効果的な書き方など、SQLの最... 続きを読む

型キャストの場所のせいで、秒で終わっていたクエリに1時間超かかるようになってしまった話 - SmartHR Tech Blog

2024/01/18 187 users SmartHR 型キャスト CPU使 アップグレード 特定

SmartHRで届出書類という機能を担当しているプロダクトエンジニアのsato-sと申します。 今日は、以前私が調査にとても苦労したパフォーマンス上の問題の話を紹介したいと思います。 TL;DR PostgreSQLのアップグレードを実施した アップグレード後、今までは問題のなかった特定のクエリの実行に1時間超かかり、DBのCPU使... 続きを読む

CDNレイヤでDBのコネクションプーリングとクエリキャッシュを提供。世界中どこからのDBアクセスでも高速化する「Hyperdrive」、Cloudflareが提供

2023/10/10 130 users コネクションプーリング クエリキャッシュ データベース 提供

CDNレイヤでDBのコネクションプーリングとクエリキャッシュを提供。世界中どこからのDBアクセスでも高速化する「Hyperdrive」、Cloudflareが提供 Cloudflareは、グローバルなCDNレイヤでデータベースのコネクションプーリングとクエリのキャッシュを提供することによりデータベースへのアクセスを高速化する新サービス「... 続きを読む

GoでSQLの複雑なクエリのテストを書いてみた - ZOZO TECH BLOG

2023/10/10 78 users SQL ZOZO TECH BLOG テスト

はじめに こんにちは。ブランドソリューション開発本部FAANSバックエンドブロックの佐野です。普段はサーバーサイドエンジニアとして、FAANSのバックエンドシステムを開発しています。 FAANSとは、弊社が2022年8月に正式ローンチした、アパレル店舗で働くショップスタッフの販売サポートツールです。例えば、コーディネ... 続きを読む

MySQL即効クエリチューニング読んだ - $shibayu36->blog;

2023/07/19 115 users MySQL クエリチューニング $shibayu36 作者

MySQL即効クエリチューニング ThinkIT Books 作者:yoku0825インプレスAmazon 最近クエリチューニングの仕事があったので、少し深めに知ろうと読んだ。 MySQLの内部構造がどうなっているかは置いておいて、どうすればクエリの問題を把握できるかが素早く知れる良い本だった。90ページくらいですぐ読めるのも良い。個人的... 続きを読む

MySQLでNested Loopなクエリはインデックスをどう辿っているか - $shibayu36->blog;

2023/07/18 74 users select MySQL インデックス 遅いクエリ Blog

タイムライン的なものをSELECTだけで実装しようと思った時に、Nested LoopなクエリでUsing temporary; Using filesortが出るようなそこそこ遅いクエリになる。その時にMySQLがインデックスをどう辿っているかを知りたかったので調べてみた。MySQLバージョンは8.0.33。 あまり自信はないので、もし間違った話をしていたら... 続きを読む

CSSの進化が早い！ スタイルクエリ（@container style()）の基礎知識と便利な使い方を解説

2023/03/14 121 users CSS スタイルクエリ コンテナクエリ 進化 基礎知識

コンテナクエリがすべてのモダンブラウザの安定版でサポートされ、これからはメディアクエリからコンテナクエリを使用する機会が増えてくると思います。 コンテナクエリは親コンテナに基づいてスタイルを定義できるものですが、親のサイズによるクエリだけではありません。親のスタイル値によるクエリ（スタイルクエリ）... 続きを読む

MySQLで階層構造を扱うための再帰的なクエリの実装方法と実用例

2023/03/07 238 users MySQL RDB 階層構造 実用例 結論

１．はじめに RDBでの階層構造の関係を持つデータを扱う上で、 効率的なデータの持ち方や抽出方法について検証を行っています。 結論から先に 階層構造を扱う方法として下記の種類があります。 隣接リスト 経路列挙 入れ子集合 閉包テーブル 再帰クエリ（WITH RECURSIVE）を使うと階層データを扱う上でのパフォーマンス... 続きを読む

ChatGPTはプログラミング言語マスター（語弊ありまくり） - kmizuの日記

2022/12/03 93 users kmizu chatgpt 語弊 Haskell Has

皆さんおはようございます。見ている人は見ていたかもしれませんが、昨夜はかなり遅くまで巷で話題沸騰のChatGPTによくわからんクエリを投げて、その結果をみてげらげら笑っていました。特に存在しないプログラミング言語であり「ScalaにHaskellと同じ型推論を加えた」言語Scalayがあることにしたら、ChatGPTが本当にHas... 続きを読む

[はてブ]関連ページ・RSS一覧

2022/05/21 211 users はてブ RSS一覧 関連ページ 憶測 極少数

はてブについて、情報検索したりクエリを投げたりして調べてまとめてみた。自分用メモとして書いたもので、極少数の人しか興味を持たない内容かと思うが、読んでいただければ幸い。 公式等[1・2（参照したページURLを最後に記載。以下同様）]で詳細を確かめられず素人の憶測で説明した箇所がいくつもあり、簡潔明瞭でも... 続きを読む

Node.jsのMySQLパッケージにおけるエスケープ処理だけでは防げない「隠れた」SQLインジェクション - Flatt Security Blog

2022/02/16 398 users SQLインジェクション MySQL MySQLパッケージ

※本記事は筆者styprが英語で執筆した記事を株式会社Flatt Security社内で日本語に翻訳したものになります。 TL;DR Node.jsのエコシステムで最も人気のあるMySQLパッケージの一つである mysqljs/mysql (https://github.com/mysqljs/mysql)において、クエリのエスケープ関数の予期せぬ動作がSQLインジェクションを引き起こ... 続きを読む

MySQLでIN句の中に大量の値の入ったクエリがフルスキャンを起こす話 - freee Developers Blog

2021/12/18 343 users リアリティ 挙動 MySQL shallow1729 マジ

こんにちは、freee Developers Advent Calendar 2021、19日目のid:shallow1729です。昨日はtdtdsさんで【マジで】サイバー演習シナリオの作り方【怖い】でした！障害訓練後に攻撃方法を解説された時はリアリティの高さに驚きました。 僕はMySQLを使っていて発生した不思議な挙動の調査の話をしようと思います。 今回問題... 続きを読む

論理プログラミング言語Logicaでデータサイエンス100本ノック

2021/06/25 236 users BigQuery データサイエンス100本ノック カテ 設問

Googleが発表したOSSプロジェクトである論理プログラミング言語Logicaを使って、データサイエンス100本ノック(構造化データ加工編)の設問を解きながらどのような言語かを確認していく。 (BigQueryのクエリとして実行していく) 最初に、プログラミング言語Logicaの特徴を纏めておく。 論理型プログラミング言語: このカテ... 続きを読む

100万件ぐらいのレコードを扱ったらOOMEが出た話。 - 谷本 心 in せろ部屋

2020/08/12 479 users ビーフ 谷本 PostgreSQL 要約 レコード

要約 技術的な話だけ教えて、という方のために先に結論だけ書いておきますと、PostgreSQLはクエリを実行した時点で全レコードの情報を一気に読んできてヒープを埋めてしまう場合がある、ということ話です。 たとえば、ResultSet#nextメソッドを使いながら処理を回すようなコードを書いて、少ないヒープでも処理できるよ... 続きを読む

jqのGo実装 gojq を作りました！ ― スタックマシン型インタープリタによるイテレータセマンティクスの実装 - プログラムモグモグ

2019/08/26 423 users JSON SaaS gojq API コマンド

jqはとても便利なコマンドです。 JSONを返すAPIを実装するときや、SaaSのAPIから特定の情報を抜き出してシェル変数に代入するときなど、web開発や運用には欠かせないツールとなっています。 しかし、私にとってjqのクエリを一発で書くのは容易ではなく、思い通りの出力が得られないことがよくありました。 難しいエラー... 続きを読む

MySQLに投げられたすべてのSQLクエリをロギングする - モヒカンは正義

2019/05/25 82 users モヒカン SQLクエリ MySQL 正義 クエリビルダ

概要 クエリビルダやORMが生成するクエリを確認したい、などの理由で、MySQLに投げられたクエリを確認したくなることがある そういうときは、MySQLのクエリログ (general_log) と言う設定をONにすることによって、すべてのクエリをログに吐かせることができる dev.mysql.com 5.2.3 一般クエリーログ 一般クエリーログは... 続きを読む

Google Cloud Platform Japan 公式ブログ: クレジットカードは不要 : クエリを無料で試せる BigQuery サンドボックス

2019/03/11 62 users Google Cloud Platform Japan

Google Cloud Platform (Google App Engine, Compute Engine, BigQuery や Container Engine など）の情報の日本公式ブログ 続きを読む