タグ クエリ
人気順 10 users 50 users 100 users 500 users 1000 usersAmazon CloudWatch のクエリを自然言語で生成ができるようになりました (プレビュー) | DevelopersIO
どんなクエリを投げれば良いのか分からない こんにちは、のんピ(@non____97)です。 皆さんはCloudWatch Logs InsightsやCloudWatch Metrics Insightsにどんなクエリを投げれば良いのか分からないなと思ったことはありますか? 私はあります。 CloudWatch Metrics Insightsにはビルダー機能は存在しますが、それでも慣れて... 続きを読む
LLMベースの新しい言語『SUQL』が示唆する「非構造化データのクエリ」を処理するパラダイム | AIDB
マイページに保存最終更新日:2023/11/20 スタンフォード大学の研究者たちは、新しいプログラミング言語『SUQL』(Structured and Unstructured Query Language)を開発しました。 この言語は、SQL(Structured Query Language)の概念を拡張し、非構造化データのクエリ処理を可能にする新しいパラダイムを導入していま... 続きを読む
UPDATE IN SELECT によるデットロックが発生しなくなった件
こんにちは。アルダグラムでエンジニアしている森下霞です。 弊社では、MySQL のデータベース と Ruby on Rails を使用しています。 先日、モニタリングで UPDATE IN SELECT のクエリでデッドロックの発生に気づき、調査し、修正ができたため、デッドロックのデバッグ方法と解決策を紹介したいと思います。 背景 今回の... 続きを読む
CDNレイヤでDBのコネクションプーリングとクエリキャッシュを提供。世界中どこからのDBアクセスでも高速化する「Hyperdrive」、Cloudflareが提供
CDNレイヤでDBのコネクションプーリングとクエリキャッシュを提供。世界中どこからのDBアクセスでも高速化する「Hyperdrive」、Cloudflareが提供 Cloudflareは、グローバルなCDNレイヤでデータベースのコネクションプーリングとクエリのキャッシュを提供することによりデータベースへのアクセスを高速化する新サービス「... 続きを読む
GoでSQLの複雑なクエリのテストを書いてみた - ZOZO TECH BLOG
はじめに こんにちは。ブランドソリューション開発本部FAANSバックエンドブロックの佐野です。普段はサーバーサイドエンジニアとして、FAANSのバックエンドシステムを開発しています。 FAANSとは、弊社が2022年8月に正式ローンチした、アパレル店舗で働くショップスタッフの販売サポートツールです。例えば、コーディネ... 続きを読む
メタ認知をさせてLLMの能力を上げる手法「メタ認知プロンプティング」 | AIDB
大規模言語モデルの現状 大規模言語モデル(LLM)は、特定のクエリや文に対して正確な出力を生成するために設計されています。また、現在の研究は主にLLMの推理能力の向上に焦点を当てており、多段階の推理や自己整合性の技術などが開発されています。 しかし、ユーザー側のプロンプティングの工夫によりパフォーマンス... 続きを読む
MySQL即効クエリチューニング読んだ - $shibayu36->blog;
MySQL即効クエリチューニング ThinkIT Books 作者:yoku0825インプレスAmazon 最近クエリチューニングの仕事があったので、少し深めに知ろうと読んだ。 MySQLの内部構造がどうなっているかは置いておいて、どうすればクエリの問題を把握できるかが素早く知れる良い本だった。90ページくらいですぐ読めるのも良い。個人的... 続きを読む
MySQLでNested Loopなクエリはインデックスをどう辿っているか - $shibayu36->blog;
タイムライン的なものをSELECTだけで実装しようと思った時に、Nested LoopなクエリでUsing temporary; Using filesortが出るようなそこそこ遅いクエリになる。その時にMySQLがインデックスをどう辿っているかを知りたかったので調べてみた。MySQLバージョンは8.0.33。 あまり自信はないので、もし間違った話をしていたら... 続きを読む
10万件超のChatGPTアカウントが盗まれてダークウェブで取引されていることが判明、企業の機密情報が漏えいする危険も
シンガポールを拠点とするサイバーセキュリティ企業のGroup-IBが、「10万件を超えるChatGPTのアカウントがマルウェアによって盗まれ、ダークウェブで取引されている」と報告しました。ChatGPTはデフォルトでユーザーのクエリとAIの応答履歴を保存しているため、ChatGPTアカウントへの不正アクセスは企業の機密情報や個人... 続きを読む
PostgreSQLで多数のパーティションを持つテーブルに対してPrepared Statementを実行した際の性能劣化について調べてみた | DevelopersIO
PostgreSQLで多数のパーティションを持つテーブルに対してPrepared Statementを実行した際の性能劣化について調べてみた CX事業本部@大阪の岩田です。 PostgreSQLで多数のパーティションを持つテーブルに対してPrepared Statementを実行するとクエリが遅くなる事象について調査する機会があったので、内容をご紹介します... 続きを読む
Rails: ジョブの中で関連付けをループしないこと(翻訳)|TechRacho by BPS株式会社
概要 元サイトの許諾を得て翻訳・公開いたします。 英語記事: Try not to loop through associations inside jobs – Andy Croll 原文公開日: 2023/02/13 著者: Andy Croll SQLを直接使わずにRubyでデータベースとやりとりする方法は、ともすると、ほとんど同じようなクエリをうっかり大量に実行してパフォーマンス低下で... 続きを読む
BigQuery スロット需給バランスの改善 〜クエリのパフォーマンス改善の事例から〜|Mercari Analytics Blog|note
メルカリ Analytics Infra チームの na0 です。この記事では、メルカリにおける BigQuery クエリの改善によるスロット需給バランスの改善について紹介します。 2023-03-30 には、新料金体系 BigQuery Editions も発表されています。こちらには、読み取りデータ量課金(オンデマンド モデル)の値上げも含まれており、ス... 続きを読む
AWS CDKで各種ログに対するAmazon AthenaのPartition Projectionを実装する - mazyu36の日記
Amazon AthenaにPartition Projection(パーティション射影)という機能があります。 dev.classmethod.jp ざっくりいうとパーティション管理を自動化して、高速にクエリが実行でき、お財布にも優しいというものです。個人的にはめちゃくちゃ便利だなと思い、特にログの調査に活用しています。 ログ調査対象のサービスの... 続きを読む
第192回 MySQLのパラレル操作について | gihyo.jp
MySQLでは一般的に、ユーザーからのクエリやDDLなどの操作はシングルスレッドで処理されます。現行のMySQLでは、PostgreSQLやOracle Databaseが提供しているようなパラレルクエリはサポートしていません。しかし、MySQL 8.0とそれ以降から、InnoDBへの一部の操作がパラレルで処理されるようになりました。そのため、1つ... 続きを読む
CSSの進化が早い! スタイルクエリ(@container style())の基礎知識と便利な使い方を解説
コンテナクエリがすべてのモダンブラウザの安定版でサポートされ、これからはメディアクエリからコンテナクエリを使用する機会が増えてくると思います。 コンテナクエリは親コンテナに基づいてスタイルを定義できるものですが、親のサイズによるクエリだけではありません。親のスタイル値によるクエリ(スタイルクエリ)... 続きを読む
testing-library でユーザの気持ちになって書くフロントエンドのテスト
TL;DR フロントエンドのテストが壊れやすく要因の一つは、ユーザがどのようにソフトウェアを使うかをクエリに反映できていないからかも testing-library はソフトウェアを使うユーザの気持ちを反映させやすいようにクエリの優先度をつけていて、それに従うほうがいい 優先度の低いクエリも役に立つことがある 運用してい... 続きを読む
MySQLで階層構造を扱うための再帰的なクエリの実装方法と実用例
1.はじめに RDBでの階層構造の関係を持つデータを扱う上で、 効率的なデータの持ち方や抽出方法について検証を行っています。 結論から先に 階層構造を扱う方法として下記の種類があります。 隣接リスト 経路列挙 入れ子集合 閉包テーブル 再帰クエリ(WITH RECURSIVE)を使うと階層データを扱う上でのパフォーマンス... 続きを読む
Google、OpenAIの「ChatGPT」競合「Bard」を限定公開
Googleは、「ChatGPT」と競合する“実験的な会話型AIサービス”の「Bard」の提供を開始する。まずは限定公開だが、「向こう数週間中により広く公開する」。また、Google検索にクエリにテキストで答える新AI機能を間もなく追加する。 米Googleのスンダー・ピチャイCEOは2月6日(現地時間)、“実験的な会話型AIサービス”の「... 続きを読む
GraphQL の Fragment Colocation を導入したら依存関係がスッキリしてクエリもコンポーネントも書きやすくなった
この記事は Money Forward Engineering 1 Advent Calendar 2022 11 日目の投稿です 🎄 昨日 10 日目は cabossoldir さんによる 『コードレビューのとき、私は何をレビューしているのか?』 でした。 🙈 TL;DR Fragment Colocation とは、コンポーネントが必要とするデータを Fragment にまとめてコンポーネントと同じ場... 続きを読む
ChatGPTはプログラミング言語マスター(語弊ありまくり) - kmizuの日記
皆さんおはようございます。見ている人は見ていたかもしれませんが、昨夜はかなり遅くまで巷で話題沸騰のChatGPTによくわからんクエリを投げて、その結果をみてげらげら笑っていました。特に存在しないプログラミング言語であり「ScalaにHaskellと同じ型推論を加えた」言語Scalayがあることにしたら、ChatGPTが本当にHas... 続きを読む
RLS + 大量データ下でクエリチューニングして100倍高速化した話 - Beatrust techBlog
Beatrust で SRE をやっている Yuta (中川 裕太) です.運用がラクにできるように色々と改善したり,セキュリティ向上したり,インフラ作ったり API 開発したりしています. 今回のブログでは,Row Level Security (RLS) 下で現実的なレイテンシで大量データを扱うためにクエリをチューニングした結果とそこから学んだプ... 続きを読む
BigQueryによる最大内積検索の実装
はじめに 機械学習エンジニアの本田志温です。最近担当した類似アイテム推薦の案件で、BigQueryを使って最大内積検索(MIPS; maximum inner-product search)1 を実装したので、その方法と高速化のテクニックを紹介します。 類似アイテム推薦は「多数のアイテム候補から、クエリとなるアイテムに最も類似したK件を抽出す... 続きを読む
分析系とトランザクションのクエリの壁は消失する!? Google Cloudが予測する2025年までに実現するクラウドテクノロジの動向
Google Cloudの年次カンファレンス「Next 22」のデベロッパキーノートで発表された”10の予測”の中から、岩尾エマはるかさんが紹介した4つのトレンドをレポートします。 10月12日から14日にかけてオンラインで開催されたGoogle Cloudの年次カンファレンス「Google Cloud Next ’22」では、BigQueryによる非構造化データの... 続きを読む
エンジニアなら解けるかも?プログラミング経験ゼロでもSQLを無料で学べるpaizaのプログラミングゲーム「エンジニア騎士とクエリの魔女 DBエンジニア、魔法使いになる」で遊んでみた
仕事や趣味でプログラミングを勉強する場合、ウェブサイトや市販の教本を見て学習するのが一般的。プログラミング経験があれば、ある程度勉強のやり方が身についていますが、まったくの未経験だと何から手をつけていいのかわからず、モチベーションが続かないこともあります。ITエンジニア向け転職・就活・学習サービス... 続きを読む
Dataformでデータ分析基盤を整備した話 - Adwaysエンジニアブログ
こんにちは佐藤です。 今回はサービスのデータ分析基盤を作成する際に使用したDataformについて紹介させていただきます。 背景 Dataformについて 導入して良かったこと 依存関係がわかりやすい クエリのテスト 工夫した点 フォルダの構成について データセット名、テーブル名について シャーディングテーブルの定義につ... 続きを読む