ディレクターがSQLを学んでよかったこと | nanapi TechBlog

2014/08/15 7783 users SQL nanapi TechBlog フィルタ 関数 命令

データベースとはたくさんのデータを管理するためのものです。ひとつのデータのまとまりは、テーブルとして格納されます。 Excelで例えるとファイル自体がデータベース、シートがテーブルのようなものです。Excelではいろんな関数やフィルタを使ってデータを抽出しますが、DBではSQLのクエリと呼ばれる命令を使ってDBを操作していきます。 「覚えておくべき基本的なクエリは4つだけ」でスタートできた 私は社... 続きを読む

SQLで分析を始めた人に贈る、中級者に上がるための10のTips -後編- | eureka tech blog

2016/10/28 3507 users SQL Tips pairs 後編 SQLクエリ

こんにちは！pairsのAnalyzeチームでエンジニアをしている鉄本です。 Analyzeチームでは、施策検討時のデータ抽出やサービス上の問題検知のために、分析用途のSQLクエリ (MySQL) を作成しています。 このシリーズでは、日々の業務を通して学んだTipsやよく使うクエリの一部を簡単な活用例と一緒に、2回に分けて紹介しています。今回はその後編です。 ※前編は こちら 前回に引き続き、ク... 続きを読む

漢(オトコ)のコンピュータ道: MySQLのEXPLAINを徹底解説!!

2009/03/30 1298 users EXPLAIN スキーマ 公約 MySQL チューニング

2009-03-31 MySQLのEXPLAINを徹底解説!! 以前、MySQLを高速化する10の方法という投稿で「EXPLAINの見方についてはいずれ解説しようと思う」と書いてしまったので、今日はその公約？を果たそうと思う。 MySQLのチューニングで最も大切なのは、クエリとスキーマの最適化である。スキーマの設計は一度決めてしまうとそのテーブルを利用する全てのクエリに影響してしまうためなかなか変... 続きを読む

MySQLのクエリの良し悪しはrows_examinedで判断する - かみぽわーる

2018/03/21 866 users MySQL かみぽわー EXPLAIN 何行 結果

2018 - 03 - 22 MySQLのクエリの良し悪しはrows_examinedで判断する 仕事やらなんやらで MySQL のクエリの良し悪しを判断する必要があるとき、EXPLAINの内容だけだとどのぐらい良くなったり悪くなったのか分からないので SET long_query_time = 0; してrows_examined (そのクエリでrows_sent行の結果を返すために何行に触った... 続きを読む

データ分析のためのSQLを書けるようになるために

2024/04/01 677 users SQL 本稿 新卒 教材 データアナリスト

はじめに 本稿では分析用クエリをスラスラ書けるようになるまでの勉強方法や書き方のコツをまとめてみました。具体的には、自分がクエリを書けるようになるまでに利用した教材と、普段クエリを書く際に意識していることを言語化しています。 想定読者として、SQLをガンガン書く予定の新卒のデータアナリスト/データサイ... 続きを読む

ソーシャルゲーム開発者なら知っておきたい MySQL INDEX + EXPLAIN入門 | 株式会社インフィニットループ技術ブログ

2011/03/28 657 users OTA プログラマ 株式会社インフィニットループ技術ブログ

広く浅くを担当してます、ota です。技術ブログ第一回から早速流用スライドで申し訳ありませんが、社内勉強会資料として作成した「MySQL INDEX + EXPLAIN入門」です。当社でもソーシャルゲームの開発を行っていますが、このような大量のデータを使用する・クエリの速度が求められる場合にインデックスは大変重要です。インデックスの有効な利用にはDB設計者だけではなくプログラマにもある程度の知識が... 続きを読む

BigQueryで150万円溶かした人の顔 - Qiita

2015/12/06 640 users Qiita BigQuery 枚挙 代役 SQL

※ 代役：プロ生ちゃん（暮井 慧） 巷のBigQueryの噂と言えば「とにかく安い」「数億行フルスキャンしても早い」などなど。とりわけ料金に関しては保存しておくだけであれば無視できるほど安く、SQLに不慣れなプロデューサーがクエリを実行しても月数ドルで済むなど、賞賛すべき事例は枚挙に暇がありません。 しかしこのタイトル。僕は約150万円分使いました。まずは関係各位に改めてお詫びを。これは「主婦でも... 続きを読む

MySQLインデックスのお手入れの基本 | Yakst

2016/10/03 612 users Yakst インデックス ひとつひとつ データベース 翻訳

Percona Database Performance Blogの翻訳。既に運用を始めたデータベースで、インデックスが正しく使われているか、無駄や不足がないかを確認する方法のまとめ記事。クエリをひとつひとつ確認するのではなく、統計情報を元に判断する分かりやすい方法。 このブログ記事では、MySQLインデックスに手入れする基本的なステップについて見ていこうと思います。 データベースは、インデックス... 続きを読む

ソーシャルゲームのためのMySQL入門 - Technology of DeNA - snip-snap's posterous

2011/02/14 535 users スキーマ RDB posterous ユーザ テーブル

ソーシャルゲームのテーブルの特徴MySQLの設定パラメータを変更するだけで高速にできることは限られています。何よりもスキーマとクエリを効率的にすることが重要です。ソーシャルゲームでよく用いられるテーブルにはどういうタイプのモノがあるかを考えてみましょう。全てではないですが、よくあるタイプはこんな感じです。(一度でもRDBを使ってアプリ作ったことがない人には少々わかりにくいかも知れません＞＜)ユーザ... 続きを読む

100万件ぐらいのレコードを扱ったらOOMEが出た話。 - 谷本 心 in せろ部屋

2020/08/12 479 users ビーフ 谷本 PostgreSQL 要約 レコード

要約 技術的な話だけ教えて、という方のために先に結論だけ書いておきますと、PostgreSQLはクエリを実行した時点で全レコードの情報を一気に読んできてヒープを埋めてしまう場合がある、ということ話です。 たとえば、ResultSet#nextメソッドを使いながら処理を回すようなコードを書いて、少ないヒープでも処理できるよ... 続きを読む

人間のために分かりやすい実用的なURLを設計する方法 | コリス

2011/04/13 469 users ASCII コリス おわり セクション 合意

下記は各ポイントを意訳したものです。 はじめに URLを設計する理由 トップレベルのセクションは重要 URL構造を増強する方法 クエリの文字列 URLにはASCIIを URLは検索エンジンのためにではない URLは合意 全てがURLを持っているべき リンクはリンクらしく 再利用できないURL 素晴らしいURLの例 おわりに はじめに あなたは、URLの構造を設計するのに時間をかけるべきです。この記... 続きを読む

MySQLでトランザクションの4つの分離レベルを試す - FAT47の底辺インフラ議事録

2014/02/12 443 users トランザクション MySQL 底辺インフラ議事録 分離 特性

トランザクションとは1つの作業単位として扱われるSQLクエリの集まりです。複数のUPDATEやINSERTをひとつの集まりとして、それらのクエリがすべて適用できた場合のみデータベースに反映します。ひとつでも適用に失敗したクエリがあった場合は、そのまとまりすべてのクエリの結果は反映しません。ACID特性トランザクション処理に求められる4つの特性です。原子性 (Atomicity)トランザクションに含... 続きを読む

サブクエリの書き方を2万文字弱かけてすべて解説する

2024/05/02 442 users サブクエリ 構文 SQL MySQL レバテック開発部

これはなに ども、レバテック開発部のもりたです。 今回はSQLのサブクエリについてまとめます。仕事でクエリを書く際、サブクエリは頻出の構文だと思うんですが、同時にサブクエリの書き方を完全に理解しているよという人は案外少ないのではないでしょうか？[1] 実際、MySQLの公式ドキュメントを見ると12ページくらいを... 続きを読む

MySQLで処理に長時間かかっている複数クエリをまとめて殺す方法

2014/04/15 437 users MySQL SQL 特定 強制 処理

あまりにも処理に時間がかかるようなSQLを実行してしまい、MySQLがうんともすんとも言わなくなってしまうような状況、よくありますよね。っていうか、まぁそんな状況あってはならないんですが、時たまあります。そんな時、問題となっているクエリの処理を止めたいわけです。 特定のクエリを止める方法 MySQLで実行中のクエリ一覧を見て、SQLを強制終了する方法 こちらを見てもらえればやり方は分かります。単純... 続きを読む

jqのGo実装 gojq を作りました！ ― スタックマシン型インタープリタによるイテレータセマンティクスの実装 - プログラムモグモグ

2019/08/26 423 users JSON SaaS gojq API コマンド

jqはとても便利なコマンドです。 JSONを返すAPIを実装するときや、SaaSのAPIから特定の情報を抜き出してシェル変数に代入するときなど、web開発や運用には欠かせないツールとなっています。 しかし、私にとってjqのクエリを一発で書くのは容易ではなく、思い通りの出力が得られないことがよくありました。 難しいエラー... 続きを読む

Node.jsのMySQLパッケージにおけるエスケープ処理だけでは防げない「隠れた」SQLインジェクション - Flatt Security Blog

2022/02/16 398 users SQLインジェクション MySQL MySQLパッケージ

※本記事は筆者styprが英語で執筆した記事を株式会社Flatt Security社内で日本語に翻訳したものになります。 TL;DR Node.jsのエコシステムで最も人気のあるMySQLパッケージの一つである mysqljs/mysql (https://github.com/mysqljs/mysql)において、クエリのエスケープ関数の予期せぬ動作がSQLインジェクションを引き起こ... 続きを読む

ウノウラボ Unoh Labs: MySQLのチューニングのためのデータの集め方

2010/08/13 389 users ウノウラボ MySQL チューニング Unoh Labs 古株

いつの間にか会社で古株になったyamaokaです。 webアプリケーションのバックエンドにMySQLを使っている場合、 クエリ（SQL）のチューニングをする必要がありますよね。 皆さんはチューニングの計画をどのように立てていますか。 もちろん、既に明らかに重いことが想定されているページがあれば、 その処理で使われているクエリを中心にEXPLAINなどを使って解析していけばいいと思います。 でもそう... 続きを読む

漢(オトコ)のコンピュータ道: RDBにおけるキャッシュという考え方

2015/06/17 361 users RDB 異論 インデックス オトコ 万能

2015-06-17 RDBにおけるキャッシュという考え方 RDBの専門家として日々活動している中で気づいたことのひとつに、「RDBはデータへのアクセスの実装をインデックスに頼っているが、インデックスは全ての問題を解決できるほど万能ではない」ということがある。インデックスというのはとても強力な部品であり、その点には全く異論はない。だが、世の中の全ての問題（クエリ）を解決できるほど、柔軟性に富んだも... 続きを読む

CSV に SELECT / UPDATE クエリを実行できる VS Code の拡張機能「Rainbow CSV」 - kakakakakku blog

2018/11/29 353 users update select CSV egrep VS Code

定期的に CSV からデータを抽出する機会があり，抽出条件によって，今までは以下のような方法を使っていた． CSV を Excel で開いてフィルターを使う方法 CSV を grep / egrep などの Linux コマンドで絞り込む方法 CSV をAmazon S3 にアップロードして Amazon S3 Select でクエリを実行する方法 Rainbow CSV 新しい方法... 続きを読む

MySQLでIN句の中に大量の値の入ったクエリがフルスキャンを起こす話 - freee Developers Blog

2021/12/18 343 users リアリティ 挙動 MySQL shallow1729 マジ

こんにちは、freee Developers Advent Calendar 2021、19日目のid:shallow1729です。昨日はtdtdsさんで【マジで】サイバー演習シナリオの作り方【怖い】でした！障害訓練後に攻撃方法を解説された時はリアリティの高さに驚きました。 僕はMySQLを使っていて発生した不思議な挙動の調査の話をしようと思います。 今回問題... 続きを読む

ゼロから作り直す、前澤友作の新「ZOZOTOWN」の求人が最高にロック : 市況かぶ全力２階建

2017/04/09 333 users ZOZOTOWN recruit moznion 前澤友作

ZOZOTOWNの件，既存の開発者全員死んだのかというレベルの求人ですごいな — 博覧会 (@moznion) 2017年4月7日 https://st-komuten.jp/recruit/40engineers/ オフィスが爆発して既存の開発者全員死んだとしか思えない求人だ…… — 博覧会 (@moznion) 2017年4月7日 叩いたクエリは数知れずとかどんなパワーワードだよ — ‍いずみ... 続きを読む

MySQLのクエリを最適化する10のTips - PHPプロ！ニュース

2007/04/10 333 users MySQL EXPLAIN Jaslabs Tips 速度低下

Jaslabs: High performance phpでMySQLのクエリを最適化するための10のTipsが公開されています。explainを利用した一般的な方法から、SELECT・INSERTのクエリオプションを使用するような方法まで紹介されています。MySQLクエリの速度低下にお悩みの方は一度読んでみるとよいでしょう。 1. explainコマンドの使用 explainコマンドはクエリでど... 続きを読む

漢(オトコ)のコンピュータ道: DBエンジニアのための技術勉強会で発表したスライドを公開しました。

2013/11/28 332 users オトコ DBエンジニア スライド コンピュータ道 技術勉強会

2013-11-29 DBエンジニアのための技術勉強会で発表したスライドを公開しました。 DBエンジニアのための技術勉強会というイベントで、リレーショナルモデルにおけるDB設計について話す機会を頂いた。リレーショナルモデルは非常に重要であるにも関わらず、現場ではないがしろにされてしまっている。その結果、アプリケーションのロジックを上手くクエリで表現できず、開発現場では非効率な開発が行われ、多くの人... 続きを読む

多腕バンディットによる表示コンテンツの最適化 - クックパッド開発者ブログ

2014/10/29 318 users 膨大 最適化 クックパッド開発者ブログ 原島 クックパッド

2014-10-29 多腕バンディットによる表示コンテンツの最適化 こんにちは。技術部検索グループの原島です。 上の画像は、スマートフォン（ブラウザ版）で見たクックパッドの検索結果ページです。レシピだけでなく、ニュースも表示されていますね。献立や掲示板のスレッドなどが表示されることもあります。 クックパッドでは、検索結果ページに表示するコンテンツをクエリなどに応じて最適化しています。最適化は、膨大... 続きを読む

Yakst - MySQLインデックスの基礎 : ひとつのテーブルに対するクエリの最適化法

2015/05/25 307 users Yakst インデックス ガイドライン パフォーマンス 状況

たとえ1つのテーブルだけに対して実行されるクエリでも、パフォーマンスが悪いというのはよくあることです。その理由は簡単で、インデックスの作り方がまずいため、実行計画がおかしくなってしまうのです。ここでは、1つのテーブルのみに対する色々なクエリを最適化するためのガイドラインを挙げてみたいと思います。 おことわり : あらゆる状況をカバーしようとはせず、一般的なガイドラインを提示するに留めるつもりです。... 続きを読む