データ分析のためのSQLを書けるようになるために

2024/04/01 677 users SQL 本稿 新卒 教材 データアナリスト

はじめに 本稿では分析用クエリをスラスラ書けるようになるまでの勉強方法や書き方のコツをまとめてみました。具体的には、自分がクエリを書けるようになるまでに利用した教材と、普段クエリを書く際に意識していることを言語化しています。 想定読者として、SQLをガンガン書く予定の新卒のデータアナリスト/データサイ... 続きを読む

高効率なSQLクエリの書き方 - Qiita

2024/01/18 273 users ベストプラクティス SQLクエリ SQL Qiita 結合

概要 この記事では、SQLクエリをより効率的に記述するためのベストプラクティスとテクニックに焦点を当てています。データベースのクエリはシステム全体のパフォーマンスに直結するため、最適な書き方を知ることは重要です。インデックスの効果的な活用方法、適切な結合の選択、そして条件の効果的な書き方など、SQLの最... 続きを読む

型キャストの場所のせいで、秒で終わっていたクエリに1時間超かかるようになってしまった話 - SmartHR Tech Blog

2024/01/18 187 users SmartHR 型キャスト CPU使 アップグレード 特定

SmartHRで届出書類という機能を担当しているプロダクトエンジニアのsato-sと申します。 今日は、以前私が調査にとても苦労したパフォーマンス上の問題の話を紹介したいと思います。 TL;DR PostgreSQLのアップグレードを実施した アップグレード後、今までは問題のなかった特定のクエリの実行に1時間超かかり、DBのCPU使... 続きを読む

CDNレイヤでDBのコネクションプーリングとクエリキャッシュを提供。世界中どこからのDBアクセスでも高速化する「Hyperdrive」、Cloudflareが提供

2023/10/10 130 users コネクションプーリング クエリキャッシュ データベース 提供

CDNレイヤでDBのコネクションプーリングとクエリキャッシュを提供。世界中どこからのDBアクセスでも高速化する「Hyperdrive」、Cloudflareが提供 Cloudflareは、グローバルなCDNレイヤでデータベースのコネクションプーリングとクエリのキャッシュを提供することによりデータベースへのアクセスを高速化する新サービス「... 続きを読む

MySQL即効クエリチューニング読んだ - $shibayu36->blog;

2023/07/19 115 users MySQL クエリチューニング $shibayu36 作者

MySQL即効クエリチューニング ThinkIT Books 作者:yoku0825インプレスAmazon 最近クエリチューニングの仕事があったので、少し深めに知ろうと読んだ。 MySQLの内部構造がどうなっているかは置いておいて、どうすればクエリの問題を把握できるかが素早く知れる良い本だった。90ページくらいですぐ読めるのも良い。個人的... 続きを読む

CSSの進化が早い！ スタイルクエリ（@container style()）の基礎知識と便利な使い方を解説

2023/03/14 121 users CSS スタイルクエリ コンテナクエリ 進化 基礎知識

コンテナクエリがすべてのモダンブラウザの安定版でサポートされ、これからはメディアクエリからコンテナクエリを使用する機会が増えてくると思います。 コンテナクエリは親コンテナに基づいてスタイルを定義できるものですが、親のサイズによるクエリだけではありません。親のスタイル値によるクエリ（スタイルクエリ）... 続きを読む

MySQLで階層構造を扱うための再帰的なクエリの実装方法と実用例

2023/03/07 238 users MySQL RDB 階層構造 実用例 結論

１．はじめに RDBでの階層構造の関係を持つデータを扱う上で、 効率的なデータの持ち方や抽出方法について検証を行っています。 結論から先に 階層構造を扱う方法として下記の種類があります。 隣接リスト 経路列挙 入れ子集合 閉包テーブル 再帰クエリ（WITH RECURSIVE）を使うと階層データを扱う上でのパフォーマンス... 続きを読む

[はてブ]関連ページ・RSS一覧

2022/05/21 211 users はてブ RSS一覧 関連ページ 憶測 極少数

はてブについて、情報検索したりクエリを投げたりして調べてまとめてみた。自分用メモとして書いたもので、極少数の人しか興味を持たない内容かと思うが、読んでいただければ幸い。 公式等[1・2（参照したページURLを最後に記載。以下同様）]で詳細を確かめられず素人の憶測で説明した箇所がいくつもあり、簡潔明瞭でも... 続きを読む

Node.jsのMySQLパッケージにおけるエスケープ処理だけでは防げない「隠れた」SQLインジェクション - Flatt Security Blog

2022/02/16 398 users SQLインジェクション MySQL MySQLパッケージ

※本記事は筆者styprが英語で執筆した記事を株式会社Flatt Security社内で日本語に翻訳したものになります。 TL;DR Node.jsのエコシステムで最も人気のあるMySQLパッケージの一つである mysqljs/mysql (https://github.com/mysqljs/mysql)において、クエリのエスケープ関数の予期せぬ動作がSQLインジェクションを引き起こ... 続きを読む

MySQLでIN句の中に大量の値の入ったクエリがフルスキャンを起こす話 - freee Developers Blog

2021/12/18 343 users リアリティ 挙動 MySQL shallow1729 マジ

こんにちは、freee Developers Advent Calendar 2021、19日目のid:shallow1729です。昨日はtdtdsさんで【マジで】サイバー演習シナリオの作り方【怖い】でした！障害訓練後に攻撃方法を解説された時はリアリティの高さに驚きました。 僕はMySQLを使っていて発生した不思議な挙動の調査の話をしようと思います。 今回問題... 続きを読む

論理プログラミング言語Logicaでデータサイエンス100本ノック

2021/06/25 236 users BigQuery データサイエンス100本ノック カテ 設問

Googleが発表したOSSプロジェクトである論理プログラミング言語Logicaを使って、データサイエンス100本ノック(構造化データ加工編)の設問を解きながらどのような言語かを確認していく。 (BigQueryのクエリとして実行していく) 最初に、プログラミング言語Logicaの特徴を纏めておく。 論理型プログラミング言語: このカテ... 続きを読む

100万件ぐらいのレコードを扱ったらOOMEが出た話。 - 谷本 心 in せろ部屋

2020/08/12 479 users ビーフ 谷本 PostgreSQL 要約 レコード

要約 技術的な話だけ教えて、という方のために先に結論だけ書いておきますと、PostgreSQLはクエリを実行した時点で全レコードの情報を一気に読んできてヒープを埋めてしまう場合がある、ということ話です。 たとえば、ResultSet#nextメソッドを使いながら処理を回すようなコードを書いて、少ないヒープでも処理できるよ... 続きを読む

jqのGo実装 gojq を作りました！ ― スタックマシン型インタープリタによるイテレータセマンティクスの実装 - プログラムモグモグ

2019/08/26 423 users JSON SaaS gojq API コマンド

jqはとても便利なコマンドです。 JSONを返すAPIを実装するときや、SaaSのAPIから特定の情報を抜き出してシェル変数に代入するときなど、web開発や運用には欠かせないツールとなっています。 しかし、私にとってjqのクエリを一発で書くのは容易ではなく、思い通りの出力が得られないことがよくありました。 難しいエラー... 続きを読む

CSV に SELECT / UPDATE クエリを実行できる VS Code の拡張機能「Rainbow CSV」 - kakakakakku blog

2018/11/29 353 users update select CSV egrep VS Code

定期的に CSV からデータを抽出する機会があり，抽出条件によって，今までは以下のような方法を使っていた． CSV を Excel で開いてフィルターを使う方法 CSV を grep / egrep などの Linux コマンドで絞り込む方法 CSV をAmazon S3 にアップロードして Amazon S3 Select でクエリを実行する方法 Rainbow CSV 新しい方法... 続きを読む

SQL と Pandas の対応表 - Qiita

2018/11/11 242 users Qiita pandas Udemy 殴り書き 備忘録

トピック SQL のクエリと、Pandas のメソッドの対応表を作成する。 SQL 勉強中のため、備忘録代わりに箇条書き（殴り書き）で書いていく。 Udemy のこちらのコースで勉強していました。 DBやテーブル自体の更新・操作に関するものはこちらにまとめている。（SQL のクエリだけを書き散らかしているだけ） 順序 記述順序 s... 続きを読む

検索結果で『アニメ・ゲーム絵に対し、嫌いを通り越し、見る度に殺意わくようになる』？←もともとGoogleの画像検索で「-」が使えないと言う話だったらしい - Togetter

2018/08/09 230 users Togetter recommend 引き算 除外 マイナス

"引き算の検索演算子と言われるもので、検索結果に含ませたくないクエリを全て除外することができます。利用方法は完全一致のオプションの前にマイナス「-」をつけるだけで、検索結果に含ませたくないキーワードの除外を簡単に行うことができます。" https://big-mac.jp/recommend/buisiness-skill-and-tool/search-oper... 続きを読む

MySQLのクエリの良し悪しはrows_examinedで判断する - かみぽわーる

2018/03/21 866 users MySQL かみぽわー EXPLAIN 何行 結果

2018 - 03 - 22 MySQLのクエリの良し悪しはrows_examinedで判断する 仕事やらなんやらで MySQL のクエリの良し悪しを判断する必要があるとき、EXPLAINの内容だけだとどのぐらい良くなったり悪くなったのか分からないので SET long_query_time = 0; してrows_examined (そのクエリでrows_sent行の結果を返すために何行に触った... 続きを読む

［速報］「Amazon Redshift Spectrum」発表。Amazon S3にデータを保存したまま複雑なクエリを高速で実行可能に。AWS Summit 2017 San Francisco － Publickey

2017/04/19 215 users Publickey データウェアハウス サンフランシスコ

［速報］「Amazon Redshift Spectrum」発表。Amazon S3にデータを保存したまま複雑なクエリを高速で実行可能に。AWS Summit 2017 San Francisco Amazon Web Servicesは、サンフランシスコでイベント「AWS Summit 2017 San Francisco」を開催。データウェアハウスの新サービス「Amazon Redshift ... 続きを読む

ゼロから作り直す、前澤友作の新「ZOZOTOWN」の求人が最高にロック : 市況かぶ全力２階建

2017/04/09 333 users ZOZOTOWN recruit moznion 前澤友作

ZOZOTOWNの件，既存の開発者全員死んだのかというレベルの求人ですごいな — 博覧会 (@moznion) 2017年4月7日 https://st-komuten.jp/recruit/40engineers/ オフィスが爆発して既存の開発者全員死んだとしか思えない求人だ…… — 博覧会 (@moznion) 2017年4月7日 叩いたクエリは数知れずとかどんなパワーワードだよ — ‍いずみ... 続きを読む

個人ブログが生き残るための新しいSEO対策 - 踊るバイエイターの敗者復活戦

2017/04/05 140 users バイエイター ブラックハット 敗者復活戦 供給 需要

2017 - 04 - 05 個人ブログが生き残るための新しいSEO対策 SEO スポンサーリンク Tweet en.wikipedia.org 検索上位表示の難易度はクエリ（キーワード）によって大きく異なる。 個人ブログの場合、収益性だけでなく、需要と供給の差に注目してコンテンツを詰めていくのが良いだろう。ユーザーの満足を得られるようなアクションを得られれば、ブラックハットを用いて評価を偽装した... 続きを読む

SQLで分析を始めた人に贈る、中級者に上がるための10のTips -後編- | eureka tech blog

2016/10/28 3507 users SQL Tips pairs 後編 SQLクエリ

こんにちは！pairsのAnalyzeチームでエンジニアをしている鉄本です。 Analyzeチームでは、施策検討時のデータ抽出やサービス上の問題検知のために、分析用途のSQLクエリ (MySQL) を作成しています。 このシリーズでは、日々の業務を通して学んだTipsやよく使うクエリの一部を簡単な活用例と一緒に、2回に分けて紹介しています。今回はその後編です。 ※前編は こちら 前回に引き続き、ク... 続きを読む

MySQLインデックスのお手入れの基本 | Yakst

2016/10/03 612 users Yakst インデックス ひとつひとつ データベース 翻訳

Percona Database Performance Blogの翻訳。既に運用を始めたデータベースで、インデックスが正しく使われているか、無駄や不足がないかを確認する方法のまとめ記事。クエリをひとつひとつ確認するのではなく、統計情報を元に判断する分かりやすい方法。 このブログ記事では、MySQLインデックスに手入れする基本的なステップについて見ていこうと思います。 データベースは、インデックス... 続きを読む

Ruby on Rails & Vitessによる
DBスケールアウト // Speaker Deck

2016/02/10 130 users YouTube Vitess Speaker Deck 分散

ソーシャルゲームのような高負荷がかかるWebアプリケーションにおいては、何十, 何百台ものサーバーでスケールアウトするのが当然の時代になりました。特にDBサーバーでは垂直分割、水平分割による複数のDBへの負荷の分散が行われ、アプリケーション側でハンドリングすべきことが増してきています。 今回は、Google社のyoutubeの基盤として大量のクエリを捌いているVitessを、当社のゲームにおいて実... 続きを読む

BigQueryで150万円溶かした人の顔 - Qiita

2015/12/06 640 users Qiita BigQuery 枚挙 代役 SQL

※ 代役：プロ生ちゃん（暮井 慧） 巷のBigQueryの噂と言えば「とにかく安い」「数億行フルスキャンしても早い」などなど。とりわけ料金に関しては保存しておくだけであれば無視できるほど安く、SQLに不慣れなプロデューサーがクエリを実行しても月数ドルで済むなど、賞賛すべき事例は枚挙に暇がありません。 しかしこのタイトル。僕は約150万円分使いました。まずは関係各位に改めてお詫びを。これは「主婦でも... 続きを読む

これまで非公開だった検索品質評価ガイドラインの最新版をGoogleが公開 | 海外SEO情報ブログ

2015/11/23 295 users Google 検索品質評価ガイドライン 非公開 最新版 公開

[レベル: 中級]検索結果の品質を評価するためのガイドラインの最新版をGoogleは公開しました。 これまでのものとは変更がない部分がある一方で、あらたにモバイルに関する章が加わったことが最新版の最大の特徴となっています。 検索品質評価ガイドラインとは？Googleは、ユーザーのクエリに対して関連性が高くかつ高品質なページを検索結果で返すことができているかどうかを、外部の評価者（Evaluator... 続きを読む