データ分析で用いるSQLクエリの設計方法

2024/12/08 374 users データ分析 設計方法

STEP2. アウトプットを実現するために必要なデータソースを書き出す アウトプットの整理ができたら、今度はインプットとなるデータソースの整理を行いましょう。 必要なデータソースは要件から読み解くことができます。 今回は「10代のユーザーの月間視聴数（性別 / 動画カテゴリごと）の推移をグラフで見たい」という要... 続きを読む

自然言語による説明でSQL文からDBアプリの生成まで実現する「Oracle APEX AI Assistant」発表

2024/06/18 12 users SQL文 生成 言語 Assistant 説明

オラクルは、自然言語による質問からSQLクエリを生成したり、自然言語で求める機能を説明することでアプリケーションの生成まで実現する「Oracle APEX AI Assistant」（以下、APEX AI Assitant）を発表しました。 APEX AI Assistantは同社のローコード開発ツールであるOracle APEXの機能として提供されます。Orale APEX... 続きを読む

クエリのパフォーマンスチューニングの第一歩。実行計画や統計情報について入門する

2024/05/05 121 users SQL パフォーマンスチューニング クエリ ユーザー 正確さ

SQL実行の流れ まずはSQLがどのような流れで実行されるのかを見ていきます。 SQL実行の流れは大まかに捉えると以下のようになります。 パーサ パーサでは、ユーザーから送信されたクエリを受け取り、その文法的な正確さを検証します。SQLクエリが正しくフォーマットされているか、必要な構文要素が全て含まれているかを... 続きを読む

もう人間がクエリを書く時代じゃない！SQLクエリの組み立てを自動化するSlack botを開発・導入しました - Pepabo Tech Portal

2024/05/03 217 users クエリ リレーション Slack Bot データベース 開発

こんにちは。SUZURI事業部の@kromiiiと申します。 私のメインの業務はWebアプリケーションの開発ですが、大学院時代のスキルを活かして並行してデータ分析業務も行っています。 データ分析業務ではデータベースのクエリを書くことが多いのですが、私自身SUZURI事業部に配属されたばかりで、テーブルの名前やリレーション... 続きを読む

高効率なSQLクエリの書き方 - Qiita

2024/01/18 273 users ベストプラクティス クエリ SQL Qiita インデックス

概要 この記事では、SQLクエリをより効率的に記述するためのベストプラクティスとテクニックに焦点を当てています。データベースのクエリはシステム全体のパフォーマンスに直結するため、最適な書き方を知ることは重要です。インデックスの効果的な活用方法、適切な結合の選択、そして条件の効果的な書き方など、SQLの最... 続きを読む

【golang】sqlcコマンドで「SQLクエリから型安全なGoコードを生成」し、生産性を上げたい

2022/06/29 22 users golang sqlc 前書き DBスキーマ インプット

【golang】sqlcコマンドで「SQLクエリから型安全なGoコードを生成」し、生産性を上げたい by nao · 2022年6月25日 前書き：sqlcとは 本記事は、kyleconroy/sqlcの基本的な情報を紹介します。 sqlcは、DBスキーマ（DBテーブル定義）、SQLクエリ定義、設定ファイルの3点をインプットとして、型安全なCRUDコード + DBテーブ... 続きを読む

SQLクエリを実行、可視化できるウェブアプリ「SQLPad」を試してみた | DevelopersIO

2022/01/14 248 users ウェブアプリ DevelopersIO アプリケーション

こんにちは！DA(データアナリティクス)事業本部 サービスソリューション部の大高です。 SQLクエリをローカル環境でウェブアプリとして実行できるものが無いか少し探していたのですが、「SQLPad」というアプリケーションを見つけたので実際に試してみたいと思います。 SQLPadとは SQLクエリを実行、可視化できるセルフホ... 続きを読む

SQLで機械学習モデルを作れる「Amazon Redshift ML」が一般提供に：CodeZine（コードジン）

2021/05/31 11 users CodeZine トレーニ SQL コードジン 機械学習モデル

米Amazon Web Servicesは、SQLコマンドを使用して機械学習モデルを作成できる、「Amazon Redshift ML」の一般提供を5月27日（現地時間）に開始した。 Amazon Redshift MLは、Amazon Redshiftクラスタから直接機械学習モデルを作成、トレーニング、デプロイすることが可能で、単純なSQLクエリを使用してモデルのトレーニ... 続きを読む

油断できないSQLインジェクション。その種類とWebアプリにおける対策 | yamory Blog

2020/03/06 11 users SQLインジェクション SQLi yamory Blog

SQLインジェクション（SQL Injection、略称: SQLi） は、バックエンドにおけるデータベース操作に悪意のあるSQLクエリを注入して、意図していないデータにアクセスできる脆弱性および攻撃手法です。データベースには、企業の機密情報や顧客の個人情報などが保存されているため、攻撃者はこの機密情報を狙って取得を試み... 続きを読む

MySQLに投げられたすべてのSQLクエリをロギングする - モヒカンは正義

2019/05/25 82 users モヒカン MySQL 正義 クエリビルダ ORM

概要 クエリビルダやORMが生成するクエリを確認したい、などの理由で、MySQLに投げられたクエリを確認したくなることがある そういうときは、MySQLのクエリログ (general_log) と言う設定をONにすることによって、すべてのクエリをログに吐かせることができる dev.mysql.com 5.2.3 一般クエリーログ 一般クエリーログは... 続きを読む

自然言語からSQLクエリを機械学習で生成、業務データベースが言葉で検索できるように。セールスフォース・ドットコムがAIの研究成果を公開 － Publickey

2017/08/31 106 users Publickey データベーススキーマ ビジネスパーソン

自然言語からSQLクエリを機械学習で生成、業務データベースが言葉で検索できるように。セールスフォース・ドットコムがAIの研究成果を公開 セールスフォース・ドットコムの人工知能研究部門であるSalesforce Researchは、自然言語による質問とデータベーススキーマの情報を基に、質問に対応するSQLクエリを機械学習で生成する研究成果を 公開しました 。 これによってビジネスパーソンがSQL言語... 続きを読む

マイクロソフト、次期SQL Serverとなる「SQL Server 2017」発表。DBMS内でTensorFlowやCNTKなどのディープラーニングを実行可能に － Publickey

2017/04/24 65 users Publickey Pytho TensorFlow 実行

マイクロソフトは4月19日（日本時間4月20日未明）に開催したオンラインイベント「 Microsoft Data Amp 2017 」において、次期SQL Serverとなる「SQL Server 2017」を発表しました。 SQL Server 2017ではグラフオブジェクト対応、過去の処理から学んで自己チューニングするAdaptive Query Processing、SQLクエリにPytho... 続きを読む

『ビッグデータ分析・活用のためのSQLレシピ』はデータ分析でSQLクエリを叩く人なら必読の黒魔術大全 - 六本木で働くデータサイエンティストのブログ

2017/04/12 485 users 必読 SQLレシピ 六本木 データサイエンティスト SQL

2017 - 04 - 12 『ビッグデータ分析・活用のためのSQLレシピ』はデータ分析でSQLクエリを叩く人なら必読の黒魔術大全 書籍 書評 SQL データ分析 こちらの本をご恵贈いただきました。 ビッグデータ分析・活用のためのSQLレシピ 作者: 加嵜 長門 ,田宮直人 出版社/メーカー: マイナビ出版 発売日: 2017/03/27 メディア: Kindle 版 この商品を含むブログを見る ... 続きを読む

[新サービス]S3上のデータをSQLクエリで取得する、Amazon Athenaを試す ｜ Developers.IO

2016/11/30 17 users Developers.IO Athena コンニチハ AWS

コンニチハ、千葉です。Amazon Athenaが発表されましたので、さっそく試してみました。これは、ほんとすごいです。 Amazon Athenaとは？ 詳細はAWSの公式ブログ Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを に記載されていますのでこちらを参照ください。 Amazon Athenaについて、上公式ブログから引用です。 Athenaは新しいサ... 続きを読む

Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを | Amazon Web Services ブログ

2016/11/30 240 users permalink フロッピーディスク データ 日々 私達

Amazon Web Services ブログ Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを by AWS Japan Staff | on 01 DEC 2016 | in 新サービス | Permalink 私達が扱わなければいけないデータの量は日々増え続けています(私は、未だに1,2枚のフロッピーディスクを持っていて、1.44MBというのが当時はとても... 続きを読む

SQLで分析を始めた人に贈る、中級者に上がるための10のTips -後編- | eureka tech blog

2016/10/28 3507 users SQL Tips pairs 後編 クエリ

こんにちは！pairsのAnalyzeチームでエンジニアをしている鉄本です。 Analyzeチームでは、施策検討時のデータ抽出やサービス上の問題検知のために、分析用途のSQLクエリ (MySQL) を作成しています。 このシリーズでは、日々の業務を通して学んだTipsやよく使うクエリの一部を簡単な活用例と一緒に、2回に分けて紹介しています。今回はその後編です。 ※前編は こちら 前回に引き続き、ク... 続きを読む

CakePHP3にも採用されているマイグレーションツール「Phinx」を使ってみた | 東北ギーク

2015/12/15 29 users マイグレーションツール Flyway リスペクト Java

こんにちは。リスペクトの木村です。 以前に書いた記事、「Vagrant環境で実現するお手軽DBマイグレーション」の中で、「Flyway」というJavaで動作するマイグレーションツールをご紹介しました。 Flywayは言語やアプリケーションを問わず使えたり、生のSQLクエリで記述するので汎用性が高い点が良かったのですがこんにちは。リスペクトの木村です。 以前に書いた記事、「 Vagrant環境で実現... 続きを読む

「ストリーミングSQLリレーショナルデータベース」をうたう「PipelineDB」が登場 | OSDN Magazine

2015/07/09 49 users PipelineDB リレーショナルデータベース クエリ

オープンソースのストリーミングSQLリレーショナルデータベースプロジェクト「PipelineDB」が7月7日に始動した。PostgreSQLと互換性があり、継続的クエリなどの特徴を加えたもの。初期リリースとしてバージョン0.7.7を公開している。 PipelineDBは、SQLクエリをストリームで継続的に走らせることができるリレーショナルデータベース。継続的処理とリレーショナルストレージを組み合わ... 続きを読む

Apache Drillを使用してYelpの生データを数分で分析する方法 | Hadoop Times

2014/12/02 15 users Yelp MongoDB HBase マイルストーン リリース

Apache Drillは、急成長しているオープンソースプロジェクトの１つであり、その月毎のリリースに伴い、このコミュニティも飛躍的に進歩しています。最新のDrill 0.6リリースも、このプロジェクトにとって重要なマイルストーンでした。今回のリリースでは、(現在既に対応済みのファイルシステム、HBase、および、Hiveソースに加え) MongoDBに直接SQLクエリを行えるようになる等、重要な... 続きを読む

【ギャラリーサイトで重複しない画像をランダム表示させる時に使った】WordPressで投稿を取得する際に「ORDER BY」節を付ける | 今村だけがよくわかるブログ

2014/04/28 13 users 今村 ORDER BY 無限スクロール WordPress

WordPressのフィルターフック「posts_orderby」を使うと、投稿を取得するSQLクエリに「ORDER BY」節を加えることができます。私の場合は、ギャラリーサイト制作の時に使いました。 無限スクロールができて、スクロールするたびにどんどん写真が表示される、みたいなギャラリーサイト。その際「重複しないランダムな写真を次々に表示」させるために必要でした。イメージですと、今制作中の「大英... 続きを読む

MySQLでトランザクションの4つの分離レベルを試す - FAT47の底辺インフラ議事録

2014/02/12 443 users トランザクション MySQL 底辺インフラ議事録 分離 クエリ

トランザクションとは1つの作業単位として扱われるSQLクエリの集まりです。複数のUPDATEやINSERTをひとつの集まりとして、それらのクエリがすべて適用できた場合のみデータベースに反映します。ひとつでも適用に失敗したクエリがあった場合は、そのまとまりすべてのクエリの結果は反映しません。ACID特性トランザクション処理に求められる4つの特性です。原子性 (Atomicity)トランザクションに含... 続きを読む

データサイエンティストに必要な３つのスキル

2013/11/18 293 users データサイエンティスト スキル 言い過ぎ 本屋 数学

久しぶりにタイトルで釣りにいっているが、ブラウザの「戻る」ボタンを押さないでくれw ... ... ... （よし、まだ「戻る」ボタンを押してない！） ぼく自身、データサイエンティストだったことはないが、一応大学では数学を勉強していたし、金融でクオンツトレーダーもやっていたし、人生３回分（と言ったら言い過ぎか）くらいのSQLクエリは書いている。要は、本屋に立ち並ぶ歯の浮く様なビッグデータ談義よりは... 続きを読む

フレームワーク開発時代のSQLチューニング基礎（２）SQLのやっちゃだめ前編 : Media Technology Labs (MTL) : メディアテクノロジーラボ　ブログ

2011/02/15 110 users between MTL ワイルドカード チューニング SQL

研究員の棚橋です。前回に引き続いてSQLのチューニング例を例示していきます。３．SQLのやっちゃ駄目（前編）それでは、SQLクエリのチューニングでよくいわれる「やっちゃ駄目」を２回にわたって実際にみていきましょう。 「＊」ワイルドカードは使わない範囲検索はBETWEENを使うMAXやMIN関数でインデックスを使うGROUP BYやORDER BYにインデックスを使う。キーに演算はしない。「＊」ワイ... 続きを読む