xlsxファイルにSQLを実行するxlsxsql - Qiita

2023/11/23 254 users GitHub Qiita XLSXファイル ツール ファイル

xlsxファイルに対してSQLを実できるxlsxsqlというツールを作りました。 GitHubのxlsxsqlからダウンロードできます。 これは何？ xlsxsqlは、xlsxファイルに対してSQLを実行するツールです。 また、CSV,LTSV,JSON,YAMLといったファイルに対してSQLを実行することもでき、その結果をxlsxファイルに出力することもできます... 続きを読む

LLMベースの新しい言語『SUQL』が示唆する「非構造化データのクエリ」を処理するパラダイム | AIDB

2023/11/20 9 users AIDB クエリ パラダイム スタンフォード大学 クエリ処理

マイページに保存最終更新日：2023/11/20 スタンフォード大学の研究者たちは、新しいプログラミング言語『SUQL』（Structured and Unstructured Query Language）を開発しました。 この言語は、SQL（Structured Query Language）の概念を拡張し、非構造化データのクエリ処理を可能にする新しいパラダイムを導入していま... 続きを読む

安全なウェブサイトの作り方~失敗例~ - goruchan’s blog

2023/11/12 148 users ウェブサイト インジェクション Ruby on Rails

安全なウェブサイトの作り方を読んだので、理解した内容を自分なりにまとめておきます。資料 上記は3章構成になっていてそれぞれ長めの内容なので、ここでは3章の『失敗例』について、Ruby on Rails ではどうするかについてをまとめます。 SQL インジェクション OS コマンドインジェクション パス名パラメータの未チェッ... 続きを読む

OpenAIを使って分析を楽にさせる

2023/10/18 16 users Twitter OpenAI API Slack Bot 背景

背景 Twitter で予想外にいいねをたくさん頂いていたため解説記事として出します。 OpenAI の API を活用してその会社のサービスに沿った SQL を返してくれる slack bot を開発しました。主に「OpenAI の API でものを作ってみたい人」「slack bot を簡単に開発したいと思っている人」「Cloudflare Workers に手を出した... 続きを読む

GoでSQLの複雑なクエリのテストを書いてみた - ZOZO TECH BLOG

2023/10/10 78 users クエリ ZOZO TECH BLOG テスト

はじめに こんにちは。ブランドソリューション開発本部FAANSバックエンドブロックの佐野です。普段はサーバーサイドエンジニアとして、FAANSのバックエンドシステムを開発しています。 FAANSとは、弊社が2022年8月に正式ローンチした、アパレル店舗で働くショップスタッフの販売サポートツールです。例えば、コーディネ... 続きを読む

【SQL】ちょっとしたパフォーマンスチューニングまとめ - Qiita

2023/09/01 148 users Qiita サブクエリ Exists 暗黙 ソート

SELECT table_a.id, table_a.name FROM table_a INNER JOIN table_b ON table_a.id = table_b.id; メリットとしては、 どちらかのテーブルのid列のインデックスを使用可能 サブクエリがないことで中間テーブルが作成されない しかし、インデックスがない場合はEXISTSの方が良い場合があります ソートの回避 SQLでは暗黙... 続きを読む

ChatGPTを使ってDDLからER図をすばやく作成する - Taste of Tech Topics

2023/08/29 13 users DDL chatgpt konno サンフ ＥＲ図

最近、酢を飲むと健康に良いという話を聞き、頑張って毎日飲んでいるkonnoです。 何となくですが、朝の目覚めは良くなっている気がしますよ！ 今回はデータベース設計に欠かせないER図を、ChatGPTを使ってDDL（Data Definition Language：SQLのデータ定義言語）から簡単に作成できるのか試してみたいと思います。 サンプ... 続きを読む

goquを駆使してgoでSQL構築も構造体マッピングもRDBテストもやる - エムスリーテックブログ

2023/08/29 71 users fukubaya RDB 知見 エムスリーテックブログ 観点

【Unit4 ブログリレー6日目】 こんにちは、エムスリーエンジニアリンググループの福林 (@fukubaya) です。 最近まで開発していたm3ラウンジでは、goからRDBを利用していました。 m3ラウンジでは、SQLの組みやすさやテストのしやすさの観点で検討した結果、goquを採用しましたので、 そこで得られた知見とその実装例を紹... 続きを読む

データ基盤の管理に役立つ監視用のSQLを紹介します - 10X Product Blog

2023/07/31 103 users BigQuery データ基盤 syou6162 監視用 監視

Analytics Engineerの吉田(id:syou6162)です。BigQueryを中心に10X社内のデータ関連の管理をしています。10Xに入社してそろそろ一年になろうかとしていますが、データ基盤を適切に管理 / 運用するためにSQLによる監視を少しずつ取り入れています。この記事では、具体的にどのようなSQLを書いて監視しているのか紹介した... 続きを読む

Data Engineering Study #20 "Introduction to Data Analytics with SQL" Book

2023/07/03 80 users ＢＯＯＫ Data Engineering Study

Data Engineering Study #20 "Introduction to Data Analytics with SQL" Book 続きを読む

SQLの実行計画の読み方 |

2023/05/05 805 users 差異 データベース 内部 パフォーマンス 実行計画

今回は、SQLを書く上で特にパフォーマンスに影響のあるSQLの実行計画の読み方について解説します。実行計画はデータベース製品によってさまざまに差異がありますが、ここでは比較的どのデータベース製品でも共通する内容について解説します。 実行計画とは記述したSQLが実際にデータベースの内部でどのように処理されて... 続きを読む

Rails: ジョブの中で関連付けをループしないこと（翻訳）｜TechRacho by BPS株式会社

2023/04/14 11 users クエリ Rails Ruby Andy Croll 許諾

概要 元サイトの許諾を得て翻訳・公開いたします。 英語記事: Try not to loop through associations inside jobs – Andy Croll 原文公開日: 2023/02/13 著者: Andy Croll SQLを直接使わずにRubyでデータベースとやりとりする方法は、ともすると、ほとんど同じようなクエリをうっかり大量に実行してパフォーマンス低下で... 続きを読む

ITインフラをコードではなくSQLとして管理する「IaSQL」のβ版が公開

2023/03/14 13 users IAC Terraform Pulumi クラウド ツール

オープンソースソフトウェアの「IaSQL」（Infrastructure as SQL）プロジェクトは2023年2月16日、IaSQLのβ版をリリースした。 IaSQLを使用すると、開発者はクラウドにあるITインフラを「PostgreSQL」のSQLとして管理できる。プロジェクトはIaSQLを「『Pulumi』『Terraform』といったIaC（Infrastructure as Code）ツール... 続きを読む

【2023年版】機械学習の日本語無料学習教材まとめ - Qiita

2023/02/27 217 users 機械学習 セクション Python 2023年版 TIPS集

言語&開発基礎編 PythonやSQLなどの言語と開発環境に関連することをまとめました。 機械学習に関する教材はこの次のセクションにまとめてあります。 学習環境 インストール及び使い方チュートリアルのサイトと、ある程度使い慣れた後に役立つtips集を各エディタでまとめました。 Google Colaboratory Python初学者にとっ... 続きを読む

マーケター自身がデータを管理するために、広告運用にdbtを導入した経緯と効果 - MonotaRO Tech Blog

2023/02/15 16 users dbt 部署 経緯 過程 マーケティング

こんにちは、マーケティング部門広告グループの小林です。この記事ではオンライン広告運用に使っているデータ変換処理をdbtに移行した過程と得られた効果についてご紹介します。 モノタロウでは、全社的なデータ活用研修などにより、マーケティングのようなビジネス系の部署でも、SQLを自身で書いてデータ抽出を行い、数... 続きを読む

商品数の増加を見据えて商品情報作成処理をPythonからBigQueryに移行した話 | SQLによるバッチ処理で工夫した3つのポイント - MonotaRO Tech Blog

2023/01/24 17 users BigQuery Python バッチ処理 増加 ポイント

こんにちは、EC基盤グループ 商品情報基盤チームの江村です。今回は私が所属している商品情報基盤チームで構築、運用を行っているシステムについてお話します。 モノタロウでは以前から記事になっていますが、検索システムの移行を行っており、現在商品検索ページの裏側の検索システムのSolrからElasticsearchへの切り替... 続きを読む

日本語の問いをChatGPTでSQLに変換、実行する「Chat2Query」を搭載。MySQL互換のTiDB Cloud

2023/01/19 177 users TiDB chatgpt MySQL互換 SQL文 変換

日本語の問いをChatGPTでSQLに変換、実行する「Chat2Query」を搭載。MySQL互換のTiDB Cloud MySQL互換のオープンソースデータベース「TiDB」（タイデービー）を提供しているPingCAP社は、日本語を含む自然言語の問いをChatGPTを用いてSQL文に変換し、実行する「Chat2Query」機能を、クラウド上でTiDBのマネージドサービ... 続きを読む

SQLを速くするぞ―お手軽パフォーマンス・チューニング

2023/01/12 590 users チューニング 受け売り プログラマ 本稿 最初

このサイトでは、SQL を高速化するためのちょっとしたパフォーマンス・チューニングの技術を紹介します。と言っても、『プログラマのためのSQL　第2版』の受け売りがほとんどなので、この本を読んでいただければ、本稿を読む必要はありません。 最初に、パフォーマンス・チューニングに関する全体の方針を述べておくと、... 続きを読む

SQLite3 WASM/JS、Origin Private File Systemを用いてChrome上の高速なローカルDBが機能するとGoogleが明らかに、廃止されたWeb SQLの代替として利用可能

2023/01/12 73 users 代替 sqlite3 wasm API Chrome 代替機能

SQLite3 WASM/JS、Origin Private File Systemを用いてChrome上の高速なローカルDBが機能するとGoogleが明らかに、廃止されたWeb SQLの代替として利用可能 Google Chromeの開発チームは昨年（2022年）9月に、非推奨となったWeb標準のWeb SQL Database API（以下Web SQL）をChromeから削除、その代替機能としてSQLite開発... 続きを読む

あなたの遅延はどこから？ SQLから！ 〜患部に止まってすぐ効くSQLレビューチェックリスト 年初め特大サービス号〜 - ANDPAD Tech Blog

2023/01/12 383 users 患部 tomtwinkle 遅延 分量 原田

あけましておめでとうございます！ 今年は異世界放浪メシのアニメが放送されるらしいので楽しみなバックエンドの原田 (tomtwinkle)です。 内部で運用しているSQLレビューチェックリストの一部を抽出し思いつきで追記して行った結果、結構な分量になってしまいました。 暇な時でも流し読みして頂けるとありがたいです。 M... 続きを読む

TimescaleDB 雑感

2023/01/07 92 users sqlc 組み合わせ 著者 前提 タイミング

TimescaleDB を自社サービスに採用して 1 年以上過ぎたので振り返ってみます。 前提 著者は SQL に関して TimescaleDB を採用を決めたタイミングから勉強した初心者です Managed Service for TimescaleDB を採用しています まとめ TimescaleDB の利用で不満は今のところない sqlc との組み合わせは最高 開発会社が提供す... 続きを読む

ハーバード大学のコンピューターサイエンスの講義（日本語版）が無料公開されている件「聞き取りやすいから英語も勉強できる」

2023/01/01 1096 users コンピューターサイエンス ハーバード大学 講義 英語 日本語版

🎍QDくん🎍Python x 機械学習 x 金融工学 @developer_quant ハーバード大学のコンピューターサイエンス入門講義は日本語版が無料公開されている cs50.jp ・講義動画は日本語字幕付き ・講義ノートも日本語訳あり ・C言語 ・配列 ・アルゴリズム ・メモリ ・データ構造 ・Python ・SQL ・HTML, CSS, JavaScript ・Flask ... 続きを読む

保守性と生産性を両立する分析用SQL構造化の4原則 〜 構造化プログラミングの考え方をSQLに適用する

2022/12/18 142 users 構造化プログラミング 保守性 4原則 生産性 考え方

こんにちは。Yahoo!広告のデータマーケティングソリューション（以下、DMS）を開発しているデータアナリストの薄田です。 みなさんは、中間テーブル同士が複雑に絡み合い変更しようにも影響範囲を推定できず、手がつけられない分析パイプラインの保守で苦労された経験はないでしょうか？ 私のチームでは数千行におよぶ分... 続きを読む

ワンランク上のSQLを書くためのポイント3つ - Qiita

2022/12/17 278 users Qiita Nuco Advent Calendar 最初

この記事はNuco Advent Calendar 2022の17日目の記事です。 ワンランク上のSQLとは？ 1年近く、データ分析に関わる業務に携わっってきた中で、良いSQL、いまいちなSQLをいろいろ見てきました。 自分が書くSQLも、最初の頃は目も当てられないSQLも書いてきました。そんな中で、こんなことを意識していくと、より良いSQLに... 続きを読む

競走馬の血統をSQLで再現できる! 再帰クエリ徹底活用してみた - asoview! TECH BLOG

2022/12/10 151 users asoview 血統 競走馬 Tech Blog

アソビュー！ Advent Calendar 2022の10日目です。 8月に入社しアソビューでバックエンドエンジニアをしている長友です。 みなさま再帰クエリ使っていらっしゃるでしょうか！ 最近アソビューではmysqlの8系へのバージョンアップを行った為、再帰クエリの利用が可能となりました。 そこで本日は、アソビュー競馬部にも所... 続きを読む