タグ CSV
人気順 5 users 10 users 50 users 500 users 1000 usersUSBメモリをUSB、インターネット全般をWi-Fiと呼ぶようなIT技術界隈が苦い顔をするワード→「ギガは単位だろ」「音楽は全部mp3」
よんてんごP @yontengoP USBメモリのことをUSB、 インターネット全般をWi-Fi、 CSVもTSVも全てExcel、 と呼ぶような 実際は違うものなのに総称のように使われてしまい、IT技術界隈が苦虫を噛み潰しているワード募集。 2023-11-08 18:15:23 続きを読む
awkが新しくなる!? 本家AwkがUnicode (UTF-8)とCSV対応に! - Qiita
はじめに 2023年、長い時を経て awk がとうとう Unicode (UTF-8) と CSV に対応しました 🎉🎉🎉 awk で日本語がうまく扱えない(場合がある)、Excel が出力する CSV ファイルが扱えない(場合がある)、といった問題が解決に向けて一歩に進みます。 去年、本家 awk (One True Awk, nawk) に Unicode サポートが Brian K... 続きを読む
プログラミングに挫折したならAIお姉ちゃんに任せなさい - 本しゃぶり
プログラミングを学ぼうとしては挫折する。 そんな時代はもう終わりだ。 お姉ちゃんに任せなさい。 ChatGPTでプログラミング 今年のお盆休み、俺はChatGPTでプログラミングをやっていた。とは言っても複雑なことはやっていない。大量のcsvを結合してから可視化するとか、ちょっとしたWebスクレイピングしたりする程度だ... 続きを読む
プログラマーを苦しめてきた郵便番号データ「KEN_ALL.CSV」が改善! 扱いやすい新形式/従来形式のデータも引き続き利用できるから安心してネ【やじうまの杜】
「CSVを開いて」と言われたのでExcelじゃないエディタで開いたら「それCSVじゃないから」と言われてしまった
ツーシーム投げ猫 @0000snao 問:「CSVを開いて」と言われたので、ExcelではなくSakuraエディタで開いた際、「それ、CSVじゃないから?」と言われた時のぼくの気持ちを答えよ 2021-10-01 21:11:37 続きを読む
pandas でメモリに乗らない 大容量ファイルを上手に扱う - StatsFragments
概要 分析のためにデータ集めしていると、たまに マジか!? と思うサイズの CSV に出くわすことがある。なぜこんなに育つまで放っておいたのか、、、? このエントリでは普通には開けないサイズの CSV を pandas を使ってうまいこと処理する方法をまとめたい。 サンプルデータ たまには実データ使おう、ということで Wor... 続きを読む
CSV+
複数OSに対応 Windows, MacOS, Linuxで利用できます。 CSV+さえあれば、対応OSで悩む必要はありません。 続きを読む
【Excel】CSVファイルをダブルクリックで開いてはいけない!?エクセルでCSVを正しく取り込む方法 - いまさら聞けないExcelの使い方講座 - 窓の杜
AWS、SQL互換の新問い合わせ言語「PartiQL」をオープンソースで公開。RDB、KVS、JSON、CSVなどをまとめて検索可能 - Publickey
Amazon Web Services(以下AWS)は、SQL互換の新しい問い合わせ言語およびそのリファレンス実装である「PartiQL」をオープンソースとして公開したことを発表しました。 PartiQLはSQL互換の構文に最小限の拡張を施すことで、リレーショナル形式のデータベースだけでなく、KVSやJSONなどを含むNoSQLデータベースやCSVファ... 続きを読む
なぜRDBからCSV + COBOLに変更する事でコスト削減と高速化を同時に実現出来たかの考察 - ブログなんだよもん
そもそも既存はどんなロジック? RDBなんだからWhere句使ったら? なぜファイルにすると速くなるのか? 並列化と分散処理による高速化の可能性 COBOL使う必要あったの? Javaとかじゃダメだったの? まとめ TLを見てると以下の記事が少し話題になってました。 tech.nikkeibp.co.jp tech.nikkeibp.co.jp 対象の記事は有料... 続きを読む
Python で大量のファイルを並列で速く読み込む - Qiita
from glob import glob files = glob('data/*.csv') len(files) # 10000 この 1万件の CSV ファイルを Pandas DataFrame として読み込みたい。 ちなみに検証用のデータは以下のようにして生成した。 (3列 x 10,000行 の CSV ファイル 10,000 個) import numpy as np import pandas as pd row_n = 10000 col_n = 3 column... 続きを読む
まだExcelで消耗してるの?Pythonによる自動集計ガイド 基礎編 - Qiita
ちょっとしたデータの加工や集計に、ExcelやGoogle Spreadsheetは便利ですが、それが日常的な作業になってしまったら自動化したいですよね? そこでお勧めなのがpandasです。 Pandasは Python 用のデータ処理パッケージであり、ExcelファイルやCSVなどの表形式データを読みこみ、加工や集計した上で、出力するといったこ... 続きを読む
GitHub - mithrandie/csvq: SQL-like query language for csv
Dismiss Join GitHub today GitHub is home to over 31 million developers working together to host and review code, manage projects, and build software together. Sign up 続きを読む
Ruby 2.6.0とより高速なcsv - ククログ(2018-12-25)
Rubyの標準添付ライブラリーのcsvをメンテナンスしている須藤です。 歴史 csvは名前の通りCSVを読み書きするための便利ライブラリーです。 もともとRuby本体とは別に開発されていたのですが、Ruby 1.8.0のときにRuby本体にバンドルするようになりました。dRubyやREXMLがRuby本体にバンドルされたのも同じタイミングです... 続きを読む
CSV に SELECT / UPDATE クエリを実行できる VS Code の拡張機能「Rainbow CSV」 - kakakakakku blog
定期的に CSV からデータを抽出する機会があり,抽出条件によって,今までは以下のような方法を使っていた. CSV を Excel で開いてフィルターを使う方法 CSV を grep / egrep などの Linux コマンドで絞り込む方法 CSV をAmazon S3 にアップロードして Amazon S3 Select でクエリを実行する方法 Rainbow CSV 新しい方法... 続きを読む
Sequel Proを超えるGUIツールが出てきたぞ
今までSequel Proを重宝してきましたが、それを超えるGUIツールが出てきました。 その名も、TeamSQL 現状サポートしているものだけでもかなり豊富 今後、elasticやmongoDBにも対応されるようです。 機能 クエリ保存 履歴保持 ファイル出力 抽出した結果をボタン1つでcsvやjson形式に保存可能。 共有 データをエクスポー... 続きを読む
【ExcelとCSV】本気で理解したい初心者のためのCSV勉強会資料 - わえなび ワード&エクセル問題集
エクセルでCSVを保存?変換? CSVファイルをエクセルで開くと壊れる? 仕事でCSVファイルを扱うことがあります。 しかし、「CSVの意味」を本気で教えてくれる人はなかなかいません。 それは、「CSV」を本質的に理解するには、その前提となる知識が必要で、仕事中にそんな面倒くさい説明をするヒマがないからです。 今回... 続きを読む
CSVの処理で使えそうなコマンドラインツール(column, textql, csvkit, xsv, visidata, csvtotable, daff, tabview) - もた日記
column textql csvkit xsv visidata csvtotable daff tabview CSV(またはTSV)を処理するときにはcut, sort, awk, paste, joinといったコマンドを使うことが多いが、CSVの処理で使えそうなコマンドラインツールを簡単に試してみる。 テスト用のCSVデータは下記ページで作成した。 Mockaroo - Random Data Generator and... 続きを読む
Web制作時に便利なHTML, CSS, JavaScriptのツール、文字抽出ツールなどがまとめて利用できる -Href Tools | コリス
HTML, CSS, JavaScriptの軽量化、画像に含まれている文字の抽出、画像をbase64データに変換、CSVとJSONを相互変換、zipファイルのオンライン解凍など、Web制作時に役立つ便利なツールがまとめら ...記事の続きを読む 続きを読む
まだ CSV の文字化けで消耗してるの?(Excel で直接開いても文字化けしない CSVファイルを Python3 で作成するスマートな方法) - akiyoko blog
2017 - 12 - 09 まだ CSV の文字化けで消耗してるの?(Excel で直接開いても文字化けしない CSVファイルを Python3 で作成するスマートな方法) Python Tweet この投稿は 「 python Advent Calendar 2017 - Qiita 」 の 9日目の記事です。 こんにちは、akiyoko です。 「Python Advent Calendar... 続きを読む
trdsqlというコマンドラインツールを作った - Qiita
trdsqlというコマンドラインツールを作りました。 Go で作ってます。 githubの trdsql からダウンロード出来ます。 また Linux/Windows/macOSのバイナリ もあります。 これは何? 簡単に言えばCSV(TSV含む)やLTSVに対してSQLを実行できるツールです。 同様のツールが q や textql 等いくつかあります。 trdsqlはPostgreSQLドライバ... 続きを読む
PythonでCSVを高速&省メモリに読みたい - tkm2261's blog
2017 - 08 - 03 PythonでCSVを高速&省メモリに読みたい 今日は Python (Pandas)で高速に CSV を読むことに挑戦したいと思います。 Kaggleに参加するたびに、イライラしていたので各実装の白黒はっきりさせようと思います。 R使いが羨ましいなぁと思う第一位が CSV 読込が簡単に並列出来て速いことなので、 なんとかGILのある Python でも高速に読み込み... 続きを読む
Pandasを使ったデータ操作の基本 - ぴよぴよ.py
2017 - 07 - 30 Pandasを使ったデータ操作の基本 データ分析の会社に転職してから3ヶ月。 最初の1ヶ月はPandasの扱いに本当に困ったので、 昔メモしてたことを簡単にブログに記録しておく(o ・ω・)ノ Pandasとは pandasでよく使う型 テストデータについて 余談 Pandasでのデータ操作入門 pandasのload データ(csv)のロード データのサイズ データ... 続きを読む
内閣府の「国民の祝日」のCSVがひどい。
最新の国民の休日は内閣府から供給されるCSVを読めばわかることがわかった。これがオープンガバメントだ。 http:// www8.cao.go.jp/chosei/shukuji tsu/gaiyou.html … pic.twitter.com/KeZKXwl20p 続きを読む
内閣府の「国民の祝日」のCSVがひどい。
最新の国民の休日は内閣府から供給されるCSVを読めばわかることがわかった。これがオープンガバメントだ。 http:// www8.cao.go.jp/chosei/shukuji tsu/gaiyou.html … pic.twitter.com/KeZKXwl20p 続きを読む