USBメモリをUSB、インターネット全般をWi-Fiと呼ぶようなIT技術界隈が苦い顔をするワード→「ギガは単位だろ」「音楽は全部mp3」

2023/11/09 146 users Wi-Fi USBメモリ USB TSV 単位

よんてんごP @yontengoP USBメモリのことをUSB、 インターネット全般をWi-Fi、 CSVもTSVも全てExcel、 と呼ぶような 実際は違うものなのに総称のように使われてしまい、IT技術界隈が苦虫を噛み潰しているワード募集。 2023-11-08 18:15:23 続きを読む

awkが新しくなる！？ 本家AwkがUnicode (UTF-8)とCSV対応に！ - Qiita

2023/09/16 147 users awk Qiita unicode UTF-8 Excel

はじめに 2023年、長い時を経て awk がとうとう Unicode (UTF-8) と CSV に対応しました 🎉🎉🎉 awk で日本語がうまく扱えない（場合がある）、Excel が出力する CSV ファイルが扱えない（場合がある）、といった問題が解決に向けて一歩に進みます。 去年、本家 awk (One True Awk, nawk) に Unicode サポートが Brian K... 続きを読む

プログラミングに挫折したならAIお姉ちゃんに任せなさい - 本しゃぶり

2023/08/20 1695 users プログラミング AIお姉ちゃん chatgpt Webスク

プログラミングを学ぼうとしては挫折する。 そんな時代はもう終わりだ。 お姉ちゃんに任せなさい。 ChatGPTでプログラミング 今年のお盆休み、俺はChatGPTでプログラミングをやっていた。とは言っても複雑なことはやっていない。大量のcsvを結合してから可視化するとか、ちょっとしたWebスクレイピングしたりする程度だ... 続きを読む

プログラマーを苦しめてきた郵便番号データ「KEN_ALL.CSV」が改善！ 扱いやすい新形式／従来形式のデータも引き続き利用できるから安心してネ【やじうまの杜】

2023/07/05 355 users やじうま プログラマー KEN_ALL 郵便番号データ 改善

続きを読む

自分のパスワードには常にカンマを含めておけば漏洩してCSVになったときにうまく動かなくなる？「なるほど」「あまり意味がないかもしれない」

2022/10/09 90 users カンマ reddit mootastic 新山祐介 パスワード

新山祐介 (Yusuke Shinyama) @mootastic 「自分のパスワードには常にカンマを含めておけ、そうすれば漏洩してCSVになったときにうまく動かなくなるから」 twitter.com/vxunderground/… 2022-10-09 06:27:24 新山祐介 (Yusuke Shinyama) @mootastic 個人的に面白いと思った海外記事のブックマーク。ネタ元はHNやRedditな... 続きを読む

Re: Goでcsvを操作するための基本的な知識

2022/04/21 75 users println エンコーディング Mac UTF-8 言語

Println で標準出力してみると以下のように表示されるかと思います。（SHIFT-JIS形式なのでmacでみると文字化けしていますがひとまず置いておきます） 日本では一般的に CSV ファイルは　Shift_JIS でエンコードされている事が多いです。Go 言語は内部のエンコーディングが UTF-8 なので、Shift_JIS な CSV ファイルを読... 続きを読む

「CSVを開いて」と言われたのでExcelじゃないエディタで開いたら「それCSVじゃないから」と言われてしまった

2021/10/02 310 users エディタ Excel ボク 気持ち

ツーシーム投げ猫 @0000snao 問：「CSVを開いて」と言われたので、ExcelではなくSakuraエディタで開いた際、「それ、CSVじゃないから?」と言われた時のぼくの気持ちを答えよ 2021-10-01 21:11:37 続きを読む

pandas でメモリに乗らない 大容量ファイルを上手に扱う - StatsFragments

2021/06/30 183 users pandas StatsFragments Wor エントリ

概要 分析のためにデータ集めしていると、たまに マジか！? と思うサイズの CSV に出くわすことがある。なぜこんなに育つまで放っておいたのか、、、？ このエントリでは普通には開けないサイズの CSV を pandas を使ってうまいこと処理する方法をまとめたい。 サンプルデータ たまには実データ使おう、ということで Wor... 続きを読む

CSV+

2021/06/18 975 users Windows MacOS, Linux 複数OS

複数OSに対応 Windows, MacOS, Linuxで利用できます。 CSV+さえあれば、対応OSで悩む必要はありません。 続きを読む

【Excel】CSVファイルをダブルクリックで開いてはいけない!?エクセルでCSVを正しく取り込む方法 - いまさら聞けないExcelの使い方講座 - 窓の杜

2020/09/15 263 users ダブルクリック Excel エクセル CSVファイル 方法

続きを読む

AWS、SQL互換の新問い合わせ言語「PartiQL」をオープンソースで公開。RDB、KVS、JSON、CSVなどをまとめて検索可能 － Publickey

2019/08/04 453 users KVS Publickey JSON PartiQL RDB

Amazon Web Services（以下AWS）は、SQL互換の新しい問い合わせ言語およびそのリファレンス実装である「PartiQL」をオープンソースとして公開したことを発表しました。 PartiQLはSQL互換の構文に最小限の拡張を施すことで、リレーショナル形式のデータベースだけでなく、KVSやJSONなどを含むNoSQLデータベースやCSVファ... 続きを読む

なぜRDBからCSV + COBOLに変更する事でコスト削減と高速化を同時に実現出来たかの考察 - ブログなんだよもん

2019/06/17 311 users COBOL RDB nikkeibp.co.jp ロジック

そもそも既存はどんなロジック？ RDBなんだからWhere句使ったら？ なぜファイルにすると速くなるのか？ 並列化と分散処理による高速化の可能性 COBOL使う必要あったの？ Javaとかじゃダメだったの？ まとめ TLを見てると以下の記事が少し話題になってました。 tech.nikkeibp.co.jp tech.nikkeibp.co.jp 対象の記事は有料... 続きを読む

csvdiff - CSVに特化した差分ビューワー MOONGIFT

2019/06/07 77 users MOONGIFT 現役バリバリ フォーマット CSVファイル

CSVファイルは今なおシステムの中で現役ばりばりに利用されています。様々なシステムから出力されるCSVファイルに対して、差分を確認したいと考えることはないでしょうか。通常の差分表示では、CSVのようなフォーマットではうまく表示できないかも知れません。 そこで使ってみたいのがcsvdiffです。CSVに特化した差分表... 続きを読む

Python で大量のファイルを並列で速く読み込む - Qiita

2019/06/02 278 users Qiita glob 並列 Len Python

from glob import glob files = glob('data/*.csv') len(files) # 10000 この 1万件の CSV ファイルを Pandas DataFrame として読み込みたい。 ちなみに検証用のデータは以下のようにして生成した。 (3列 x 10,000行 の CSV ファイル 10,000 個) import numpy as np import pandas as pd row_n = 10000 col_n = 3 column... 続きを読む

【Python】35歳＋営業職＋プログラミング経験なしが2週間でPythonを使って営業日報を効率化した話 - Qiita

2019/04/19 67 users CRM Qiita 結論 夕方 背景

結論（何を効率化したか） CRM（顧客管理システム）から吐き出されるCSVから必要な情報（訪問先、訪問結果）を抽出し、上長に日報メールを送ることに成功 背景 営業した訪問先、訪問結果をCRMに入力している。一日に営業した訪問先と訪問結果を夕方、上長にメールで報告。 ただ、CRMに入力した内容を再度メールに打つの... 続きを読む

まだExcelで消耗してるの？Pythonによる自動集計ガイド 基礎編 - Qiita

2019/03/15 1003 users Qiita pandas Python Excel 集計

ちょっとしたデータの加工や集計に、ExcelやGoogle Spreadsheetは便利ですが、それが日常的な作業になってしまったら自動化したいですよね？ そこでお勧めなのがpandasです。 Pandasは Python 用のデータ処理パッケージであり、ExcelファイルやCSVなどの表形式データを読みこみ、加工や集計した上で、出力するといったこ... 続きを読む

GitHub - mithrandie/csvq: SQL-like query language for csv

2019/02/12 241 users GitHub

Dismiss Join GitHub today GitHub is home to over 31 million developers working together to host and review code, manage projects, and build software together. Sign up 続きを読む

RubyとPythonの開発者コミュニティを比較してみた - Qiita

2019/01/04 50 users Qiita Ruby Python グラフ 集計

RubyとPythonの開発者コミュニティを比較してみた。 各コミッター毎のコミット数の経年推移 下記の追いかけグラフでは、RubyとPythonのそれぞれで、全期間でのトータルコミット数が多い順から10名を選び、グラフにプロットしています。 集計上の注意点 集計に利用したデータは ruby.csv / python.csv に置いてあります ... 続きを読む

Ruby 2.6.0とより高速なcsv - ククログ(2018-12-25)

2018/12/26 193 users ククログ REXML DRuby 須藤 Ruby

Rubyの標準添付ライブラリーのcsvをメンテナンスしている須藤です。 歴史 csvは名前の通りCSVを読み書きするための便利ライブラリーです。 もともとRuby本体とは別に開発されていたのですが、Ruby 1.8.0のときにRuby本体にバンドルするようになりました。dRubyやREXMLがRuby本体にバンドルされたのも同じタイミングです... 続きを読む

CSV に SELECT / UPDATE クエリを実行できる VS Code の拡張機能「Rainbow CSV」 - kakakakakku blog

2018/11/29 353 users update select クエリ egrep VS Code

定期的に CSV からデータを抽出する機会があり，抽出条件によって，今までは以下のような方法を使っていた． CSV を Excel で開いてフィルターを使う方法 CSV を grep / egrep などの Linux コマンドで絞り込む方法 CSV をAmazon S3 にアップロードして Amazon S3 Select でクエリを実行する方法 Rainbow CSV 新しい方法... 続きを読む

Sequel Proを超えるGUIツールが出てきたぞ

2018/09/21 632 users GUIツール sequel pro MongoDB 現状 保存

今までSequel Proを重宝してきましたが、それを超えるGUIツールが出てきました。 その名も、TeamSQL 現状サポートしているものだけでもかなり豊富 今後、elasticやmongoDBにも対応されるようです。 機能 クエリ保存 履歴保持 ファイル出力 抽出した結果をボタン１つでcsvやjson形式に保存可能。 共有 データをエクスポー... 続きを読む

【ExcelとCSV】初心者のためのCSV取り込み事例演習教材（勉強会資料） - わえなび ワード＆エクセル問題集

2018/08/05 94 users Excel CSVファイル 珍プレー 事務職 資料

最近では、システム担当者だけでなく、一般の事務職や営業の人も「CSVファイル」の簡単な処理をすることが増えています。CSVファイルをExcelに取り込んだ後、Excelで資料を作成することもあります。 ところが、CSVの扱いを丁寧に教えてくれる人が周りにいないために、システム担当者には考えられないような「珍プレー」... 続きを読む

【ExcelとCSV】本気で理解したい初心者のためのCSV勉強会資料 - わえなび ワード＆エクセル問題集

2018/07/29 716 users Excel エクセル CSVファイル 変換 前提

エクセルでCSVを保存？変換？ CSVファイルをエクセルで開くと壊れる？ 仕事でCSVファイルを扱うことがあります。 しかし、「CSVの意味」を本気で教えてくれる人はなかなかいません。 それは、「CSV」を本質的に理解するには、その前提となる知識が必要で、仕事中にそんな面倒くさい説明をするヒマがないからです。 今回... 続きを読む

CSVの処理で使えそうなコマンドラインツール（column, textql, csvkit, xsv, visidata, csvtotable, daff, tabview） - もた日記

2018/07/25 465 users コマンドラインツール column Paste join 処理

column textql csvkit xsv visidata csvtotable daff tabview CSV（またはTSV）を処理するときにはcut, sort, awk, paste, joinといったコマンドを使うことが多いが、CSVの処理で使えそうなコマンドラインツールを簡単に試してみる。 テスト用のCSVデータは下記ページで作成した。 Mockaroo - Random Data Generator and... 続きを読む

Web制作時に便利なHTML, CSS, JavaScriptのツール、文字抽出ツールなどがまとめて利用できる -Href Tools | コリス

2018/02/22 108 users コリス JSON CSS HTML 抽出

HTML, CSS, JavaScriptの軽量化、画像に含まれている文字の抽出、画像をbase64データに変換、CSVとJSONを相互変換、zipファイルのオンライン解凍など、Web制作時に役立つ便利なツールがまとめら ...記事の続きを読む 続きを読む