Pythonで非同期投げっぱなしファイル書き出し - Qiita

2023/01/28 66 users Qiita バッファ Python タスク main

Pythonで２面バッファにロギングしつつ、非同期でファイルに書き出す処理を書いてみた。 Fire-and-forgetとちゅうらしい。いわゆるヤリ逃げされるタスク。 動作仕様 ①main()は100msec周期で「日付＋ダミーデータ」のCSVデータをバッファに書き込む。 ②dataNumMax(100)個データがたまったらファイル書き出し関数(writeDat... 続きを読む

1100万行・32GB超の巨大CSVファイルの基本統計量を4GBメモリマシンで算出する - Qiita

2022/12/07 292 users Qiita マシンスペック Kaggleコンペ マシン 満足

はじめに この記事は，Kaggle Advent Calendar 2022第6日目の記事になります。 本記事では、 32GB超のCSVデータの基本統計量を、小規模マシンでも省メモリかつ高速に計算するテクニック について解説します。 Kaggleコンペに限らず、 マシンスペックが低いため、大きなデータセットを満足に処理できず困っている 毎回行... 続きを読む

【レビュー】“Amazon”の領収書を一括印刷、CSVデータも取得できる「アマゾン注文履歴フィルタ」 - 窓の杜

2018/02/15 80 users 領収書 Amazon レビュー 樽井 秀人

レビュー “Amazon”の領収書を一括印刷、CSVデータも取得できる「アマゾン注文履歴フィルタ」 「Google Chrome」や「Firefox」をはじめ幅広いブラウザーに対応、確定申告のお供に 樽井 秀人 2018年2月16日 06:00 「アマゾン注文履歴フィルタ」v0.1.0.1001 　「アマゾン注文履歴フィルタ」は、“Amazon.co.jp”の注文履歴を取得・フィルタリングして、そ... 続きを読む

CSVの整形ならExcelよりもおすすめ ～「EmEditor」の自動化機能で作業を効率化！ - 窓の杜

2017/04/27 69 users EmEditor 樽井 CSV Excel ゆえ

CSVの整形ならExcelよりもおすすめ ～「EmEditor」の自動化機能で作業を効率化！ 具体的なサンプルでスクリプトマクロに入門 樽井 秀人 2017年4月28日 06:45 「Excel」には高機能であるがゆえの落とし穴が…… 　定期的に上がってくるCSVデータを整形して見やすくする――といった業務を行う時にマスターしていると便利なのが、“マクロ”機能だ。 　“マクロ”とは、操作の手順をあ... 続きを読む

【やじうまWatch】ユーザーの声が届いた？　「ひどいCSV」の象徴、内閣府の「国民の祝日」CSVデータが劇的に改善 - INTERNET Watch

2017/03/01 58 users やじうまWatch Twitter モーメント 内閣府 象徴

やじうまWatch ユーザーの声が届いた？　「ひどいCSV」の象徴、内閣府の「国民の祝日」CSVデータが劇的に改善 tks24 2017年3月2日 06:00 　先日ネットで「ひどいCSV」の事例として話題になっていたのが、内閣府がホームページに掲載している「国民の祝日」のCSVデータ。その具体的な問題点はTwitterのモーメント（まとめ）をご覧いただくとして、このデータが最近になって修正された... 続きを読む

【レビュー】「Visual Studio Code」でExcelスプレッドシートやCSVデータを表示「Excel Viewer」 - 窓の杜

2017/02/26 346 users Visual Studio Code 樽井 Micros

レビュー 「Visual Studio Code」でExcelスプレッドシートやCSVデータを表示「Excel Viewer」 テーブルスタイルでわかりやすく。ソートやフィルタリングも可能 樽井 秀人 2017年2月27日 06:00 「Excel Viewer」v1.1.11 「Excel」やCSV形式のデータをテーブルスタイルでわかりやすく表示 　「Excel Viewer」は、「Micros... 続きを読む

CSVデータをデータベース化するツール「CtoD」の紹介

2013/11/14 98 users Heroku host melborne Heroku上

前の記事ではCtoDを使ってCSVデータからHeroku上にWebアプリを構築する手順を説明しました。 Excelデータを最速でWebアプリ(Heroku)にする１０９のステップ ここではCtoDの詳細を説明します。対象バージョンは0.0.3です。 ctoD | RubyGems.org | your community gem host melborne/ctoD 使い方 gem install... 続きを読む

CSVから多彩なフォーマット、プログラミング言語向けに変換「Mr. Data Converter」 - MOONGIFT|オープンソース・ソフトウェア紹介を軸としたITエンジニア、Webデザイナー向けブログ

2012/08/28 69 users XML MOONGIFT CSVファイル CSV HTML

CSVファイルはシステム開発においてとてもよく使われるフォーマットです。XMLやHTMLなど同様の機能を提供するフォーマットもありますが、それでもやはりCSVは人気が高いです。そんなCSVデータを別フォーマットに変換してくれるソフトウェアがMr. Data Converterです。 0 続きを読む

Passion For The Future: CSVデータをテキストの表に変換するテキセル

2005/10/02 60 users テキスト util winnt soft スポンサード

CSVデータをテキストの表に変換するテキセル スポンサード　リンク ・テキセル http://www.vector.co.jp/soft/winnt/util/se306876.html メールにCSVのデータを説明資料としてファイル添付することがあるが、いまひとつ説得力がない。相手が添付ファイルを見てくれるかどうか不明だし、「10行目の2項目、3項目の数字が」とメール本文に書いても、参照が難しい... 続きを読む