Python で大量のファイルを並列で速く読み込む - Qiita

2019/06/02 278 users Qiita 並列 Len Python Files

from glob import glob files = glob('data/*.csv') len(files) # 10000 この 1万件の CSV ファイルを Pandas DataFrame として読み込みたい。 ちなみに検証用のデータは以下のようにして生成した。 (3列 x 10,000行 の CSV ファイル 10,000 個) import numpy as np import pandas as pd row_n = 10000 col_n = 3 column... 続きを読む

PHPでバッチ処理する際に便利なglob使いこなしテクニック:phpspot開発日誌

2011/04/04 108 users PHP phpspot開発日誌 バッチ処理 ディレクトリ 配列

PHP Magic Function : glob() | PHP Code Base PHPでバッチ処理する際に便利なglob使いこなしテクニック。 globl("*.gif"); 等とすることで、同じディレクトリにある gif 拡張子のファイルを配列で受け取るなんていう便利な関数がありますが、その glob をもっと使いこなすテクニックが紹介されていましたのでご紹介。 階層的なファイルを探索 ... 続きを読む