たった一文でPandasのapplyメソッドを高速化する方法（検証計算あり） - Qiita

2019/11/14 147 users pandas Qiita 挙動 各々 メモリ

以下では、DaskやPandasなどと比較して、swifterがどの程度高速なのかを検証したいと思います。 swifterはベクトル化可能な場合とそうでない場合で挙動が異なるので、各々の場合を検証します。 使用したPCのスペックはIntel Core i5-8350U @1.70GHz、メモリが16GBです。 ベクトル化可能な場合 swifterはベクトル化可能な... 続きを読む

Python Dask で 並列 DataFrame 処理 - StatsFragments

2015/09/24 76 users StatsFragments NumPy pandas 処理

2015-09-24 Python Dask で 並列 DataFrame 処理 Python pandas Dask はじめに 先日のエントリで少し記載した Dask について、その使い方を書く。Dask を使うと、NumPy や pandas の API を利用して並列計算/分散処理を行うことができる。また、Dask は Out-Of-Core (データ量が多くメモリに乗らない場合) の処理も... 続きを読む