たった一文でPandasのapplyメソッドを高速化する方法（検証計算あり） - Qiita

2019/11/14 147 users pandas Qiita 挙動 各々 メモリ

以下では、DaskやPandasなどと比較して、swifterがどの程度高速なのかを検証したいと思います。 swifterはベクトル化可能な場合とそうでない場合で挙動が異なるので、各々の場合を検証します。 使用したPCのスペックはIntel Core i5-8350U @1.70GHz、メモリが16GBです。 ベクトル化可能な場合 swifterはベクトル化可能な... 続きを読む

Python Dask で Out-Of-Core / 並列 LU 分解 - StatsFragments

2016/01/23 12 users StatsFragments Out-Of-Core 並列

2016 - 01 - 23 Python Dask で Out-Of-Core / 並列 LU 分解 Dask Python はじめに 正方行列 を となる下三角行列 と 上三角行列 に分解することを LU 分解という。LU 分解ができると 連立方程式 の解や 逆行列 が 前進 /後退代入でかんたんに求められてうれしい。 Dask を使って LU 分解を Out-Of-Core / 並列でやりた... 続きを読む

Chainer + Dask で 並列 Deep Learning したい <1> - StatsFragments

2015/12/16 25 users Chainer StatsFragments 並列 学習 時間

2015 - 12 - 17 Chainer + Dask で 並列 Deep Learning したい <1> Deep Learning Python Dask Chainer この記事は Chainer Advent Calendar 2015 17 日目の記事です。 はじめに サイズが大きいデータを Deep Learning すると学習に時間がかかってつらい。時間がかかってつらいので並列... 続きを読む

Python Dask.Array で 並列 / Out-Of-Core 処理 - StatsFragments

2015/12/13 24 users StatsFragments Out-Of-Core 並列

2015 - 12 - 13 Python Dask.Array で 並列 / Out-Of-Core 処理 Dask 前処理 この記事は Python Advent Calendar 2015 13 日目の記事です。 Python で手軽に並列 / Out-Of-Core 処理を行うためのパッケージである Dask について書きたい。 Dask を使うと以下のようなメリットが得られる。 環境構築... 続きを読む

PyConJP 2015: Dask: 軽量並列計算フレームワーク (Lightning talks) // Speaker Deck

2015/10/11 31 users pyconjp Speaker Deck

All slide content and descriptions are owned by their creators. 続きを読む

Python Dask で 並列 DataFrame 処理 - StatsFragments

2015/09/24 76 users StatsFragments NumPy pandas 処理

2015-09-24 Python Dask で 並列 DataFrame 処理 Python pandas Dask はじめに 先日のエントリで少し記載した Dask について、その使い方を書く。Dask を使うと、NumPy や pandas の API を利用して並列計算/分散処理を行うことができる。また、Dask は Out-Of-Core (データ量が多くメモリに乗らない場合) の処理も... 続きを読む