pandas でメモリに乗らない 大容量ファイルを上手に扱う - StatsFragments

2021/06/30 183 users pandas Wor CSV エントリ メモリ

概要 分析のためにデータ集めしていると、たまに マジか！? と思うサイズの CSV に出くわすことがある。なぜこんなに育つまで放っておいたのか、、、？ このエントリでは普通には開けないサイズの CSV を pandas を使ってうまいこと処理する方法をまとめたい。 サンプルデータ たまには実データ使おう、ということで Wor... 続きを読む

Python pandas 欠損値/外れ値/離散化の処理 - StatsFragments

2016/01/31 96 users 欠損 Python 工程 考慮 サンプル

2016 - 02 - 01 Python pandas 欠損値/外れ値/離散化の処理 Python pandas 前処理 データの前処理にはいくつかの工程がある。書籍「データ分析プロセス」にはそういった前処理のうち、欠損などデータ特性の考慮が必要なものについて その対処方法とあわせて詳しく記載されている。 が、書籍のサンプルは R なので、 Python でどうやればよいかよく分からない。同じこ... 続きを読む

Python pandas プロット機能を使いこなす - StatsFragments

2015/11/15 193 users pandas プロット API Python pandas

2015-11-15 Python pandas プロット機能を使いこなす pandas Python 可視化 pandas は可視化のための API を提供しており、折れ線グラフ、棒グラフといった基本的なプロットを簡易な API で利用することができる。一般的な使い方は公式ドキュメントに記載がある。 Plotting — pandas 0.17.0 documentation これらの機能は m... 続きを読む

Python Dask で 並列 DataFrame 処理 - StatsFragments

2015/09/24 76 users NumPy pandas Dask Out-Of-Core

2015-09-24 Python Dask で 並列 DataFrame 処理 Python pandas Dask はじめに 先日のエントリで少し記載した Dask について、その使い方を書く。Dask を使うと、NumPy や pandas の API を利用して並列計算/分散処理を行うことができる。また、Dask は Out-Of-Core (データ量が多くメモリに乗らない場合) の処理も... 続きを読む

Python 次世代の多次元配列パッケージ群 - StatsFragments

2015/09/22 89 users

2015-09-22 Python 次世代の多次元配列パッケージ群 Python このところ、たびたび NumPy 後継が...とか 並列処理が...という話を聞くので、この秋 注目の多次元配列パッケージをまとめたい。 バックエンド系 NumPy のように数値計算処理を自前で実装しているパッケージ。 DyND Blaze プロジェクトのひとつ。C++ 実装 + Python バインディング。Git... 続きを読む

Python geopandas + Bokeh で地理情報をプロットしたい - StatsFragments

2015/07/18 76 users Bokeh pandas QGIS ケーススタディ エントリ

2015-07-18 Python geopandas + Bokeh で地理情報をプロットしたい pandas Python 可視化 数日前、pandas を利用して地理情報をプロットするという非常によいエントリが翻訳されていた。 PythonとQGISを使って地理空間を可視化する – UFO目撃情報でのケーススタディ | プログラミング | POSTDpostd.cc 上のエントリ、前処理が手... 続きを読む

Python pandas パフォーマンス維持のための 3 つの TIPS - StatsFragments

2015/07/11 93 users Cython Numba Tips 公式ドキュメント 処理速度

2015-07-11 Python pandas パフォーマンス維持のための 3 つの TIPS pandas Python pandas でそこそこ大きいデータを扱う場合、その処理速度が気になってくる。公式ドキュメントではパフォーマンス向上のための方法として Cython や Numba を使う方法を記載している。 Enhancing Performance — pandas 0.16.2 do... 続きを読む

Chainer で Deep Learning: model zoo で R-CNN やりたい - StatsFragments

2015/07/05 65 users Chainer ニューラルネットワーク オブジェクト 領域

2015-07-05 Chainer で Deep Learning: model zoo で R-CNN やりたい Python Deep Learning Chainer ニューラルネットワークを使ったオブジェクト検出の手法に R-CNN (Regions with CNN) というものがある。簡単にいうと、R-CNN は以下のような処理を行う。 入力画像中からオブジェクトらしい領域を検出し切... 続きを読む

Python pandas データのイテレーションと関数適用、pipe - StatsFragments

2015/06/18 101 users Pipe イテレーション エントリ 関数 順番

2015-06-18 Python pandas データのイテレーションと関数適用、pipe pandas Python pandas ではデータを 列 や 表形式のデータ構造として扱うが、これらのデータから順番に値を取得 (イテレーション) して何か操作をしたい / また 何らかの関数を適用したい、ということがよくある。このエントリでは以下の 3 つについて整理したい。 イテレーション 関数適用... 続きを読む

Python spyre によるデータ分析結果のWebアプリ化 - StatsFragments

2015/06/12 114 users Shiny Python ご存知 パッケージ レッスン

2015-06-13 Python spyre によるデータ分析結果のWebアプリ化 Python 可視化 R を使っている方はご存知だと思うが、R には {Shiny} というパッケージがあり、データ分析の結果を インタラクティブな Web アプリとして共有することができる。{Shiny} って何？という方には こちらの説明がわかりやすい。 RStudio Shiny チュートリアル レッスン1... 続きを読む

Python pandas 関連エントリの目次 - StatsFragments

2015/04/28 91 users 末席 Twitter pandas エントリ 目次

2015-04-28 Python pandas 関連エントリの目次 pandas Python このブログ中の pandas 関連のエントリをまとめた目次です。 最近 pandas 開発チーム と PyData グループ の末席に加えていただき、パッケージ自体の改善にもより力を入れたいと思います。質問などありましたら Twitter で @ ください。 目次につけた絵文字は以下のような意味です。... 続きを読む

Python pandas で日本の株価情報取得とローソク足チャート描画 - StatsFragments

2015/02/03 114 users Qiita pandas ファイナンス 株価 Yahoo

2015-02-04 Python pandas で日本の株価情報取得とローソク足チャート描画 pandas Python 以下の記事を読んでいて、pandas 標準では日本株式の情報が直接とれないことに気づいたのでやり方をまとめたい。 pandas のデータ集約とグループ演算を利用して株価を分析する - Qiita この記事では以下 2 点の処理について書く。 Yahoo! ファイナンス からの... 続きを読む

Python pandas 図でみる データ連結 / 結合処理 - StatsFragments

2015/01/27 121 users 連結 公式ドキュメント 整理 うち データ

2015-01-28 Python pandas 図でみる データ連結 / 結合処理 前処理 pandas Python なんかぼやぼやしているうちにひさびさの pandas エントリになってしまった。基本的な使い方については完走させたい気持ちはあるので、、、。 今回は データの連結 / 結合まわり。この部分 公式ドキュメント がちょっとわかりにくいので改訂したいなと思っていて、自分の整理もかねて... 続きを読む

Theano で Deep Learning <6>: 制約付きボルツマンマシン <前編> - StatsFragments

2015/01/12 66 users Theano 制約付きボルツマンマシン RBM 前編 前半

2015-01-12 Theano で Deep Learning <6>: 制約付きボルツマンマシン <前編> Deep Learning Python Theano DeepLearning 0.1 Documentation の第六回は 制約付きボルツマンマシン (Restricted Boltzmann Machines / 以降 RBM) 。かなり分量があるので、とりあえず元文書 前半の... 続きを読む

Python networkx でマルコフ確率場 / 確率伝搬法を実装する - StatsFragments

2014/12/27 130 users RBM networkx 制約付きボルツマンマシン 手前

2014-12-27 Python networkx でマルコフ確率場 / 確率伝搬法を実装する 可視化 Python ここ 1ヶ月にわたって 聖書 DeepLearning 0.1 Documentation を読み進め、ようやく 制約付きボルツマンマシン の手前まできた。 Deep Learning カテゴリーの記事一覧 - StatsFragments 制約付きボルツマンマシン (RBM) ... 続きを読む

Python simpy による離散イベントシミュレーション - StatsFragments

2014/12/14 50 users Python シミュレーション パッケージ バージョン かなり

2014-12-14 Python simpy による離散イベントシミュレーション Python シミュレーション この記事は Python Advent Calendar 2014 の14日目の記事です。 この記事では、離散イベントシミュレーション用の Python パッケージ simpy について書きたい。simpy の現在のバージョンは 3.0.5、イニシャルリリースは 2002 年とかなり... 続きを読む

Theano で Deep Learning <3> : 畳み込みニューラルネットワーク - StatsFragments

2014/12/07 86 users class ニューラルネットワーク Theano 理論 教師

2014-12-07 Theano で Deep Learning <3> : 畳み込みニューラルネットワーク Deep Learning Theano Python Python Theano を使って Deep Learning の理論とアルゴリズムを学ぶ会、第三回。今回で教師あり学習の部分はひと段落。 目次 DeepLearning 0.1 について、対応する記事のリンクを記載。 Class... 続きを読む

多層パーセプトロンの動きを可視化する - StatsFragments

2014/11/30 82 users 多層パーセプトロン Theano 線形分離 Python 補足

2014-11-30 多層パーセプトロンの動きを可視化する Python 可視化 概要 多層パーセプトロン記事の補足。下の記事の最後で、入力されたデータを隠れ層で線形分離しやすい形に変換している、ということを確かめたかったが、MNIST データでは次元が高すぎてよくわからなかった。ということで、もうちょっとわかりやすい例を考える。 Theano で Deep Learning <2> : 多層パー... 続きを読む

Python pandas データ選択処理をちょっと詳しく <前編> - StatsFragments

2014/11/14 112 users LOC pandas Python pandas 前編 概要

2014-11-12 Python pandas データ選択処理をちょっと詳しく <前編> Python pandas 前処理 概要 書いていて長くなったため、まず前編として pandas で データを行 / 列から選択する方法を少し詳しく書く。特に、個人的にはけっこう重要だと思っている loc と iloc について 日本語で整理したものがなさそうなので。 サンプルデータの準備 import p... 続きを読む