Python pandas 欠損値/外れ値/離散化の処理 - StatsFragments

2016/01/31 96 users 欠損 Python StatsFragments 工程 考慮

2016 - 02 - 01 Python pandas 欠損値/外れ値/離散化の処理 Python pandas 前処理 データの前処理にはいくつかの工程がある。書籍「データ分析プロセス」にはそういった前処理のうち、欠損などデータ特性の考慮が必要なものについて その対処方法とあわせて詳しく記載されている。 が、書籍のサンプルは R なので、 Python でどうやればよいかよく分からない。同じこ... 続きを読む

Python pandas プロット機能を使いこなす - StatsFragments

2015/11/15 193 users pandas StatsFragments プロット API

2015-11-15 Python pandas プロット機能を使いこなす pandas Python 可視化 pandas は可視化のための API を提供しており、折れ線グラフ、棒グラフといった基本的なプロットを簡易な API で利用することができる。一般的な使い方は公式ドキュメントに記載がある。 Plotting — pandas 0.17.0 documentation これらの機能は m... 続きを読む

Python pandas パフォーマンス維持のための 3 つの TIPS - StatsFragments

2015/07/11 93 users Cython StatsFragments Numba 方法

2015-07-11 Python pandas パフォーマンス維持のための 3 つの TIPS pandas Python pandas でそこそこ大きいデータを扱う場合、その処理速度が気になってくる。公式ドキュメントではパフォーマンス向上のための方法として Cython や Numba を使う方法を記載している。 Enhancing Performance — pandas 0.16.2 do... 続きを読む

Python pandas データのイテレーションと関数適用、pipe - StatsFragments

2015/06/18 101 users Pipe イテレーション StatsFragments 関数

2015-06-18 Python pandas データのイテレーションと関数適用、pipe pandas Python pandas ではデータを 列 や 表形式のデータ構造として扱うが、これらのデータから順番に値を取得 (イテレーション) して何か操作をしたい / また 何らかの関数を適用したい、ということがよくある。このエントリでは以下の 3 つについて整理したい。 イテレーション 関数適用... 続きを読む

Python pandas 関連エントリの目次 - StatsFragments

2015/04/28 91 users StatsFragments 末席 Twitter エントリ

2015-04-28 Python pandas 関連エントリの目次 pandas Python このブログ中の pandas 関連のエントリをまとめた目次です。 最近 pandas 開発チーム と PyData グループ の末席に加えていただき、パッケージ自体の改善にもより力を入れたいと思います。質問などありましたら Twitter で @ ください。 目次につけた絵文字は以下のような意味です。... 続きを読む

Python pandas で日本の株価情報取得とローソク足チャート描画 - StatsFragments

2015/02/03 114 users Qiita pandas StatsFragments 株価

2015-02-04 Python pandas で日本の株価情報取得とローソク足チャート描画 pandas Python 以下の記事を読んでいて、pandas 標準では日本株式の情報が直接とれないことに気づいたのでやり方をまとめたい。 pandas のデータ集約とグループ演算を利用して株価を分析する - Qiita この記事では以下 2 点の処理について書く。 Yahoo! ファイナンス からの... 続きを読む

Python pandas 図でみる データ連結 / 結合処理 - StatsFragments

2015/01/27 121 users 連結 公式ドキュメント 整理 StatsFragments

2015-01-28 Python pandas 図でみる データ連結 / 結合処理 前処理 pandas Python なんかぼやぼやしているうちにひさびさの pandas エントリになってしまった。基本的な使い方については完走させたい気持ちはあるので、、、。 今回は データの連結 / 結合まわり。この部分 公式ドキュメント がちょっとわかりにくいので改訂したいなと思っていて、自分の整理もかねて... 続きを読む

Python pandas データ選択処理をちょっと詳しく <前編> - StatsFragments

2014/11/14 112 users StatsFragments LOC pandas 前編 概要

2014-11-12 Python pandas データ選択処理をちょっと詳しく <前編> Python pandas 前処理 概要 書いていて長くなったため、まず前編として pandas で データを行 / 列から選択する方法を少し詳しく書く。特に、個人的にはけっこう重要だと思っている loc と iloc について 日本語で整理したものがなさそうなので。 サンプルデータの準備 import p... 続きを読む