Python pandas 欠損値/外れ値/離散化の処理 - StatsFragments

2016/01/31 96 users 欠損 Python StatsFragments 工程 考慮

2016 - 02 - 01 Python pandas 欠損値/外れ値/離散化の処理 Python pandas 前処理 データの前処理にはいくつかの工程がある。書籍「データ分析プロセス」にはそういった前処理のうち、欠損などデータ特性の考慮が必要なものについて その対処方法とあわせて詳しく記載されている。 が、書籍のサンプルは R なので、 Python でどうやればよいかよく分からない。同じこ... 続きを読む

Python pandas プロット機能を使いこなす - StatsFragments

2015/11/15 193 users pandas StatsFragments プロット API

2015-11-15 Python pandas プロット機能を使いこなす pandas Python 可視化 pandas は可視化のための API を提供しており、折れ線グラフ、棒グラフといった基本的なプロットを簡易な API で利用することができる。一般的な使い方は公式ドキュメントに記載がある。 Plotting — pandas 0.17.0 documentation これらの機能は m... 続きを読む

Python pandas パフォーマンス維持のための 3 つの TIPS - StatsFragments

2015/07/11 93 users Cython StatsFragments Numba 方法

2015-07-11 Python pandas パフォーマンス維持のための 3 つの TIPS pandas Python pandas でそこそこ大きいデータを扱う場合、その処理速度が気になってくる。公式ドキュメントではパフォーマンス向上のための方法として Cython や Numba を使う方法を記載している。 Enhancing Performance — pandas 0.16.2 do... 続きを読む

Python pandas データのイテレーションと関数適用、pipe - StatsFragments

2015/06/18 101 users Pipe イテレーション StatsFragments 関数

2015-06-18 Python pandas データのイテレーションと関数適用、pipe pandas Python pandas ではデータを 列 や 表形式のデータ構造として扱うが、これらのデータから順番に値を取得 (イテレーション) して何か操作をしたい / また 何らかの関数を適用したい、ということがよくある。このエントリでは以下の 3 つについて整理したい。 イテレーション 関数適用... 続きを読む

Python pandas のデータを Highcharts/Highstock + Jupyter でプロットしたい - StatsFragments

2015/06/13 42 users Highcharts Jupyter かんたん ご存知 可視化

2015-06-13 Python pandas のデータを Highcharts/Highstock + Jupyter でプロットしたい pandas Python 可視化 R を使っている方はご存知だと思うが、R には {htmlwidgets} というパッケージがあり、R 上のデータを任意の Javascript ライブラリを使ってプロットすることが比較的カンタンにできる。{htmlwid... 続きを読む

【野球Hack】エースの調子が悪くて心配なのでPython+pandas+matplotlibで可視化してみた - Lean Baseball

2015/05/04 33 users Lean Baseball 野球Hack エース 調子 可視化

2015-05-04 【野球Hack】エースの調子が悪くて心配なのでPython+pandas+matplotlibで可視化してみた Python Pandas matplotlib 野球 オープンデータ 一ヶ月ぶり、こちらのエントリーの続編です。 最強の野球オープンデータ「Retrosheet」をPython+Vagrant+Ansibleで誰でも使えるようにしました - Lean Baseba... 続きを読む

Python pandas 関連エントリの目次 - StatsFragments

2015/04/28 91 users StatsFragments 末席 Twitter エントリ

2015-04-28 Python pandas 関連エントリの目次 pandas Python このブログ中の pandas 関連のエントリをまとめた目次です。 最近 pandas 開発チーム と PyData グループ の末席に加えていただき、パッケージ自体の改善にもより力を入れたいと思います。質問などありましたら Twitter で @ ください。 目次につけた絵文字は以下のような意味です。... 続きを読む

Python pandas 日本語環境向けのちょっとしたパッケージ作った - StatsFragments

2015/03/01 36 users GitHub pandas StatsFragments

2015-03-02 Python pandas 日本語環境向けのちょっとしたパッケージ作った pandas Python 最近の空き時間は GitHub で草植えをしている。まずは pandas を日本語環境で使う場合に たまに必要になる処理をまとめた パッケージを作った。 インストール pip install japandas 機能 機能の一覧はこちら。 日時処理 日本語日付のパース 日本の祝... 続きを読む

Python pandas で日本の株価情報取得とローソク足チャート描画 - StatsFragments

2015/02/03 114 users Qiita pandas StatsFragments 株価

2015-02-04 Python pandas で日本の株価情報取得とローソク足チャート描画 pandas Python 以下の記事を読んでいて、pandas 標準では日本株式の情報が直接とれないことに気づいたのでやり方をまとめたい。 pandas のデータ集約とグループ演算を利用して株価を分析する - Qiita この記事では以下 2 点の処理について書く。 Yahoo! ファイナンス からの... 続きを読む

Python pandas 図でみる データ連結 / 結合処理 - StatsFragments

2015/01/27 121 users 連結 公式ドキュメント 整理 StatsFragments

2015-01-28 Python pandas 図でみる データ連結 / 結合処理 前処理 pandas Python なんかぼやぼやしているうちにひさびさの pandas エントリになってしまった。基本的な使い方については完走させたい気持ちはあるので、、、。 今回は データの連結 / 結合まわり。この部分 公式ドキュメント がちょっとわかりにくいので改訂したいなと思っていて、自分の整理もかねて... 続きを読む

Python pandas strアクセサによる文字列処理 - StatsFragments

2014/12/06 42 users 都度 pandas Python 概要 文字数 データ

2014-12-06 Python pandas strアクセサによる文字列処理 pandas Python 前処理 概要 今週の 週間 pandas は文字列処理について。なんかやたらと文字数が多くなったのだが、これはデータを都度表示しているせいであって自分の話がムダに長いわけではない、、、と思いたい。 今回はこちらの記事に書いた内容も使うので、適宜ご参照ください。 Python pandas ... 続きを読む

Python pandas データ選択処理をちょっと詳しく <後編> - StatsFragments

2014/11/17 34 users StatsFragments STATS pandas 後編

2014-11-18 Python pandas データ選択処理をちょっと詳しく <後編> Python pandas 前処理 概要 こちらの続き。これで pandas でのデータ選択についてはひとまず終わり。 Python pandas データ選択処理をちょっと詳しく <前編> - StatsFragments Python pandas データ選択処理をちょっと詳しく <中編> - Stats... 続きを読む

Python pandas データ選択処理をちょっと詳しく <前編> - StatsFragments

2014/11/14 112 users StatsFragments LOC pandas 前編 概要

2014-11-12 Python pandas データ選択処理をちょっと詳しく <前編> Python pandas 前処理 概要 書いていて長くなったため、まず前編として pandas で データを行 / 列から選択する方法を少し詳しく書く。特に、個人的にはけっこう重要だと思っている loc と iloc について 日本語で整理したものがなさそうなので。 サンプルデータの準備 import p... 続きを読む