pandas でメモリに乗らない 大容量ファイルを上手に扱う - StatsFragments

2021/06/30 183 users pandas Wor CSV エントリ メモリ

概要 分析のためにデータ集めしていると、たまに マジか！? と思うサイズの CSV に出くわすことがある。なぜこんなに育つまで放っておいたのか、、、？ このエントリでは普通には開けないサイズの CSV を pandas を使ってうまいこと処理する方法をまとめたい。 サンプルデータ たまには実データ使おう、ということで Wor... 続きを読む

Python pandas プロット機能を使いこなす - StatsFragments

2015/11/15 193 users pandas プロット API Python pandas

2015-11-15 Python pandas プロット機能を使いこなす pandas Python 可視化 pandas は可視化のための API を提供しており、折れ線グラフ、棒グラフといった基本的なプロットを簡易な API で利用することができる。一般的な使い方は公式ドキュメントに記載がある。 Plotting — pandas 0.17.0 documentation これらの機能は m... 続きを読む

Python pandas データのイテレーションと関数適用、pipe - StatsFragments

2015/06/18 101 users Pipe イテレーション エントリ 関数 順番

2015-06-18 Python pandas データのイテレーションと関数適用、pipe pandas Python pandas ではデータを 列 や 表形式のデータ構造として扱うが、これらのデータから順番に値を取得 (イテレーション) して何か操作をしたい / また 何らかの関数を適用したい、ということがよくある。このエントリでは以下の 3 つについて整理したい。 イテレーション 関数適用... 続きを読む

Python spyre によるデータ分析結果のWebアプリ化 - StatsFragments

2015/06/12 114 users Shiny Python ご存知 パッケージ レッスン

2015-06-13 Python spyre によるデータ分析結果のWebアプリ化 Python 可視化 R を使っている方はご存知だと思うが、R には {Shiny} というパッケージがあり、データ分析の結果を インタラクティブな Web アプリとして共有することができる。{Shiny} って何？という方には こちらの説明がわかりやすい。 RStudio Shiny チュートリアル レッスン1... 続きを読む

Python pandas で日本の株価情報取得とローソク足チャート描画 - StatsFragments

2015/02/03 114 users Qiita pandas ファイナンス 株価 Yahoo

2015-02-04 Python pandas で日本の株価情報取得とローソク足チャート描画 pandas Python 以下の記事を読んでいて、pandas 標準では日本株式の情報が直接とれないことに気づいたのでやり方をまとめたい。 pandas のデータ集約とグループ演算を利用して株価を分析する - Qiita この記事では以下 2 点の処理について書く。 Yahoo! ファイナンス からの... 続きを読む

Python pandas 図でみる データ連結 / 結合処理 - StatsFragments

2015/01/27 121 users 連結 公式ドキュメント 整理 うち データ

2015-01-28 Python pandas 図でみる データ連結 / 結合処理 前処理 pandas Python なんかぼやぼやしているうちにひさびさの pandas エントリになってしまった。基本的な使い方については完走させたい気持ちはあるので、、、。 今回は データの連結 / 結合まわり。この部分 公式ドキュメント がちょっとわかりにくいので改訂したいなと思っていて、自分の整理もかねて... 続きを読む

Python networkx でマルコフ確率場 / 確率伝搬法を実装する - StatsFragments

2014/12/27 130 users RBM networkx 制約付きボルツマンマシン 手前

2014-12-27 Python networkx でマルコフ確率場 / 確率伝搬法を実装する 可視化 Python ここ 1ヶ月にわたって 聖書 DeepLearning 0.1 Documentation を読み進め、ようやく 制約付きボルツマンマシン の手前まできた。 Deep Learning カテゴリーの記事一覧 - StatsFragments 制約付きボルツマンマシン (RBM) ... 続きを読む

Python pandas データ選択処理をちょっと詳しく <前編> - StatsFragments

2014/11/14 112 users LOC pandas Python pandas 前編 概要

2014-11-12 Python pandas データ選択処理をちょっと詳しく <前編> Python pandas 前処理 概要 書いていて長くなったため、まず前編として pandas で データを行 / 列から選択する方法を少し詳しく書く。特に、個人的にはけっこう重要だと思っている loc と iloc について 日本語で整理したものがなさそうなので。 サンプルデータの準備 import p... 続きを読む