PandasからPolarsへ移行した方がいいのか - Qiita

2024/04/17 146 users Qiita Polars

なぜこの記事を書くのか 皆さん、データ解析を行う際にどのようなライブラリを用いているでしょうか。 おそらく大半の人はpandasを使っているのではないでしょうか。 私もpandas使ってます。簡単だよね(´・ω・｀) しかし、業務でバカクソでけえデータを読み込もうとしたときに、読み込み時間がとんでもなくかかったり、... 続きを読む

Pandasのメモリ削減方法を整理した - Taste of Tech Topics

2022/12/12 101 users YAMALEXチーム tereka114 削減 テクニック

皆さんこんにちは 機械学習チーム YAMALEXチームの@tereka114です。最近、寒いので、鍋を中心に食べて生きています。 検証段階でも、規模の大きなデータを扱う機会が増えてきて、Pandasのメモリ消費量が厳しいと感じてきたので、その削減や効率化のテクニックまとめたいと思いました。 有名なものからマイナーなものまで... 続きを読む

お前らのpandasの使い方は間違っている - Qiita

2022/12/09 261 users Qiita 自戒 Pan ウィット キャッチー

この記事は株式会社Nuco Advent Calendar 2022の9日目の記事です。 はじめに いきなりお馴染みの「キャッチーでウィットでセンセーショナルな」タイトルで失礼します。 私自身、業務の中でpandasに大変お世話になっており、自戒も込めてpandasの「アンチパターン」をまとめてみました。 この記事を読んで、より快適なpan... 続きを読む

pandas でメモリに乗らない 大容量ファイルを上手に扱う - StatsFragments

2021/06/30 183 users StatsFragments Wor CSV エントリ メモリ

概要 分析のためにデータ集めしていると、たまに マジか！? と思うサイズの CSV に出くわすことがある。なぜこんなに育つまで放っておいたのか、、、？ このエントリでは普通には開けないサイズの CSV を pandas を使ってうまいこと処理する方法をまとめたい。 サンプルデータ たまには実データ使おう、ということで Wor... 続きを読む

Python初学者のためのPandas100本ノック - Qiita

2020/09/25 726 users Qiita Pythonライブラリ Python初学者

はじめに この度、PythonライブラリであるPandasを効率的に学ぶためのコンテンツとして「Python初学者のためのPandas100本ノック」を作成したので公開します。本コンテンツは、Python3エンジニア 認定データ分析試験の出題内容にも沿っているため、この100本ノックを実施することで資格対策にもなります。また、ノック終... 続きを読む

だから僕はpandasをやめた【データサイエンス100本ノック（構造化データ加工編）篇 #1】 - Qiita

2020/06/30 294 users Qiita データサイエンス100本ノック

Help us understand the problem. What is going on with this article? 続きを読む

たった一文でPandasのapplyメソッドを高速化する方法（検証計算あり） - Qiita

2019/11/14 147 users Qiita Dask 挙動 各々 メモリ

以下では、DaskやPandasなどと比較して、swifterがどの程度高速なのかを検証したいと思います。 swifterはベクトル化可能な場合とそうでない場合で挙動が異なるので、各々の場合を検証します。 使用したPCのスペックはIntel Core i5-8350U @1.70GHz、メモリが16GBです。 ベクトル化可能な場合 swifterはベクトル化可能な... 続きを読む

入門pandas - 明日からはじめるデータ分析のきほん - Lean Baseball

2019/05/11 244 users キホン Lean Baseball サムネイル Python

こういうことやぞ サムネイルで描いた事がこのエントリーの全てです. Pythonでは、「pandas」というライブラリを使ってデータ分析や解析をすることが非常に多いです. でも、「利用方法（またはユースケース）」に合わせた入門ってあんまりない気がします. ということで、「PyCon mini Sapporo 2019」でそんな話をしてき... 続きを読む

Pandasで行うデータ処理を100倍高速にするOut-of-CoreフレームワークVaex - フリーランチ食べたい

2019/04/13 243 users Panda tl;dr メソッド マルチコア 作者

TL;DR アウトオブコア、かつマルチコアでデータ処理を行えるVaexの紹介です。 string関係のメソッドで平均して100倍以上の高速化が確認できました。(作者のベンチマークだと最大1000倍) 文字列処理以外でも数倍~数十倍の高速化が行えそうです。 この記事では性能の比較のみ行い、解説記事は別で書こうと思います。 panda... 続きを読む

まだExcelで消耗してるの？Pythonによる自動集計ガイド 基礎編 - Qiita

2019/03/15 1003 users Qiita CSV Python Excel 集計

ちょっとしたデータの加工や集計に、ExcelやGoogle Spreadsheetは便利ですが、それが日常的な作業になってしまったら自動化したいですよね？ そこでお勧めなのがpandasです。 Pandasは Python 用のデータ処理パッケージであり、ExcelファイルやCSVなどの表形式データを読みこみ、加工や集計した上で、出力するといったこ... 続きを読む

Kaggleで使える！Pandasテクニック集 - Qiita

2019/01/23 190 users Qiita Kaggle 備忘録 https 随時

はじめに Kaggleで使えるPandasの使い方を備忘録として残します。 随時更新していく予定です。 Pandas Basics Cheat Sheet(基本的な使い方) [引用]https://becominghuman.ai/cheat-sheets-for-ai-neural-networks-machine-learning-deep-learning-big-data-678c51b4b463 プログレスバーを表示する df.apply()やdf.map()... 続きを読む

pandasで1000万件のデータの前処理を高速にするTips集 - Qiita

2018/12/21 372 users Qiita 来春 体系 新卒入社 TIPS集

はじめに 当社にアルバイトに来ていた人（来春に新卒入社の予定）に「pandasを高速化するための情報は無いですか？」と尋ねられました。 このパッケージの使い方は多数の書籍やWebで体系立った記事で書かれています。 しかし、高速化に関しては体系的な情報源が思いつかなかったので、「実際に書いてみて、1つ1つチュー... 続きを読む

SQL と Pandas の対応表 - Qiita

2018/11/11 242 users Qiita Udemy 殴り書き クエリ 備忘録

トピック SQL のクエリと、Pandas のメソッドの対応表を作成する。 SQL 勉強中のため、備忘録代わりに箇条書き（殴り書き）で書いていく。 Udemy のこちらのコースで勉強していました。 DBやテーブル自体の更新・操作に関するものはこちらにまとめている。（SQL のクエリだけを書き散らかしているだけ） 順序 記述順序 s... 続きを読む

Kaggleで使えるpandasテクニック集 - 天色グラフィティ

2018/05/30 244 users Kaggle TITANIC 天色グラフィティ Python

2018 - 05 - 30 Kaggleで使えるpandasテクニック集 Python データ解析 Python でKaggleなどのデータ分析を行う際、pandasでゴリゴリ作業をすることが多いかと思います。 最近知って「めっちゃ便利やん！」ってなったものをまとめておきたいと思います。 全部の関数にドキュメントへのリンクを付けたので参考にしてください。 今回も検証にはTitanicのデー タセ... 続きを読む

ExcelにPythonが搭載？ - Qiita

2017/12/20 134 users Qiita VBA ライブラリー Python マイクロソフト

自分は、1年前からPythonを使い始めました。Pandasを始めとするPythonのデータサイエンス用のライブラリーは便利です。 つい最近、マイクロソフトがExcelにPythonを搭載することを検討しているというニュースが流れました。VBAとは長い付き合いなので、前半でVBAよりPandasが数倍便利だということを書いて、後半でExcelにPythonを搭載されることへのコメントを書くことにし... 続きを読む

【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～ -

2017/11/12 811 users スクレイピング Selenium Pytho Python

やりたいこと はてなブックマークで、Python記事を検索しトレンドを分析 はてなブックマークにSeleniumでログイン ブックマーク数をスクレイピング 時系列比較を行う バズるタイトルを分析 実装方法 詳しくは下記記事を参考にしてください。Pandasを利用したデータ分析まで載せています。 【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pytho... 続きを読む

PythonでCSVを高速＆省メモリに読みたい - tkm2261's blog

2017/08/03 427 users CSV Python GIL tkm2261's blog

2017 - 08 - 03 PythonでCSVを高速＆省メモリに読みたい 今日は Python (Pandas)で高速に CSV を読むことに挑戦したいと思います。 Kaggleに参加するたびに、イライラしていたので各実装の白黒はっきりさせようと思います。 R使いが羨ましいなぁと思う第一位が CSV 読込が簡単に並列出来て速いことなので、 なんとかGILのある Python でも高速に読み込み... 続きを読む

Pandasを使ったデータ操作の基本 - ぴよぴよ.py

2017/07/30 372 users load CSV 最初 ロード データ操作

2017 - 07 - 30 Pandasを使ったデータ操作の基本 データ分析の会社に転職してから3ヶ月。 最初の1ヶ月はPandasの扱いに本当に困ったので、 昔メモしてたことを簡単にブログに記録しておく(o ･ω･)ﾉ Pandasとは pandasでよく使う型 テストデータについて 余談 Pandasでのデータ操作入門 pandasのload データ(csv)のロード データのサイズ データ... 続きを読む

Pandasによる実践データ分析入門 - Gunosyデータ分析ブログ

2017/05/11 177 users Python 米津玄師 テクニック GROUP BY

2017 - 05 - 11 Pandasによる実践データ分析入門 Python 時系列分析 Pandas こんにちは。データ分析部のオギワラです。最近は「NANIMONO (feat.米津玄師)」をよく聞いています。 今回はPythonのデータ分析ライブラリであるPandasについて、実践的なテクニックを「データ処理」「データ集計(Group By)」「時系列処理」の３カテゴリに分けてご紹介して... 続きを読む

Python Jupyter notebookでpandasを使いCSVを読み込みグラフを描画してpdfなどで保存する方法 - 生活を良くします-怠惰なプログラミング

2017/02/11 165 users PDF 偏差値 グラフ プログラミング 近畿大学

2017 - 02 - 11 Python Jupyter notebookでpandasを使いCSVを読み込みグラフを描画してpdfなどで保存する方法 python プログラミング Twitter Google Pocket 人気記事セレクション 【早慶近】 近畿大学が世界ランキングで早慶に並ぶ日 〜 偏差値に頼らない箱根駅伝並みのマグロ効果 Google Search Consoleエラー ?... 続きを読む

【初心者向け】Jupyter+Pandas+matplotlibを使ったデータ分析入門 - Gunosyデータ分析ブログ

2016/12/27 302 users Gunosy matplotlib Jupyter ロク 分析

2016 - 12 - 27 【初心者向け】Jupyter+Pandas+matplotlibを使ったデータ分析入門 分析ノウハウ こんにちは、データ分析部でバイトをしている子田（ id:woody_kawagoe ）です。 ニュースパス のログを集計して分析するといった業務を行っています。Gunosyで分析に利用しているツールとしては主にJupyter, Pandas, matplotlibがあ... 続きを読む

PythonでPandasのPlot機能を使えばデータ加工からグラフ作成までマジでシームレス - Qiita

2016/03/01 251 users Qiita シームレス Python 集計 マジ

Pandasのグラフ描画機能 この記事ではPandasのPlot機能について扱います。 Pandasはデータの加工・集計のためのツールとしてその有用性が広く知られていますが、同時に優れた可視化機能を備えているということは、意外にあまり知られていません。 この機能は Pandas.DataFrame.plot() もしくは Pandas Plot と呼ばれるものです。 Pandas Plotを使いこ... 続きを読む

ITエンジニアのための機械学習理論入門 ― pandasを用いたデータ分析の初歩

2015/11/25 214 users 初歩 ITエンジニア 機械学習理論入門 データ分析

ITエンジニアのための機械学習理論入門 ― pandasを用いたデータ分析の初歩 1. 1 Copyright (C) 2015 National Institute of Informatics, All rights reserved. Introduction to Machine Learning Theory for Software Engineers ITエンジニアのための機械学習理... 続きを読む

Python pandas プロット機能を使いこなす - StatsFragments

2015/11/15 193 users StatsFragments プロット API 棒グラフ 記載

2015-11-15 Python pandas プロット機能を使いこなす pandas Python 可視化 pandas は可視化のための API を提供しており、折れ線グラフ、棒グラフといった基本的なプロットを簡易な API で利用することができる。一般的な使い方は公式ドキュメントに記載がある。 Plotting — pandas 0.17.0 documentation これらの機能は m... 続きを読む

Python for Financeという本 - xiangze's sparse blog

2015/02/14 101 users xiangze's sparse blog NumPy

2015-02-14 Python for Financeという本 Python 時系列 ipython notebookを使って出版されたらしいPython for Financeという本を読みました。 numpy, scipy, pandas, PyMC3をはじめとしたPythonの数値計算、解析系のパッケージを使った金融工学の計算事例と自作ライブラリについての紹介になっています。 Pytho... 続きを読む