PandasからPolarsへ移行した方がいいのか - Qiita

2024/04/17 146 users Qiita Polars

なぜこの記事を書くのか 皆さん、データ解析を行う際にどのようなライブラリを用いているでしょうか。 おそらく大半の人はpandasを使っているのではないでしょうか。 私もpandas使ってます。簡単だよね(´・ω・｀) しかし、業務でバカクソでけえデータを読み込もうとしたときに、読み込み時間がとんでもなくかかったり、... 続きを読む

知っていますか？Pandasをノーコーディングで高速化（CPU環境でも）できるらしい - Qiita

2023/12/20 82 users Qiita 高速化 無償 ベータ版 従来

はじめに Pandasで大量データを扱って処理時間にイライラしたことはないでしょうか？ なんと、Pandasを従来のコードを変えずに高速化するライブラリィが出たみたいです。 NEC研究所が出したFireDucks 🔥🐦 というライブラリィで、ベータ版が無償公開されています。 しかも CPU環境でも高速化されるみたいです。詳細は下... 続きを読む

pandasのSeriesとMagicMockの併用でハマった件 - エムスリーテックブログ

2023/12/18 10 users 関数 高田 エムスリーテックブログ 併用 単体テスト

この記事はエムスリーAdvent Calendar 2023の18日目の記事です。 AI・機械学習チームの高田です。 AI・機械学習チームではデータパイプラインを構築する機会が多く、パイプラインの中でpandasを活用しています。 今回はpandasのSeries型を扱う関数の単体テストにMagicMockを使った際にハマったポイントを紹介したいと思... 続きを読む

プログラミング言語「Python」と「Pandas」を教えるコースの広告をFacebookで出したら「動物の違法取引」と誤判定されたのか永久BANを食らう事態が発生

2023/10/20 38 users Facebook Meta Python 永久BAN ラー

人気のプログラミング言語「Python」と、そのデータ分析用ライブラリである「Pandas」の利用法の指導などを行っているルーベン・M・ラーナー氏が、Metaの広告プラットフォームから永久BANされた状態であることを明かしました。Metaは永久BANの理由について具体的には説明せず「広告ポリシー違反」と述べていますが、ラー... 続きを読む

Rust製高速データフレームライブラリ、Polarsを試す | gihyo.jp

2023/02/07 56 users Polars gihyo.jp Rust製 Python

門脇@satoru_kadowakiです。今月のPython Monthly Topicsでは、Rust製の高速データフレームライブラリ Polars について紹介します。 Polarsとは Pythonでデータ分析に使用される主なライブラリに pandas があります。Polarsはpandasと同様にデータフレームというデータ構造オブジェクトを提供するサードパーティライブラ... 続きを読む

Pandasのメモリ削減方法を整理した - Taste of Tech Topics

2022/12/12 101 users YAMALEXチーム tereka114 削減 テクニック

皆さんこんにちは 機械学習チーム YAMALEXチームの@tereka114です。最近、寒いので、鍋を中心に食べて生きています。 検証段階でも、規模の大きなデータを扱う機会が増えてきて、Pandasのメモリ消費量が厳しいと感じてきたので、その削減や効率化のテクニックまとめたいと思いました。 有名なものからマイナーなものまで... 続きを読む

お前らのpandasの使い方は間違っている - Qiita

2022/12/09 261 users Qiita 自戒 Pan ウィット キャッチー

この記事は株式会社Nuco Advent Calendar 2022の9日目の記事です。 はじめに いきなりお馴染みの「キャッチーでウィットでセンセーショナルな」タイトルで失礼します。 私自身、業務の中でpandasに大変お世話になっており、自戒も込めてpandasの「アンチパターン」をまとめてみました。 この記事を読んで、より快適なpan... 続きを読む

遅くないpandasの書き方 - ML_BearのKaggleな日常

2021/12/07 12 users Kaggle ML_Bear 欠点 データ分析ライブラリ 処理

これは何？ この記事は Kaggle Advent Calendar 2021 の7日目の記事です。 pandasはデータ分析ライブラリとして非常に便利ですが、書き方を間違えると簡単に処理が遅くなってしまうという欠点があります。そこで、この記事では遅くならない書き方をするために気をつけたいポイントをいくつかご紹介したいと思います。 こ... 続きを読む

pandas でメモリに乗らない 大容量ファイルを上手に扱う - StatsFragments

2021/06/30 183 users StatsFragments Wor CSV エントリ メモリ

概要 分析のためにデータ集めしていると、たまに マジか！? と思うサイズの CSV に出くわすことがある。なぜこんなに育つまで放っておいたのか、、、？ このエントリでは普通には開けないサイズの CSV を pandas を使ってうまいこと処理する方法をまとめたい。 サンプルデータ たまには実データ使おう、ということで Wor... 続きを読む

速いと噂のPythonのVaexについて詳しく調べてみた。 - Qiita

2020/12/28 19 users Qiita Python Pythonライブラリ 行列 気配

結構前にPandasやDaskなどよりも大分高速と話題になっていたPythonのVaexライブラリについて、仕事で利用していきそうな気配がしているので事前にしっかり把握しておくため、色々調べてみました。 どんなライブラリなのか Pandasと同じように行列のデータフレームなどを扱うことのできるPythonライブラリです。 Pandasと... 続きを読む

Python初学者のためのPandas100本ノック - Qiita

2020/09/25 726 users Qiita Pythonライブラリ Python初学者

はじめに この度、PythonライブラリであるPandasを効率的に学ぶためのコンテンツとして「Python初学者のためのPandas100本ノック」を作成したので公開します。本コンテンツは、Python3エンジニア 認定データ分析試験の出題内容にも沿っているため、この100本ノックを実施することで資格対策にもなります。また、ノック終... 続きを読む

だから僕はpandasをやめた【データサイエンス100本ノック（構造化データ加工編）篇 #1】 - Qiita

2020/06/30 294 users Qiita データサイエンス100本ノック

Help us understand the problem. What is going on with this article? 続きを読む

たった一文でPandasのapplyメソッドを高速化する方法（検証計算あり） - Qiita

2019/11/14 147 users Qiita Dask 挙動 各々 メモリ

以下では、DaskやPandasなどと比較して、swifterがどの程度高速なのかを検証したいと思います。 swifterはベクトル化可能な場合とそうでない場合で挙動が異なるので、各々の場合を検証します。 使用したPCのスペックはIntel Core i5-8350U @1.70GHz、メモリが16GBです。 ベクトル化可能な場合 swifterはベクトル化可能な... 続きを読む

pandasのStyling機能で強化するJupyter実験レポート / PyConJP 2019 - Speaker Deck

2019/09/16 32 users pyconjp blob Speaker Deck

PyConJP 2019: https://pycon.jp/2019/ Speaker: [Twitter] @komo_fr (https://twitter.com/komo_fr) [GitHub] @komo-fr (https://github.com/komo-fr) GitHub: https://github.com/komo-fr/PyConJP2019_pandas_styling nbviewer: https://nbviewer.jupyter.org/github/komo-fr/PyConJP2019_pandas_styling/blob/master/... 続きを読む

connpassイベントのキャンセル傾向を調べてみる - Qiita

2019/07/29 24 users Qiita matplotlib tl;dr 前払い制 発言

はじめに connpassイベントのキャンセル率が高いとの発言をたびたび目にします。 実際どの程度キャンセルされているのか、pandas, matplotlibの練習を兼ねて調べてみました。 TL;DR 全体の平均キャンセル率は27.5% 前払い制や参加上限のないイベントではキャンセル率が半減する キャンセル処理をせず当日参加しなかった... 続きを読む

入門pandas - 明日からはじめるデータ分析のきほん - Lean Baseball

2019/05/11 244 users キホン Lean Baseball サムネイル Python

こういうことやぞ サムネイルで描いた事がこのエントリーの全てです. Pythonでは、「pandas」というライブラリを使ってデータ分析や解析をすることが非常に多いです. でも、「利用方法（またはユースケース）」に合わせた入門ってあんまりない気がします. ということで、「PyCon mini Sapporo 2019」でそんな話をしてき... 続きを読む

PythonでDataFrameを省メモリに縦横変換する - MicroAd Developers Blog

2019/05/10 58 users DataFrame 縦横 Python マイクロアド 関数

マイクロアドの京都研究所で機械学習エンジニアをしている田中です。 機械学習を利用したユーザーの行動予測の研究開発などを担当しています。 今回は、データの前処理に関するお話をしたいと思います。 データの縦横変換 縦横変換するためのpandasの関数 省メモリに縦横変換する サンプルデータの準備 pandas.Categoric... 続きを読む

Pandasで行うデータ処理を100倍高速にするOut-of-CoreフレームワークVaex - フリーランチ食べたい

2019/04/13 243 users Panda tl;dr メソッド マルチコア 作者

TL;DR アウトオブコア、かつマルチコアでデータ処理を行えるVaexの紹介です。 string関係のメソッドで平均して100倍以上の高速化が確認できました。(作者のベンチマークだと最大1000倍) 文字列処理以外でも数倍~数十倍の高速化が行えそうです。 この記事では性能の比較のみ行い、解説記事は別で書こうと思います。 panda... 続きを読む

まだExcelで消耗してるの？Pythonによる自動集計ガイド 基礎編 - Qiita

2019/03/15 1003 users Qiita CSV Python Excel 集計

ちょっとしたデータの加工や集計に、ExcelやGoogle Spreadsheetは便利ですが、それが日常的な作業になってしまったら自動化したいですよね？ そこでお勧めなのがpandasです。 Pandasは Python 用のデータ処理パッケージであり、ExcelファイルやCSVなどの表形式データを読みこみ、加工や集計した上で、出力するといったこ... 続きを読む

Kaggleで使える！Pandasテクニック集 - Qiita

2019/01/23 190 users Qiita Kaggle 備忘録 https 随時

はじめに Kaggleで使えるPandasの使い方を備忘録として残します。 随時更新していく予定です。 Pandas Basics Cheat Sheet(基本的な使い方) [引用]https://becominghuman.ai/cheat-sheets-for-ai-neural-networks-machine-learning-deep-learning-big-data-678c51b4b463 プログレスバーを表示する df.apply()やdf.map()... 続きを読む

Anaconda環境でPyTorch 〜株価予想〜 #05 表示編 - Qiita

2019/01/19 31 users Qiita リベンジ グラフ 予測 前回

はじめに 株式会社クリエイスのモトキです。 前回、pandasでグラフを表示しました。 Anaconda環境でPyTorch 〜株価予想〜 #01 環境構築編 Anaconda環境でPyTorch 〜株価予想〜 #02 基礎知識・学習編 Anaconda環境でPyTorch 〜株価予想〜 #03 予測編 Anaconda環境でPyTorch 〜株価予想〜 #04 予測(リベンジ)編 Anaconda環... 続きを読む

pandasで1000万件のデータの前処理を高速にするTips集 - Qiita

2018/12/21 372 users Qiita 来春 体系 新卒入社 TIPS集

はじめに 当社にアルバイトに来ていた人（来春に新卒入社の予定）に「pandasを高速化するための情報は無いですか？」と尋ねられました。 このパッケージの使い方は多数の書籍やWebで体系立った記事で書かれています。 しかし、高速化に関しては体系的な情報源が思いつかなかったので、「実際に書いてみて、1つ1つチュー... 続きを読む

SQL と Pandas の対応表 - Qiita

2018/11/11 242 users Qiita Udemy 殴り書き クエリ 備忘録

トピック SQL のクエリと、Pandas のメソッドの対応表を作成する。 SQL 勉強中のため、備忘録代わりに箇条書き（殴り書き）で書いていく。 Udemy のこちらのコースで勉強していました。 DBやテーブル自体の更新・操作に関するものはこちらにまとめている。（SQL のクエリだけを書き散らかしているだけ） 順序 記述順序 s... 続きを読む

Python: pandas-profiling でデータセットの概要を確認する - CUBE SUGAR CONTAINER

2018/10/30 30 users EDA DataFrame サマリー 相関係数 Python

今回は pandas-profiling というパッケージを使ってみる。 このパッケージを使うと pandas の DataFrame に含まれる各次元の基本的な統計量や相関係数などを一度に確認できる。 最初にデータセットのサマリーを確認できると、その後の EDA (Exploratory Data Analysis: 探索的データ分析) の取っ掛かりにしやすいと思う... 続きを読む

時系列のcsvデータを、pandasで簡単に移動平均を取る

2018/10/26 41 users データロガー オシロスコープ 時系列 ノイズ CSVデータ

目的 以下のようなときに使える方法です オシロスコープやらデータロガーから吸い出したcsvデータのノイズを落として見やすくする web上から取得した時系列データのcsvデータについて、大きな傾向を見るために細かい動きをフィルタする 環境 python pandas Anacondaを入れておけはなんとかなる 方法 "hoge.csv"というデ... 続きを読む