［pandas超入門］欠損値とその処理

2024/08/23 18 users 欠損値 処理 NumPy JSON形式 Python

前回はpandasのDataFrameオブジェクトをNumPyの多次元配列やPythonのリスト、辞書、JSON形式のオブジェクトに変換する方法を紹介しました。今回は、pandasでデータを処理する際には必ずと言っていいほど目にする「欠損値」とその扱いについて見ていきます。 欠損値とは 欠損値とは、取得したデータに含まれる「何らかの... 続きを読む

PandasからPolarsへ移行した方がいいのか - Qiita

2024/04/17 146 users Qiita Polars

なぜこの記事を書くのか 皆さん、データ解析を行う際にどのようなライブラリを用いているでしょうか。 おそらく大半の人はpandasを使っているのではないでしょうか。 私もpandas使ってます。簡単だよね(´・ω・｀) しかし、業務でバカクソでけえデータを読み込もうとしたときに、読み込み時間がとんでもなくかかったり、... 続きを読む

データ解析用ライブラリ - Qiita

2024/03/21 5 users Qiita ライブラリ データ解析 データフレーム 皆さん

はじめに 皆さん、データ解析やデータ処理にどのライブラリを使用していますか？ 恐らく、ほとんどの人がpandasを使用していると思います。 今回は、その他のデータ解析用ライブラリやデータ処理ライブラリについて紹介したいと思います(/・ω・)/ Pandas 言わずと知れたデータ解析用ライブラリですね。 データフレームと... 続きを読む

知っていますか？Pandasをノーコーディングで高速化（CPU環境でも）できるらしい - Qiita

2023/12/20 82 users Qiita 高速化 無償 ベータ版 従来

はじめに Pandasで大量データを扱って処理時間にイライラしたことはないでしょうか？ なんと、Pandasを従来のコードを変えずに高速化するライブラリィが出たみたいです。 NEC研究所が出したFireDucks 🔥🐦 というライブラリィで、ベータ版が無償公開されています。 しかも CPU環境でも高速化されるみたいです。詳細は下... 続きを読む

pandasのSeriesとMagicMockの併用でハマった件 - エムスリーテックブログ

2023/12/18 10 users 関数 高田 エムスリーテックブログ 併用 単体テスト

この記事はエムスリーAdvent Calendar 2023の18日目の記事です。 AI・機械学習チームの高田です。 AI・機械学習チームではデータパイプラインを構築する機会が多く、パイプラインの中でpandasを活用しています。 今回はpandasのSeries型を扱う関数の単体テストにMagicMockを使った際にハマったポイントを紹介したいと思... 続きを読む

プログラミング言語「Python」と「Pandas」を教えるコースの広告をFacebookで出したら「動物の違法取引」と誤判定されたのか永久BANを食らう事態が発生

2023/10/20 38 users Facebook Meta Python 永久BAN ラー

人気のプログラミング言語「Python」と、そのデータ分析用ライブラリである「Pandas」の利用法の指導などを行っているルーベン・M・ラーナー氏が、Metaの広告プラットフォームから永久BANされた状態であることを明かしました。Metaは永久BANの理由について具体的には説明せず「広告ポリシー違反」と述べていますが、ラー... 続きを読む

Rust製高速データフレームライブラリ、Polarsを試す | gihyo.jp

2023/02/07 56 users Polars gihyo.jp Rust製 Python

門脇@satoru_kadowakiです。今月のPython Monthly Topicsでは、Rust製の高速データフレームライブラリ Polars について紹介します。 Polarsとは Pythonでデータ分析に使用される主なライブラリに pandas があります。Polarsはpandasと同様にデータフレームというデータ構造オブジェクトを提供するサードパーティライブラ... 続きを読む

Pandasのメモリ削減方法を整理した - Taste of Tech Topics

2022/12/12 101 users YAMALEXチーム tereka114 削減 テクニック

皆さんこんにちは 機械学習チーム YAMALEXチームの@tereka114です。最近、寒いので、鍋を中心に食べて生きています。 検証段階でも、規模の大きなデータを扱う機会が増えてきて、Pandasのメモリ消費量が厳しいと感じてきたので、その削減や効率化のテクニックまとめたいと思いました。 有名なものからマイナーなものまで... 続きを読む

お前らのpandasの使い方は間違っている - Qiita

2022/12/09 261 users Qiita 自戒 Pan ウィット キャッチー

この記事は株式会社Nuco Advent Calendar 2022の9日目の記事です。 はじめに いきなりお馴染みの「キャッチーでウィットでセンセーショナルな」タイトルで失礼します。 私自身、業務の中でpandasに大変お世話になっており、自戒も込めてpandasの「アンチパターン」をまとめてみました。 この記事を読んで、より快適なpan... 続きを読む

pandas/doc/cheatsheet at main · pandas-dev/pandas

2022/04/01 9 users doc

* Added links to official docs in cheat sheets * DOC: added links to official docs in cheat sheet (update) * DOC: update cheatsheet * DOC: minor changes cheatsheet; update honors * DOC: rework according to requested changes * Update Cheatsheet * Update Cheatsheet * update cheatsheet * update chea... 続きを読む

遅くないpandasの書き方 - ML_BearのKaggleな日常

2021/12/07 12 users Kaggle ML_Bear 欠点 データ分析ライブラリ 処理

これは何？ この記事は Kaggle Advent Calendar 2021 の7日目の記事です。 pandasはデータ分析ライブラリとして非常に便利ですが、書き方を間違えると簡単に処理が遅くなってしまうという欠点があります。そこで、この記事では遅くならない書き方をするために気をつけたいポイントをいくつかご紹介したいと思います。 こ... 続きを読む

pandas でメモリに乗らない 大容量ファイルを上手に扱う - StatsFragments

2021/06/30 183 users StatsFragments Wor CSV エントリ メモリ

概要 分析のためにデータ集めしていると、たまに マジか！? と思うサイズの CSV に出くわすことがある。なぜこんなに育つまで放っておいたのか、、、？ このエントリでは普通には開けないサイズの CSV を pandas を使ってうまいこと処理する方法をまとめたい。 サンプルデータ たまには実データ使おう、ということで Wor... 続きを読む

仕事する前に知っておくと幸せかもしれないpandasのきほん - read関数にはとりあえずURL渡しておけ - Lean Baseball

2021/06/20 5 users notebook キホン Lean Baseball 同僚

お仕事や, （個人的には）趣味のデータ分析・開発などでpandasをよく使う人です. pandasはPythonでデータサイエンスやデータ分析（解析）をやってると必ずと言っていいほどよく使うライブラリだと思います. お仕事で同僚やインターンが書いたnotebookをよく読む（レビューする）のですが, 煩雑なことやってるけどこれ一... 続きを読む

速いと噂のPythonのVaexについて詳しく調べてみた。 - Qiita

2020/12/28 19 users Qiita Python Pythonライブラリ 行列 気配

結構前にPandasやDaskなどよりも大分高速と話題になっていたPythonのVaexライブラリについて、仕事で利用していきそうな気配がしているので事前にしっかり把握しておくため、色々調べてみました。 どんなライブラリなのか Pandasと同じように行列のデータフレームなどを扱うことのできるPythonライブラリです。 Pandasと... 続きを読む

Python初学者のためのPandas100本ノック - Qiita

2020/09/25 726 users Qiita Pythonライブラリ Python初学者

はじめに この度、PythonライブラリであるPandasを効率的に学ぶためのコンテンツとして「Python初学者のためのPandas100本ノック」を作成したので公開します。本コンテンツは、Python3エンジニア 認定データ分析試験の出題内容にも沿っているため、この100本ノックを実施することで資格対策にもなります。また、ノック終... 続きを読む

だから僕はpandasをやめた【データサイエンス100本ノック（構造化データ加工編）篇 #1】 - Qiita

2020/06/30 294 users Qiita データサイエンス100本ノック

Help us understand the problem. What is going on with this article? 続きを読む

S3 アクセスのニアリアルタイムな異常検出を pandas と Firehose で実装してみる | Developers.IO

2020/04/15 6 users Firehose Developers.IO 異常検出

S3 の GuardDuty 的なサービスが本当は欲しいんやけど。無いものは無いので簡易的に異常アクセス数を検出する仕組みを作ってみた。 みなさん、S3 の異常アクセスてどうやって検出していますか？ EC2 への異常アクセスであれば GuardDuty がありますよね。CloudFront, ALB, API Gateway であれば AWS WAF がありますよね... 続きを読む

たった一文でPandasのapplyメソッドを高速化する方法（検証計算あり） - Qiita

2019/11/14 147 users Qiita Dask 挙動 各々 メモリ

以下では、DaskやPandasなどと比較して、swifterがどの程度高速なのかを検証したいと思います。 swifterはベクトル化可能な場合とそうでない場合で挙動が異なるので、各々の場合を検証します。 使用したPCのスペックはIntel Core i5-8350U @1.70GHz、メモリが16GBです。 ベクトル化可能な場合 swifterはベクトル化可能な... 続きを読む

pandasのStyling機能で強化するJupyter実験レポート / PyConJP 2019 - Speaker Deck

2019/09/16 32 users pyconjp blob Speaker Deck

PyConJP 2019: https://pycon.jp/2019/ Speaker: [Twitter] @komo_fr (https://twitter.com/komo_fr) [GitHub] @komo-fr (https://github.com/komo-fr) GitHub: https://github.com/komo-fr/PyConJP2019_pandas_styling nbviewer: https://nbviewer.jupyter.org/github/komo-fr/PyConJP2019_pandas_styling/blob/master/... 続きを読む

connpassイベントのキャンセル傾向を調べてみる - Qiita

2019/07/29 24 users Qiita matplotlib tl;dr 前払い制 発言

はじめに connpassイベントのキャンセル率が高いとの発言をたびたび目にします。 実際どの程度キャンセルされているのか、pandas, matplotlibの練習を兼ねて調べてみました。 TL;DR 全体の平均キャンセル率は27.5% 前払い制や参加上限のないイベントではキャンセル率が半減する キャンセル処理をせず当日参加しなかった... 続きを読む

入門pandas - 明日からはじめるデータ分析のきほん - Lean Baseball

2019/05/11 244 users キホン Lean Baseball サムネイル Python

こういうことやぞ サムネイルで描いた事がこのエントリーの全てです. Pythonでは、「pandas」というライブラリを使ってデータ分析や解析をすることが非常に多いです. でも、「利用方法（またはユースケース）」に合わせた入門ってあんまりない気がします. ということで、「PyCon mini Sapporo 2019」でそんな話をしてき... 続きを読む

PythonでDataFrameを省メモリに縦横変換する - MicroAd Developers Blog

2019/05/10 58 users DataFrame 縦横 Python マイクロアド 関数

マイクロアドの京都研究所で機械学習エンジニアをしている田中です。 機械学習を利用したユーザーの行動予測の研究開発などを担当しています。 今回は、データの前処理に関するお話をしたいと思います。 データの縦横変換 縦横変換するためのpandasの関数 省メモリに縦横変換する サンプルデータの準備 pandas.Categoric... 続きを読む

Pandasで行うデータ処理を100倍高速にするOut-of-CoreフレームワークVaex - フリーランチ食べたい

2019/04/13 243 users Panda tl;dr メソッド マルチコア 作者

TL;DR アウトオブコア、かつマルチコアでデータ処理を行えるVaexの紹介です。 string関係のメソッドで平均して100倍以上の高速化が確認できました。(作者のベンチマークだと最大1000倍) 文字列処理以外でも数倍~数十倍の高速化が行えそうです。 この記事では性能の比較のみ行い、解説記事は別で書こうと思います。 panda... 続きを読む

まだExcelで消耗してるの？Pythonによる自動集計ガイド 基礎編 - Qiita

2019/03/15 1003 users Qiita CSV Python Excel 集計

ちょっとしたデータの加工や集計に、ExcelやGoogle Spreadsheetは便利ですが、それが日常的な作業になってしまったら自動化したいですよね？ そこでお勧めなのがpandasです。 Pandasは Python 用のデータ処理パッケージであり、ExcelファイルやCSVなどの表形式データを読みこみ、加工や集計した上で、出力するといったこ... 続きを読む

Kaggleで使える！Pandasテクニック集 - Qiita

2019/01/23 190 users Qiita Kaggle 備忘録 https 随時

はじめに Kaggleで使えるPandasの使い方を備忘録として残します。 随時更新していく予定です。 Pandas Basics Cheat Sheet(基本的な使い方) [引用]https://becominghuman.ai/cheat-sheets-for-ai-neural-networks-machine-learning-deep-learning-big-data-678c51b4b463 プログレスバーを表示する df.apply()やdf.map()... 続きを読む