PandasからPolarsへ移行した方がいいのか - Qiita

2024/04/17 146 users Qiita Polars

なぜこの記事を書くのか 皆さん、データ解析を行う際にどのようなライブラリを用いているでしょうか。 おそらく大半の人はpandasを使っているのではないでしょうか。 私もpandas使ってます。簡単だよね(´・ω・｀) しかし、業務でバカクソでけえデータを読み込もうとしたときに、読み込み時間がとんでもなくかかったり、... 続きを読む

知っていますか？Pandasをノーコーディングで高速化（CPU環境でも）できるらしい - Qiita

2023/12/20 82 users Qiita 高速化 無償 ベータ版 従来

はじめに Pandasで大量データを扱って処理時間にイライラしたことはないでしょうか？ なんと、Pandasを従来のコードを変えずに高速化するライブラリィが出たみたいです。 NEC研究所が出したFireDucks 🔥🐦 というライブラリィで、ベータ版が無償公開されています。 しかも CPU環境でも高速化されるみたいです。詳細は下... 続きを読む

Rust製高速データフレームライブラリ、Polarsを試す | gihyo.jp

2023/02/07 56 users Polars gihyo.jp Rust製 Python

門脇@satoru_kadowakiです。今月のPython Monthly Topicsでは、Rust製の高速データフレームライブラリ Polars について紹介します。 Polarsとは Pythonでデータ分析に使用される主なライブラリに pandas があります。Polarsはpandasと同様にデータフレームというデータ構造オブジェクトを提供するサードパーティライブラ... 続きを読む

Pandasのメモリ削減方法を整理した - Taste of Tech Topics

2022/12/12 101 users YAMALEXチーム tereka114 削減 テクニック

皆さんこんにちは 機械学習チーム YAMALEXチームの@tereka114です。最近、寒いので、鍋を中心に食べて生きています。 検証段階でも、規模の大きなデータを扱う機会が増えてきて、Pandasのメモリ消費量が厳しいと感じてきたので、その削減や効率化のテクニックまとめたいと思いました。 有名なものからマイナーなものまで... 続きを読む

お前らのpandasの使い方は間違っている - Qiita

2022/12/09 261 users Qiita 自戒 Pan ウィット キャッチー

この記事は株式会社Nuco Advent Calendar 2022の9日目の記事です。 はじめに いきなりお馴染みの「キャッチーでウィットでセンセーショナルな」タイトルで失礼します。 私自身、業務の中でpandasに大変お世話になっており、自戒も込めてpandasの「アンチパターン」をまとめてみました。 この記事を読んで、より快適なpan... 続きを読む

pandas でメモリに乗らない 大容量ファイルを上手に扱う - StatsFragments

2021/06/30 183 users StatsFragments Wor CSV エントリ メモリ

概要 分析のためにデータ集めしていると、たまに マジか！? と思うサイズの CSV に出くわすことがある。なぜこんなに育つまで放っておいたのか、、、？ このエントリでは普通には開けないサイズの CSV を pandas を使ってうまいこと処理する方法をまとめたい。 サンプルデータ たまには実データ使おう、ということで Wor... 続きを読む

Python初学者のためのPandas100本ノック - Qiita

2020/09/25 726 users Qiita Pythonライブラリ Python初学者

はじめに この度、PythonライブラリであるPandasを効率的に学ぶためのコンテンツとして「Python初学者のためのPandas100本ノック」を作成したので公開します。本コンテンツは、Python3エンジニア 認定データ分析試験の出題内容にも沿っているため、この100本ノックを実施することで資格対策にもなります。また、ノック終... 続きを読む

だから僕はpandasをやめた【データサイエンス100本ノック（構造化データ加工編）篇 #1】 - Qiita

2020/06/30 294 users Qiita データサイエンス100本ノック

Help us understand the problem. What is going on with this article? 続きを読む

たった一文でPandasのapplyメソッドを高速化する方法（検証計算あり） - Qiita

2019/11/14 147 users Qiita Dask 挙動 各々 メモリ

以下では、DaskやPandasなどと比較して、swifterがどの程度高速なのかを検証したいと思います。 swifterはベクトル化可能な場合とそうでない場合で挙動が異なるので、各々の場合を検証します。 使用したPCのスペックはIntel Core i5-8350U @1.70GHz、メモリが16GBです。 ベクトル化可能な場合 swifterはベクトル化可能な... 続きを読む

入門pandas - 明日からはじめるデータ分析のきほん - Lean Baseball

2019/05/11 244 users キホン Lean Baseball サムネイル Python

こういうことやぞ サムネイルで描いた事がこのエントリーの全てです. Pythonでは、「pandas」というライブラリを使ってデータ分析や解析をすることが非常に多いです. でも、「利用方法（またはユースケース）」に合わせた入門ってあんまりない気がします. ということで、「PyCon mini Sapporo 2019」でそんな話をしてき... 続きを読む

PythonでDataFrameを省メモリに縦横変換する - MicroAd Developers Blog

2019/05/10 58 users DataFrame 縦横 Python マイクロアド 関数

マイクロアドの京都研究所で機械学習エンジニアをしている田中です。 機械学習を利用したユーザーの行動予測の研究開発などを担当しています。 今回は、データの前処理に関するお話をしたいと思います。 データの縦横変換 縦横変換するためのpandasの関数 省メモリに縦横変換する サンプルデータの準備 pandas.Categoric... 続きを読む

Pandasで行うデータ処理を100倍高速にするOut-of-CoreフレームワークVaex - フリーランチ食べたい

2019/04/13 243 users Panda tl;dr メソッド マルチコア 作者

TL;DR アウトオブコア、かつマルチコアでデータ処理を行えるVaexの紹介です。 string関係のメソッドで平均して100倍以上の高速化が確認できました。(作者のベンチマークだと最大1000倍) 文字列処理以外でも数倍~数十倍の高速化が行えそうです。 この記事では性能の比較のみ行い、解説記事は別で書こうと思います。 panda... 続きを読む

まだExcelで消耗してるの？Pythonによる自動集計ガイド 基礎編 - Qiita

2019/03/15 1003 users Qiita CSV Python Excel 集計

ちょっとしたデータの加工や集計に、ExcelやGoogle Spreadsheetは便利ですが、それが日常的な作業になってしまったら自動化したいですよね？ そこでお勧めなのがpandasです。 Pandasは Python 用のデータ処理パッケージであり、ExcelファイルやCSVなどの表形式データを読みこみ、加工や集計した上で、出力するといったこ... 続きを読む

Kaggleで使える！Pandasテクニック集 - Qiita

2019/01/23 190 users Qiita Kaggle 備忘録 https 随時

はじめに Kaggleで使えるPandasの使い方を備忘録として残します。 随時更新していく予定です。 Pandas Basics Cheat Sheet(基本的な使い方) [引用]https://becominghuman.ai/cheat-sheets-for-ai-neural-networks-machine-learning-deep-learning-big-data-678c51b4b463 プログレスバーを表示する df.apply()やdf.map()... 続きを読む

pandasで1000万件のデータの前処理を高速にするTips集 - Qiita

2018/12/21 372 users Qiita 来春 体系 新卒入社 TIPS集

はじめに 当社にアルバイトに来ていた人（来春に新卒入社の予定）に「pandasを高速化するための情報は無いですか？」と尋ねられました。 このパッケージの使い方は多数の書籍やWebで体系立った記事で書かれています。 しかし、高速化に関しては体系的な情報源が思いつかなかったので、「実際に書いてみて、1つ1つチュー... 続きを読む

SQL と Pandas の対応表 - Qiita

2018/11/11 242 users Qiita Udemy 殴り書き クエリ 備忘録

トピック SQL のクエリと、Pandas のメソッドの対応表を作成する。 SQL 勉強中のため、備忘録代わりに箇条書き（殴り書き）で書いていく。 Udemy のこちらのコースで勉強していました。 DBやテーブル自体の更新・操作に関するものはこちらにまとめている。（SQL のクエリだけを書き散らかしているだけ） 順序 記述順序 s... 続きを読む

Kaggleで使えるpandasテクニック集 - 天色グラフィティ

2018/05/30 244 users Kaggle TITANIC 天色グラフィティ Python

2018 - 05 - 30 Kaggleで使えるpandasテクニック集 Python データ解析 Python でKaggleなどのデータ分析を行う際、pandasでゴリゴリ作業をすることが多いかと思います。 最近知って「めっちゃ便利やん！」ってなったものをまとめておきたいと思います。 全部の関数にドキュメントへのリンクを付けたので参考にしてください。 今回も検証にはTitanicのデー タセ... 続きを読む

機械学習の前に重要なデータ抽出・加工に便利なPythonライブラリ「pandas」の基本的な使い方のチュートリアル：Pythonで始める機械学習入門（6） - ＠IT

2018/02/12 79 users チュートリアル Python Pythonライブラリ 流行

Pythonで始める機械学習入門（6）： 機械学習の前に重要なデータ抽出・加工に便利なPythonライブラリ「pandas」の基本的な使い方のチュートリアル (1/4) 最近流行の機械学習／Deep Learningを試してみたいという人のために、Pythonを使った機械学習について主要なライブラリ／ツールの使い方を中心に解説する連載。今回は、データ分析の前処理などで便利に使えるオープンソースソフ... 続きを読む

機械学習にも便利なPythonライブラリ「Pandas」の初心者向けチュートリアル - paiza開発日誌

2018/01/24 95 users Pythonライブラリ ディープラーニング 集計 機械学習

2018 - 01 - 24 機械学習にも便利なPythonライブラリ「Pandas」の初心者向けチュートリアル プログラミング プログラミング初心者 プログラミング学習 機械学習 Webサービス紹介 秋山です。 機械学習 や ディープラーニング が流行っていますが、基本的には何をするにも大量のデータを取り扱いますよね。 データの集計・分析は、 機械学習 をするのに大前提として必要な作業です。 そ... 続きを読む

ExcelにPythonが搭載？ - Qiita

2017/12/20 134 users Qiita VBA ライブラリー Python マイクロソフト

自分は、1年前からPythonを使い始めました。Pandasを始めとするPythonのデータサイエンス用のライブラリーは便利です。 つい最近、マイクロソフトがExcelにPythonを搭載することを検討しているというニュースが流れました。VBAとは長い付き合いなので、前半でVBAよりPandasが数倍便利だということを書いて、後半でExcelにPythonを搭載されることへのコメントを書くことにし... 続きを読む

【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～ -

2017/11/12 811 users スクレイピング Selenium Pytho Python

やりたいこと はてなブックマークで、Python記事を検索しトレンドを分析 はてなブックマークにSeleniumでログイン ブックマーク数をスクレイピング 時系列比較を行う バズるタイトルを分析 実装方法 詳しくは下記記事を参考にしてください。Pandasを利用したデータ分析まで載せています。 【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pytho... 続きを読む

PythonでCSVを高速＆省メモリに読みたい - tkm2261's blog

2017/08/03 427 users CSV Python GIL tkm2261's blog

2017 - 08 - 03 PythonでCSVを高速＆省メモリに読みたい 今日は Python (Pandas)で高速に CSV を読むことに挑戦したいと思います。 Kaggleに参加するたびに、イライラしていたので各実装の白黒はっきりさせようと思います。 R使いが羨ましいなぁと思う第一位が CSV 読込が簡単に並列出来て速いことなので、 なんとかGILのある Python でも高速に読み込み... 続きを読む

Pandasを使ったデータ操作の基本 - ぴよぴよ.py

2017/07/30 372 users load CSV 最初 ロード データ操作

2017 - 07 - 30 Pandasを使ったデータ操作の基本 データ分析の会社に転職してから3ヶ月。 最初の1ヶ月はPandasの扱いに本当に困ったので、 昔メモしてたことを簡単にブログに記録しておく(o ･ω･)ﾉ Pandasとは pandasでよく使う型 テストデータについて 余談 Pandasでのデータ操作入門 pandasのload データ(csv)のロード データのサイズ データ... 続きを読む

Pandasによる実践データ分析入門 - Gunosyデータ分析ブログ

2017/05/11 177 users Python 米津玄師 テクニック GROUP BY

2017 - 05 - 11 Pandasによる実践データ分析入門 Python 時系列分析 Pandas こんにちは。データ分析部のオギワラです。最近は「NANIMONO (feat.米津玄師)」をよく聞いています。 今回はPythonのデータ分析ライブラリであるPandasについて、実践的なテクニックを「データ処理」「データ集計(Group By)」「時系列処理」の３カテゴリに分けてご紹介して... 続きを読む

フルマラソンは 30 キロからが難しいということを Python + Pandas と Excel で理解する（京都マラソン 2017 の結果を利用して） - ようへいの日々精進XP

2017/02/25 68 users サブスリー ようへい 遷移 Python Excel

2017 - 02 - 25 フルマラソンは 30 キロからが難しいということを Python + Pandas と Excel で理解する（京都マラソン 2017 の結果を利用して） python マラソン Excel フルマラソンは 30 キロからが難しい 解析結果 5KM ラップタイムの遷移で見る 3 時間を切る人と切れない人 平均 上位 10 人 ギリギリサブスリーの 10 人 サブスリー... 続きを読む