1100万行・32GB超の巨大CSVファイルの基本統計量を4GBメモリマシンで算出する - Qiita

2022/12/07 292 users Qiita マシンスペック Kaggleコンペ CSVデータ

はじめに この記事は，Kaggle Advent Calendar 2022第6日目の記事になります。 本記事では、 32GB超のCSVデータの基本統計量を、小規模マシンでも省メモリかつ高速に計算するテクニック について解説します。 Kaggleコンペに限らず、 マシンスペックが低いため、大きなデータセットを満足に処理できず困っている 毎回行... 続きを読む

Pythonで省メモリに大量の文字列を扱う工夫 - Techブログ - MNTSQ, Ltd.

2021/05/21 191 users list MNTSQ tl;dr 制約 メモリ

たくさんの文字列（や離散的な符号列）をメモリに載せないといけないんだけど、いろんな制約があって通常のList[str]では載らない…ということありませんか？（まぁあんまりなさそうですね） たまたまそういうことがあったので、その際に検討した内容をまとめておきます TL;DR メモリをもっと増やしましょう 富豪的に解決... 続きを読む

Elasticsearchのための新しい形態素解析器 「Sudachi」 - Qiita

2017/12/13 164 users Sudachi elasticsearch Qiita 要約

tl;dr （要約） Kuromojiに代わる新しい形態素解析器「 Sudachi 」 なにが良いの？ 最新の辞書 企業（ワークスアプリケーションズ）による継続的な更新 複数の分割単位 → 検索用途での再現率と適合率の向上 プラグインによる拡張 省メモリ Elasticsearchで使いたい プラグイン: WorksApplications/elasticsearch-sudachi 使い方は当記... 続きを読む

lighttpd + FastCGI は mod_perl + Apache1.3 より１割ほど高速 :: Drk7jp

2005/09/24 189 users FastCGI lighttpd セキュア mod_perl

lighttpd + FastCGI は mod_perl + Apache1.3 より１割ほど高速 巷で超高速 Web サーバとして話題になっている lighttpd を試してみました。lighttpd に関する日本語ドキュメントは非常に少なく、ちょっと込み入った設定ファイルの記述方法とかの解析に手間取りました。 lighttpd のコンセプトは、「セキュアで省メモリで高速に動作し、柔軟性もある... 続きを読む