1100万行・32GB超の巨大CSVファイルの基本統計量を4GBメモリマシンで算出する - Qiita

2022/12/07 292 users Qiita マシンスペック Kaggleコンペ CSVデータ

はじめに この記事は，Kaggle Advent Calendar 2022第6日目の記事になります。 本記事では、 32GB超のCSVデータの基本統計量を、小規模マシンでも省メモリかつ高速に計算するテクニック について解説します。 Kaggleコンペに限らず、 マシンスペックが低いため、大きなデータセットを満足に処理できず困っている 毎回行... 続きを読む

Pythonで省メモリに大量の文字列を扱う工夫 - Techブログ - MNTSQ, Ltd.

2021/05/21 191 users list MNTSQ tl;dr 制約 メモリ

たくさんの文字列（や離散的な符号列）をメモリに載せないといけないんだけど、いろんな制約があって通常のList[str]では載らない…ということありませんか？（まぁあんまりなさそうですね） たまたまそういうことがあったので、その際に検討した内容をまとめておきます TL;DR メモリをもっと増やしましょう 富豪的に解決... 続きを読む

PythonでDataFrameを省メモリに縦横変換する - MicroAd Developers Blog

2019/05/10 58 users pandas DataFrame 縦横 Python 関数

マイクロアドの京都研究所で機械学習エンジニアをしている田中です。 機械学習を利用したユーザーの行動予測の研究開発などを担当しています。 今回は、データの前処理に関するお話をしたいと思います。 データの縦横変換 縦横変換するためのpandasの関数 省メモリに縦横変換する サンプルデータの準備 pandas.Categoric... 続きを読む

Serverless時代のJavaEEコンテナ - Quarkus - ブログなんだよもん

2019/04/14 72 users Quarkus スーパーソニック JPA CDI JAX-RS

はじめに JavaEEコンテナの世代と移り変わり Quarkus まとめ 参考 はじめに Quarkusをご存知ですか？ Redhat社が出した爆速のJavaEEコンテナです。 Publickeyの記事でも紹介されていますがGraalVMのnative-imageでコンパイルされるため、JAX-RSやCDI、JPAや100ms以下の起動速度と省メモリを誇るスーパーソニックなが最大... 続きを読む

Elasticsearchのための新しい形態素解析器 「Sudachi」 - Qiita

2017/12/13 164 users Qiita elasticsearch Sudachi 要約

tl;dr （要約） Kuromojiに代わる新しい形態素解析器「 Sudachi 」 なにが良いの？ 最新の辞書 企業（ワークスアプリケーションズ）による継続的な更新 複数の分割単位 → 検索用途での再現率と適合率の向上 プラグインによる拡張 省メモリ Elasticsearchで使いたい プラグイン: WorksApplications/elasticsearch-sudachi 使い方は当記... 続きを読む

機械学習 - 高速、高精度、省メモリな線形分類器、SCW - Qiita

2014/08/18 77 users Qiita SCW accuracy 線形分類器 機械学習

SCW time:0.003194 accuracy:1.000 SVC time:0.010297 accuracy:0.903 使用しているデータセットはscikit-learnの手書き文字認識用のものです。 上がSCW、下がscikit-learnのSVCで学習、分類した結果です。timeは学習にかかった時間、accuracyは精度を表しています。 結果を見ればわかるように、SCWは非常に高... 続きを読む

Life is beautiful: 一度経験すると手放せなくなるiPadでの赤入れ

2011/11/19 98 users iPad 赤入れ Life is beautiful 目玉

neu.Annotateの最新バージョン版（1.37）がアプリストアにならんだので、報告する。今回の目玉は、高速化と省メモリ。かなりサクサクと読めるようになったし、１ページあたりのストローク数が増えた時の書き心地も大幅に向上させたので、ぜひともお試しいただきたい。 iPhone/iPad 用に沢山のアプリをリリースして来た私だが、その中で私自身がもっとも頻繁に実務で使うのが neu.Annotat... 続きを読む

超軽量Android™向け日本語音声合成ソフトウェアの無償提供を開始 ～誰でも手軽に日本語の文章読上げを利用可能に～ | 2011年 | 株式会社KDDI研究所

2011/09/12 60 users 康之 プレスリリース 中島 軽量 無償提供

株式会社KDDI研究所　>　プレスリリース　>　2011年　>　超軽量Android™向け日本語音声合成ソフトウェアの無償提供を開始 ～誰でも手軽に日本語の文章読上げを利用可能に～ 2011年09月12日 株式会社KDDI研究所 株式会社ＫＤＤＩ研究所（本社：埼玉県ふじみ野市、代表取締役所長：中島　康之）は、Android™スマートフォン単体で、省メモリ、かつ、軽量に動作する日本語音声合成ソフトウ... 続きを読む

Rubyでガベレージコレクションの設定をチューニングしてみた - さかなチキンぱん。

2011/07/09 54 users Rails RVM REE Ruby バッチ

Ruby/Rails | 前回の記事「rvmからREEのような省メモリのRuby1.9.2をインストール」で GC(ガベレージコレクション)に対してパッチを当てたので、 今回は実際に環境変数に対してチューニングしてみたいとおもう。 前回当てたパッチとREEとの違いパッチ版では「RUBY_HEAP_SLOTS_INCREMENT」と 「RUBY_HEAP_SLOTS_GROWTH_FACTOR」の設... 続きを読む

最速インターフェース研究会 :: ハッシュキーの存在チェックを超高速に省メモリで行う方法

2007/06/06 65 users 最速インターフェース研究会 方法

リンク先まとめて登録できる機能が付きました。 http://blog.livedoor.jp/staff_reader/archives/51034585.html かとゆー家断絶からリンク張られてるサイトをまとめて登録とか http://reader.livedoor.com/subscribe/?url=http%3A%2F%2Fwww6.ocn.ne.jp%2F~katoyuu%2F&ext... 続きを読む

CodeZine：高速かつ省メモリで文字列を扱うデータ構造「wavelet tree」

2006/01/26 60 users CodeZine メインメモリ スワッピング 速度 速度低下

はじめに　大規模なデータを扱うアプリケーションでは、速度とともに作業領域量も大きな問題となります。作業領域がメインメモリに収まらない場合、スワッピングが発生し、大幅な速度低下につながります。そのため近年、データ構造は高速なだけでなく、作業領域量が小さいことも求められています。今回紹介するのは2003年に提案されたデータ構造、wavelet tree（以下「WT」と表記）です。WTは圧縮索引やSuc... 続きを読む

lighttpd + FastCGI は mod_perl + Apache1.3 より１割ほど高速 :: Drk7jp

2005/09/24 189 users FastCGI lighttpd セキュア mod_perl

lighttpd + FastCGI は mod_perl + Apache1.3 より１割ほど高速 巷で超高速 Web サーバとして話題になっている lighttpd を試してみました。lighttpd に関する日本語ドキュメントは非常に少なく、ちょっと込み入った設定ファイルの記述方法とかの解析に手間取りました。 lighttpd のコンセプトは、「セキュアで省メモリで高速に動作し、柔軟性もある... 続きを読む