1100万行・32GB超の巨大CSVファイルの基本統計量を4GBメモリマシンで算出する - Qiita

2022/12/07 292 users Qiita マシンスペック Kaggleコンペ CSVデータ

はじめに この記事は，Kaggle Advent Calendar 2022第6日目の記事になります。 本記事では、 32GB超のCSVデータの基本統計量を、小規模マシンでも省メモリかつ高速に計算するテクニック について解説します。 Kaggleコンペに限らず、 マシンスペックが低いため、大きなデータセットを満足に処理できず困っている 毎回行... 続きを読む

Pythonで省メモリに大量の文字列を扱う工夫 - Techブログ - MNTSQ, Ltd.

2021/05/21 191 users list MNTSQ tl;dr 制約 メモリ

たくさんの文字列（や離散的な符号列）をメモリに載せないといけないんだけど、いろんな制約があって通常のList[str]では載らない…ということありませんか？（まぁあんまりなさそうですね） たまたまそういうことがあったので、その際に検討した内容をまとめておきます TL;DR メモリをもっと増やしましょう 富豪的に解決... 続きを読む

PythonでDataFrameを省メモリに縦横変換する - MicroAd Developers Blog

2019/05/10 58 users pandas DataFrame 縦横 Python 関数

マイクロアドの京都研究所で機械学習エンジニアをしている田中です。 機械学習を利用したユーザーの行動予測の研究開発などを担当しています。 今回は、データの前処理に関するお話をしたいと思います。 データの縦横変換 縦横変換するためのpandasの関数 省メモリに縦横変換する サンプルデータの準備 pandas.Categoric... 続きを読む

Serverless時代のJavaEEコンテナ - Quarkus - ブログなんだよもん

2019/04/14 72 users Quarkus スーパーソニック JPA CDI JAX-RS

はじめに JavaEEコンテナの世代と移り変わり Quarkus まとめ 参考 はじめに Quarkusをご存知ですか？ Redhat社が出した爆速のJavaEEコンテナです。 Publickeyの記事でも紹介されていますがGraalVMのnative-imageでコンパイルされるため、JAX-RSやCDI、JPAや100ms以下の起動速度と省メモリを誇るスーパーソニックなが最大... 続きを読む

AWS LambdaがNode.js 8.10に対応。非同期処理を簡潔に記述できるasync/awaitサポート、新インタプリタ＆コンパイラで省メモリかつ高速に － Publickey

2018/04/04 28 users async Publickey await IGNITION

AWS LambdaがNode.js 8.10に対応。非同期処理を簡潔に記述できるasync/awaitサポート、新インタプリタ＆コンパイラで省メモリかつ高速に Node.js 8.10に対応したAWS Lambdaでは、非同期処理を簡潔に記述できる新しい構文のasync/awaitをサポートし、JavaScriptエンジンのV8に搭載された「Ignition」インタプリタと「Turbofan」J... 続きを読む

Elasticsearchのための新しい形態素解析器 「Sudachi」 - Qiita

2017/12/13 164 users Qiita elasticsearch Sudachi 要約

tl;dr （要約） Kuromojiに代わる新しい形態素解析器「 Sudachi 」 なにが良いの？ 最新の辞書 企業（ワークスアプリケーションズ）による継続的な更新 複数の分割単位 → 検索用途での再現率と適合率の向上 プラグインによる拡張 省メモリ Elasticsearchで使いたい プラグイン: WorksApplications/elasticsearch-sudachi 使い方は当記... 続きを読む

「Chromeより速く、省メモリ」Firefox Quantumは11月14日公開 - Engadget 日本版

2017/10/31 24 users Chrome Firefox Quantum メモリ 半年前

Mozillaは、従来比2倍のパフォーマンス向上をうたうFirefox Quantum世代のウェブブラウザー「Firefox 57」を11月14日に公開します。 Firefox Quantumは、Mozillaが「量子的飛躍を遂げた」と胸を張るFirefox OSの最新バージョンです。Speedometer 2.0ベンチマークにおいて、半年前のFirefoxと比較して処理性能が2倍に。また、メモリ... 続きを読む

pandas DataFrameを省メモリにpickleする - ABEJA Tech Blog

2017/02/20 24 users ABEJA Tech Blog pandas メモリ 千葉

2017 - 02 - 20 pandas DataFrameを省メモリにpickleする Tweet ABEJAでデータエンジニアをしています、千葉です。 少し前に、pandasのDataFrameをファイルに読み書きする際にメモリを消費しすぎる問題を発見したので、解決策を含めて紹介します。 通常手法の紹介 通常、DataFrameをファイルに保存する際には、pandasの提供する IOモジュー... 続きを読む

AdaGradよりもいけていると噂のオンライン学習器Adamを実装しました - EchizenBlog-Zwei

2015/03/07 30 users EchizenBlog-Zwei github.com

計算機科学AdaGradよりもいけていると噂のオンライン学習器Adamを実装しました。実装がとても簡単で、ハイパーパラメータも論文に推奨値が書いてあるのが良いですね。持っておかないといけないパラメータの数は(たぶん)AdaGradと同じです。https://github.com/echizentm/Adam AdaGradやAdamのようなオンライン学習器は実装が簡単、省メモリなど優れた特徴があり... 続きを読む

機械学習 - 高速、高精度、省メモリな線形分類器、SCW - Qiita

2014/08/18 77 users Qiita SCW accuracy 線形分類器 機械学習

SCW time:0.003194 accuracy:1.000 SVC time:0.010297 accuracy:0.903 使用しているデータセットはscikit-learnの手書き文字認識用のものです。 上がSCW、下がscikit-learnのSVCで学習、分類した結果です。timeは学習にかかった時間、accuracyは精度を表しています。 結果を見ればわかるように、SCWは非常に高... 続きを読む

Life is beautiful: 一度経験すると手放せなくなるiPadでの赤入れ

2011/11/19 98 users iPad 赤入れ Life is beautiful 目玉

neu.Annotateの最新バージョン版（1.37）がアプリストアにならんだので、報告する。今回の目玉は、高速化と省メモリ。かなりサクサクと読めるようになったし、１ページあたりのストローク数が増えた時の書き心地も大幅に向上させたので、ぜひともお試しいただきたい。 iPhone/iPad 用に沢山のアプリをリリースして来た私だが、その中で私自身がもっとも頻繁に実務で使うのが neu.Annotat... 続きを読む

超軽量Android™向け日本語音声合成ソフトウェアの無償提供を開始 ～誰でも手軽に日本語の文章読上げを利用可能に～ | 2011年 | 株式会社KDDI研究所

2011/09/12 60 users 康之 プレスリリース 中島 軽量 無償提供

株式会社KDDI研究所　>　プレスリリース　>　2011年　>　超軽量Android™向け日本語音声合成ソフトウェアの無償提供を開始 ～誰でも手軽に日本語の文章読上げを利用可能に～ 2011年09月12日 株式会社KDDI研究所 株式会社ＫＤＤＩ研究所（本社：埼玉県ふじみ野市、代表取締役所長：中島　康之）は、Android™スマートフォン単体で、省メモリ、かつ、軽量に動作する日本語音声合成ソフトウ... 続きを読む

ビームの報告書: Suffix Array を作る - SA-IS の実装

2011/08/19 33 users ビーム Suffix Array 実装 若者 オシャレ度

2011年8月19日金曜日 Suffix Array を作る - SA-IS の実装 Suffix Array は今若者の間で人気のデータ構造です． マイ suffix array を実装することで，オシャレ度がアップしてモテ系になり，女子力も上がると言われています． その中でも今特に，手軽でクールな SA-IS (アルファベットサイズ固定の下で線形時間で省メモリで suffix array が作... 続きを読む

Rubyでガベレージコレクションの設定をチューニングしてみた - さかなチキンぱん。

2011/07/09 54 users Rails RVM REE Ruby バッチ

Ruby/Rails | 前回の記事「rvmからREEのような省メモリのRuby1.9.2をインストール」で GC(ガベレージコレクション)に対してパッチを当てたので、 今回は実際に環境変数に対してチューニングしてみたいとおもう。 前回当てたパッチとREEとの違いパッチ版では「RUBY_HEAP_SLOTS_INCREMENT」と 「RUBY_HEAP_SLOTS_GROWTH_FACTOR」の設... 続きを読む

rvmからREEのような省メモリのRuby1.9.2をインストール - さかなチキンぱん。

2011/07/08 22 users Rails RVM gist REE Ruby

Ruby/Rails | Ruby Enterprise Edition(REE)では, RubyのGC(ガベレージコレクション)に対してパッチを当て, 省メモリな動作を行えるようにしています。 (もちろん、それ以外にも、色々な修正がありますが) gistにREEのようなGCをチューニングする為の1.9.2-p180向けパッチがあったので試してみました。 (今年の3月くらいに、まつもとさんによって... 続きを読む

VIPPERな俺 : Firefoxって情弱御用達ブラウザだよなｗｗｗｗｗｗｗｗｗ

2011/02/24 49 users Opera Chrome VIPPER VIP 動作速度

2011年02月24日17:00Firefoxって情弱御用達ブラウザだよなｗｗｗｗｗｗｗｗｗ1 名前：以下、名無しにかわりましてVIPがお送りします[] 投稿日：2011/02/23(水) 11:41:21.32 ID:NgCojE8Y0 省メモリ: Opera＞IE＞Firefox＞Chrome 動作速度: Opera＞Chrome＞Firefox＞IE JavaScriptレンダリング速度; ... 続きを読む

最速インターフェース研究会 :: ハッシュキーの存在チェックを超高速に省メモリで行う方法

2007/06/06 65 users 最速インターフェース研究会 方法

リンク先まとめて登録できる機能が付きました。 http://blog.livedoor.jp/staff_reader/archives/51034585.html かとゆー家断絶からリンク張られてるサイトをまとめて登録とか http://reader.livedoor.com/subscribe/?url=http%3A%2F%2Fwww6.ocn.ne.jp%2F~katoyuu%2F&ext... 続きを読む

CodeZine：高速かつ省メモリで文字列を扱うデータ構造「wavelet tree」

2006/01/26 60 users CodeZine メインメモリ スワッピング 速度 速度低下

はじめに　大規模なデータを扱うアプリケーションでは、速度とともに作業領域量も大きな問題となります。作業領域がメインメモリに収まらない場合、スワッピングが発生し、大幅な速度低下につながります。そのため近年、データ構造は高速なだけでなく、作業領域量が小さいことも求められています。今回紹介するのは2003年に提案されたデータ構造、wavelet tree（以下「WT」と表記）です。WTは圧縮索引やSuc... 続きを読む

lighttpd + FastCGI は mod_perl + Apache1.3 より１割ほど高速 :: Drk7jp

2005/09/24 189 users FastCGI lighttpd セキュア mod_perl

lighttpd + FastCGI は mod_perl + Apache1.3 より１割ほど高速 巷で超高速 Web サーバとして話題になっている lighttpd を試してみました。lighttpd に関する日本語ドキュメントは非常に少なく、ちょっと込み入った設定ファイルの記述方法とかの解析に手間取りました。 lighttpd のコンセプトは、「セキュアで省メモリで高速に動作し、柔軟性もある... 続きを読む