【Linux】100万ファイルくらいあるディレクトリのファイルのリストを高速に表示したい - 地方エンジニアの学習日記

2022/12/26 206 users ディレクトリ Linux 地方エンジニア ファイル 学習日記

概要 ファイル名のリストだけ高速に欲しいみたいな場合に大量にファイルがあるディレクトリでlsを打って返ってこないみたいなのが地味にストレスになったりするので高速に済ませる手段が無いかを調べてみた。 1ディレクトリに100万ファイル程度 計測前にecho 3 > /proc/sys/vm/drop_cachesを都度実行し10回程度計測 計測... 続きを読む

C++は本当にRustに速度で負けるのか 〜「RustがC++に速度で勝った話」のベンチマークを追試する〜 - Qiita

2019/09/18 136 users Qiita rust cpuinfo 追試 敗因

本記事の目的 昨日、株式会社フィックスターズの「Fixstars Tech Blog /proc/cpuinfo」に以下の記事が掲載されました。 RustがC++に速度で勝った話 - Fixstars Tech Blog /proc/cpuinfo 本記事では、上記記事の 手元環境における追試 C++の敗因/Rustの勝因分析 条件をある程度統一した際のベンチマーク結果 の3点を行い... 続きを読む

RustがC++に速度で勝った話 - Fixstars Tech Blog /proc/cpuinfo

2019/09/18 68 users フィックスターズ rust cpuinfo マイクロ秒 後継

今日も「1マイクロ秒でも速いソフトウェア」を目指している皆様、こんにちは。 フィックスターズでは、CまたはC++を仕事に使うことが圧倒的に多いですが、1年前に社内勉強会で「C/C++の後継になりうる」と噂のRustを取り上げました。 その時に「Rustで書き直したらC++で書いたやつより速くなった」というネタを発表した... 続きを読む

TCP接続を集約表示するlstfでNetlinkにより実行速度が1.6倍になった - ゆううきメモ

2018/06/17 70 users netlink TCP TCP接続 集約 ゆううきメモ

2018 - 06 - 18 TCP接続を集約表示するlstfでNetlinkにより実行速度が1.6倍になった Linux TCP Go Linuxサーバ上でホスト間コネクションを集約表示するツール lstf をつくった - ゆううきメモ にて紹介した lstf のホスト上の TCP コネクション情報の取得処理において、 /proc/net/tcp を読みだす代わりに、Netlinkソケットを利用... 続きを読む

高速にリモートホストのポートがListenしているかを調べる - 人間とウェブの未来

2017/02/13 168 users リモートホスト netlink ソケット ボート ウェブ

2017 - 02 - 13 高速にリモートホストのポートがListenしているかを調べる プログラミング とある事情で高速にリモートホストのポートのListenチェックをしたくなりました。ローカルホストのポートであれば、 /proc やnetlinkなどを使って素早くチェックする方法がありますが、今回は対象がリモートホストなのでソケットでなんとかする必要があります。 そこで、誰もがまず思いつくの... 続きを読む

Linux のページテーブルのサイズの見方と見積式 - ablog

2015/09/03 179 users ABlog Linux 中略 見方 $ cat

LinuxLinux Kernel 2.6 (x86-64) でのページテーブルのサイズの確認方法と見積式を調べてみた。あっているか自信のないところもある＆まだ書きかけ。 ページテーブルのサイズの見方OS全体のページテーブルのサイズ $ cat /proc/meminfo MemTotal: 16158544 kB MemFree: 13134056 kB (中略) PageTables: 344... 続きを読む

Linuxのシステムやハードウェア情報を取得するコマンドを集めてみた

2015/03/22 636 users Linux コマンド ハードウェア情報 ディストロ システム

こんにちは。今回はLinuxのシステム情報を入手するコマンド特集です。システムの設定やハードの情報を入手する際に役立ちそうなコマンド（というかCUI操作）を独断と偏見でピックアップします。ディストロやバージョンによって設定ファイルやコマンドは変化しますので注意してくださいね。（本記事のコマンドは2014年9月時点のものです） CPUやメモリの情報を調べる CUPの情報を得る $ cat /proc... 続きを読む

IO負荷の高いプロセスを特定する方法 - weblog of key_amb

2014/12/01 198 users weblog of key_amb pid カーネル 自前

2013-07-12 IO負荷の高いプロセスを特定する方法 Linuxシステム運用 カーネルの I/O Accounting 機能を利用する Linuxでカーネルのバージョンが 2.6.20 以降であれば、IO Accounting機能を使うとよい。 これが有効になっていれば、プロセス毎のI/O統計情報が /proc/${pid}/io に出力される。 …が、全プロセスについて、これを自前で分析す... 続きを読む

Linux - slab肥大化とdentry_cacheに辿り着くまでの話 - Qiita

2014/11/05 103 users Qiita meminfo Linux memory Echo

内容（3行） memoryの使用量を監視している所からアラートが来て調査した アプリケーションのheap使用率は高くなく、top等を見ても他に怪しいプロセスが存在しない /proc/meminfoからslab領域の肥大を確認、slabtopでdentry_cacheが肥大化している事がわかったので、echo 2 > /proc/sys/vm/drop_caches を実施した 何があったのか 運用... 続きを読む

若手エンジニア／初心者のためのRuby 2.1入門（8）：Rubyの面白さを理解するためのメソッド、ブロック、Proc、lambda、クロージャの基本 (1/3) - ＠IT

2014/09/29 159 users クロージャ メタプログラミング Lambda Ruby 文法

若手エンジニア／初心者のためのRuby 2.1入門（8）：Rubyの面白さを理解するためのメソッド、ブロック、Proc、lambda、クロージャの基本 (1/3) オープンソースのオブジェクト指向プログラミング言語「Ruby」の文法を一から学ぶための入門連載。最新版の2.1に対応しています。今回は、Rubyのメタプログラミングを学ぶ上での基礎知識となるメソッド、ブロック、Proc、lambda（ラ... 続きを読む

linux強制再起動 － shutdownコマンドでもダメな時の再起動手段：パソコン鳥のブログ

2014/09/21 288 users マウン root リモート 再起動 強制再起動

shutdownコマンドでもリブート出来ない場合の再起動方法。 リモートからでも強制再起動できます。 root で以下の3行を実行すると、再起動します。 echo s > /proc/sysrq-trigger echo u > /proc/sysrq-trigger echo b > /proc/sysrq-trigger echo s > /proc/sysrq-trigger すべてのマウン... 続きを読む

Linux で huge page を使っているプロセスを調べる方法 - ablog

2014/08/16 136 users ABlog Linux pid プロセス perl

Linux調べ方/proc/[pid]/smaps で KernelPageSize がデフォルトの 4kB 以外のプロセスを探す。 調べ方の例/proc/[pid]/smaps で KernelPageSize が 4 kB 以外のプロセスを探す。 [root@yazekats-linux ~]# perl -lane '/KernelPageSize/ and $F[1]!=4 and pri... 続きを読む

サーバをメンテする時に便利な Linux コマンド 3つ - bekkou68の日記

2014/06/30 802 users Linux サーバ bekkou68 日記 コマンド

2014-06-30 サーバをメンテする時に便利な Linux コマンド 3つ Linux インフラ はじめに サーバを運用したり環境を構築したりしていて「あれ。あのプロセスで吐いてるログどこだっけ・・」など困るときがあります。 そんなときに頼りになるかもしれないコマンドを 3つご紹介します。 @madeth 師匠に教えていただきました。 1. proc でプロセスが使っているファイルを見る 困っ... 続きを読む

Procを制する者がRubyを制す（嘘）

2014/04/28 328 users Ruby オブジェクト 関数 メソッド 欲求

RubyのProcの説明は巷に溢れているから今更感があるけどここ数回Procを使ったネタを書いていたらProcがかわいくなっちゃってもっとみんなにもProcのこと知ってもらいたいという欲求が生まれてきたからProcについての基本的なことを僕なりのやり方でここに書くよ。長いよ。 Rubyの関数（メソッド） Rubyにおいて関数（メソッド）はファーストクラス（オブジェクト）ではありません。つまり文字列... 続きを読む

ページキャッシュの詳細確認と削除方法 | ツチノコブログ

2014/04/27 106 users ツチノコブログ ページキャッシュ 削除方法 swap Echo

  余裕があるんだけどメモリがswapに入ってしまう現象が少なからずあると思います。 だいたい echo 1 > /proc/sys/vm/drop_caches このようにしてページキャッシュを削除しますが、キャッシュ全体を削除してしまうので、 どうしても特定のファ余裕があるんだけどメモリがswapに入ってしまう現象が少なからずあると思います。 だいたい echo 1 > /proc/sys/v... 続きを読む

本の虫: Linus様がSystemdにぶちきれる

2014/04/03 233 users debug systemd 冗長 文字列 問題

2014-04-03 Linus様がSystemdにぶちきれる systemdは、/proc/cmdlineをパースして、もし、その中に"debug"という文字列を発見した場合、大量の冗長なデバッグメッセージをdmsegに出力する。これは様々な問題を引き起こす。まず、"debug"というあまりに一般的すぎる文字列に勝手に反応してしまうことがひとつ。dmseg、すなわちカーネルのリングバッファーをs... 続きを読む

「関数型Ruby」という病(6) - 関数合成と文脈、Proc#liftとProc#>=、そしてモナ - ( ꒪⌓꒪) ゆるよろ日記

2014/02/17 86 users モナ 文脈 Ruby 関数合成 関数型Ruby

2014-02-17 「関数型Ruby」という病(6) - 関数合成と文脈、Proc#liftとProc#>=、そしてモナ ruby 関数型言語 前回から一年以上が経過しているけど、最近lambda_driver.gemに機能を追加したので、そのことについて書こうと思う。 Rubyで、モナ……っぽい関数合成を実装した話だ。Rubyで関数合成とかしたいので lambda_driver.gem という... 続きを読む

Rubyのcaseを〇〇(言語名)のswitch文だと思っている人たちにぼくから一言ガツンと申し上げたい

2013/04/16 748 users case Ruby switch文 一言ガツン OOP

「Rubyのcase」を一瞥し「あー要は〇〇(言語名)のswitchね」などと早合点し、その後もその真の価値を知ることなく一生を終えるプログラマが近年跡を絶たない。加えて、「今更条件分岐？RubyはOOPなんだからポリモフィズムじゃね？」とか「HashにProc突っ込んでcallするのがオレ流。」とかうそぶく人たちもまた増加の一途を辿っている。 そんな世の中にあって、ぼくは一言、できればガツンと一... 続きを読む

Rubyで関数合成とかしたいので lambda_driver.gem というのを作った - ( ꒪⌓꒪) ゆるよろ日記

2013/03/27 177 users Lambda Ruby 関数合成 gem よろ日記

LambdaDriver by yuroyoroRubyで、Procやlambdaで関数合成できるようにしたかったので、lambda_driver.gemというのを作った。 内容的にはこの辺で書いたヤツをgemにした感じ。 「関数型Ruby」という病(2) - 関数合成 Proc#compose - ( ꒪⌓꒪) ゆるよろ日記 「関数型Ruby」という病(3) - カリー化(Proc#curry,... 続きを読む

Rubyのcaseを〇〇(言語名)のswitch文だと思っている人たちにぼくから一言ガツンと申し上げたい

2013/02/25 748 users case Ruby switch文 一言ガツン OOP

「Rubyのcase」を一瞥し「あー要は〇〇(言語名)のswitchね」などと早合点し、その後もその真の価値を知ることなく一生を終えるプログラマが近年跡を絶たない。加えて、「今更条件分岐？RubyはOOPなんだからポリモフィズムじゃね？」とか「HashにProc突っ込んでcallするのがオレ流。」とかうそぶく人たちもまた増加の一途を辿っている。 そんな世の中にあって、ぼくは一言、できればガツンと一... 続きを読む

Linuxのメモリ上のキャッシュを解放する - RX-7乗りの適当な日々

2012/05/31 381 users Linux RX-7乗り キャッシュ メモリ上 sync

IT, Linux いつも思いだすのに時間がかかるというか、ググるのでメモ。例えば、ベンチマークとかをとっていて、残ったキャッシュを奇麗さっぱりに消したい時とかに使う。Linuxのメモリで保持しているキャッシュをクリアするには、以下を実行する。 # sync # echo 3 > /proc/sys/vm/drop_caches 値の意味としては、、、1： ページキャッシュを解放2： dentry... 続きを読む

RubyのMethod#source_locationをPerlで - Islands in the byte stream

2012/03/06 51 users perl Ruby asakusa.rb method 行番号

asakusa.rbでsource_locationというメソッドを教えてもらいました。それによれば、Rubyのメソッドオブジェクト(UnbountMethod, Method, Procなど)にはsource_locationというメソッドがあり、そのメソッドが定義されたファイル名と行番号を取得することができます。これはクラス階層が複雑なときにデバッグに役立ちそうです。Perlでも標準ライブラリ... 続きを読む

Rubyist Magazine - Fiber と Proc ―― 手続きを抽象化する二つの機能

2011/06/12 64 users Fiber Rubyist Magazine 抽象化 手続き

はじめに 最近、複数のプログラミング言語を学ぶことが重要だと良く耳にするようになりました。 たとえば書籍「プログラマが知るべき 97 のこと」の「43. プログラミング言語は複数習得すべき」において、Russel Winder 氏は次のように書き、複数のプログラミング言語 (それも異なるパラダイムに属する言語) を学ぶことを勧めています。 プログラミング言語のパラダイムは大きく、手続き型、オブジェ... 続きを読む

Rubyの呼び出し可能オブジェクトの比較(1) - 世界線航跡蔵

2006/11/14 148 users Ruby 世界線航跡蔵 比較 method オブジェクト

Rubyにはコード片を表すオブジェクトが複数ある。Method, UnboundMethod, Procである。Continuationは少し違うけど、実行コンテキストを記憶しているオブジェクトという意味では近いものがあるか。『Ruby Way』にはこういういろいろがあることについて「驚くほどのことではありません」と書いてあるけれども私は驚いた。で、これらが微妙に違うのだ。困ったもんだ。いや、便利... 続きを読む