【Linux】100万ファイルくらいあるディレクトリのファイルのリストを高速に表示したい - 地方エンジニアの学習日記

2022/12/26 206 users ディレクトリ Linux 地方エンジニア ファイル 学習日記

概要 ファイル名のリストだけ高速に欲しいみたいな場合に大量にファイルがあるディレクトリでlsを打って返ってこないみたいなのが地味にストレスになったりするので高速に済ませる手段が無いかを調べてみた。 1ディレクトリに100万ファイル程度 計測前にecho 3 > /proc/sys/vm/drop_cachesを都度実行し10回程度計測 計測... 続きを読む

eBPFでDockerの--passwordで入力したパスワードを盗む | κeenのHappy Hacκing Blog

2022/01/03 22 users een Docker rust eBPF password

κeenです。以前の記事の続きで、 /proc を監視するのではなくeBPFで取得してみます。ついでにRustのコードをeBPFで動かせるライブラリのayaも使ってみます。 以前の記事では /proc 以下の監視をビジーループで回すという力技で新しく作られたプロセスを補足していました。これだとCPU使用率が上がって美しくありませんし... 続きを読む

近似最近傍探索ライブラリFaissの4bit PQアルゴリズムについて、ARM CPU上での動作を60倍程度高速化しました - Fixstars Tech Blog /proc/cpuinfo

2021/06/22 10 users Issue Research cpuinfo tl;dr 本稿

TL;DR: Issue, PR SOL2の今泉です。 先日東京大学の松井先生と共同でFacebook AI Research(以下FAIR)が公開している近似最近傍探索ライブラリFaissの4bit PQアルゴリズムのARM CPU(aarch64)上での動作を60倍程度高速化しました。 本稿ではまず近似最近傍探索やFaissについて軽く紹介した後、その高速化内容について解説... 続きを読む

Diving into /proc/pid/mem

2020/10/27 12 users pid MEM

A few months ago, after reading about Cloudflare doubling its intern class size, I quickly dusted off my CV and applied for an internship. Long story short: now, a couple of months later, I found myself staring into Linux kernel code and adding a pretty cool feature to gVisor, a Linux container r... 続きを読む

C++は本当にRustに速度で負けるのか 〜「RustがC++に速度で勝った話」のベンチマークを追試する〜 - Qiita

2019/09/18 136 users Qiita rust cpuinfo 追試 敗因

本記事の目的 昨日、株式会社フィックスターズの「Fixstars Tech Blog /proc/cpuinfo」に以下の記事が掲載されました。 RustがC++に速度で勝った話 - Fixstars Tech Blog /proc/cpuinfo 本記事では、上記記事の 手元環境における追試 C++の敗因/Rustの勝因分析 条件をある程度統一した際のベンチマーク結果 の3点を行い... 続きを読む

RustがC++に速度で勝った話 - Fixstars Tech Blog /proc/cpuinfo

2019/09/18 68 users フィックスターズ rust cpuinfo マイクロ秒 後継

今日も「1マイクロ秒でも速いソフトウェア」を目指している皆様、こんにちは。 フィックスターズでは、CまたはC++を仕事に使うことが圧倒的に多いですが、1年前に社内勉強会で「C/C++の後継になりうる」と噂のRustを取り上げました。 その時に「Rustで書き直したらC++で書いたやつより速くなった」というネタを発表した... 続きを読む

RISC-V実機でDebianを動かしてみる（＆ちょっとアセンブリ比較） - Fixstars Tech Blog /proc/cpuinfo

2019/04/28 36 users cpuinfo Debian

以前から何度かブログにも登場している通り、フックスターズでは社内有志で勉強会を半年区切りぐらいで開催しています。 そして今期は「RISC-V勉強会」になりまして、早速『RISC-V原典』の輪読をしているのですが、「やっぱり実機もほしいよね」ということで、HiFive Unleashedを会社で購入しました。 この記事は、そのH... 続きを読む

【 lshw 】コマンド――ハードウェアの情報を表示する：Linux基本コマンドTips（296） - ＠IT

2019/04/10 6 users sys dev ハードウェア コマンド Linux

Linux基本コマンドTips一覧 本連載は、Linuxのコマンドについて、基本書式からオプション、具体的な実行例までを紹介していきます。今回は、ハードウェアの情報を表示する「lshw」コマンドです。 lshwコマンドとは？ 「lshw」はハードウェアの情報を表示するコマンドです。「/proc」「/dev」「/sys」以下の情報を参照す... 続きを読む

TCP接続を集約表示するlstfでNetlinkにより実行速度が1.6倍になった - ゆううきメモ

2018/06/17 70 users netlink TCP TCP接続 集約 ゆううきメモ

2018 - 06 - 18 TCP接続を集約表示するlstfでNetlinkにより実行速度が1.6倍になった Linux TCP Go Linuxサーバ上でホスト間コネクションを集約表示するツール lstf をつくった - ゆううきメモ にて紹介した lstf のホスト上の TCP コネクション情報の取得処理において、 /proc/net/tcp を読みだす代わりに、Netlinkソケットを利用... 続きを読む

CuPyをOpenCLで動かすフレームワーク ClPy を先行リリースしました - Fixstars Tech Blog /proc/cpuinfo

2018/06/07 27 users OpenCL cpuinfo ニューラルネット GitHub

本日、フィックスターズは、PythonからNVIDIA GPUを使うためのライブラリCuPyをOpenCLでも使えるようにした ClPy をGitHubにて公開しました！ ClPyを使えば、例えば Chainer のようなニューラルネットを用いた機械学習を、OpenCLが動くデバイス（例えばAMD Radeonなど）でも動作させることができるようになります。 詳細 CuPy とは、Python上で... 続きを読む

ニューラルネットの共通フォーマット対決！ NNEF vs ONNX - Fixstars Tech Blog /proc/cpuinfo

2018/04/20 44 users ニューラルネット cpuinfo

遠藤です。 ニューラルネット界隈では、Caffe、TensorFlow、Chainer をはじめ、数々のフレームワークが群雄割拠の様相を呈しております。弊社でも、プロジェクトに応じて適宜フレームワークを使い分け、日々の業務にあたっております。 多数のフレームワークを扱っていると「あっちのフレームワークで学習したモデルを、こっちのフレームワークで使いたい！」といった、フレームワーク間をまたいでモデル... 続きを読む

第6回 社内プログラミングコンテスト『量子リバーシ』結果発表会 - Fixstars Tech Blog /proc/cpuinfo

2018/02/27 18 users 二木 盤上 黒白 cpuinfo おさらい

こんにちは。社内プロコン担当エンジニアの二木です。 昨年の11月に開催されたフィックスターズ社内プログラミングコンテスト『量子リバーシ』ですが、2月6日にコンテストが締め切られ、今月の16日に結果発表会および懇親会を開催しました。今回はそのご報告となります。 量子リバーシ まず、おさらいとして量子リバーシのルールを説明しておきます。 6×6マスの盤上で黒白交互に量子石2個を古典石が置かれていないマ... 続きを読む

HTTPリクエスト単位でmrubyのバイトコードをProcとFiberで包みなおして実行した場合の性能とv2について - 人間とウェブの未来

2018/02/21 40 users 亮介 Fiber ngx_mruby mruby マツ

2018 - 02 - 22 HTTPリクエスト単位でmrubyのバイトコードをprocとfiberで包みなおして実行した場合の性能について プログラミング 研究 Webサーバ 2018年4月にngx_mrubyのノンブロッキングHTTPクライアントとノンブロッキングsleep相当のメソッドに対応させてngx_mruby v2.0.0をリリースするという目標を立てた — 松本 亮介 / まつもとり... 続きを読む

高速にリモートホストのポートがListenしているかを調べる - 人間とウェブの未来

2017/02/13 168 users リモートホスト netlink ソケット ボート ウェブ

2017 - 02 - 13 高速にリモートホストのポートがListenしているかを調べる プログラミング とある事情で高速にリモートホストのポートのListenチェックをしたくなりました。ローカルホストのポートであれば、 /proc やnetlinkなどを使って素早くチェックする方法がありますが、今回は対象がリモートホストなのでソケットでなんとかする必要があります。 そこで、誰もがまず思いつくの... 続きを読む

東京リージョンで「r4」インスタンスが利用可能になりました ｜ Developers.IO

2017/01/19 8 users Developers.IO 東京リージョン インスタンス

相対的なCPU性能を示すECU、「r4」が「r3」を若干上回ります。(8xを除く) 「r4」は「r3」の同等クラスと比較し、約20%オフの価格設定です CPU CPU情報(/proc/cpuinfo)の差分は以下の通りでした r4.large --- < model : 62 < model name : Intel(R) Xeon(R) CPU E5-2670 v2 @ 2.50GHz < ca... 続きを読む

Big Sky :: 別のプロセスの動的な環境変数を盗み取る

2015/12/15 31 users Big Sky プロセス 環境変数 bashrc プログラミン

linux - .bashrcでexportしたPATHが/procにあるプロセスファイルの環境変数(PATH)と一致しないように見える - スタック・オーバーフロー Ubunt 15.04 を使っています。 どういう際に利用するかは措いておくとして、 /proc にある各プロセスIDの名前がついたディレクトリにある、 environ というファイルを、プログラミン... http://ja.st... 続きを読む

Linux - /proc/sys/vm/lowmem_reserve_ratio について - Qiita

2015/12/13 20 users kernel Qiita メモリ Linux ソース

この記事は Linux Advent Calendar 2015 の12/13の記事です。 一応、kernel ver4.3のソースはチェックしたつもりです。 が、Kernelのソースを見るのはずいぶん久しぶりなので、最新情報を見落としているかもしれません。 lowmem_reserve_ratioの目的 Linux Kernelには、物理アドレス上、低いアドレス(lowmem)のメモリをなるべく... 続きを読む

全点対間最短路を高速に求める ~ /proc/cpuinfo

2015/11/29 45 users cpuinfo

フィックスターズは今年も ACM ICPC つくば大会 にスポンサーとして協賛しております。今年はコンテスト後の懇親会でクイズを出題しているのですが、その問題準備の際に作ったはいいものの結局使われなかったコードが大量に出てきてしまったため、それらをまとめて簡単な解説とともに公開いたします。 全点対間最短路問題全点対間最短路問題はN個の頂点を持つ有向グラフにおける任意の2点間の最短路を求める問題です... 続きを読む

Linux のページテーブルのサイズの見方と見積式 - ablog

2015/09/03 179 users ABlog Linux 中略 見方 $ cat

LinuxLinux Kernel 2.6 (x86-64) でのページテーブルのサイズの確認方法と見積式を調べてみた。あっているか自信のないところもある＆まだ書きかけ。 ページテーブルのサイズの見方OS全体のページテーブルのサイズ $ cat /proc/meminfo MemTotal: 16158544 kB MemFree: 13134056 kB (中略) PageTables: 344... 続きを読む

Linuxのシステムやハードウェア情報を取得するコマンドを集めてみた

2015/03/22 636 users Linux コマンド ハードウェア情報 ディストロ システム

こんにちは。今回はLinuxのシステム情報を入手するコマンド特集です。システムの設定やハードの情報を入手する際に役立ちそうなコマンド（というかCUI操作）を独断と偏見でピックアップします。ディストロやバージョンによって設定ファイルやコマンドは変化しますので注意してくださいね。（本記事のコマンドは2014年9月時点のものです） CPUやメモリの情報を調べる CUPの情報を得る $ cat /proc... 続きを読む

Linuxカーネルモジュールのエクスプロイトによる権限昇格をやってみる - ももいろテクノロジー

2015/03/21 37 users エクスプロイト flags ももいろテクノロジー 権限昇格

2015-03-21 Linuxカーネルモジュールのエクスプロイトによる権限昇格をやってみる Exploit Linuxカーネルモジュールにおける任意アドレス書き換え（Arbitrary address write）の脆弱性を利用し、root権限への権限昇格をやってみる。 環境 Ubuntu 14.04.1 LTS 64bit版、Intel SMEP無効 /proc/cpuinfoのflagsにs... 続きを読む

Ruby のしくみを読んだ - HsbtDiary(2014-12-04)

2014/12/04 34 users HsbtDiary 原著 kakutani Ruby しくみ

■ Ruby のしくみを読んだ @snoozer05 と @kakutani より頂きました。ありがとうございます。 実はこの原著である Ruby Under a Microscope は電子書籍で買っていて、1章の「字句解析と構文解析」まではふむふむ～と読んでいて止まっていたという状況だったので、翻訳版のおかげで最後までちゃんと読むことが出来た。これ、読んでみると8章の Proc あたりの内容を... 続きを読む

IO負荷の高いプロセスを特定する方法 - weblog of key_amb

2014/12/01 198 users weblog of key_amb pid カーネル 自前

2013-07-12 IO負荷の高いプロセスを特定する方法 Linuxシステム運用 カーネルの I/O Accounting 機能を利用する Linuxでカーネルのバージョンが 2.6.20 以降であれば、IO Accounting機能を使うとよい。 これが有効になっていれば、プロセス毎のI/O統計情報が /proc/${pid}/io に出力される。 …が、全プロセスについて、これを自前で分析す... 続きを読む

Linux - slab肥大化とdentry_cacheに辿り着くまでの話 - Qiita

2014/11/05 103 users Qiita meminfo Linux memory Echo

内容（3行） memoryの使用量を監視している所からアラートが来て調査した アプリケーションのheap使用率は高くなく、top等を見ても他に怪しいプロセスが存在しない /proc/meminfoからslab領域の肥大を確認、slabtopでdentry_cacheが肥大化している事がわかったので、echo 2 > /proc/sys/vm/drop_caches を実施した 何があったのか 運用... 続きを読む

ただのメモ: 共有ライブラリのアップデート時にプロセスの再起動はいつ必要か

2014/10/13 38 users プロセス 共有ライブラリ メモ 再起動 アップデート時

2014年10月11日土曜日 共有ライブラリのアップデート時にプロセスの再起動はいつ必要か 共有ライブラリのアップデート時、対象のライブラリが起動中のプロセスから利用されているかを見て、プロセスの再起動を行うかどうかの判断をしている。 例えばこんなのとかですね。 $ sudo grep libssl.so.1.0.1e /proc/*/maps | cut -d/ -f3 | sort -u | ... 続きを読む