POSIX準拠シェルスクリプトでマルチコアの能力を活用する並列処理の実装（最大並列数あり、GNU Parallel, xargsなし） - Qiita

2021/03/01 122 users xargs Qiita GNU Parallel 並列処理

#!/bin/sh set -eu [ "${ZSH_VERSION:-}" ] && setopt shwordsplit MAX_PROC=4 # 最大並列数 interrupt() { trap '' TERM kill -TERM 0 exit 130 } terminate() { trap '' TERM kill -TERM 0 exit 143 } # trap : CONT trap interrupt INT trap terminate TERM func() { echo "sleep $1" sleep "$1" # kill -CONT $$ } p... 続きを読む

Pandasで行うデータ処理を100倍高速にするOut-of-CoreフレームワークVaex - フリーランチ食べたい

2019/04/13 243 users pandas Panda tl;dr メソッド 作者

TL;DR アウトオブコア、かつマルチコアでデータ処理を行えるVaexの紹介です。 string関係のメソッドで平均して100倍以上の高速化が確認できました。(作者のベンチマークだと最大1000倍) 文字列処理以外でも数倍~数十倍の高速化が行えそうです。 この記事では性能の比較のみ行い、解説記事は別で書こうと思います。 panda... 続きを読む

Make: Japan | Raspberry Piを攻撃から守るための手順

2017/09/15 121 users Make CPU USBポート Raspberry Pi 手順

Raspberry Piは、あらゆるプロジェクトに使える夢のボードだ。安くて、簡単に使えて、さまざまなOSに幅広く対応していて、プログラム可能なGPIOピンやマルチコアのCPUや複数のUSBポートも備えている。 何かを自動化したり情報を集めたりといったプロジェクトに非常に適しているRaspberry Piだが、気をつけていないと、その可愛いボードを使った簡単な趣味のプロジェクトが、ネットワークへの... 続きを読む

CPU実験：マルチコアで並列実行するまで（コンパイラ係目線） - eguchishi

2017/09/09 105 users アセンブラ サブセット OCaml 並列 コンパイラ

2017 - 09 - 09 CPU実験：マルチコアで並列実行するまで（コンパイラ係目線） CPU実験が終わって半年ですが、忘れる前にやったことを書き残しておこうと思います。 並列化ーー CPU実験 全体 4人程のチームで、自作CPU、 コンパイラ 、 アセンブラ 、シュミレータ等を作り、最終的には 高級言語 ( mincaml という Ocaml のサブセット)で書かれたプログラム（ レイトレー... 続きを読む

Firefoxの次世代Webエンジン「Project Quantum」発表。Rust言語によるServoの技術を採用し、2017年内に劇的な高速化を実現すると － Publickey

2016/10/30 163 users Servo Publickey GPU Mozilla 新型

Firefoxが次世代Webエンジン「Project Quantum」発表。Rust言語によるServoの技術を採用し、2017年内に劇的な高速化を実現すると Project Quantumは、Mozillaが開発を推進しているRust言語による新型の高速ブラウザエンジン「Servo」の技術をFirefoxに取り入れ、PCやスマートフォンで普及しているマルチコアとGPUを積極的に活用することで、劇... 続きを読む

Mozillaの新型高速ブラウザエンジン「Servo」、初めてのデベロッパープレビューが公開。Rust言語で開発中 － Publickey

2016/07/05 163 users Servo ブラウザエンジン Publickey プロセッサ

Mozillaの新型高速ブラウザエンジン「Servo」、初めてのデベロッパープレビューが公開。Rust言語で開発中 Servoは、 Rust言語 で開発されているブラウザエンジン。HTMLのパース、レンダリング、画像処理、レイアウトといった処理を独立して並列的に実行するなどにより、最近のプロセッサの特長であるマルチコア、SIMD命令、GPUなどを活用し、高速なWebブラウジングを実現しようとしてい... 続きを読む

Linuxでロードバランサやキャッシュサーバをマルチコアスケールさせるためのカーネルチューニング - ゆううきブログ

2015/03/30 695 users キャッシュサーバ ネットワークアプリケーション KVS 単一

2015-03-31 Linuxでロードバランサやキャッシュサーバをマルチコアスケールさせるためのカーネルチューニング Linux Kernel Network NIC Performance TCP HAProxy や Nginx などのソフトウェアロードバランサやリバースプロキシ、memcached などの KVS のような高パケットレートになりやすいネットワークアプリケーションにおいて、単一... 続きを読む

Node.jsの問題点、デメリットと解決方法まとめ - Qiita [キータ]

2013/11/03 242 users 以下 コード 全体 解決策 コールバック

技術選定のためや、俺が問題解決するぜっ!的な人向け。 順次解決されると思うので、順次更新します。 以下に上げたものも、解決策があるものが多いです。 はじめてのNode.js (2013年3月26日初版) どこか1か所CPUリソースを多く消費するような重い処理が入ると、全体のパフォーマンスが低下する マルチコア/マルチCPU環境を十分に生かすことができない コールバックを多用するためにコードが複雑に... 続きを読む

マルチコア時代のプログラマは関数脳になろう〜Java8のススメ〜 - Tech-Sketch

2013/08/12 457 users Tech-Sketch プログラマ クロックアップ 関数脳

CPUのクロックアップに限界が訪れ、マルチコア化することで処理性能向上を目指す時代になりました。これからのプログラマには、マルチコアで処理性能が向上するプログラム＝マルチスレッドで並列処理が可能なプログラムを書く能力が必要になります。今回は「関数型」でプログラムを書くことによって、いとも簡単に並列化ができることを実例を元に解説します。 関数型プログラミングと並列処理 「関数型でプログラムを書くこと... 続きを読む

マイクロソフト Windows Phone 8正式発表。Windows 8とカーネル共有、64コアまで対応 - Engadget Japanese

2012/06/20 175 users マイクロソフト Engadget Japanese ＮＦＣ

マイクロソフト Windows Phone 8正式発表。Windows 8とカーネル共有、64コアまで対応 マイクロソフトが次期モバイルOS Windows Phone 8 を正式に発表しました。これまで " Apollo " の開発名で知られてきたWindows Phone 8 は、マルチコアや高解像度、NFCなどハードウェア対応を強化するとともに、フルNTカーネルからIEコア、セキュリティ基盤... 続きを読む

高速WebサーバMighttpdのアーキテクチャ | 最新の技術動向 | IIJ

2012/05/29 384 users mighty IIJ アーキテクチャ サーバ 実装

IIJ-II技術研究所では、2009年の秋からMighttpd（mightyと読む）というWebサーバの開発を始め、オープンソースとして公開しています。この実装を通じて、マルチコアの性能を引き出しつつ、コードの簡潔性を保てるアーキテクチャにたどり着きました。ここでは、各アーキテクチャについて順を追って説明します。 ネイティブ・スレッド 伝統的なサーバは、スレッド・プログラミングという手法を用いてい... 続きを読む

Ruby で並列実行処理を簡単に書く - #生存戦略 、それは - subtech

2011/09/27 314 users subtech fork parallel グリーンスレッド

Ruby は 1.8 だとグリーンスレッドだし、1.9 でも Giant VM lock のためネイティブスレッドの実行は一つのため、マルチコアを生かした処理をかんたんに書くのがいささか面倒だったりしますね。 で、 parallel というライブラリを使うと fork を使って抽象化してくれるのですごく簡単にかける。 https://github.com/grosser/parallel ふつうに... 続きを読む

次世代 iPhone / iPadはマルチコアのA5搭載、iPad 2にはSDスロット

2011/01/15 198 users iPhone SDスロット iPad 次世代 iPad 2

複数の情報源から、アップルの次世代モバイル製品についての情報を入手しました。アップルが発表したわけでも認めるわけもない未確認情報ではあり、また今後の発売までに変更される可能性もある未確定情報でもありますが、情報源のひとつは昨年5月の時点でEngadgetが独占でお伝えした、新Apple TV の詳細情報 (簡易Mac から A4プロセッサと iOS採用へ、ストリーミング専用、99ドル etc) と... 続きを読む

ヽ( ・∀・)ノくまくまー(2007-06-05) - mod_proxy_balancer と Rails との連携まとめ

2007/06/05 145 users Rails Cluster ノくまくまー 負荷 マシン

● 1. 一戸建てタイプ そのアプリ用に専用のマシンを準備できるケース。例えば、アクセス数が少ないβリリース時などは mongrel を直接80ポートで運用することもあるだろう。そして、負荷の増加、またはマルチコアを活かすという次の段階で、cluster 化した mongrel を扱う必要に迫られた場合、このタイプになる。この場合、フロントの仕事はバック(Rails)への割り振りだけだが、そのため... 続きを読む

マルチコア時代のロードアベレージの見方 - naoyaのはてなダイアリー

2007/05/18 583 users ロードアベレージ naoya Linux CPU 指針

ちょっと煽り気味のタイトルですが、CPU がマルチコアになり 2個、4個と増えていく中 Linux の負荷の指針になるロードアベレージをどう読むべきか、という話です。気になったところを少し調べたのでそのまとめを。http://d.hatena.ne.jp/naoya/20070222/1172116665 でも書いたとおり、Linux のロードアベレージは「ロードアベレージは過去1分、5分、15分... 続きを読む