まつもとゆきひろが解説する「マルチコアの活用」

2024/09/13 51 users もとゆきひろ 活用 GIL 改題 Ruby

出典：日経Linux、2023年11月号 pp.134-141 「まつもとゆきひろのプログラミング質問箱」を改題、編集 （記事は執筆時の情報に基づいており、現在では異なる場合があります） Rubyの創造者、まつもとゆきひろがプログラミングに関係あったり、なかったりする質問に独自の視点で回答します。 ［Ruby］ Q.PythonがGILを削... 続きを読む

POSIX準拠シェルスクリプトでマルチコアの能力を活用する並列処理の実装（最大並列数あり、GNU Parallel, xargsなし） - Qiita

2021/03/01 122 users xargs Qiita GNU Parallel 並列処理

#!/bin/sh set -eu [ "${ZSH_VERSION:-}" ] && setopt shwordsplit MAX_PROC=4 # 最大並列数 interrupt() { trap '' TERM kill -TERM 0 exit 130 } terminate() { trap '' TERM kill -TERM 0 exit 143 } # trap : CONT trap interrupt INT trap terminate TERM func() { echo "sleep $1" sleep "$1" # kill -CONT $$ } p... 続きを読む

Pandasで行うデータ処理を100倍高速にするOut-of-CoreフレームワークVaex - フリーランチ食べたい

2019/04/13 243 users pandas Panda tl;dr メソッド 作者

TL;DR アウトオブコア、かつマルチコアでデータ処理を行えるVaexの紹介です。 string関係のメソッドで平均して100倍以上の高速化が確認できました。(作者のベンチマークだと最大1000倍) 文字列処理以外でも数倍~数十倍の高速化が行えそうです。 この記事では性能の比較のみ行い、解説記事は別で書こうと思います。 panda... 続きを読む

Make: Japan | Raspberry Piを攻撃から守るための手順

2017/09/15 121 users Make CPU USBポート Raspberry Pi 手順

Raspberry Piは、あらゆるプロジェクトに使える夢のボードだ。安くて、簡単に使えて、さまざまなOSに幅広く対応していて、プログラム可能なGPIOピンやマルチコアのCPUや複数のUSBポートも備えている。 何かを自動化したり情報を集めたりといったプロジェクトに非常に適しているRaspberry Piだが、気をつけていないと、その可愛いボードを使った簡単な趣味のプロジェクトが、ネットワークへの... 続きを読む

CPU実験：マルチコアで並列実行するまで（コンパイラ係目線） - eguchishi

2017/09/09 105 users アセンブラ サブセット OCaml 並列 コンパイラ

2017 - 09 - 09 CPU実験：マルチコアで並列実行するまで（コンパイラ係目線） CPU実験が終わって半年ですが、忘れる前にやったことを書き残しておこうと思います。 並列化ーー CPU実験 全体 4人程のチームで、自作CPU、 コンパイラ 、 アセンブラ 、シュミレータ等を作り、最終的には 高級言語 ( mincaml という Ocaml のサブセット)で書かれたプログラム（ レイトレー... 続きを読む

Firefoxの次世代Webエンジン「Project Quantum」発表。Rust言語によるServoの技術を採用し、2017年内に劇的な高速化を実現すると － Publickey

2016/10/30 163 users Servo Publickey GPU Mozilla 新型

Firefoxが次世代Webエンジン「Project Quantum」発表。Rust言語によるServoの技術を採用し、2017年内に劇的な高速化を実現すると Project Quantumは、Mozillaが開発を推進しているRust言語による新型の高速ブラウザエンジン「Servo」の技術をFirefoxに取り入れ、PCやスマートフォンで普及しているマルチコアとGPUを積極的に活用することで、劇... 続きを読む

Mozillaの新型高速ブラウザエンジン「Servo」、初めてのデベロッパープレビューが公開。Rust言語で開発中 － Publickey

2016/07/05 163 users Servo ブラウザエンジン Publickey プロセッサ

Mozillaの新型高速ブラウザエンジン「Servo」、初めてのデベロッパープレビューが公開。Rust言語で開発中 Servoは、 Rust言語 で開発されているブラウザエンジン。HTMLのパース、レンダリング、画像処理、レイアウトといった処理を独立して並列的に実行するなどにより、最近のプロセッサの特長であるマルチコア、SIMD命令、GPUなどを活用し、高速なWebブラウジングを実現しようとしてい... 続きを読む

Linuxでロードバランサやキャッシュサーバをマルチコアスケールさせるためのカーネルチューニング - ゆううきブログ

2015/03/30 695 users キャッシュサーバ ネットワークアプリケーション KVS 単一

2015-03-31 Linuxでロードバランサやキャッシュサーバをマルチコアスケールさせるためのカーネルチューニング Linux Kernel Network NIC Performance TCP HAProxy や Nginx などのソフトウェアロードバランサやリバースプロキシ、memcached などの KVS のような高パケットレートになりやすいネットワークアプリケーションにおいて、単一... 続きを読む

Server::Starter を使って複数の Fluentd で１つのポートを待ち受ける - sonots:blog

2015/03/17 95 users Starter fluentd sonots Server

課題Fluentd は GVL のある CRuby でしか(まだ)動かないので、マルチコアを有効に使うためには１つのホストで複数のプロセスを同時に立ち上げる必要がある。また現在の Fluentd では、それぞれのプロセスで別のポートをそれぞれ listen(2) して待ち受けることしかできない。データ送信側では送信先に複数のポートを指定して、クライアント側でラウンドロビンして負荷分散してもらう形に... 続きを読む

マルチコアでスケールするようになった Haskell | 最新の技術・取り組み | IIJ

2015/02/12 81 users Haskell IIJ メモリアロケータ ガベージコレクタ

Glasgow Haskell Compiler（GHC）は、関数型言語Haskellの主要コンパイラです。GHCは（並列性に加えて）並行性を主要な目的として長年開発されてきました。そのため、GHCには、 軽量スレッド（グリーンスレッド） マルチコア用の軽量スレッド・スケジューラ マルチコア上での効率的なメモリアロケータ マルチコア用のガベージコレクタ など、マルチコアで簡潔に並行性を実現するため... 続きを読む

マルチコアは皆さんが思っているようなマルチコアか？ - 山本一成とPonanzaの大冒険

2014/04/07 69 users 誤解 コンピュータ CPU コンピュータ将棋 ponanza

2014-04-07 マルチコアは皆さんが思っているようなマルチコアか？ コンピュータ将棋 コンピュータ将棋によくある誤解シリーズ コンピュータ将棋を理解する上で、大事なことの一つにマルチコアというのがあります。皆さんのお手元のPCや最近ではスマホも当たり前のようにマルチコアになってきています。ところで皆さんがマルチコアと言っているものはどんなものなんでしょうか？ CPUというのは、コンピュータに... 続きを読む

Fluentdのマルチプロセス化が簡単になったので試してみた! - ni-blog

2013/12/06 66 users fluentd ni-blog ワイワイ CPU 公式ページ

ワイワイ! Fluentd Advent Calendar 2013 6日目担当の @niku4i です。 今日はFluentdのマルチプロセス化について。最近公式ページに Multiprocess Input Plugin がドキュメント化されました。 Fluentdはシングルプロセスで動作するため、マルチコアなサーバ環境下では全コアのCPUを消費できません。Fluentd1プロセスでも小〜中規... 続きを読む

Facebook、GoogleのLevelDBを採用したキーバリュー型ストア「RocksDB」公開。マルチコアと高速ストレージに最適化 － Publickey

2013/11/25 51 users Facebook Publickey LevelDB サーバ

最新のサーバが備えるマルチコアと高速なフラッシュストレージの性能を活かすべく最適化したキーバリューストア「RocksDB」をFacebookがオープンソースとして公開しました。 RocksDBはGoogleが開発したNoSQL軽量ライブラリ「LevelDB」を採用。以下の4つのビジョンを掲げています。 Scales to run on servers with many CPU cores. Us... 続きを読む

Node.jsの問題点、デメリットと解決方法まとめ - Qiita [キータ]

2013/11/03 242 users 以下 コード 全体 解決策 コールバック

技術選定のためや、俺が問題解決するぜっ!的な人向け。 順次解決されると思うので、順次更新します。 以下に上げたものも、解決策があるものが多いです。 はじめてのNode.js (2013年3月26日初版) どこか1か所CPUリソースを多く消費するような重い処理が入ると、全体のパフォーマンスが低下する マルチコア/マルチCPU環境を十分に生かすことができない コールバックを多用するためにコードが複雑に... 続きを読む

マルチコア時代のプログラマは関数脳になろう〜Java8のススメ〜 - Tech-Sketch

2013/08/12 457 users Tech-Sketch プログラマ クロックアップ 関数脳

CPUのクロックアップに限界が訪れ、マルチコア化することで処理性能向上を目指す時代になりました。これからのプログラマには、マルチコアで処理性能が向上するプログラム＝マルチスレッドで並列処理が可能なプログラムを書く能力が必要になります。今回は「関数型」でプログラムを書くことによって、いとも簡単に並列化ができることを実例を元に解説します。 関数型プログラミングと並列処理 「関数型でプログラムを書くこと... 続きを読む

RubyのGILはなぜ必要なのですか？ - QA@IT

2013/03/29 56 users GIL ネイティブスレッド QA@IT Ruby 思考

http://www.jstorimer.com/2013/03/26/brian-shirai-threads.html を読んでいて思ったのですが、GILは空気のような当たり前の存在になっているためか、思考停止していて、そのありがたさがわからなくなっていることに気が付きました。 単純に考えれば、せっかくRuby 1.9以降はネイティブスレッドになったのだから、GILをなくせばマルチコアを活かせ... 続きを読む

「ペイントツールSAI」更新再開、バージョン2系へのアップデートは無料で可能に - GIGAZINE

2012/08/14 50 users ペイントツールSAI GIGAZINE 無償アップデート

「32bit版、64bit版を用意する」「マルチコアに完全対応する」「Ver.1で行う予定だった機能追加をすべて行う」「バージョンは２系、但し無償アップデートとする」というわけで、長い間更新されずに止まっていた「ペイントツールSAI」の更新が再開し、これまで何があったのか、そしてこれから何をするのかが判明しました。 SYSTEMAX Software Development - ペイントツールSA... 続きを読む

マイクロソフト Windows Phone 8正式発表。Windows 8とカーネル共有、64コアまで対応 - Engadget Japanese

2012/06/20 175 users マイクロソフト Engadget Japanese ＮＦＣ

マイクロソフト Windows Phone 8正式発表。Windows 8とカーネル共有、64コアまで対応 マイクロソフトが次期モバイルOS Windows Phone 8 を正式に発表しました。これまで " Apollo " の開発名で知られてきたWindows Phone 8 は、マルチコアや高解像度、NFCなどハードウェア対応を強化するとともに、フルNTカーネルからIEコア、セキュリティ基盤... 続きを読む

高速WebサーバMighttpdのアーキテクチャ | 最新の技術動向 | IIJ

2012/05/29 384 users mighty IIJ アーキテクチャ サーバ 実装

IIJ-II技術研究所では、2009年の秋からMighttpd（mightyと読む）というWebサーバの開発を始め、オープンソースとして公開しています。この実装を通じて、マルチコアの性能を引き出しつつ、コードの簡潔性を保てるアーキテクチャにたどり着きました。ここでは、各アーキテクチャについて順を追って説明します。 ネイティブ・スレッド 伝統的なサーバは、スレッド・プログラミングという手法を用いてい... 続きを読む

Ruby で並列実行処理を簡単に書く - #生存戦略 、それは - subtech

2011/09/27 314 users subtech fork parallel グリーンスレッド

Ruby は 1.8 だとグリーンスレッドだし、1.9 でも Giant VM lock のためネイティブスレッドの実行は一つのため、マルチコアを生かした処理をかんたんに書くのがいささか面倒だったりしますね。 で、 parallel というライブラリを使うと fork を使って抽象化してくれるのですごく簡単にかける。 https://github.com/grosser/parallel ふつうに... 続きを読む

マイクロプロセッサはこの先どのように進化するのか？ － Publickey

2011/06/05 96 users マイクロプロセッサ Publickey ACM Andrew

コンピュータの分野で最も有名な学会であるACM（アメリカ計算機学会）のWebサイトで「The Future of Microprocessors」（マイクロプロセッサの未来）という記事が公開されています。 インテルのShekhar Borkar氏とAndrew A. Chien氏によって執筆されたこの記事は、クロック速度の上昇などによる性能向上の限界を迎え、マルチコアによる性能向上へと舵を切り始め... 続きを読む

次世代 iPhone / iPadはマルチコアのA5搭載、iPad 2にはSDスロット

2011/01/15 198 users iPhone SDスロット iPad 次世代 iPad 2

複数の情報源から、アップルの次世代モバイル製品についての情報を入手しました。アップルが発表したわけでも認めるわけもない未確認情報ではあり、また今後の発売までに変更される可能性もある未確定情報でもありますが、情報源のひとつは昨年5月の時点でEngadgetが独占でお伝えした、新Apple TV の詳細情報 (簡易Mac から A4プロセッサと iOS採用へ、ストリーミング専用、99ドル etc) と... 続きを読む

ヽ( ・∀・)ノくまくまー(2007-06-05) - mod_proxy_balancer と Rails との連携まとめ

2007/06/05 145 users Rails Cluster ノくまくまー 負荷 マシン

● 1. 一戸建てタイプ そのアプリ用に専用のマシンを準備できるケース。例えば、アクセス数が少ないβリリース時などは mongrel を直接80ポートで運用することもあるだろう。そして、負荷の増加、またはマルチコアを活かすという次の段階で、cluster 化した mongrel を扱う必要に迫られた場合、このタイプになる。この場合、フロントの仕事はバック(Rails)への割り振りだけだが、そのため... 続きを読む

マルチコア時代のロードアベレージの見方 - naoyaのはてなダイアリー

2007/05/18 583 users ロードアベレージ naoya Linux CPU 指針

ちょっと煽り気味のタイトルですが、CPU がマルチコアになり 2個、4個と増えていく中 Linux の負荷の指針になるロードアベレージをどう読むべきか、という話です。気になったところを少し調べたのでそのまとめを。http://d.hatena.ne.jp/naoya/20070222/1172116665 でも書いたとおり、Linux のロードアベレージは「ロードアベレージは過去1分、5分、15分... 続きを読む