Python 3.12で増えた並列処理と、これまでの並列処理の挙動を比べてみる - Qiita

2024/04/30 173 users 総当たり Qiita Python 挙動 並列実行

この記事ですることを3行で Pythonの標準ライブラリでできる並列実行を、あらためて総当たりで速度比較しよう ウォーターフォールチャートで、それぞれの並列処理の処理時間の特徴を可視化しよう boto3の実行をモデルケースにして、どの並列処理が一番早いのかを調べよう この記事の結論を先に Python 3.12から本格的に... 続きを読む

並列処理がとても苦手なPythonはプロセスを分けよう　コードを書く時に意識したい2つのTipsと2つの落とし穴

2023/10/13 178 users Tips Python 落とし穴 プロセス Kotlin

Go、Python、Kotlin、Rust、TypeScript の5つの言語について「並列処理、並行処理の手法」というテーマに絞り解説する「並列処理をGo/Rust/Kotlin/Python/JSで解説！思想の違いを体感しよう」。Python編では橘氏が登壇。Pythonで並列処理を行う際の設計方針と、実装上の癖について話します。 西川氏の自己紹介 西川大亮... 続きを読む

POSIX準拠シェルスクリプトでマルチコアの能力を活用する並列処理の実装（最大並列数あり、GNU Parallel, xargsなし） - Qiita

2021/03/01 122 users xargs Qiita GNU Parallel 実装 能力

#!/bin/sh set -eu [ "${ZSH_VERSION:-}" ] && setopt shwordsplit MAX_PROC=4 # 最大並列数 interrupt() { trap '' TERM kill -TERM 0 exit 130 } terminate() { trap '' TERM kill -TERM 0 exit 143 } # trap : CONT trap interrupt INT trap terminate TERM func() { echo "sleep $1" sleep "$1" # kill -CONT $$ } p... 続きを読む

【Kubernetes】1週間かかる処理を1.5時間で終わらせた【並列処理】 - ニートの言葉

2019/10/30 108 users Kubernetes 並列 t_andou アンドゥ ニート

こんにちはあんどう(@t_andou)です。 今回はKubernetesを使って並列処理させた記録です。 まだ「とりあえずそれっぽく動くまで試してみた」という段階で、kubernetesを理解できてはいないので自分用のメモを公開しているという認識でご覧ください。 間違っている部分や、よりスマートなやり方がありましたらご指摘いただ... 続きを読む

Pythonの並列処理・並行処理をしっかり調べてみた - Qiita

2019/05/12 65 users Qiita Python 都合 細かいところ 雰囲気

「ビルドインモジュールが色々あってぜんぜん分からない。俺達は雰囲気で並列処理を使っている」という状態だったので、良くないと思ってPythonの並列処理と並行処理をしっかり調べてみました。 少し長めです。細かいところまで把握するためのもので、仕事などの都合でさくっと調べて使いたい方は別の記事をご確認くださ... 続きを読む

並列処理にプロセス間通信…傑作プログラミング系パズルの続編『セブン・ビリオン・ヒューマンズ』レビュー - 夜中に前へ

2018/11/22 57 users 続編 夜中 Steam プロセス間通信 夜中たわし

こんばんは、夜中たわしです。 あの『ヒューマン・リソース・マシーン』の続編が出ましたよ。 その名も『セブン・ビリオン・ヒューマンズ』。ニンテンドースイッチとSteamで配信中です。 タイトルから匂わせる通り、70億人全員に仕事をくれるみたいです。 本作はブラックな世界観で本格的なプログラミング系パズルを楽し... 続きを読む

【Unity】C# Job Systemを自分なりに解説してみる - テラシュールブログ

2018/03/05 52 users Unity バックグラウン デバッグ チュートリアル 目玉機能

2018 - 03 - 04 【Unity】C# Job Systemを自分なりに解説してみる C# Unity2018.1 Unity 最適化・デバッグ ゲームの作り方・チュートリアル・サンプル Thread Unite 今回はUnity 2018.1の目玉機能である C# Job Systemについて紹介します。 C# Job Systemは並列処理である 並列処理と非同期処理（バックグラウン... 続きを読む

Seagete、HDDの速度を倍増させる「マルチアクチュエータ」技術 ～1ドライブで並列処理が可能に - PC Watch

2017/12/20 62 users アクチュエータ 読み書き 米Seagate HDD ペット

米Seagateは18日(米国時間)、HDDのデータ転送速度を倍増させるという「マルチアクチュエータ(Multi Actuator)」技術を発表した。 　アクチュエータは、ディスク上で読み書きを行なう記録ヘッドを動かすための部品。記録ヘッドは、アクチュエータアームの先端部に配置されている。 　これまでのHDDでは、アクチュエータは1つのみ搭載されており、すべてのヘッドが同期して一緒に動いていた。 ... 続きを読む

golang の並列処理を Ruby と比較しながら学ぶ / マスタカの ChangeLog メモ

2017/10/15 134 users gist changelog golang Ruby マスタカ

一ヶ月ほど前の社内のインフラ共有会でタイトルの話をしました。記録の ために記事を書いておきます。 Gist に置いてあるので、コードは git clone で取得可能です。 $ git clone https://gist.github.com/c0a4234a5264c89655c40adcf7c27cb2.git Ruby 例えば Ruby で 30 個の処理をするコードがあったとします。こん... 続きを読む

オープンソースのシステム監視ツール「Zabbix 3.4」リリース。ウィジェット化されたダッシュボード、バルクメトリクス収集やアラートの並列処理なども追加 － Publickey

2017/08/28 82 users Publickey アラート ダッシュボード ウィジェット化

ZabbixはさまざまなOSやネットワーク機器などの監視に対応したテンプレートが用意されており、大規模なシステム監視にも対応。データセンターでのシステム監視などに使われています。 エージェントをインストールしてメトリクスを取得して監視する方法、あるいはSNMPやSSH、Telnet経由でエージェントを使わずにメトリクスを収集して監視する方法の両方に対応。Zabbixサーバに収集されたメトリクスは見... 続きを読む

Dockerでデプロイ、60ノードまでスケールアウト、Sparkで分析 　テラバイト・クラスの集計処理もあっさり返すdashDB LocalでDWHを構築する - はてなニュース

2017/05/29 254 users DWH インメモリ Docker データウェアハウス デプロイ

日本アイ・ビー・エム（以下、日本IBM）の「IBM dashDB Local」は、プライベートクラウド/ハイブリッドクラウドに最適な構成を持つデータウェアハウス（DWH）向けの製品である。Dockerコンテナとしてデプロイ、スケールアウト（規模拡大）でき、データ量や処理負荷の急増に柔軟に対応できる。インメモリの列指向データベースと並列処理により検索処理を高速に実行する。システムの成長に柔軟に対応で... 続きを読む

AMD、16コアのデスクトップ向けCPU「Ryzen Threadripper」を夏に投入 ～モバイル向けプロセッサもついにRyzen+Vegaに - PC Watch

2017/05/17 101 users AMD 異例 Ryzen Threadripper 投入

米AMDは16日(現地時間)、投資家向けのイベント「Financial Analyst Day」を開催。この中で、新たな製品ロードマップを発表した。 　1つ目はハイエンドデスクトップPC向けの「Ryzen Threadripper」。ZenベースのCPUコアを採用し、16コア/32スレッドという、コンシューマ向けPCでは異例とも言える並列処理に特化したプロセッサとなる。 　また、AM4とは異なる新... 続きを読む

ASCII.jp：Go言語と並列処理（2）｜Goならわかるシステムプログラミング

2017/05/10 59 users goroutine コルーチン かなめ 並行 スレッド

今回は、Go言語の並行・並列処理のかなめともいえるgoroutine（ゴルーチン）周りを掘り下げていきます。 goroutineは、前回の記事で軽く触れたように、 軽量スレッド と呼ばれるものです。 そこで、まずはこの軽量スレッドと通常のOSのスレッドがどう違うのかを説明します。 そのうえで、goroutineの低レベルな機能を扱うためのruntimeパッケージ、 goroutineのデータ競合を... 続きを読む

ASCII.jp：Go言語と並列処理｜Goならわかるシステムプログラミング

2017/04/26 186 users 並列 システムプログラミング 並行 コンピューター 区別

Go言語の特徴として挙げられる機能の1つに、「並列処理を書くのが簡単」というものがあります。 そこで今回は、Goにおける並列処理の機能を紹介してから、そもそも現代のコンピューターでどのようにして並列処理が実現されているのかをとりあげます。 複数の仕事を同時に行うとは？ 複数の仕事を行うことを表す言葉には 並行 と 並列 の2つがありますが、これらには次のような区別があります。 並行処理（Concu... 続きを読む

GPUを使ってH.265で爆速エンコードが可能な無料ソフト「A’s Video Converter」を使って4Kムービーをエンコードしてみた - GIGAZINE

2017/03/11 97 users GIGAZINE VCE GPU QSV NVIDIA

CPU以上に並列処理が得意なGPUを使うと爆速でエンコードできます。無料エンコードソフト「 A's Video Converter 」は、Intelの「Quick Sync Video(QSV)」、NVIDIAの「NVENC」、AMDの「Video Codec Engine(VCE)」に対応し、H.264よりも高圧縮なH.265/HEVCのGPUエンコードにも対応するとのことなので、フルHDムービ... 続きを読む

デブサミ2017「DeNAの機械学習基盤と分析基盤」講演メモ #devsumi - 元RX-7乗りの適当な日々

2017/02/17 155 users devsumi DeNA デブサミ2017 元RX-7乗り

sonots先生の話を聞きに行ってきたので、そのメモを残しておきます。 瀬尾 直利 氏 DeNA Co., Ltd. AIシステム部 リードエンジニア DeNAの機械学習基盤 ディープラーニングの基盤 => GPU基盤 という認識 GPUすごくて、CPU使って30日のところ、GPUを使うと4日くらいのオーダー GPUの特徴 並列処理が得意 CPUだと24coreとかのオーダー GPUでは3000〜... 続きを読む

Rubyで並列処理をやっていく #AdventCalendar - ainameの日記

2016/12/01 107 users GUILD gem AdventCalendar 機運 知見

2016 - 12 - 01 Rubyで並列処理をやっていく #AdventCalendar mixiグループアドベントカレンダー2016 1日目です。 今回は、自分が今まで利用した Ruby での並列処理を書くためのgemとか知見を紹介します。 機運 先日のRubyKaigi 2016で、Ruby3ではGuildという新しい並列処理のモデル{{ A proposal of new concurr... 続きを読む

RestyというScala用のREST APIフレームワークを作ってみました - たけぞう瀕死ブログ

2016/11/28 82 users Scala ブロッキング github.com リポジトリ

2016 - 11 - 28 RestyというScala用のREST APIフレームワークを作ってみました Scala GitHub リポジトリ はこちら。 github.com なぜ作ったのか？ Scala 業界の フレームワーク は関数型的なアプローチのものが主流になっています。これらの フレームワーク はノン ブロッキング I/Oや並列処理をうまく扱うことができますが、本質的な複雑さをもたら... 続きを読む

Goでスケールする実装を書く - GolangRdyJp

2016/07/27 155 users GolangRdyJp 実装 並列度 法則 割合

スケールする実装を書くためのガイド スケールするために 並列度とアムダールの法則 べき等性 Lock-FreeとWait-Free アトミックアクセス ロックの局所化 並列度とアムダールの法則 時間単位の場合は繰り返し処理のトータル時間に対し、 並列処理を妨げない処理時間の割合を「並列度」という。 （コードプロファイルを使って求める場合もあるが、 比較的単純なコードでないと計算が複雑になりやすい。... 続きを読む

php で手軽に並列処理をするライブラリ Snidel を作りました · 暁

2015/11/08 72 users PHP マルチスレッド ライブラリ 命名 スナイデル

シルバーウィーク中に php のライブラリを作りました。 ackintosh/snidel Snidel (スナイデル) について 他の言語のマルチスレッド等の並行・並列処理のための機構に近い書き心地で php で手軽に並列処理をする。というのがコンセプトです。 子プロセス数の制御に メッセージキュー プロセス間のデータのやりとりに 共有メモリ を使っています。 命名に特にこだわりは無いのですが、... 続きを読む

Golangで作ったhttpdの接続数を制限してみよう - インフラエンジニアway - Powered by HEARTBEATS

2015/10/20 134 users golang Scala httpd 斎藤 サーバ

こんにちは。斎藤です。 ここ1〜2年、私は仕事でGolangを書くことが増えています。きっかけは、ITインフラをお預かりする中で、お客様のサーバにツールを置く場合でも1つのバイナリさえ置けば良いという手軽さからだったのですが、最近はScalaと並び手軽に並列処理が書けるプログラミング言語として重宝しています。 さて、今回はGolangで作ったhttpdの接続数をLimitListenerを利用して... 続きを読む

FinTechの現場で関数型言語を並列処理に、機械学習の活用も視野に 株式会社ZUU 開発本部 Senior Manager 浅野隆文 氏 ｜IT・Web業界の転職ならDODAエンジニア IT

2015/09/13 592 users Chatterbot FinTech DODAエンジニア

1985年生まれ。茨城県出身。中学生時代に人工知能に興味を持ち、Visual C++6.0でchatterbotを開発する。音大を受験するが失敗し、独学でネットワークエンジニアに。専門学校非常勤講師、大手通信会社の金融担当部門ソリューションSEなどを経て、クラウドサービスを提供する株式会社STEADYでCTO職を務める。2015年、株式会社ZUUに入社。 ZUUに参加した浅野氏は、新サービスの開発... 続きを読む

カップルが一緒にお風呂に入る割合をベイズ推定してみた

2015/03/03 314 users ベイス RFM 割合 ＥＣ ラムダ式

Transcript 1. カップルが一緒にお風呂に入る 割合をベイズ推定してみた @hoxo_m 2015/03/03 2. 自己紹介 • hoxo_m • 某 EC サイトでデータ分析をやっています • シリアルパッケージクリエイター – pforeach (R の並列処理を超簡単に書く) – easyRFM (RFM 分析を簡単に実行する) – lambdaR (R にラムダ式を導入する) ... 続きを読む

R で超簡単に並列処理を書けるパッケージ pforeach を作った - ほくそ笑む

2014/12/22 51 users forEach ATND 並列 デフォルト 並列計算

※この記事は R Advent Calendar 2014 : ATND の 22 日目の記事です。 0. この記事の要約R の foreach パッケージを改良して、デフォルトで並列計算するようにしたパッケージ pforeach を作りました。pforeach - Easy to parallel processing in Rこれにより、R での並列計算を下記のようにシンプルに書くことができま... 続きを読む

若手エンジニア／初心者のためのRuby 2.1入門（11）：RubyのThread、Fiber、Kernel、forkで並列処理やプロセスの深淵へ (1/3) - ＠IT

2014/12/15 104 users Fiber fork kernel thread 深淵

若手エンジニア／初心者のためのRuby 2.1入門（11）：RubyのThread、Fiber、Kernel、forkで並列処理やプロセスの深淵へ (1/3) オープンソースのオブジェクト指向プログラミング言語「Ruby」の文法を一から学ぶための入門連載。最新版の2.1に対応しています。今回は、スレッドを扱うクラスや軽量スレッド、「グルー言語」でもあるRubyからプロセスを操るさまざまなメソッドの... 続きを読む