Python並行・並列処理を整理する (入門) - Qiita

2024/08/04 13 users Qiita GIL モノリシック ワークロード 入門

概要 大量データに関するワークロードを、モノリシックに解決する場合、並行・並列処理の知識は活用できます 但し、一般にPythonにはGILが存在するため、正しい挙動を抑えておきたい所です 内容 Pythonにおける並行処理・並列処理 プロセス = OSが管理する実行単位 (CPUコア毎) スレッド = プロセス内の軽量な実行単位 (... 続きを読む

CPU性能を100倍にするチップ「PPU」を開発――フィンランドのスタートアップFlow - fabcross for エンジニア

2024/07/03 11 users アーキテクチャ フィンランド CPU 北欧 チップ

フィンランドのスタートアップ企業Flowは、2024年6月11日、あらゆるCPUの性能を100倍に向上させるという、「Parallel Processing Unit（PPU）」アーキテクチャを発表した。同時に、北欧のVCなどからの総額400万ユーロ（約6億9000万円）の調達も公表した。 PPUは、従来のCPUにおける並列処理の問題を解決するもので、あら... 続きを読む

Python 3.12で増えた並列処理と、これまでの並列処理の挙動を比べてみる - Qiita

2024/04/30 173 users 総当たり Qiita Python 挙動 並列実行

この記事ですることを3行で Pythonの標準ライブラリでできる並列実行を、あらためて総当たりで速度比較しよう ウォーターフォールチャートで、それぞれの並列処理の処理時間の特徴を可視化しよう boto3の実行をモデルケースにして、どの並列処理が一番早いのかを調べよう この記事の結論を先に Python 3.12から本格的に... 続きを読む

並列処理がとても苦手なPythonはプロセスを分けよう　コードを書く時に意識したい2つのTipsと2つの落とし穴

2023/10/13 178 users Tips Python 落とし穴 プロセス Kotlin

Go、Python、Kotlin、Rust、TypeScript の5つの言語について「並列処理、並行処理の手法」というテーマに絞り解説する「並列処理をGo/Rust/Kotlin/Python/JSで解説！思想の違いを体感しよう」。Python編では橘氏が登壇。Pythonで並列処理を行う際の設計方針と、実装上の癖について話します。 西川氏の自己紹介 西川大亮... 続きを読む

ChatGPTの画期的な点とは ～並列処理ができるのが大きな強み【これからはじめるChatGPTの基礎知識】

2023/08/01 10 users chatgpt 強み 基礎知識

続きを読む

WebAssemblyでマルチスレッドによる並列処理を可能にする「wasi-threads」仕様の提案、ByteCode Allianceが明らかに

2023/02/26 26 users WebAssembly マルチスレッド フェーズ 実行 仕様

WebAssemblyにおける業界標準仕様などを推進する団体「ByteCode Alliance」は、WebAssemblyでマルチスレッドによる高速な並列処理を可能にする「wasi-threads」仕様を提案したことを明らかにしました。 W3Cでのマルチスレッド仕様策定は現在フェーズ3 WebAssemblyは、Webブラウザ上で高速に実行可能なバイナリフォーマッ... 続きを読む

並列処理と排他処理 - ROBOT PAYMENT Engineers Blog

2022/10/26 12 users 排他処理 ROBOT PAYMENT 言語 業務

こんにちは、ROBOT PAYMENTの開発統括室ペイメントシステム課のtaniguchikun です。 たまたま業務で並列処理と排他処理を実装することになったので、その辺について記事にしたいと思います。 並列処理とはなんぞや 例え話 排他処理 今回のキーワード ミューテックス セマフォ Lock関数（C#言語） チェックポイント 静的... 続きを読む

Cloud Run jobs を解説する

2022/05/13 29 users Cloud Run Jobs Tasks http コンテナ

TL; DRCloud Run にバッチ処理などを実行するのに便利な機能「Cloud Run jobs」が追加されました。従来の Cloud Run と違い、HTTP リクエストに依らず、任意のタイミングでコンテナ(Tasks)を実行可能で、より長時間の実行、 明示的な並列処理を行うことが可能です。 Cloud Run jobs とはCloud Run jobs とは Cloud Run ... 続きを読む

POSIX準拠シェルスクリプトでマルチコアの能力を活用する並列処理の実装（最大並列数あり、GNU Parallel, xargsなし） - Qiita

2021/03/01 122 users xargs Qiita GNU Parallel 実装 能力

#!/bin/sh set -eu [ "${ZSH_VERSION:-}" ] && setopt shwordsplit MAX_PROC=4 # 最大並列数 interrupt() { trap '' TERM kill -TERM 0 exit 130 } terminate() { trap '' TERM kill -TERM 0 exit 143 } # trap : CONT trap interrupt INT trap terminate TERM func() { echo "sleep $1" sleep "$1" # kill -CONT $$ } p... 続きを読む

Ruby 3.0 の Ractor を自慢したい - クックパッド開発者ブログ

2020/12/26 43 users Ractor 笹田 息切れ クックパッド Ruby

Ruby の開発をしている技術部の笹田です。娘が自転車に乗り始め、まだ不安なためずっとついていなければならず、少し追っかけまわしただけで息切れがヤバい感じになっています。運動しないと。 ここ数年、Ruby で並列処理を気軽に書くための仕組みである Ractor を Ruby 3.0 で導入するという仕事を、クックパッドでの主... 続きを読む

Ruby 3.0.0RC1が登場、型の記述や静的型推論ツールなど新機能。12月25日の正式リリースに向け － Publickey

2020/12/22 18 users Publickey ＲＢＳ 記述 正式リリース Ruby

Ruby 3.0.0RC1が登場、型の記述や静的型推論ツールなど新機能。12月25日の正式リリースに向け Ruby 3では、型の記述や静的型推論ツール、並列処理などの新たな機能が追加されます。 型の記述では、型情報を記述するための「RBS言語」が用意されるようになりました。このRBSで型情報のコードを記述しておくことで、Rubyの... 続きを読む

JavaScriptでGPUを簡単に扱えるライブラリ「GPU.js」レビュー、並列処理で多次元の演算が爆速に - GIGAZINE

2020/08/05 20 users GIGAZINE ウェブアプリ 演算 GPU 爆速

GPUを用いた並列演算に利用されるプログラミング言語といえば、機械学習の研究などに利用されるPythonが一般的ですが、JavaScriptによるウェブアプリでもGPUを用いたい場合があるはず。オープンソースのJavaScriptライブラリ「GPU.js」を使うと、スクリプトを実行するコンピューターのGPUを利用して並列処理を行うことで... 続きを読む

【Kubernetes】1週間かかる処理を1.5時間で終わらせた【並列処理】 - ニートの言葉

2019/10/30 108 users Kubernetes 並列 t_andou アンドゥ ニート

こんにちはあんどう(@t_andou)です。 今回はKubernetesを使って並列処理させた記録です。 まだ「とりあえずそれっぽく動くまで試してみた」という段階で、kubernetesを理解できてはいないので自分用のメモを公開しているという認識でご覧ください。 間違っている部分や、よりスマートなやり方がありましたらご指摘いただ... 続きを読む

[Step Functions]動的並列処理（Map）を使って60分×24時間=1440ファイルのバッチ処理を楽々実装してみた ｜ DevelopersIO

2019/10/07 27 users Lambda DevelopersIO map 配列 平野

こんにちは、平野です。 下記のブログで紹介されているように、 Step Functionsにて、配列の入力を個別のLambda等にバラまいて処理させるMapステートがサポートされました！！ [アップデート]Step Fu […] 続きを読む

Pythonの並列処理・並行処理をしっかり調べてみた - Qiita

2019/05/12 65 users Qiita Python 都合 細かいところ 雰囲気

「ビルドインモジュールが色々あってぜんぜん分からない。俺達は雰囲気で並列処理を使っている」という状態だったので、良くないと思ってPythonの並列処理と並行処理をしっかり調べてみました。 少し長めです。細かいところまで把握するためのもので、仕事などの都合でさくっと調べて使いたい方は別の記事をご確認くださ... 続きを読む

並列処理に関数型…でも学習コストは高くない！？ Web開発者のためのElixirのススメ【デブサミ2019】 (1/2)：CodeZine（コードジン）

2019/04/25 25 users Elixir erlang CodeZine 文法 コードジン

PR 【デブサミ2019】セッションレポート 並列処理に関数型…でも学習コストは高くない！？ Web開発者のためのElixirのススメ【デブサミ2019】 【15-D-5】 これをまだ知らない Web エンジニアへ贈る - 私が愛する Elixir/Erlang の楽しさと辛さ - ErlangのVM上で動作する関数型言語「Elixir」。Ruby風とも言われる文法のわ... 続きを読む

Swift プログラマが Go言語を学び始めた話（後編） - ペンギン村 Tech Blog

2019/01/30 11 users コルーチン チャネル Swift プログラマ Go言語

以下の記事の続きです。 blog.penginmura.tech blog.penginmura.tech 最後となるこの記事では、ここまで紹介してこなかった細かい機能や、Go言語における並列処理を実現するゴルーチン・チャネルについて触れ、最後に Go 言語に対する総括的な感想を述べて終わりにしたいと思います。 defer Swift でも用意されている de... 続きを読む

並列処理にプロセス間通信…傑作プログラミング系パズルの続編『セブン・ビリオン・ヒューマンズ』レビュー - 夜中に前へ

2018/11/22 57 users 続編 夜中 Steam プロセス間通信 夜中たわし

こんばんは、夜中たわしです。 あの『ヒューマン・リソース・マシーン』の続編が出ましたよ。 その名も『セブン・ビリオン・ヒューマンズ』。ニンテンドースイッチとSteamで配信中です。 タイトルから匂わせる通り、70億人全員に仕事をくれるみたいです。 本作はブラックな世界観で本格的なプログラミング系パズルを楽し... 続きを読む

iPhone XSの「A12 Bionic」はSkylake世代のIntel CPUをメモリ並列処理性能で凌駕していると判明 - GIGAZINE

2018/11/14 35 users プロセッサ Intel GIGAZINE メモリ 進化

スマートフォンの進化を支えるのはプロセッサの急速な進化です。飛躍的に性能が向上し、PC向けプロセッサに肉薄し、部分的には超えているとの評価を受けているiPhone XS/XRで採用されたプロセッサ「A12 Bionic」や新型iPad Proのプロセッサ「A12X Bionic」について、メモリレベルの並列処理という要素について、Intelの... 続きを読む

病院の待合室で驚いたこと（＆【フリーペーパー・オブ・ザ・イヤー】web投票開始のお知らせ） - ネコノラ通信web

2018/11/10 11 users 待合室 ッス ネコノラ通信web by黒猫クインシー 告知

「今日見かけた、病院の待合室でスマホをみてた方々は、テレビをみてないんじゃなくて、音声だけひろって必要な情報の時だけ、画面をみる、並列処理の得意な器用な人ばかりだったッス！」by黒猫クインシー フリーペーパー・オブ・ザ・イヤー　web投票開始のお知らせ 告知が大変遅くなってしまいましたが、今年も参加させ... 続きを読む

科学の森：能力桁違い量子コンピューター　開発競争激化、日本の巻き返しは - 毎日新聞

2018/11/07 37 users 毎日新聞 光子 開発競争激化 量子 阿部周一

現在のスーパーコンピューターの計算能力をはるかにしのぐと期待される「量子コンピューター」の開発競争が世界で激化している。米国のグーグルやＩＢＭなどの企業がけん引し、中国など各国政府も巨額予算で後押ししている。一歩出遅れた日本は巻き返せるか。【阿部周一】 ●０と１　並列処理 量子とは、原子や光子などの... 続きを読む

【Unity】C# Job Systemを自分なりに解説してみる - テラシュールブログ

2018/03/05 52 users Unity バックグラウン デバッグ チュートリアル 目玉機能

2018 - 03 - 04 【Unity】C# Job Systemを自分なりに解説してみる C# Unity2018.1 Unity 最適化・デバッグ ゲームの作り方・チュートリアル・サンプル Thread Unite 今回はUnity 2018.1の目玉機能である C# Job Systemについて紹介します。 C# Job Systemは並列処理である 並列処理と非同期処理（バックグラウン... 続きを読む

Seagete、HDDの速度を倍増させる「マルチアクチュエータ」技術 ～1ドライブで並列処理が可能に - PC Watch

2017/12/20 62 users アクチュエータ 読み書き 米Seagate HDD ペット

米Seagateは18日(米国時間)、HDDのデータ転送速度を倍増させるという「マルチアクチュエータ(Multi Actuator)」技術を発表した。 　アクチュエータは、ディスク上で読み書きを行なう記録ヘッドを動かすための部品。記録ヘッドは、アクチュエータアームの先端部に配置されている。 　これまでのHDDでは、アクチュエータは1つのみ搭載されており、すべてのヘッドが同期して一緒に動いていた。 ... 続きを読む

Pythonの並列処理 - test.py

2017/12/18 29 users Pool Python メソッド スレッド数 システム

2016 - 11 - 28 Pythonの並列処理 最近 Python の並列処理をよく使うのでまとめておく。 基本形 並列処理したいメソッドを別に書いてPoolから呼び出す。 multiprocessing.cpu_count()はシステムのCPU数を返す。 僕の環境では4。 デュアルコア なのでスレッド数だと思う。 import multiprocessing def f (x): retu... 続きを読む

golang の並列処理を Ruby と比較しながら学ぶ / マスタカの ChangeLog メモ

2017/10/15 134 users gist changelog golang Ruby マスタカ

一ヶ月ほど前の社内のインフラ共有会でタイトルの話をしました。記録の ために記事を書いておきます。 Gist に置いてあるので、コードは git clone で取得可能です。 $ git clone https://gist.github.com/c0a4234a5264c89655c40adcf7c27cb2.git Ruby 例えば Ruby で 30 個の処理をするコードがあったとします。こん... 続きを読む