Python並行・並列処理を整理する (入門) - Qiita

2024/08/04 13 users Qiita GIL モノリシック ワークロード 入門

概要 大量データに関するワークロードを、モノリシックに解決する場合、並行・並列処理の知識は活用できます 但し、一般にPythonにはGILが存在するため、正しい挙動を抑えておきたい所です 内容 Pythonにおける並行処理・並列処理 プロセス = OSが管理する実行単位 (CPUコア毎) スレッド = プロセス内の軽量な実行単位 (... 続きを読む

CPU性能を100倍にするチップ「PPU」を開発――フィンランドのスタートアップFlow - fabcross for エンジニア

2024/07/03 11 users アーキテクチャ フィンランド CPU 北欧 チップ

フィンランドのスタートアップ企業Flowは、2024年6月11日、あらゆるCPUの性能を100倍に向上させるという、「Parallel Processing Unit（PPU）」アーキテクチャを発表した。同時に、北欧のVCなどからの総額400万ユーロ（約6億9000万円）の調達も公表した。 PPUは、従来のCPUにおける並列処理の問題を解決するもので、あら... 続きを読む

Python 3.12で増えた並列処理と、これまでの並列処理の挙動を比べてみる - Qiita

2024/04/30 173 users 総当たり Qiita Python 挙動 並列実行

この記事ですることを3行で Pythonの標準ライブラリでできる並列実行を、あらためて総当たりで速度比較しよう ウォーターフォールチャートで、それぞれの並列処理の処理時間の特徴を可視化しよう boto3の実行をモデルケースにして、どの並列処理が一番早いのかを調べよう この記事の結論を先に Python 3.12から本格的に... 続きを読む

並列処理がとても苦手なPythonはプロセスを分けよう　コードを書く時に意識したい2つのTipsと2つの落とし穴

2023/10/13 178 users Tips Python 落とし穴 プロセス Kotlin

Go、Python、Kotlin、Rust、TypeScript の5つの言語について「並列処理、並行処理の手法」というテーマに絞り解説する「並列処理をGo/Rust/Kotlin/Python/JSで解説！思想の違いを体感しよう」。Python編では橘氏が登壇。Pythonで並列処理を行う際の設計方針と、実装上の癖について話します。 西川氏の自己紹介 西川大亮... 続きを読む

ChatGPTの画期的な点とは ～並列処理ができるのが大きな強み【これからはじめるChatGPTの基礎知識】

2023/08/01 10 users chatgpt 強み 基礎知識

続きを読む

GPUを使ってウェブ上のグラフィックスを改善するWebGLの後継API「WebGPU」がChrome 113ベータ版で利用可能に

2023/04/07 7 users WebGL WebGPU グラフィックス GPU API

WebGPUは、コンピューターグラフィックをレンダリングするために広く用いられているWebGLの後継として開発されている新たなAPIであり、デバイスのGPUに対するより高度なアクセスを提供することで3Dグラフィックスやデータの並列処理を改善します。Googleが、2023年4月6日にリリースしたChrome 113ベータ版で、WebGPUがデ... 続きを読む

WebAssemblyでマルチスレッドによる並列処理を可能にする「wasi-threads」仕様の提案、ByteCode Allianceが明らかに

2023/02/26 26 users WebAssembly マルチスレッド フェーズ 実行 仕様

WebAssemblyにおける業界標準仕様などを推進する団体「ByteCode Alliance」は、WebAssemblyでマルチスレッドによる高速な並列処理を可能にする「wasi-threads」仕様を提案したことを明らかにしました。 W3Cでのマルチスレッド仕様策定は現在フェーズ3 WebAssemblyは、Webブラウザ上で高速に実行可能なバイナリフォーマッ... 続きを読む

GitHub Actionsで並列処理を作っていてヒヤッとした話 - ゆるりと

2022/11/14 5 users GitHub Actions ゆるり workflow 算出

具体的な並列処理に関しては、会社ブログなどで公開するとは思いますが、GitHub Actionsで並列処理を作っていてヒヤッとした話を書いておきます。 TL; DR 1Workflowの合計時間ではなく、1Jobごとの時間でBillable timeを算出 10sec程度で終わるJobを100並列にすると、Workflowの合計時間が20分程度だとしてもBillable ti... 続きを読む

並列処理と排他処理 - ROBOT PAYMENT Engineers Blog

2022/10/26 12 users 排他処理 ROBOT PAYMENT 言語 業務

こんにちは、ROBOT PAYMENTの開発統括室ペイメントシステム課のtaniguchikun です。 たまたま業務で並列処理と排他処理を実装することになったので、その辺について記事にしたいと思います。 並列処理とはなんぞや 例え話 排他処理 今回のキーワード ミューテックス セマフォ Lock関数（C#言語） チェックポイント 静的... 続きを読む

Cloud Run jobs を解説する

2022/05/13 29 users Cloud Run Jobs Tasks http コンテナ

TL; DRCloud Run にバッチ処理などを実行するのに便利な機能「Cloud Run jobs」が追加されました。従来の Cloud Run と違い、HTTP リクエストに依らず、任意のタイミングでコンテナ(Tasks)を実行可能で、より長時間の実行、 明示的な並列処理を行うことが可能です。 Cloud Run jobs とはCloud Run jobs とは Cloud Run ... 続きを読む

POSIX準拠シェルスクリプトでマルチコアの能力を活用する並列処理の実装（最大並列数あり、GNU Parallel, xargsなし） - Qiita

2021/03/01 122 users xargs Qiita GNU Parallel 実装 能力

#!/bin/sh set -eu [ "${ZSH_VERSION:-}" ] && setopt shwordsplit MAX_PROC=4 # 最大並列数 interrupt() { trap '' TERM kill -TERM 0 exit 130 } terminate() { trap '' TERM kill -TERM 0 exit 143 } # trap : CONT trap interrupt INT trap terminate TERM func() { echo "sleep $1" sleep "$1" # kill -CONT $$ } p... 続きを読む

Ractorで並列処理を試みる｜グロービスデジタルプロダクト開発組織｜note

2021/01/08 5 users Ractor グロービス RubyKaigi GUILD 大澤

はじめまして、グロービスのサーバーサイドエンジニアをしている大澤(@qwyngg)と申します。 Ruby3、そしてRactorがでましたね！ さっそくrbenv global 3.0.0して試していこうと思います。 Ractorとは？並行性のあるコードを書くための新機能です。RubyKaigiでGuildという名前を聞いたことがある方もいらっしゃると思いま... 続きを読む

Ruby 3.0 の Ractor を自慢したい - クックパッド開発者ブログ

2020/12/26 43 users Ractor 笹田 息切れ クックパッド Ruby

Ruby の開発をしている技術部の笹田です。娘が自転車に乗り始め、まだ不安なためずっとついていなければならず、少し追っかけまわしただけで息切れがヤバい感じになっています。運動しないと。 ここ数年、Ruby で並列処理を気軽に書くための仕組みである Ractor を Ruby 3.0 で導入するという仕事を、クックパッドでの主... 続きを読む

Ruby 3.0.0RC1が登場、型の記述や静的型推論ツールなど新機能。12月25日の正式リリースに向け － Publickey

2020/12/22 18 users Publickey ＲＢＳ 記述 正式リリース Ruby

Ruby 3.0.0RC1が登場、型の記述や静的型推論ツールなど新機能。12月25日の正式リリースに向け Ruby 3では、型の記述や静的型推論ツール、並列処理などの新たな機能が追加されます。 型の記述では、型情報を記述するための「RBS言語」が用意されるようになりました。このRBSで型情報のコードを記述しておくことで、Rubyの... 続きを読む

JavaScriptでGPUを簡単に扱えるライブラリ「GPU.js」レビュー、並列処理で多次元の演算が爆速に - GIGAZINE

2020/08/05 20 users GIGAZINE ウェブアプリ 演算 GPU 爆速

GPUを用いた並列演算に利用されるプログラミング言語といえば、機械学習の研究などに利用されるPythonが一般的ですが、JavaScriptによるウェブアプリでもGPUを用いたい場合があるはず。オープンソースのJavaScriptライブラリ「GPU.js」を使うと、スクリプトを実行するコンピューターのGPUを利用して並列処理を行うことで... 続きを読む

guzzleで並列処理とリトライをやろうとして折れた話 - BASE開発チームブログ

2019/12/09 7 users Guzzle tatsu リトライ 結論 Amazon SQS

この記事はBASE Advent Calendar 2019の9日目の記事です。 はじめまして。BASE株式会社のtatsuと申します。 最近、業務にて guzzle を使う機会がありました。結論から述べますと guzzle のみで実現することは出来ず Amazon sqs を併用するという形で落ち着いたのですが、いくつか知見を得ることも出来たのでその事につい... 続きを読む

PHP における並列処理と非同期処理入門 - Speaker Deck

2019/12/02 8 users Speaker Deck PHP

- PHP Conference Japan 2019 - English Title: An introduction of pararells processing and asynchronously processing on PHP 続きを読む

【Kubernetes】1週間かかる処理を1.5時間で終わらせた【並列処理】 - ニートの言葉

2019/10/30 108 users Kubernetes 並列 t_andou アンドゥ ニート

こんにちはあんどう(@t_andou)です。 今回はKubernetesを使って並列処理させた記録です。 まだ「とりあえずそれっぽく動くまで試してみた」という段階で、kubernetesを理解できてはいないので自分用のメモを公開しているという認識でご覧ください。 間違っている部分や、よりスマートなやり方がありましたらご指摘いただ... 続きを読む

[Step Functions]動的並列処理（Map）を使って60分×24時間=1440ファイルのバッチ処理を楽々実装してみた ｜ DevelopersIO

2019/10/07 27 users Lambda DevelopersIO map 配列 平野

こんにちは、平野です。 下記のブログで紹介されているように、 Step Functionsにて、配列の入力を個別のLambda等にバラまいて処理させるMapステートがサポートされました！！ [アップデート]Step Fu […] 続きを読む

Pythonの並列処理・並行処理をしっかり調べてみた - Qiita

2019/05/12 65 users Qiita Python 都合 細かいところ 雰囲気

「ビルドインモジュールが色々あってぜんぜん分からない。俺達は雰囲気で並列処理を使っている」という状態だったので、良くないと思ってPythonの並列処理と並行処理をしっかり調べてみました。 少し長めです。細かいところまで把握するためのもので、仕事などの都合でさくっと調べて使いたい方は別の記事をご確認くださ... 続きを読む

並列処理に関数型…でも学習コストは高くない！？ Web開発者のためのElixirのススメ【デブサミ2019】 (1/2)：CodeZine（コードジン）

2019/04/25 25 users Elixir erlang CodeZine 文法 コードジン

PR 【デブサミ2019】セッションレポート 並列処理に関数型…でも学習コストは高くない！？ Web開発者のためのElixirのススメ【デブサミ2019】 【15-D-5】 これをまだ知らない Web エンジニアへ贈る - 私が愛する Elixir/Erlang の楽しさと辛さ - ErlangのVM上で動作する関数型言語「Elixir」。Ruby風とも言われる文法のわ... 続きを読む

Swift プログラマが Go言語を学び始めた話（後編） - ペンギン村 Tech Blog

2019/01/30 11 users コルーチン チャネル Swift プログラマ Go言語

以下の記事の続きです。 blog.penginmura.tech blog.penginmura.tech 最後となるこの記事では、ここまで紹介してこなかった細かい機能や、Go言語における並列処理を実現するゴルーチン・チャネルについて触れ、最後に Go 言語に対する総括的な感想を述べて終わりにしたいと思います。 defer Swift でも用意されている de... 続きを読む

並列処理にプロセス間通信…傑作プログラミング系パズルの続編『セブン・ビリオン・ヒューマンズ』レビュー - 夜中に前へ

2018/11/22 57 users 続編 夜中 Steam プロセス間通信 夜中たわし

こんばんは、夜中たわしです。 あの『ヒューマン・リソース・マシーン』の続編が出ましたよ。 その名も『セブン・ビリオン・ヒューマンズ』。ニンテンドースイッチとSteamで配信中です。 タイトルから匂わせる通り、70億人全員に仕事をくれるみたいです。 本作はブラックな世界観で本格的なプログラミング系パズルを楽し... 続きを読む

iPhone XSの「A12 Bionic」はSkylake世代のIntel CPUをメモリ並列処理性能で凌駕していると判明 - GIGAZINE

2018/11/14 35 users プロセッサ Intel GIGAZINE メモリ 進化

スマートフォンの進化を支えるのはプロセッサの急速な進化です。飛躍的に性能が向上し、PC向けプロセッサに肉薄し、部分的には超えているとの評価を受けているiPhone XS/XRで採用されたプロセッサ「A12 Bionic」や新型iPad Proのプロセッサ「A12X Bionic」について、メモリレベルの並列処理という要素について、Intelの... 続きを読む

病院の待合室で驚いたこと（＆【フリーペーパー・オブ・ザ・イヤー】web投票開始のお知らせ） - ネコノラ通信web

2018/11/10 11 users 待合室 ッス ネコノラ通信web by黒猫クインシー 告知

「今日見かけた、病院の待合室でスマホをみてた方々は、テレビをみてないんじゃなくて、音声だけひろって必要な情報の時だけ、画面をみる、並列処理の得意な器用な人ばかりだったッス！」by黒猫クインシー フリーペーパー・オブ・ザ・イヤー　web投票開始のお知らせ 告知が大変遅くなってしまいましたが、今年も参加させ... 続きを読む