Python 3.12で増えた並列処理と、これまでの並列処理の挙動を比べてみる - Qiita

2024/04/30 173 users 総当たり Qiita Python 挙動 並列実行

この記事ですることを3行で Pythonの標準ライブラリでできる並列実行を、あらためて総当たりで速度比較しよう ウォーターフォールチャートで、それぞれの並列処理の処理時間の特徴を可視化しよう boto3の実行をモデルケースにして、どの並列処理が一番早いのかを調べよう この記事の結論を先に Python 3.12から本格的に... 続きを読む

並列処理がとても苦手なPythonはプロセスを分けよう　コードを書く時に意識したい2つのTipsと2つの落とし穴

2023/10/13 178 users Tips Python 落とし穴 プロセス Kotlin

Go、Python、Kotlin、Rust、TypeScript の5つの言語について「並列処理、並行処理の手法」というテーマに絞り解説する「並列処理をGo/Rust/Kotlin/Python/JSで解説！思想の違いを体感しよう」。Python編では橘氏が登壇。Pythonで並列処理を行う際の設計方針と、実装上の癖について話します。 西川氏の自己紹介 西川大亮... 続きを読む

POSIX準拠シェルスクリプトでマルチコアの能力を活用する並列処理の実装（最大並列数あり、GNU Parallel, xargsなし） - Qiita

2021/03/01 122 users xargs Qiita GNU Parallel 実装 能力

#!/bin/sh set -eu [ "${ZSH_VERSION:-}" ] && setopt shwordsplit MAX_PROC=4 # 最大並列数 interrupt() { trap '' TERM kill -TERM 0 exit 130 } terminate() { trap '' TERM kill -TERM 0 exit 143 } # trap : CONT trap interrupt INT trap terminate TERM func() { echo "sleep $1" sleep "$1" # kill -CONT $$ } p... 続きを読む

【Kubernetes】1週間かかる処理を1.5時間で終わらせた【並列処理】 - ニートの言葉

2019/10/30 108 users Kubernetes 並列 t_andou アンドゥ ニート

こんにちはあんどう(@t_andou)です。 今回はKubernetesを使って並列処理させた記録です。 まだ「とりあえずそれっぽく動くまで試してみた」という段階で、kubernetesを理解できてはいないので自分用のメモを公開しているという認識でご覧ください。 間違っている部分や、よりスマートなやり方がありましたらご指摘いただ... 続きを読む

golang の並列処理を Ruby と比較しながら学ぶ / マスタカの ChangeLog メモ

2017/10/15 134 users gist changelog golang Ruby マスタカ

一ヶ月ほど前の社内のインフラ共有会でタイトルの話をしました。記録の ために記事を書いておきます。 Gist に置いてあるので、コードは git clone で取得可能です。 $ git clone https://gist.github.com/c0a4234a5264c89655c40adcf7c27cb2.git Ruby 例えば Ruby で 30 個の処理をするコードがあったとします。こん... 続きを読む

Dockerでデプロイ、60ノードまでスケールアウト、Sparkで分析 　テラバイト・クラスの集計処理もあっさり返すdashDB LocalでDWHを構築する - はてなニュース

2017/05/29 254 users DWH インメモリ Docker データウェアハウス デプロイ

日本アイ・ビー・エム（以下、日本IBM）の「IBM dashDB Local」は、プライベートクラウド/ハイブリッドクラウドに最適な構成を持つデータウェアハウス（DWH）向けの製品である。Dockerコンテナとしてデプロイ、スケールアウト（規模拡大）でき、データ量や処理負荷の急増に柔軟に対応できる。インメモリの列指向データベースと並列処理により検索処理を高速に実行する。システムの成長に柔軟に対応で... 続きを読む

AMD、16コアのデスクトップ向けCPU「Ryzen Threadripper」を夏に投入 ～モバイル向けプロセッサもついにRyzen+Vegaに - PC Watch

2017/05/17 101 users AMD 異例 Ryzen Threadripper 投入

米AMDは16日(現地時間)、投資家向けのイベント「Financial Analyst Day」を開催。この中で、新たな製品ロードマップを発表した。 　1つ目はハイエンドデスクトップPC向けの「Ryzen Threadripper」。ZenベースのCPUコアを採用し、16コア/32スレッドという、コンシューマ向けPCでは異例とも言える並列処理に特化したプロセッサとなる。 　また、AM4とは異なる新... 続きを読む

ASCII.jp：Go言語と並列処理｜Goならわかるシステムプログラミング

2017/04/26 186 users 並列 システムプログラミング 並行 コンピューター 区別

Go言語の特徴として挙げられる機能の1つに、「並列処理を書くのが簡単」というものがあります。 そこで今回は、Goにおける並列処理の機能を紹介してから、そもそも現代のコンピューターでどのようにして並列処理が実現されているのかをとりあげます。 複数の仕事を同時に行うとは？ 複数の仕事を行うことを表す言葉には 並行 と 並列 の2つがありますが、これらには次のような区別があります。 並行処理（Concu... 続きを読む

デブサミ2017「DeNAの機械学習基盤と分析基盤」講演メモ #devsumi - 元RX-7乗りの適当な日々

2017/02/17 155 users devsumi DeNA デブサミ2017 元RX-7乗り

sonots先生の話を聞きに行ってきたので、そのメモを残しておきます。 瀬尾 直利 氏 DeNA Co., Ltd. AIシステム部 リードエンジニア DeNAの機械学習基盤 ディープラーニングの基盤 => GPU基盤 という認識 GPUすごくて、CPU使って30日のところ、GPUを使うと4日くらいのオーダー GPUの特徴 並列処理が得意 CPUだと24coreとかのオーダー GPUでは3000〜... 続きを読む

Rubyで並列処理をやっていく #AdventCalendar - ainameの日記

2016/12/01 107 users GUILD gem AdventCalendar 機運 知見

2016 - 12 - 01 Rubyで並列処理をやっていく #AdventCalendar mixiグループアドベントカレンダー2016 1日目です。 今回は、自分が今まで利用した Ruby での並列処理を書くためのgemとか知見を紹介します。 機運 先日のRubyKaigi 2016で、Ruby3ではGuildという新しい並列処理のモデル{{ A proposal of new concurr... 続きを読む

Goでスケールする実装を書く - GolangRdyJp

2016/07/27 155 users GolangRdyJp 実装 並列度 法則 割合

スケールする実装を書くためのガイド スケールするために 並列度とアムダールの法則 べき等性 Lock-FreeとWait-Free アトミックアクセス ロックの局所化 並列度とアムダールの法則 時間単位の場合は繰り返し処理のトータル時間に対し、 並列処理を妨げない処理時間の割合を「並列度」という。 （コードプロファイルを使って求める場合もあるが、 比較的単純なコードでないと計算が複雑になりやすい。... 続きを読む

Golangで作ったhttpdの接続数を制限してみよう - インフラエンジニアway - Powered by HEARTBEATS

2015/10/20 134 users golang Scala httpd 斎藤 サーバ

こんにちは。斎藤です。 ここ1〜2年、私は仕事でGolangを書くことが増えています。きっかけは、ITインフラをお預かりする中で、お客様のサーバにツールを置く場合でも1つのバイナリさえ置けば良いという手軽さからだったのですが、最近はScalaと並び手軽に並列処理が書けるプログラミング言語として重宝しています。 さて、今回はGolangで作ったhttpdの接続数をLimitListenerを利用して... 続きを読む

FinTechの現場で関数型言語を並列処理に、機械学習の活用も視野に 株式会社ZUU 開発本部 Senior Manager 浅野隆文 氏 ｜IT・Web業界の転職ならDODAエンジニア IT

2015/09/13 592 users Chatterbot FinTech DODAエンジニア

1985年生まれ。茨城県出身。中学生時代に人工知能に興味を持ち、Visual C++6.0でchatterbotを開発する。音大を受験するが失敗し、独学でネットワークエンジニアに。専門学校非常勤講師、大手通信会社の金融担当部門ソリューションSEなどを経て、クラウドサービスを提供する株式会社STEADYでCTO職を務める。2015年、株式会社ZUUに入社。 ZUUに参加した浅野氏は、新サービスの開発... 続きを読む

カップルが一緒にお風呂に入る割合をベイズ推定してみた

2015/03/03 314 users ベイス RFM 割合 ＥＣ ラムダ式

Transcript 1. カップルが一緒にお風呂に入る 割合をベイズ推定してみた @hoxo_m 2015/03/03 2. 自己紹介 • hoxo_m • 某 EC サイトでデータ分析をやっています • シリアルパッケージクリエイター – pforeach (R の並列処理を超簡単に書く) – easyRFM (RFM 分析を簡単に実行する) – lambdaR (R にラムダ式を導入する) ... 続きを読む

若手エンジニア／初心者のためのRuby 2.1入門（11）：RubyのThread、Fiber、Kernel、forkで並列処理やプロセスの深淵へ (1/3) - ＠IT

2014/12/15 104 users Fiber fork kernel thread 深淵

若手エンジニア／初心者のためのRuby 2.1入門（11）：RubyのThread、Fiber、Kernel、forkで並列処理やプロセスの深淵へ (1/3) オープンソースのオブジェクト指向プログラミング言語「Ruby」の文法を一から学ぶための入門連載。最新版の2.1に対応しています。今回は、スレッドを扱うクラスや軽量スレッド、「グルー言語」でもあるRubyからプロセスを操るさまざまなメソッドの... 続きを読む

シェルコマンドを使った処理の効率化は　AWKの行（レコード）操作がカギをにぎる （1/2）：CodeZine

2014/05/26 132 users awk シェルコマンド CodeZine シェル芸 コマンド

行単位で処理を行うことは非常に重要なことです。なぜでしょうか。それは他のUnix系ツールも行単位で処理を行うからです。シェル芸編注1ではパイプを使って次のコマンドに出力を渡しますが、次のコマンドも行単位で処理を行うことが多いため、適切な行をAWKで抜き出すことで円滑な並列処理が可能になります。そのため、シェル芸の効率化は行の処理の効率化と言い換えることができます。そこで、今回はAWKを用いた行の処... 続きを読む

もう怖くないCocoaの並列処理（GCD & NSOperation/NSOperationQueue） - $ cat /var/log/shin

2014/05/06 166 users GCD Cocoa Shin log var

2014-05-05 もう怖くないCocoaの並列処理（GCD & NSOperation/NSOperationQueue） Programming Objective-C iOS Mac Cocoaの並列処理（GCDとNSOperation/NSOperationQueue）に関するまとめです。この記事ではいわゆる「スレッド」については扱いません。スレッドについては、前に記事を書いたのでそちら... 続きを読む

マルチスレッドを意識しないマルチスレッド・ライブラリ「Intel Concurent Collections」がおもしろい （1/4）：CodeZine

2013/09/03 110 users CodeZine マルチスレッド parallel CNC

並列処理/Parallel/マルチスレッドなんてなkeywordを餌にWebの海辺で釣り糸垂れてたら面白いものが引っかかりました。「Intel Concurrent Collections for C++」、略称"CnC"というらしい。IntelはTBB,Cilk Plusなどの並列処理を得意とするライブラリや言語拡張をリリースしてますが、それに加えてCnC。どんなもんだか興味があります。早速釣り... 続きを読む

マルチコア時代のプログラマは関数脳になろう〜Java8のススメ〜 - Tech-Sketch

2013/08/12 457 users Tech-Sketch プログラマ クロックアップ 関数脳

CPUのクロックアップに限界が訪れ、マルチコア化することで処理性能向上を目指す時代になりました。これからのプログラマには、マルチコアで処理性能が向上するプログラム＝マルチスレッドで並列処理が可能なプログラムを書く能力が必要になります。今回は「関数型」でプログラムを書くことによって、いとも簡単に並列化ができることを実例を元に解説します。 関数型プログラミングと並列処理 「関数型でプログラムを書くこと... 続きを読む

Ruby - Bundlerで並列処理？？bundle installを爆速で処理する方法。 - Qiita [キータ]

2013/08/09 177 users キータ bundler Qiita 爆速 Ruby

なんと最新版のBundlerから 並列処理 が出来る様になりました！ 準備はこれだけ。最新のBundlerをインストールします。 続きを読む

なるほどUnixプロセス ー Rubyで学ぶUnixの基礎 - 達人出版会

2013/04/06 657 users UNIX Wor naruhounix 近刊 Unixプロセス

近刊 『Working with Unix Processes』待望の完訳。並列処理やデーモン、プロセス生成、そしてシグナルといったUnixの基礎であるプロセスについてRubyで解説する、「今どきの」開発者に向けた新しいUnixプログラミングの手引きです。 ※本書の公式ハッシュタグは#naruhounix になります。関連サイト原著者による公式ページと訳者らによるサポートページがあります。 Wor... 続きを読む

プロセスとかスレッドとかプロセス間通信とかについて書く場所

2013/02/08 288 users スレッド プロセス プロセス間通信 場所 プロセ

この文書の目的 この文書は*nix系のシステムにおけるプロセスやスレッド、シグナルについて説明することを目的に書かれています。「プロセスとかスレッドとかよくわかってないからちゃんと知りたいな」みたいなひとたちが想定読者です。あと、まとめることによって自分の知ってることの棚卸しをするという目的もあります。 目次(予定) プロセス、スレッドと並列処理 プロセスについて プロセスのライフサイクル プロセ... 続きを読む

グーグル、BigQueryを正式公開。SQLで大規模データに対して高速処理 － Publickey

2012/05/07 282 users Publickey BigQuery OLAP DWH SQL

BigQueryはカラム型データストアの一種で、テラバイトクラスの大規模データに対して大量の並列処理を行うことで高速に結果を得ることが可能。グーグル 佐藤一憲氏の発言によると、 OLAP/DWH/Data Miningで行われるようなread onlyのad hocクエリをきわめて高速（数秒〜数十秒）に実行します。 とのこと。 SQLによる問い合わせが可能 この高速性に加え、BigQueryではS... 続きを読む

PCサーバ PRIMERGY（プライマジー） PCクラスタ Excel高速化ソリューション : 富士通

2012/03/15 206 users ソリューション Excel VBA 時間短縮 業務効率改善

PCクラスタ Excel高速化ソリューション 並列処理によるMicrosoft Office Excel利用業務の大幅な時間短縮 Excel VBAを用いて大量の反復計算を行っている業務を、Windows HPC Server 2008 R2（HPC Services for Excel 2010）上で並列処理を行うことにより、Excel演算を高速化し、大幅な業務効率改善を実現するソリューションで... 続きを読む

irbから学ぶRubyの並列処理 ~ forkからWebSocketまで - hp12c

2011/09/29 184 users シングルタスク irb fork WebSocket Ruby

世の中は並列化花ざかりだよ人間はシングルタスクのままなのにプログラミングするときはマルチタスクが要求されるなんて世知辛い世の中になったものだね でも情報革命は始まったばかりだから愚痴ってばかりもいられないよ自分がその波にうまく乗れないとしてもうまく乗ってる人の様を間近で見てみたいと思うんだ そんなわけで.. Rubyのfork Thread Reactor EventMachineWebSocke... 続きを読む