Python並行・並列処理を整理する (入門) - Qiita

2024/08/04 13 users Qiita GIL モノリシック ワークロード 並列処理

概要 大量データに関するワークロードを、モノリシックに解決する場合、並行・並列処理の知識は活用できます 但し、一般にPythonにはGILが存在するため、正しい挙動を抑えておきたい所です 内容 Pythonにおける並行処理・並列処理 プロセス = OSが管理する実行単位 (CPUコア毎) スレッド = プロセス内の軽量な実行単位 (... 続きを読む

M:Nスレッドによる軽量な並行処理への挑戦 | gihyo.jp

2024/01/30 9 users gihyo.jp 笹田 挑戦 スレッド 性能向上

STORES株式会社でRubyインタプリタ開発をしている笹田です。お正月に新年早々おでんを腐らせてしまったので、今年は作ったらさっさと食べることを目標にしたいと思います。 この記事では、主に私が開発している、Ruby 3.3で導入されたM:Nスレッドについて紹介します。 M:Nスレッドはスレッドの性能向上のために導入され... 続きを読む

シングルスレッドやマルチプロセスなどの並行処理の話について、 すぐに忘れてしまいます。 どうしたらもっと知識が定着すると思いますか？ 色んなライブラリーでAPIサーバーを立ててパ

2023/12/05 208 users ライブラリー APIサーバー mattn シングルスレッド

シングルスレッドやマルチプロセスなどの並行処理の話について、 すぐに忘れてしまいます。 どうしたらもっと知識が定着すると思いますか？ 色んなライブラリーでAPIサーバーを立ててパフォーマンスの差などを見てみたりするのですが、結局よくわかりませんでした。 mattn:フレームワークに頼って実装していると、そのフ... 続きを読む

並列処理がとても苦手なPythonはプロセスを分けよう　コードを書く時に意識したい2つのTipsと2つの落とし穴

2023/10/13 178 users Tips Python 落とし穴 並列処理 プロセス

Go、Python、Kotlin、Rust、TypeScript の5つの言語について「並列処理、並行処理の手法」というテーマに絞り解説する「並列処理をGo/Rust/Kotlin/Python/JSで解説！思想の違いを体感しよう」。Python編では橘氏が登壇。Pythonで並列処理を行う際の設計方針と、実装上の癖について話します。 西川氏の自己紹介 西川大亮... 続きを読む

ペペロンチーノで学ぶ非同期プログラミングによる並行処理 - Qiita

2023/10/06 75 users async await Qiita ペペロンチーノ 超速

非同期プログラミングについて、イメージだけを超速で掴むための記事を書きました。非同期プログラミングが全くわからない人、具体的には、「async await ってなに……？」「for 文で実行していくのと何が違うの……？」レベルの人を想定しています。 非同期プログラングって何？ 同期的じゃないプログラミングです。同期的... 続きを読む

Rubyの並列並行処理のこれまでとこれから - クックパッド開発者ブログ

2023/08/31 190 users Ruby 笹田 クックパッド開発者ブログ 並列 並行

技術部の笹田です。今日で退職するので、バタバタと返却などの準備をしています。 本記事では、Rubyの並行並列処理の改善についての私の取り組みについて、おもに RubyKaigi 2022 と 2023 で発表した内容をもとにご紹介します。 並行と並列はよく似た言葉ですが、本記事では次のような意味で使います。 並行処理（concur... 続きを読む

並行処理の基礎を学ぼう - Enablement Workshop for Gophers

2023/05/26 129 users 基礎 Enablement ナレッジワーク 講義 タイトル

はじめに 2023年5月10日に開催されたEnablement Workshop for Gophersで「並行処理の基礎を学ぼう」というタイトルで講義を行ないました。 Enablement Workshop for Gophersは、ナレッジワークが学生向けに提供する手を動かしながら基礎を学ぶ"Enablement"の機会です。 今回のテーマは2023年6月21日〜23日に行われるEnab... 続きを読む

社内勉強会「Swiftの並行処理についてのセッションを見る会」を開催しました - Mirrativ Tech Blog

2022/03/04 33 users Swift セッション 社内勉強会

こんにちは、クライアントエンジニアのちぎら(@_naru_jpn)です。Swift 5.5 で async/await が導入されて久しいですが、皆さま導入はされているでしょうか。プロダクトに導入して活用できればいいですが、すぐには導入できないプロダクトも多くあると思いますし、個人でキャッチアップするにも、温度感の違いや人によって... 続きを読む

【メモ】私が愛する Elixir/Erlang の楽しさと辛さ - Taku’s Teckブログ

2022/01/07 8 users erlang evm Elixir 取捨 箇条書き

元資料が素晴らしいためまとめる必要など全くないのですが、自己の整理のため、箇条書きにて書き起こししているものです Elixirのメリット なぜ流行らないのか？ 伝えたいこと 難しいのであれば学ぶことを取捨選択して学習コストを下げる EVMの並行処理について 巷の良い話 巷の悪い話 EVM＝OSと似たプロセスの仕組みを... 続きを読む

Swift ConcurrencyのwithTaskCancellationHandlerとSendable - cockscomblog?

2021/09/26 5 users cockscomblog await actor async

Swift 5.5がリリースされた。おめでとうございます。 Swift 5.5の目玉はもちろんSwift Concurrencyだ。言語機能として並行処理がサポートされた。async/awaitの構文だけでなく、Structured Concurrencyとしての整理や、actorの導入など、野心的な取り組みと言える。 Swift Concurrency Swift Concurrencyに直接関係するS... 続きを読む

Goでの並行処理を徹底解剖！

2021/06/18 235 users 徹底解剖 チャネル 自力 一体何者 文法書

並行処理をうまく使うのは難易度が高めです。 それゆえに、go文とチャネルについて基本的な文法書で知った後「並行処理ちゃんとできる！」の段階まで自力でたどり着くのは大変でしょう。 この本は、 *「並行処理ってやって何が嬉しいの？」 *「ゴールーチンとかチャネルとかって一体何者？」 *「ゴールーチンやチャネル... 続きを読む

15分で読める「Go言語による並行処理」ポイントまとめ・上 - Qiita

2021/02/05 10 users 概念 並行性 文字数 Qiita ポイント

Go言語による並行処理について自分なりにポイントをまとめていきます。 15分で読める「Go言語による並行処理」ポイントまとめ・上 「Go言語による並行処理」ポイントまとめ・下　記事作成中... ※15分 = この記事の文字数(約7100字)/1分で読めるらしい文字数平均(400~600)の大体 並行性の概念 そもそも「並行性」とは 前... 続きを読む

Ruby 3.0.0 リリース

2020/12/25 232 users リリース パフォーマンス 目標 Ruby3 改善

Ruby 3.0系初のリリースである、Ruby 3.0.0 が公開されました。 これまで、Ruby3に向けてパフォーマンスの改善、並行処理、静的解析という3つの目標を掲げて、活発に開発が行われてきました。特にパフォーマンスの改善については、Ruby 3x3 として「Ruby3はRuby2の3倍速くする」ことを目指してきました。 Ruby 3.0では開... 続きを読む

Pythonの並列処理・並行処理をしっかり調べてみた - Qiita

2019/05/12 65 users Qiita Python 並列処理 都合 細かいところ

「ビルドインモジュールが色々あってぜんぜん分からない。俺達は雰囲気で並列処理を使っている」という状態だったので、良くないと思ってPythonの並列処理と並行処理をしっかり調べてみました。 少し長めです。細かいところまで把握するためのもので、仕事などの都合でさくっと調べて使いたい方は別の記事をご確認くださ... 続きを読む

なぜ機械学習にPythonが強いのか、Pythonで並行処理をするコツを伝授【PyData.tokyo】 (1/2)：CodeZine（コードジン）

2019/01/11 90 users PyData.Tokyo CodeZine NumPy 伝授

10月20日に開催された「PyData.tokyo One-day Conference 2018」では、フリーランスのプログラマで、python.jpの管理人もしている石本敦夫氏がPythonやNumPyの歴史とPythonで並行処理を行う時のポイントを解説した。 python.jp管理人 石本敦夫氏 PyData.tokyo One-day Conference 2018 「NumPyの歴史とPythonの並行処理... 続きを読む

「Go言語による並行処理」という本が出版されました #cingo - YAMAGUCHI::weblog

2018/10/26 52 users オライリ YAMAGUCHI 作者 書店 Weblog

はじめに こんにちは、Stackdriver担当者です。このたび私の印刷書籍としては2冊めの翻訳本「Go言語による並行処理」がオライリー・ジャパン社より出版されました。本日より書店ならびに各社オンラインストアでご購入いただけます。 Go言語による並行処理 作者: Katherine Cox-Buday,山口能迪出版社/メーカー: オライリ... 続きを読む

Big Sky :: 書評「Go言語による並行処理」

2018/10/21 269 users 書評 Go言語 Big Sky

O'Reilly Japan, Inc. 様に献本頂きました。ありがとうございます。 そして献本頂く際にお声を掛けて頂いた、本書の翻訳を担当された ymotongpoo さんにもお礼を申し上げます。ありがとうございます。 本書の訳は非常に素晴らしく、とても原文が英文であったとは思えないほど綺麗で、読んでいく中で「原文でどの様に表現... 続きを読む

NumPyの歴史 と Pythonの並行処理 - atsuoishimoto's diary

2018/10/20 23 users NumPy Python 発表資料 歴史

PyData.tokyo One-day Conference 2018 で登壇させていただきました pydatatokyo.connpass.com 発表資料 NumPyの歴史とPythonの並行処理 from Atsuo Ishimoto 続きを読む

O'Reilly Japan - Go言語による並行処理

2018/10/12 60 users O'Reilly Japan Go言語 サーバーサイド 本書

シンプルな言語仕様と手厚い並行処理機能で多くのプログラマの心を捉えるGo言語。いまではサーバーサイドでのプログラミングやコンテナツールの実装言語など、さまざまな分野で活用されています。本書は、Goの並行処理の設計哲学、言語の機能、また実際のプログラミングテクニックや並行処理の使い方、システムに導入す... 続きを読む

Amazon.co.jp: Go言語による並行処理: Katherine Cox-Buday: Book

2018/09/13 76 users ＢＯＯＫ Amazon.co.jp Go言語

続きを読む

【翻訳】goroutine の仕組み - まるまるこふこふ

2017/12/07 89 users goroutine 訳者 軽量スレッド 既存 翻訳

2017 - 12 - 02 【翻訳】goroutine の仕組み 訳者による概要 Krishna Sundarram 氏の記事「How Goroutines Work」の翻訳です。 「goroutine とは軽量スレッドである」という説明に対して抱くであろう 「どのようにして並行処理を実現しているのか」「既存のスレッド処理と何が違うのか」「なぜ軽量なのか」という疑問を解消する文章です。 とても良... 続きを読む

ASCII.jp：Go言語と並列処理｜Goならわかるシステムプログラミング

2017/04/26 186 users 並列 システムプログラミング 並行 コンピューター 区別

Go言語の特徴として挙げられる機能の1つに、「並列処理を書くのが簡単」というものがあります。 そこで今回は、Goにおける並列処理の機能を紹介してから、そもそも現代のコンピューターでどのようにして並列処理が実現されているのかをとりあげます。 複数の仕事を同時に行うとは？ 複数の仕事を行うことを表す言葉には 並行 と 並列 の2つがありますが、これらには次のような区別があります。 並行処理（Concu... 続きを読む

Go でロックする - Qiita

2016/12/16 122 users Qiita mutex channel ロック 良い方法

はじめに この記事は Go Advent Calendar 2016 の17日目の記事です。 並行処理をする時にはロックが重要になります。 GoではchannelとMutexという仕組みを提供しています。 この記事では色々なロックを作りたいと思います。 tl;dr channelでロックを作ることは有意義です。 ただ、Mutexのほうが良いこともあります。 良い方法を選びましょう ロック無し ロッ... 続きを読む

意外と知らないgoroutineのスケジューラーの挙動 #golang - Qiita

2016/12/10 137 users スケジューリング スケジューラー goroutine 挙動

はじめに goroutineはGo言語の大きな特徴である並行処理を支える重要な機能です。 しかし、goroutineの仕組みについてしっかり理解しないままコードを書いてしまうと思わぬ挙動をしてしまうことがあるので注意が必要です。 今回はそんなgoroutineのスケジューリングの挙動についてまとめてみました。 僕自身がgoの書き始めの頃に引っかかった部分なので、初心者のgoroutineへの理解の... 続きを読む

第4章　標準パッケージ―JSON，ファイル，HTTP，HTMLを扱う：はじめてのGo―シンプルな言語仕様，型システム，並行処理｜gihyo.jp … 技術評論社

2015/04/23 52 users gihyo.jp 標準パッケージ 言語仕様 型システム API

1章の表1で紹介したように，Goは標準パッケージが充実しています。本章では代表的な標準パッケージをとりあげて，JSON，ファイル，HTTP，テンプレートの扱いを解説します。最後はそれらを組み合わせて簡単なHTTPサーバを作成します。 encoding/jsonパッケージ JSONを扱うためにはencoding/jsonパッケージを用います。主なAPIとして，構造体をJSONに変換するMarshal... 続きを読む