Python並行・並列処理を整理する (入門) - Qiita

2024/08/04 13 users Qiita GIL モノリシック ワークロード 並列処理

概要 大量データに関するワークロードを、モノリシックに解決する場合、並行・並列処理の知識は活用できます 但し、一般にPythonにはGILが存在するため、正しい挙動を抑えておきたい所です 内容 Pythonにおける並行処理・並列処理 プロセス = OSが管理する実行単位 (CPUコア毎) スレッド = プロセス内の軽量な実行単位 (... 続きを読む

GitHub ActionsにおけるStep/Job/Workflow設計論

2022/05/17 195 users job Step GitHub Actions コマンド 処理

この記事について GitHub Actionsには、以下3つの実行単位が存在します。 Workflow Job Step パイプラインを組む中で出てくる複数個の処理を、1つの実行単位でまとめてしまうか、それとも分割するのかというのは悩むポイントかと思います。 一つのstepのrunフィールドにコマンドを詰め込む？それともstepを分けた方がい... 続きを読む

VSCodeのPython拡張機能が便利になったらしいので試してみた - Qiita

2018/11/12 78 users vscode Qiita venv virtualenv 先頭

拡張子.pyのPythonファイルを新規作成 ここではtest.pyとします。 作成した仮想環境をVSCodeで選択 下記記事などを参考にして下さい。 Visual Studio Code のデバッグで、virtualenv, venv のPython仮想環境を使う https://qiita.com/82p/items/7c1b3b6c470b2f08bf51 実行してみる 実行単位となるセル毎に先頭に#%%を付... 続きを読む

Linuxのプロセス間通信 - Qiita

2017/10/07 581 users IPC Qiita Linux プロセス プロセス間通信

この記事について LinuxのIPC（プロセス間通信）を紹介します。 プロセス間通信とは Inter Process Communication(IPC)はプログラムの実行単位であるプロセスの間で行われるデータ交換のことを指します。プロセスの依存関係は可能な限り疎結合になるようOSで管理されています。そのため、IPCはLinux OSの機能を経由して行う必要があります。 OSがプロセスに提供するデ... 続きを読む

マルチスレッド/プロセスまとめ（Ruby編） - Qiita

2015/12/08 198 users Qiita マルチスレッド Ruby編 リソース 物理

プログラムの実行単位 固有のメモリ空間を持つ(リソースを共有しない) マルチプロセスの場合、物理/仮想メモリ領域間のアドレス解決のオーバーヘッドが高い。 プロセスの実行単位 共通のメモリ空間を持つ（リソースを共有する） マルチスレッドの場合、物理/仮想メモリ領域間のアドレス解決は発生しない。 ユーザースレッド ユーザー空間（アプリケーションが利用するメモリ空間）を利用 1つのプロセスに複数のスレッ... 続きを読む