並行・並列、そしてAsync - ANDPAD Tech Blog

2024/12/20 18 users async 並行 ANDPAD Tech Blog

この記事はANDPAD Advent Calendar 2024の17日目の記事になります。(投稿予定の12/17前後で風邪を引いてしまい投稿が遅れてしまいました。🙇‍♀️) @youchanです。実は今年の8月にアンドパッドに入社していました。アンドパッドではインフラコストを削減するための施策を行なうチームに配属しています。 アンドパッドでは建設... 続きを読む

RubyKaigi 2024 - Ractor Enhancements, 2024 (Day1) - Techouse Developers Blog

2024/06/18 8 users RubyKaigi parallel Ractor Day1

こんにちは、株式会社Techouse バックエンドエンジニアの @nodematerial です。 今回は、RubyKaigi 2024 1日目のセッション「Ractor Enhancements, 2024」を聴講したので、その内容をブログにまとめさせていただきます。 Ractor とは Ractor は Ruby 3.0 で導入された並列(parallel)プログラミングを行うための機能です... 続きを読む

Blueskyの投稿をTweetDeck風にカラム表示して更新チェックできるウェブアプリ「TOKIMEKI」を使ってみたよレビュー

2024/06/09 46 users TOKIMEKI ウェブアプリ Bluesky カラム 画面

「TOKIMEKI」はほりべあ氏が開発しているBlueskyクライアントで、Bluesky上の投稿や自分のフィードなどをカラムに分けて管理できます。モバイル版TOKIMEKIをレビューした後にウェブアプリ版も使ってみたところ、「1つの画面に複数アカウントの投稿を並列表示して更新を常時チェック」という情報収集にめちゃくちゃ便利な... 続きを読む

Testcontainersを用いてテスト実行前の docker compose up を無くし、Goで並列テストする | フューチャー技術ブログ

2024/04/10 18 users TIG真野 PostgreSQL 恩恵 単体テスト 別プロセス

春の入門祭り2024の1記事目です。 はじめにTIG真野です。 Testcontainers を用いて、単体テスト実行前に docker compose up -d 無しで、PostgreSQLにアクセスする単体テストを行う、入門記事です。 恩恵は次のような開発者体感の向上が個人的にあります。 テストを実行するうえで、別プロセスのサービスを起動しておく必... 続きを読む

AWS Lambdaのスケール速度が最大12倍速に。10秒ごとに1000回の同時実行回数でスケール

2023/12/10 8 users スケール AWS Lambda トラフィック AWS 関数

AWS Lambdaは、あらかじめ登録した関数を負荷に応じて同時に並列実行することでスケーラブルな処理を実現する仕組みを備えています。 例えばニュースサイトやオンラインストアなどで突発的なトラフィックが発生したとしても、AWS Lambdaを用いて構築することでオンデマンドで迅速にスケール可能となっています。 AWSは、... 続きを読む

「昔のことばかり話す老人」の現象が、40歳手前で理解できた

2023/12/08 307 users 老人 現象 40歳手前 時系列 感じ

子供の頃、あれは「老人は新しいことが記憶できず、昔のことばかり話すんだ」と予想してたんだけど違った なんか、記憶には距離感が無いんだと思った １年前と５年前と１０年前と１５年前の記憶が並列に存在している感じ？ そもそも記憶に距離感をもたせるのってどうやるんだろう？ ・時系列で覚える ・◯◯はあの頃だから... 続きを読む

C++でジョブシステムを作ってみる（2）

2023/11/10 11 users ジョブシステム ジョブ 並列化 前回 依存関係

はじめに この記事ではC++でジョブを並列に実行するためのジョブシステムを実装していきます。 前回 は下記のステップ1まで実装しました。 ジョブを並列実行する機能 ジョブ間の依存関係を設定する機能 大きなジョブを分割して並列化する機能 前回の記事はこちら ↓ 今回はステップ2とステップ3を実装してみます。前回と... 続きを読む

Rubyの並列並行処理のこれまでとこれから - クックパッド開発者ブログ

2023/08/31 190 users Ruby 笹田 クックパッド開発者ブログ 並行 返却

技術部の笹田です。今日で退職するので、バタバタと返却などの準備をしています。 本記事では、Rubyの並行並列処理の改善についての私の取り組みについて、おもに RubyKaigi 2022 と 2023 で発表した内容をもとにご紹介します。 並行と並列はよく似た言葉ですが、本記事では次のような意味で使います。 並行処理（concur... 続きを読む

Goのtestingパッケージにコミットした話 - Mirrativ Tech Blog

2022/12/22 8 users testingパッケージ コミット 藤井脩紀 環境変数 テスト

Illustrated by egonelbre. The Go Gopher was designed by Renee French. こんにちは、バックエンドエンジニアの藤井脩紀です。 今回はGoにコントリビュートすることができたのでそのお話をさせていただきたいと思います！ 概要 早速コミットの内容からですが、並列実行されるテストで環境変数を設定できなくするという... 続きを読む

Ruby3.0でRactorを入れた理由、M:Nスレッドの制限。深掘りRubyKaigi 2022 with ko1 & kateinoigakukun 文字起こしレポートvol.2 - STORES Product Blog

2022/12/08 7 users many Fujimura WASI Ractor 笹田さん

2022年10月5日に『深掘りRubyKaigi 2022 with ko1 & kateinoigakukun~ RubyKaigiどうでした＆RubyのWASI/並列どうなるの？ ~』を開催しました。イベントでお話した内容を3部作でお届けします。こちらはvol.2です。 ko1の発表「Making *MaNy* threads on Ruby」をざっくり fujimura：では、笹田さんのパートに移ろうと思... 続きを読む

kateinoigakukunがプログラムに興味を持ったきっかけ、Wasmとの出会い。深掘りRubyKaigi 2022 with ko1 & kateinoigakukun 文字起こしレポートvol.1 - STORES Product Blog

2022/12/07 7 users Fujimura wasm kateinoigakukun

2022年10月5日に『深掘りRubyKaigi 2022 with ko1 & kateinoigakukun ~ RubyKaigiどうでした＆RubyのWASI/並列どうなるの？ ~』を開催しました。イベントでお話した内容を3部作でお届けします。 自己紹介 fujimura：皆様、今日はお集まりいただきありがとうございます。今日はゲストにkateinoigakukunさんと、笹田さんを... 続きを読む

英首相、ウクライナ戦争とブレグジット投票を並列　欧州や与野党から非難 - BBCニュース

2022/03/21 16 users 与野党 ポリス 非難 ウクライナ戦争 BBCニュース

ボリス・ジョンソン英首相が、ロシアの軍事侵攻に反撃するウクライナ人の戦いと、イギリス国民が欧州連合（EU）離脱に投票したことを並列して比較したため、与野党や欧州から強く非難されている。ジョンソン氏は19日、英ブラックプールで開かれた与党・保守党の党大会で発言した。 続きを読む

書評: 並行プログラミング入門 – さくらんぼの技術備忘録

2021/08/22 6 users 書評 並列プログラミング 並行 結論 授業

まえがき オライリーから発売される「並行プログラミング入門」が若干早く入手できました。せっかくなので、紹介とか感想を書いてみようかと思います。結論だけ先に書いておくと、並行/並列プログラミングに興味があるなら買いましょう必ず役に立ちます。 どんな本？ この本は、大学のOSの授業とかで習うような並行/並列... 続きを読む

C++/Java/Ruby/Pythonの並列I/O用ファイルインターフェイス - 豪鬼メモ

2021/07/10 5 users Java Ruby Python マルチスレッド 豪鬼メモ

ファイルの読み書きをマルチスレッドで並列に行うための仕組みを、各種プログラミング言語（C++、Java、Ruby、Python）で利用できるようにライブラリを整備した。メモリマップI/O、通常I/O、ダイレクトI/Oを同じインターフェイスで利用できる。Tkrzw-0.9.38からこの機能が利用できる。メモリマップI/Oと通常I/Oは全ての... 続きを読む

DockerイメージのビルドをBuildKitで並列実行し高速化する - ?

2021/03/14 7 users Docker BuildKit ビルド Dockerイメージ

なぜ、ビルドを早くする デプロイ時間の短縮 AutoScaling 等でのインスタンスの追加時間の短縮 CI のビルド時間が短縮 どう、ビルドを早くする 並列性を上げる ビルドキャッシュを効かせる 並列性 本記事では、並列性のみに触れる。 BuildKit を使用する Docker 18.09 のリリースにおいて行われたビルド機能の拡張は、ビ... 続きを読む

GitHub Actions でテストを並列に実行して高速化する (parallelism)

2021/01/08 7 users 拙作 GitHub Actions ツール 通り 実行結果

拙作のツール、split-test を使うことで、JUnit Format XML に記録された実行時間を元にしたグループ分割が簡単にできます。 GitHub Actions に直接依存しているわけではないため、実行結果を保存するところさえ用意すればどの CI サービスでも利用可能です。 GitHub Actions における流れ 設定例は次の通りです。 on: p... 続きを読む

君たちの「並行」の理解は間違ってる

2020/11/17 21 users 並行 君たち 理解 concurrent タスク

TL;DR 並行計算の理解を間違ってる人が多いので正したい 並行計算=同時に実行すること 並列計算≒同等のタスクを並行計算すること 状況 並列と並行 / 多言語からみるマルチコアの活かし方に見られるように並行(concurrent)とは「複数の処理を順番に実行すること」とする誤った記述を、この記事に限らずチラホラ目にします... 続きを読む

GoのテストをCIで簡単に並列実行する | おそらくはそれさえも平凡な日々

2020/10/22 83 users サブセット Songmu github.com テスト 日々

https://github.com/Songmu/gotesplit gotesplitというかなり便利なツールを書いた。Goのテストをいい感じのサブセットに分割して、それを実行するものです。このアプローチで、社内のテストを15分から3分くらいまでに短縮しました。 これを使えばCI環境での高速なテストの並列実行を簡単に実現できます。 実例 CircleCI... 続きを読む

法律をリファクタリングしながら読んでみる - 日々常々

2020/09/09 5 users 法律 日々 DDD bbb CCC

法律って慣れてないと読みにくいですよね。慣れたら読みやすくなるのかわからないけれど。 取り違いや誤解、漏れが少ないようにを意識して書かれているのか、どうしても冗長に感じます。 よくあるのが「AAAのBBB若しくはCCCのDDD」のようにAAAとCCC、BBBとDDDが並列で、これを一塊として後の文が続くもの。この塊を抜き... 続きを読む

[アップデート]CodeBuildが複数ビルドの並列実行と逐次実行に対応しました！ | Developers.IO

2020/07/31 7 users CodeBuild Developers.IO 並列実行

CodeBuildが"Batch"ビルドを利用した、ビルドの並列実行と逐次実行をサポートしました！ バッチビルドを利用することで、複数のビルドタスクを並列に実行したり、順番に実行していくことが可能になります。 CodeBuildが "Batch" ビルドを利用した、ビルドの並列実行と逐次実行をサポートしました！ AWS CodeBuild now su... 続きを読む

【Kubernetes】1週間かかる処理を1.5時間で終わらせた【並列処理】 - ニートの言葉

2019/10/30 108 users Kubernetes t_andou アンドゥ ニート メモ

こんにちはあんどう(@t_andou)です。 今回はKubernetesを使って並列処理させた記録です。 まだ「とりあえずそれっぽく動くまで試してみた」という段階で、kubernetesを理解できてはいないので自分用のメモを公開しているという認識でご覧ください。 間違っている部分や、よりスマートなやり方がありましたらご指摘いただ... 続きを読む

[Java] URLからファイルを非同期ダウンロードする - デベルマン

2019/10/25 33 users Java デベルマン 本稿 非同期 標準ライブラリ

本稿では、URLからファイルを非同期でダウンロードする方法について解説します。 こんな人におすすめ ファイルのダウンロードを自動化したい 初期処理等のため、プログラム上でファイルをダウンロードする必要がある 複数ファイルを並列でダウンロードしたい Javaの標準ライブラリによる実装方法やApache HttpComponents... 続きを読む

CIマニアから見たGitHub Actions(Beta)の使い所 - くりにっき

2019/09/09 329 users beta GitHub Actions アクセストークン

1ヶ月くらい使って勘所が見えてきたのでメモ メリット 1リポジトリ辺り20並列までジョブを並列実行できる ジョブ実行時はアクセストークンが勝手に設定されている マトリクステストがやりやすい 実際にGitHub Actionsに移行したプロダクト zatsu_monitor activerecord-compatible_legacy_migration index_shotgun デメリ... 続きを読む

Python で大量のファイルを並列で速く読み込む - Qiita

2019/06/02 278 users Qiita glob Len Python Files

from glob import glob files = glob('data/*.csv') len(files) # 10000 この 1万件の CSV ファイルを Pandas DataFrame として読み込みたい。 ちなみに検証用のデータは以下のようにして生成した。 (3列 x 10,000行 の CSV ファイル 10,000 個) import numpy as np import pandas as pd row_n = 10000 col_n = 3 column... 続きを読む

仕事が暇なときに何をするべきか - orangeitems’s diary

2019/05/14 13 users orangeitems’s diary 途端 クセ クラウド

仕事が暇になってしまったら ITの仕事というのは結構波があって、忙しいときは並列に受注するくせに、それらが終わった途端に急に暇になることがあります。最近はその傾向が特に激しい。これはクラウドの仕事は顕著です。「早く欲しい！」と言った短納期。構築もWebインターフェースからできてしまうので実際構築期間も... 続きを読む