はてブログ

はてなブックマーク新着エントリーの過去ログサイトです。



タグ 並列

新着順 人気順 5 users 10 users 50 users 100 users 500 users 1000 users
 
(1 - 25 / 95件)

AWS Lambdaのスケール速度が最大12倍速に。10秒ごとに1000回の同時実行回数でスケール

2023/12/10 このエントリーをはてなブックマークに追加 8 users Instapaper Pocket Tweet Facebook Share Evernote Clip スケール AWS Lambda トラフィック AWS 関数

AWS Lambdaは、あらかじめ登録した関数を負荷に応じて同時に並列実行することでスケーラブルな処理を実現する仕組みを備えています。 例えばニュースサイトやオンラインストアなどで突発的なトラフィックが発生したとしても、AWS Lambdaを用いて構築することでオンデマンドで迅速にスケール可能となっています。 AWSは、... 続きを読む

「昔のことばかり話す老人」の現象が、40歳手前で理解できた

2023/12/08 このエントリーをはてなブックマークに追加 307 users Instapaper Pocket Tweet Facebook Share Evernote Clip 老人 現象 40歳手前 時系列 感じ

子供の頃、あれは「老人は新しいことが記憶できず、昔のことばかり話すんだ」と予想してたんだけど違った なんか、記憶には距離感が無いんだと思った 1年前と5年前と10年前と15年前の記憶が並列に存在している感じ? そもそも記憶に距離感をもたせるのってどうやるんだろう? ・時系列で覚える ・◯◯はあの頃だから... 続きを読む

C++でジョブシステムを作ってみる(2)

2023/11/10 このエントリーをはてなブックマークに追加 11 users Instapaper Pocket Tweet Facebook Share Evernote Clip ジョブシステム ジョブ 並列化 前回 依存関係

はじめに この記事ではC++でジョブを並列に実行するためのジョブシステムを実装していきます。 前回 は下記のステップ1まで実装しました。 ジョブを並列実行する機能 ジョブ間の依存関係を設定する機能 大きなジョブを分割して並列化する機能 前回の記事はこちら ↓ 今回はステップ2とステップ3を実装してみます。前回と... 続きを読む

Rubyの並列並行処理のこれまでとこれから - クックパッド開発者ブログ

2023/08/31 このエントリーをはてなブックマークに追加 190 users Instapaper Pocket Tweet Facebook Share Evernote Clip Ruby 笹田 クックパッド開発者ブログ 並行 返却

技術部の笹田です。今日で退職するので、バタバタと返却などの準備をしています。 本記事では、Rubyの並行並列処理の改善についての私の取り組みについて、おもに RubyKaigi 2022 と 2023 で発表した内容をもとにご紹介します。 並行と並列はよく似た言葉ですが、本記事では次のような意味で使います。 並行処理(concur... 続きを読む

Goのtestingパッケージにコミットした話 - Mirrativ Tech Blog

2022/12/22 このエントリーをはてなブックマークに追加 8 users Instapaper Pocket Tweet Facebook Share Evernote Clip testingパッケージ コミット 藤井脩紀 環境変数 テスト

Illustrated by egonelbre. The Go Gopher was designed by Renee French. こんにちは、バックエンドエンジニアの藤井脩紀です。 今回はGoにコントリビュートすることができたのでそのお話をさせていただきたいと思います! 概要 早速コミットの内容からですが、並列実行されるテストで環境変数を設定できなくするという... 続きを読む

Ruby3.0でRactorを入れた理由、M:Nスレッドの制限。深掘りRubyKaigi 2022 with ko1 & kateinoigakukun 文字起こしレポートvol.2 - STORES Product Blog

2022/12/08 このエントリーをはてなブックマークに追加 7 users Instapaper Pocket Tweet Facebook Share Evernote Clip many Fujimura WASI Ractor 笹田さん

2022年10月5日に『深掘りRubyKaigi 2022 with ko1 & kateinoigakukun~ RubyKaigiどうでした&RubyのWASI/並列どうなるの? ~』を開催しました。イベントでお話した内容を3部作でお届けします。こちらはvol.2です。 ko1の発表「Making *MaNy* threads on Ruby」をざっくり fujimura:では、笹田さんのパートに移ろうと思... 続きを読む

kateinoigakukunがプログラムに興味を持ったきっかけ、Wasmとの出会い。深掘りRubyKaigi 2022 with ko1 & kateinoigakukun 文字起こしレポートvol.1 - STORES Product Blog

2022/12/07 このエントリーをはてなブックマークに追加 7 users Instapaper Pocket Tweet Facebook Share Evernote Clip Fujimura wasm kateinoigakukun

2022年10月5日に『深掘りRubyKaigi 2022 with ko1 & kateinoigakukun ~ RubyKaigiどうでした&RubyのWASI/並列どうなるの? ~』を開催しました。イベントでお話した内容を3部作でお届けします。 自己紹介 fujimura:皆様、今日はお集まりいただきありがとうございます。今日はゲストにkateinoigakukunさんと、笹田さんを... 続きを読む

英首相、ウクライナ戦争とブレグジット投票を並列 欧州や与野党から非難 - BBCニュース

2022/03/21 このエントリーをはてなブックマークに追加 16 users Instapaper Pocket Tweet Facebook Share Evernote Clip 与野党 ポリス 非難 ウクライナ戦争 BBCニュース

ボリス・ジョンソン英首相が、ロシアの軍事侵攻に反撃するウクライナ人の戦いと、イギリス国民が欧州連合(EU)離脱に投票したことを並列して比較したため、与野党や欧州から強く非難されている。ジョンソン氏は19日、英ブラックプールで開かれた与党・保守党の党大会で発言した。 続きを読む

書評: 並行プログラミング入門 – さくらんぼの技術備忘録

2021/08/22 このエントリーをはてなブックマークに追加 6 users Instapaper Pocket Tweet Facebook Share Evernote Clip 書評 並列プログラミング 並行 結論 授業

まえがき オライリーから発売される「並行プログラミング入門」が若干早く入手できました。せっかくなので、紹介とか感想を書いてみようかと思います。結論だけ先に書いておくと、並行/並列プログラミングに興味があるなら買いましょう必ず役に立ちます。 どんな本? この本は、大学のOSの授業とかで習うような並行/並列... 続きを読む

C++/Java/Ruby/Pythonの並列I/O用ファイルインターフェイス - 豪鬼メモ

2021/07/10 このエントリーをはてなブックマークに追加 5 users Instapaper Pocket Tweet Facebook Share Evernote Clip Java Ruby Python マルチスレッド 豪鬼メモ

ファイルの読み書きをマルチスレッドで並列に行うための仕組みを、各種プログラミング言語(C++、Java、Ruby、Python)で利用できるようにライブラリを整備した。メモリマップI/O、通常I/O、ダイレクトI/Oを同じインターフェイスで利用できる。Tkrzw-0.9.38からこの機能が利用できる。メモリマップI/Oと通常I/Oは全ての... 続きを読む

DockerイメージのビルドをBuildKitで並列実行し高速化する - ?

2021/03/14 このエントリーをはてなブックマークに追加 7 users Instapaper Pocket Tweet Facebook Share Evernote Clip Docker BuildKit ビルド Dockerイメージ

なぜ、ビルドを早くする デプロイ時間の短縮 AutoScaling 等でのインスタンスの追加時間の短縮 CI のビルド時間が短縮 どう、ビルドを早くする 並列性を上げる ビルドキャッシュを効かせる 並列性 本記事では、並列性のみに触れる。 BuildKit を使用する Docker 18.09 のリリースにおいて行われたビルド機能の拡張は、ビ... 続きを読む

GitHub Actions でテストを並列に実行して高速化する (parallelism)

2021/01/08 このエントリーをはてなブックマークに追加 7 users Instapaper Pocket Tweet Facebook Share Evernote Clip 拙作 GitHub Actions ツール 通り 実行結果

拙作のツール、split-test を使うことで、JUnit Format XML に記録された実行時間を元にしたグループ分割が簡単にできます。 GitHub Actions に直接依存しているわけではないため、実行結果を保存するところさえ用意すればどの CI サービスでも利用可能です。 GitHub Actions における流れ 設定例は次の通りです。 on: p... 続きを読む

君たちの「並行」の理解は間違ってる

2020/11/17 このエントリーをはてなブックマークに追加 21 users Instapaper Pocket Tweet Facebook Share Evernote Clip 並行 君たち 理解 concurrent タスク

TL;DR 並行計算の理解を間違ってる人が多いので正したい 並行計算=同時に実行すること 並列計算≒同等のタスクを並行計算すること 状況 並列と並行 / 多言語からみるマルチコアの活かし方に見られるように並行(concurrent)とは「複数の処理を順番に実行すること」とする誤った記述を、この記事に限らずチラホラ目にします... 続きを読む

GoのテストをCIで簡単に並列実行する | おそらくはそれさえも平凡な日々

2020/10/22 このエントリーをはてなブックマークに追加 83 users Instapaper Pocket Tweet Facebook Share Evernote Clip サブセット Songmu github.com テスト 日々

https://github.com/Songmu/gotesplit gotesplitというかなり便利なツールを書いた。Goのテストをいい感じのサブセットに分割して、それを実行するものです。このアプローチで、社内のテストを15分から3分くらいまでに短縮しました。 これを使えばCI環境での高速なテストの並列実行を簡単に実現できます。 実例 CircleCI... 続きを読む

法律をリファクタリングしながら読んでみる - 日々常々

2020/09/09 このエントリーをはてなブックマークに追加 5 users Instapaper Pocket Tweet Facebook Share Evernote Clip 法律 日々 DDD bbb CCC

法律って慣れてないと読みにくいですよね。慣れたら読みやすくなるのかわからないけれど。 取り違いや誤解、漏れが少ないようにを意識して書かれているのか、どうしても冗長に感じます。 よくあるのが「AAAのBBB若しくはCCCのDDD」のようにAAAとCCC、BBBとDDDが並列で、これを一塊として後の文が続くもの。この塊を抜き... 続きを読む

[アップデート]CodeBuildが複数ビルドの並列実行と逐次実行に対応しました! | Developers.IO

2020/07/31 このエントリーをはてなブックマークに追加 7 users Instapaper Pocket Tweet Facebook Share Evernote Clip CodeBuild Developers.IO 並列実行

CodeBuildが"Batch"ビルドを利用した、ビルドの並列実行と逐次実行をサポートしました! バッチビルドを利用することで、複数のビルドタスクを並列に実行したり、順番に実行していくことが可能になります。 CodeBuildが "Batch" ビルドを利用した、ビルドの並列実行と逐次実行をサポートしました! AWS CodeBuild now su... 続きを読む

【Kubernetes】1週間かかる処理を1.5時間で終わらせた【並列処理】 - ニートの言葉

2019/10/30 このエントリーをはてなブックマークに追加 108 users Instapaper Pocket Tweet Facebook Share Evernote Clip Kubernetes t_andou アンドゥ ニート メモ

こんにちはあんどう(@t_andou)です。 今回はKubernetesを使って並列処理させた記録です。 まだ「とりあえずそれっぽく動くまで試してみた」という段階で、kubernetesを理解できてはいないので自分用のメモを公開しているという認識でご覧ください。 間違っている部分や、よりスマートなやり方がありましたらご指摘いただ... 続きを読む

[Java] URLからファイルを非同期ダウンロードする - デベルマン

2019/10/25 このエントリーをはてなブックマークに追加 33 users Instapaper Pocket Tweet Facebook Share Evernote Clip Java デベルマン 本稿 非同期 標準ライブラリ

本稿では、URLからファイルを非同期でダウンロードする方法について解説します。 こんな人におすすめ ファイルのダウンロードを自動化したい 初期処理等のため、プログラム上でファイルをダウンロードする必要がある 複数ファイルを並列でダウンロードしたい Javaの標準ライブラリによる実装方法やApache HttpComponents... 続きを読む

CIマニアから見たGitHub Actions(Beta)の使い所 - くりにっき

2019/09/09 このエントリーをはてなブックマークに追加 329 users Instapaper Pocket Tweet Facebook Share Evernote Clip beta GitHub Actions アクセストークン

1ヶ月くらい使って勘所が見えてきたのでメモ メリット 1リポジトリ辺り20並列までジョブを並列実行できる ジョブ実行時はアクセストークンが勝手に設定されている マトリクステストがやりやすい 実際にGitHub Actionsに移行したプロダクト zatsu_monitor activerecord-compatible_legacy_migration index_shotgun デメリ... 続きを読む

Python で大量のファイルを並列で速く読み込む - Qiita

2019/06/02 このエントリーをはてなブックマークに追加 278 users Instapaper Pocket Tweet Facebook Share Evernote Clip Qiita glob Len Python Files

from glob import glob files = glob('data/*.csv') len(files) # 10000 この 1万件の CSV ファイルを Pandas DataFrame として読み込みたい。 ちなみに検証用のデータは以下のようにして生成した。 (3列 x 10,000行 の CSV ファイル 10,000 個) import numpy as np import pandas as pd row_n = 10000 col_n = 3 column... 続きを読む

仕事が暇なときに何をするべきか - orangeitems’s diary

2019/05/14 このエントリーをはてなブックマークに追加 13 users Instapaper Pocket Tweet Facebook Share Evernote Clip orangeitems’s diary 途端 クセ クラウド

仕事が暇になってしまったら ITの仕事というのは結構波があって、忙しいときは並列に受注するくせに、それらが終わった途端に急に暇になることがあります。最近はその傾向が特に激しい。これはクラウドの仕事は顕著です。「早く欲しい!」と言った短納期。構築もWebインターフェースからできてしまうので実際構築期間も... 続きを読む

Accelerateとglossで作るライフゲーム - Qiita

2019/05/06 このエントリーをはてなブックマークに追加 13 users Instapaper Pocket Tweet Facebook Share Evernote Clip Qiita Gloss qii Accelerate イチ

やっぱり並列計算したいじゃないですか。でも「イチからディープラーニング組むぜ!!」というのも流石に無謀がすぎるのでライフゲームの盤面計算をAccelerateでやり、表示をglossでやってみました。glossについてはこちらの記事を参考にしました。 glossではじめるグラフィック描画 :: Haskell入門の次に読む記事 - Qii... 続きを読む

はてなブックマークへの違和感

2019/03/31 このエントリーをはてなブックマークに追加 126 users Instapaper Pocket Tweet Facebook Share Evernote Clip 違和感 はてなブックマーク ホルンバッハ パンティー LGBT

ホッテントリを見ても、なんだか違和感がある。 LGBTとかホルンバッハとか朝から晩までそんなことばっかり考えて暮らしている人たちがいるのか。 いややっぱりおかしい。なんか組織的な臭いがするんだよね。 ギガジンのアレも確かにショッキングだけど、並列にいくつもホッテントリするほどの内容かな。 パンティーのこ... 続きを読む

Excelブック単体でExcelVBAを疑似マルチスレッド化してみる - えくせるちゅんちゅん

2019/03/26 このエントリーをはてなブックマークに追加 68 users Instapaper Pocket Tweet Facebook Share Evernote Clip ExcelVBA VBA くせるちゅんちゅん 実験 ツイート

今回はExcelブック単体でExcelVBAを疑似マルチスレッド化できるかの実験をします。 きっかけ コード 結果 ちょっとだけ解説 まとめ きっかけ 最近(私の中で)話題のExcel作曲家こと「あっさん」がこんなツイートをしていました。 VBAで並列処理するのってどうやるんだろ… VBS呼び出せばいいけどWindows APIの呼び出しが... 続きを読む

CPU / メモリ / ディスクに負荷をかける stress コマンド - kakakakakku blog

2018/10/21 このエントリーをはてなブックマークに追加 109 users Instapaper Pocket Tweet Facebook Share Evernote Clip Stress dev Yes null CPU

最近 stress コマンドを使って,サーバに負荷をかける方法を紹介する機会があり,よく使っているのに今までブログに書いていなかったなと気付き,今回まとめることにした.CPU に負荷をかけるだけなら yes > /dev/null をコア数に合わせて並列実行すれば良いけど,stress コマンドならメモリとディスクにも負荷をかける... 続きを読む

 
(1 - 25 / 95件)