Testcontainersを用いてテスト実行前の docker compose up を無くし、Goで並列テストする | フューチャー技術ブログ

2024/04/10 18 users TIG真野 PostgreSQL 恩恵 単体テスト 別プロセス

春の入門祭り2024の1記事目です。 はじめにTIG真野です。 Testcontainers を用いて、単体テスト実行前に docker compose up -d 無しで、PostgreSQLにアクセスする単体テストを行う、入門記事です。 恩恵は次のような開発者体感の向上が個人的にあります。 テストを実行するうえで、別プロセスのサービスを起動しておく必... 続きを読む

「昔のことばかり話す老人」の現象が、40歳手前で理解できた

2023/12/08 307 users 老人 現象 40歳手前 時系列 感じ

子供の頃、あれは「老人は新しいことが記憶できず、昔のことばかり話すんだ」と予想してたんだけど違った なんか、記憶には距離感が無いんだと思った １年前と５年前と１０年前と１５年前の記憶が並列に存在している感じ？ そもそも記憶に距離感をもたせるのってどうやるんだろう？ ・時系列で覚える ・◯◯はあの頃だから... 続きを読む

C++でジョブシステムを作ってみる（2）

2023/11/10 11 users ジョブシステム ジョブ 並列化 前回 依存関係

はじめに この記事ではC++でジョブを並列に実行するためのジョブシステムを実装していきます。 前回 は下記のステップ1まで実装しました。 ジョブを並列実行する機能 ジョブ間の依存関係を設定する機能 大きなジョブを分割して並列化する機能 前回の記事はこちら ↓ 今回はステップ2とステップ3を実装してみます。前回と... 続きを読む

Rubyの並列並行処理のこれまでとこれから - クックパッド開発者ブログ

2023/08/31 190 users Ruby 笹田 クックパッド開発者ブログ 並行 返却

技術部の笹田です。今日で退職するので、バタバタと返却などの準備をしています。 本記事では、Rubyの並行並列処理の改善についての私の取り組みについて、おもに RubyKaigi 2022 と 2023 で発表した内容をもとにご紹介します。 並行と並列はよく似た言葉ですが、本記事では次のような意味で使います。 並行処理（concur... 続きを読む

英首相、ウクライナ戦争とブレグジット投票を並列　欧州や与野党から非難 - BBCニュース

2022/03/21 16 users 与野党 ポリス 非難 ウクライナ戦争 BBCニュース

ボリス・ジョンソン英首相が、ロシアの軍事侵攻に反撃するウクライナ人の戦いと、イギリス国民が欧州連合（EU）離脱に投票したことを並列して比較したため、与野党や欧州から強く非難されている。ジョンソン氏は19日、英ブラックプールで開かれた与党・保守党の党大会で発言した。 続きを読む

君たちの「並行」の理解は間違ってる

2020/11/17 21 users 並行 君たち 理解 concurrent タスク

TL;DR 並行計算の理解を間違ってる人が多いので正したい 並行計算=同時に実行すること 並列計算≒同等のタスクを並行計算すること 状況 並列と並行 / 多言語からみるマルチコアの活かし方に見られるように並行(concurrent)とは「複数の処理を順番に実行すること」とする誤った記述を、この記事に限らずチラホラ目にします... 続きを読む

GoのテストをCIで簡単に並列実行する | おそらくはそれさえも平凡な日々

2020/10/22 83 users サブセット Songmu github.com テスト 日々

https://github.com/Songmu/gotesplit gotesplitというかなり便利なツールを書いた。Goのテストをいい感じのサブセットに分割して、それを実行するものです。このアプローチで、社内のテストを15分から3分くらいまでに短縮しました。 これを使えばCI環境での高速なテストの並列実行を簡単に実現できます。 実例 CircleCI... 続きを読む

【Kubernetes】1週間かかる処理を1.5時間で終わらせた【並列処理】 - ニートの言葉

2019/10/30 108 users Kubernetes t_andou アンドゥ ニート メモ

こんにちはあんどう(@t_andou)です。 今回はKubernetesを使って並列処理させた記録です。 まだ「とりあえずそれっぽく動くまで試してみた」という段階で、kubernetesを理解できてはいないので自分用のメモを公開しているという認識でご覧ください。 間違っている部分や、よりスマートなやり方がありましたらご指摘いただ... 続きを読む

[Java] URLからファイルを非同期ダウンロードする - デベルマン

2019/10/25 33 users Java デベルマン 本稿 非同期 標準ライブラリ

本稿では、URLからファイルを非同期でダウンロードする方法について解説します。 こんな人におすすめ ファイルのダウンロードを自動化したい 初期処理等のため、プログラム上でファイルをダウンロードする必要がある 複数ファイルを並列でダウンロードしたい Javaの標準ライブラリによる実装方法やApache HttpComponents... 続きを読む

CIマニアから見たGitHub Actions(Beta)の使い所 - くりにっき

2019/09/09 329 users beta GitHub Actions アクセストークン

1ヶ月くらい使って勘所が見えてきたのでメモ メリット 1リポジトリ辺り20並列までジョブを並列実行できる ジョブ実行時はアクセストークンが勝手に設定されている マトリクステストがやりやすい 実際にGitHub Actionsに移行したプロダクト zatsu_monitor activerecord-compatible_legacy_migration index_shotgun デメリ... 続きを読む

Python で大量のファイルを並列で速く読み込む - Qiita

2019/06/02 278 users Qiita glob Len Python Files

from glob import glob files = glob('data/*.csv') len(files) # 10000 この 1万件の CSV ファイルを Pandas DataFrame として読み込みたい。 ちなみに検証用のデータは以下のようにして生成した。 (3列 x 10,000行 の CSV ファイル 10,000 個) import numpy as np import pandas as pd row_n = 10000 col_n = 3 column... 続きを読む

仕事が暇なときに何をするべきか - orangeitems’s diary

2019/05/14 13 users orangeitems’s diary 途端 クセ クラウド

仕事が暇になってしまったら ITの仕事というのは結構波があって、忙しいときは並列に受注するくせに、それらが終わった途端に急に暇になることがあります。最近はその傾向が特に激しい。これはクラウドの仕事は顕著です。「早く欲しい！」と言った短納期。構築もWebインターフェースからできてしまうので実際構築期間も... 続きを読む

Accelerateとglossで作るライフゲーム - Qiita

2019/05/06 13 users Qiita Gloss qii Accelerate イチ

やっぱり並列計算したいじゃないですか。でも「イチからディープラーニング組むぜ！！」というのも流石に無謀がすぎるのでライフゲームの盤面計算をAccelerateでやり、表示をglossでやってみました。glossについてはこちらの記事を参考にしました。 glossではじめるグラフィック描画 :: Haskell入門の次に読む記事 - Qii... 続きを読む

はてなブックマークへの違和感

2019/03/31 126 users 違和感 はてなブックマーク ホルンバッハ パンティー LGBT

ホッテントリを見ても、なんだか違和感がある。 LGBTとかホルンバッハとか朝から晩までそんなことばっかり考えて暮らしている人たちがいるのか。 いややっぱりおかしい。なんか組織的な臭いがするんだよね。 ギガジンのアレも確かにショッキングだけど、並列にいくつもホッテントリするほどの内容かな。 パンティーのこ... 続きを読む

Excelブック単体でExcelVBAを疑似マルチスレッド化してみる - えくせるちゅんちゅん

2019/03/26 68 users ExcelVBA VBA くせるちゅんちゅん 実験 ツイート

今回はExcelブック単体でExcelVBAを疑似マルチスレッド化できるかの実験をします。 きっかけ コード 結果 ちょっとだけ解説 まとめ きっかけ 最近（私の中で）話題のExcel作曲家こと「あっさん」がこんなツイートをしていました。 VBAで並列処理するのってどうやるんだろ… VBS呼び出せばいいけどWindows APIの呼び出しが... 続きを読む

CPU / メモリ / ディスクに負荷をかける stress コマンド - kakakakakku blog

2018/10/21 109 users Stress dev Yes null CPU

最近 stress コマンドを使って，サーバに負荷をかける方法を紹介する機会があり，よく使っているのに今までブログに書いていなかったなと気付き，今回まとめることにした．CPU に負荷をかけるだけなら yes > /dev/null をコア数に合わせて並列実行すれば良いけど，stress コマンドならメモリとディスクにも負荷をかける... 続きを読む

BigQuery MLの線形回帰で電力需要予測やってみた | MAGELLAN BLOCKS

2018/07/29 21 users MAGELLAN BLOCKS 線形回帰 DWH 吉村 今朝

グルーヴノーツ コンサルタントの吉村です。 今朝（日本時間7月26日午前1時過ぎ）に発表されたBigQuery MLを試してみました。 BigQuery MLとはGoogleのDWHであるBigQuery上で線形回帰とロジスティック回帰を実現するものです。 もちろんBigQueryで動くのでモデルを作るところも並列で高速に処理されることが期待できます... 続きを読む

KubernetesでGPUクラスタを管理したい

2017/12/14 25 users Kubernetes デプロイ ノート タスク NTT

KubernetesでGPUクラスタを管理したい 1. kubernetesでGPUクラスタ 管理したい NTT ソフトウェアイノベーションセンタ 大嶋悠司 2. モチベーション • 機械学習 • 分散学習タスクの場合にいちいちノードにログインしたくない • 複数のタスクを並列で走らせたい • コンテナ単位で管理できればデプロイも楽 3. なぜkubernetesなのか • コンテナオーケストレー... 続きを読む

リアル猫とVRポケモンが我が子の頭の中では並列に存在している - 斗比主閲子の姑日記

2017/11/04 12 users Pokemon 斗比主閲子 姑日記 我が子 ポケモン

2017 - 11 - 04 リアル猫とVRポケモンが我が子の頭の中では並列に存在している 子育て 教育 あとで読む 昨日、子どもとポケモンGOでポケモンを探していたところ、ポケモンGOアプリでスマホから流れるポケモンを発見したときの効果音が流れたとき、子どもが「ここにPokemonがいるよ！」と建物の裏側を指差した直後に、「あ、ネコもいる」と自動車の下にいるリアル猫も指差しました。 VR風際限（... 続きを読む

Go で並列数をうまいところ制御しながら並列に動くクローラー - Diary

2017/09/30 24 users クローラー http diary title 並列数

Go で並列数をうまいところ制御しながら並列に動くクローラー というもののサンプル。 並列に HTTP アクセスしてきてパースして title 要素を表示するというものです。 title 要素をパースしてくるのに使っているパッケージは[こちら](https://siongui.github.io/2016/05/10/go-get-html-title-via-net-html/)です。 今回は ... 続きを読む

CPU実験：マルチコアで並列実行するまで（コンパイラ係目線） - eguchishi

2017/09/09 105 users アセンブラ サブセット OCaml コンパイラ CPU実験

2017 - 09 - 09 CPU実験：マルチコアで並列実行するまで（コンパイラ係目線） CPU実験が終わって半年ですが、忘れる前にやったことを書き残しておこうと思います。 並列化ーー CPU実験 全体 4人程のチームで、自作CPU、 コンパイラ 、 アセンブラ 、シュミレータ等を作り、最終的には 高級言語 ( mincaml という Ocaml のサブセット)で書かれたプログラム（ レイトレー... 続きを読む

Amazon CodeBuild でテストをめっちゃ並列実行する話 #builderscon // Speaker Deck

2017/08/05 40 users Builderscon Speaker Deck テスト

All slide content and descriptions are owned by their creators. 続きを読む

ASCII.jp：Go言語と並列処理（３）｜Goならわかるシステムプログラミング

2017/05/24 45 users 文法 GPU 並行 プログラミング 標準ライブラリ

前々回は並行・並列の基本とGo言語の文法、前回はOSスレッドとの違いと、並列処理をサポートする標準ライブラリの紹介をしてきました。 今回は、並行・並列で処理を記述するための パターン をいくつか紹介します。 さらに、Goによるプログラミングには直接関係しませんが、これまでの説明では登場しない並列処理のモデルとして、GPUのスレッディンングモデルを紹介します。 今回の記事の執筆にあたっては、GPUま... 続きを読む

ASCII.jp：Go言語と並列処理｜Goならわかるシステムプログラミング

2017/04/26 186 users システムプログラミング 並行 コンピューター 区別 並行処理

Go言語の特徴として挙げられる機能の1つに、「並列処理を書くのが簡単」というものがあります。 そこで今回は、Goにおける並列処理の機能を紹介してから、そもそも現代のコンピューターでどのようにして並列処理が実現されているのかをとりあげます。 複数の仕事を同時に行うとは？ 複数の仕事を行うことを表す言葉には 並行 と 並列 の2つがありますが、これらには次のような区別があります。 並行処理（Concu... 続きを読む

複数のデータベースをまとめてSELECTできるツール「mdq」を公開しました - KAYAC engineers' blog

2017/02/12 82 users GitHub JSON Lobi morikuni クエリ

2017 - 02 - 13 複数のデータベースをまとめてSELECTできるツール「mdq」を公開しました こんにちは。 2016新卒で Lobi のサーバーサイドエンジニアをやっている morikuni です。 今回は、 mdq というGo製のツールを作ったので、その紹介をします。 mdq は複数のデータベースに並列にクエリを投げて、結果をJSONで出力してくれるというものです。 github.... 続きを読む