「昔のことばかり話す老人」の現象が、40歳手前で理解できた

2023/12/08 307 users 老人 現象 40歳手前 時系列 感じ

子供の頃、あれは「老人は新しいことが記憶できず、昔のことばかり話すんだ」と予想してたんだけど違った なんか、記憶には距離感が無いんだと思った １年前と５年前と１０年前と１５年前の記憶が並列に存在している感じ？ そもそも記憶に距離感をもたせるのってどうやるんだろう？ ・時系列で覚える ・◯◯はあの頃だから... 続きを読む

Rubyの並列並行処理のこれまでとこれから - クックパッド開発者ブログ

2023/08/31 190 users Ruby 笹田 クックパッド開発者ブログ 並行 返却

技術部の笹田です。今日で退職するので、バタバタと返却などの準備をしています。 本記事では、Rubyの並行並列処理の改善についての私の取り組みについて、おもに RubyKaigi 2022 と 2023 で発表した内容をもとにご紹介します。 並行と並列はよく似た言葉ですが、本記事では次のような意味で使います。 並行処理（concur... 続きを読む

GoのテストをCIで簡単に並列実行する | おそらくはそれさえも平凡な日々

2020/10/22 83 users サブセット Songmu github.com テスト 日々

https://github.com/Songmu/gotesplit gotesplitというかなり便利なツールを書いた。Goのテストをいい感じのサブセットに分割して、それを実行するものです。このアプローチで、社内のテストを15分から3分くらいまでに短縮しました。 これを使えばCI環境での高速なテストの並列実行を簡単に実現できます。 実例 CircleCI... 続きを読む

【Kubernetes】1週間かかる処理を1.5時間で終わらせた【並列処理】 - ニートの言葉

2019/10/30 108 users Kubernetes t_andou アンドゥ ニート メモ

こんにちはあんどう(@t_andou)です。 今回はKubernetesを使って並列処理させた記録です。 まだ「とりあえずそれっぽく動くまで試してみた」という段階で、kubernetesを理解できてはいないので自分用のメモを公開しているという認識でご覧ください。 間違っている部分や、よりスマートなやり方がありましたらご指摘いただ... 続きを読む

CIマニアから見たGitHub Actions(Beta)の使い所 - くりにっき

2019/09/09 329 users beta GitHub Actions アクセストークン

1ヶ月くらい使って勘所が見えてきたのでメモ メリット 1リポジトリ辺り20並列までジョブを並列実行できる ジョブ実行時はアクセストークンが勝手に設定されている マトリクステストがやりやすい 実際にGitHub Actionsに移行したプロダクト zatsu_monitor activerecord-compatible_legacy_migration index_shotgun デメリ... 続きを読む

Python で大量のファイルを並列で速く読み込む - Qiita

2019/06/02 278 users Qiita glob Len Python Files

from glob import glob files = glob('data/*.csv') len(files) # 10000 この 1万件の CSV ファイルを Pandas DataFrame として読み込みたい。 ちなみに検証用のデータは以下のようにして生成した。 (3列 x 10,000行 の CSV ファイル 10,000 個) import numpy as np import pandas as pd row_n = 10000 col_n = 3 column... 続きを読む

はてなブックマークへの違和感

2019/03/31 126 users 違和感 はてなブックマーク ホルンバッハ パンティー LGBT

ホッテントリを見ても、なんだか違和感がある。 LGBTとかホルンバッハとか朝から晩までそんなことばっかり考えて暮らしている人たちがいるのか。 いややっぱりおかしい。なんか組織的な臭いがするんだよね。 ギガジンのアレも確かにショッキングだけど、並列にいくつもホッテントリするほどの内容かな。 パンティーのこ... 続きを読む

Excelブック単体でExcelVBAを疑似マルチスレッド化してみる - えくせるちゅんちゅん

2019/03/26 68 users ExcelVBA VBA くせるちゅんちゅん 実験 ツイート

今回はExcelブック単体でExcelVBAを疑似マルチスレッド化できるかの実験をします。 きっかけ コード 結果 ちょっとだけ解説 まとめ きっかけ 最近（私の中で）話題のExcel作曲家こと「あっさん」がこんなツイートをしていました。 VBAで並列処理するのってどうやるんだろ… VBS呼び出せばいいけどWindows APIの呼び出しが... 続きを読む

CPU / メモリ / ディスクに負荷をかける stress コマンド - kakakakakku blog

2018/10/21 109 users Stress dev Yes null CPU

最近 stress コマンドを使って，サーバに負荷をかける方法を紹介する機会があり，よく使っているのに今までブログに書いていなかったなと気付き，今回まとめることにした．CPU に負荷をかけるだけなら yes > /dev/null をコア数に合わせて並列実行すれば良いけど，stress コマンドならメモリとディスクにも負荷をかける... 続きを読む

CPU実験：マルチコアで並列実行するまで（コンパイラ係目線） - eguchishi

2017/09/09 105 users アセンブラ サブセット OCaml コンパイラ CPU実験

2017 - 09 - 09 CPU実験：マルチコアで並列実行するまで（コンパイラ係目線） CPU実験が終わって半年ですが、忘れる前にやったことを書き残しておこうと思います。 並列化ーー CPU実験 全体 4人程のチームで、自作CPU、 コンパイラ 、 アセンブラ 、シュミレータ等を作り、最終的には 高級言語 ( mincaml という Ocaml のサブセット)で書かれたプログラム（ レイトレー... 続きを読む

ASCII.jp：Go言語と並列処理｜Goならわかるシステムプログラミング

2017/04/26 186 users システムプログラミング 並行 コンピューター 区別 並行処理

Go言語の特徴として挙げられる機能の1つに、「並列処理を書くのが簡単」というものがあります。 そこで今回は、Goにおける並列処理の機能を紹介してから、そもそも現代のコンピューターでどのようにして並列処理が実現されているのかをとりあげます。 複数の仕事を同時に行うとは？ 複数の仕事を行うことを表す言葉には 並行 と 並列 の2つがありますが、これらには次のような区別があります。 並行処理（Concu... 続きを読む

複数のデータベースをまとめてSELECTできるツール「mdq」を公開しました - KAYAC engineers' blog

2017/02/12 82 users GitHub JSON Lobi morikuni クエリ

2017 - 02 - 13 複数のデータベースをまとめてSELECTできるツール「mdq」を公開しました こんにちは。 2016新卒で Lobi のサーバーサイドエンジニアをやっている morikuni です。 今回は、 mdq というGo製のツールを作ったので、その紹介をします。 mdq は複数のデータベースに並列にクエリを投げて、結果をJSONで出力してくれるというものです。 github.... 続きを読む

D言語くんの繁殖についての仮説 - Qiita

2015/12/07 80 users 中空 Qiita 分裂 個体 仮説

D言語くんの分裂 我々が目にするD言語くんの姿は、お腹の無い、中空の状態である。産まれて数秒後に、すぐにお腹を押し出して分裂してしまうからである。お腹があるのは繁殖（分裂）をしていない個体である。この特性から、D言語くんは並列でふえることができない。よって繁殖期のD言語くんは常に1匹である。もしお腹があるD言語くんを見つけても、そっとしておいてあげよう。 分裂の方向 生物の分裂には、方向による分類... 続きを読む

AWS Lambda を計算リソースとして使う - いもす研 (imos laboratory)

2015/09/26 144 users imos laboratory コンパイル 計算リソース

Amazon EC2 は 1 時間単位，Google Compute Engine も 10 分単位でしか借りられず，試行錯誤しながらプログラムを書いている時に計算リソースを使い切ることは困難です．そこで 100 ミリ秒単位で使える AWS Lambda を計算リソースとして使ってみました． 実際の効果 このページの最後の使用例では，各 30 秒制限 90 並列で動かしたところ，コンパイルを含め ... 続きを読む

Ruby - 並列に実行するんだけど並列度も制限したい時 - Qiita

2015/08/13 103 users Qiita Ruby 並列度

まあ例を挙げて話したほうがわかりやすい気がするので例をあげると、たとえばあなたはオンプレミスからコンテナまで総計数千台のホスト的な何かで構成されたシステムを管理する必要があります、と。この規模になってくると当然日々何かが壊れては何かが直っていくのはそういうものですね。で、じゃあ、刻一刻と変わる管理台帳と実際の環境の整合性をチェックすることを考える、と。すると要件としては、 管理台帳から存在するはず... 続きを読む

プロセスのランキュー待ち時間とI/O待ち時間を調べる - ablog

2015/08/06 63 users ABlog awk cat プロセス 実行時間

Linuxcat file|awk では実行時間 < CPU時間となっていますが、cat が I/O wait していないとは限りません。実行時間は単純に終了時間 - 開始時間で算出しますが、CPU時間はプロセスのCPU時間を getrusage システムコールで取得します。catのプロセスと awk のプロセスが並列実行されている期間があるため、実行時間 < CPU時間となっています。例えば、C... 続きを読む

ASCII.jp：生体脳をコンピューターを介在してシンクロさせることに成功

2015/07/13 164 users コンピューター ASCII.jp 成功 ブレインネット ラット

ラットの脳を用いたブレインネット実験の概要　 米デューク大学(Duke University)のブレイン・マシン・インターフェース研究(Miguel A. L. Nicolelis氏の論文)が注目を集めいている。コンピューターを介在させてマウス4匹の脳を並列動作させる「ブレインネット」を用い、複雑な問題を解くなどの成果を上げている。 7月9日に一般公開された論文によると、この研究は大脳皮質に数百の... 続きを読む

cpan module を並列でインストールする - skaji's blog

2015/07/09 51 users CPAN module skaji's blog 安定性

2015-07-09 cpan module を並列でインストールする 先日行われた Gotanda.pm #5 でも発表させていただいたが、まさしく experimental な cpan client cpm を作った。 shoichikaji/cpmgithub.com Why new? cpan module の install にはいつも cpanm を使っており そのシンプルさと安定性... 続きを読む

第1回　なぜ，Hadoopはどのように動くのか，を学ぶのか：Hadoopはどのように動くのか ─並列・分散システム技術から読み解くHadoop処理系の設計と実装｜gihyo.jp … 技術評論社

2015/04/01 268 users Hadoop 実装 Hadoop処理系 gihyo.jp 内部

はじめに ビッグデータ解析のためのシステム基盤として，Hadoopをはじめとするオープンソースのデータ処理ソフトウェア（データ処理系）が広く利用されつつありますが，当該データ処理系をすでに利用している，もしくは利用の検討をしている読者の方々の中には，たとえば以下のような問題を抱えている方が少なからずいらっしゃるのではないでしょうか。 データ処理系の使い方はなんとなくわかるが，その内部をあまり理解で... 続きを読む

速いしスケールする並列CSVパーサ作った紆余曲折話 - 俺とお前とlaysakura

2014/12/30 242 users laysakura ヘッダファイル パブリックドメイン お前

laysakura/partial_csv_parser laysakura/partial_csv_parser · GitHub 年の瀬にどうしてもCSVを並列にパースしたくなって、PartialCsvParserというC++のライブラリを作った。 1スレッドでも高速だし複数スレッドで使うとちゃんとスケールする ヘッダファイルだけインクルードすればコンパイルなしで使える パブリックドメインなの... 続きを読む

R で超簡単に並列処理を書けるパッケージ pforeach を作った - ほくそ笑む

2014/12/22 51 users 並列処理 forEach ATND デフォルト 並列計算

※この記事は R Advent Calendar 2014 : ATND の 22 日目の記事です。 0. この記事の要約R の foreach パッケージを改良して、デフォルトで並列計算するようにしたパッケージ pforeach を作りました。pforeach - Easy to parallel processing in Rこれにより、R での並列計算を下記のようにシンプルに書くことができま... 続きを読む

parallel_tests ではなく test-queue に乗り換えようと思う - Thanks Driven Life

2014/08/27 54 users parallel_tests アプリケーシ PHP 経緯

2014-08-26 parallel_tests ではなく test-queue に乗り換えようと思う みなさま、もうすぐ今年の 2/3 が終わる今日この頃、いかが並列にお過ごしでしょうか。 私も快適に並列を生きていくために、今回 parallel_tests から test-queue に乗り換えようという気持ちになったということをご報告致します。 経緯 現在、PHP の Web アプリケーシ... 続きを読む

O'Reilly Japan - Haskellによる並列・並行プログラミング

2014/08/05 128 users Haskell 核心 プログラマ 根底 本書

並列・並行プログラミングはプログラマの重要な関心事であり、常に注目を集めている話題です。これまで、関数型言語は並列・並行プログラミングに有利であると言われてきましたが、それを説明する書籍はありませんでした。本書では、純粋関数型言語Haskellが提供する並列・並行プログラミングの機能を俯瞰し、実践的な問題を解いていきます。その根底にある考え方は、関数プログラミングの核心であるモジュラリティです。ま... 続きを読む

高速に自作パッケージをGithubにリリースするghrというツールをつくった | SOTA

2014/07/29 78 users GitHub Sota ghr pkg dist

tcnksm/ghr・Github ghrを使えば，1コマンドでGithubにリリースページの作成とそこへのパッケージのアップロードが可能になる．複数パッケージのアップロードは並列で実行される． デモ 以下は簡単な動作例． 上のデモでは，v0.1.0タグでリリースを作成し，pkg/dist/v0.1.0以下の6つのファイルを並列でアップロードしている（ghrをghrでリリースしている）．1ファイル... 続きを読む

Goで並列実行のベンチマークを取るためのライブラリ parallel-benchmark を書いた - 酒日記 はてな支店

2014/07/18 60 users 並列実行 ベンチマーク Benchmark parallel

以前 Perl で、forkして並列実行するベンチマークを取るためのライブラリ、Parallel::Benchmark というのを書きました。 Parallel::Benchmark というモジュールを書きました - 酒日記 はてな支店これを使うと、単に Perl コードのベンチマークだけではなく、並列に外部にアクセスして計測を行うような (たとえばApacheBenchのような) ベンチマークツ... 続きを読む