「昔のことばかり話す老人」の現象が、40歳手前で理解できた

2023/12/08 307 users 老人 現象 40歳手前 時系列 感じ

子供の頃、あれは「老人は新しいことが記憶できず、昔のことばかり話すんだ」と予想してたんだけど違った なんか、記憶には距離感が無いんだと思った １年前と５年前と１０年前と１５年前の記憶が並列に存在している感じ？ そもそも記憶に距離感をもたせるのってどうやるんだろう？ ・時系列で覚える ・◯◯はあの頃だから... 続きを読む

Rubyの並列並行処理のこれまでとこれから - クックパッド開発者ブログ

2023/08/31 190 users Ruby 笹田 クックパッド開発者ブログ 並行 返却

技術部の笹田です。今日で退職するので、バタバタと返却などの準備をしています。 本記事では、Rubyの並行並列処理の改善についての私の取り組みについて、おもに RubyKaigi 2022 と 2023 で発表した内容をもとにご紹介します。 並行と並列はよく似た言葉ですが、本記事では次のような意味で使います。 並行処理（concur... 続きを読む

【Kubernetes】1週間かかる処理を1.5時間で終わらせた【並列処理】 - ニートの言葉

2019/10/30 108 users Kubernetes t_andou アンドゥ ニート メモ

こんにちはあんどう(@t_andou)です。 今回はKubernetesを使って並列処理させた記録です。 まだ「とりあえずそれっぽく動くまで試してみた」という段階で、kubernetesを理解できてはいないので自分用のメモを公開しているという認識でご覧ください。 間違っている部分や、よりスマートなやり方がありましたらご指摘いただ... 続きを読む

CIマニアから見たGitHub Actions(Beta)の使い所 - くりにっき

2019/09/09 329 users beta GitHub Actions アクセストークン

1ヶ月くらい使って勘所が見えてきたのでメモ メリット 1リポジトリ辺り20並列までジョブを並列実行できる ジョブ実行時はアクセストークンが勝手に設定されている マトリクステストがやりやすい 実際にGitHub Actionsに移行したプロダクト zatsu_monitor activerecord-compatible_legacy_migration index_shotgun デメリ... 続きを読む

Python で大量のファイルを並列で速く読み込む - Qiita

2019/06/02 278 users Qiita glob Len Python Files

from glob import glob files = glob('data/*.csv') len(files) # 10000 この 1万件の CSV ファイルを Pandas DataFrame として読み込みたい。 ちなみに検証用のデータは以下のようにして生成した。 (3列 x 10,000行 の CSV ファイル 10,000 個) import numpy as np import pandas as pd row_n = 10000 col_n = 3 column... 続きを読む

はてなブックマークへの違和感

2019/03/31 126 users 違和感 はてなブックマーク ホルンバッハ パンティー LGBT

ホッテントリを見ても、なんだか違和感がある。 LGBTとかホルンバッハとか朝から晩までそんなことばっかり考えて暮らしている人たちがいるのか。 いややっぱりおかしい。なんか組織的な臭いがするんだよね。 ギガジンのアレも確かにショッキングだけど、並列にいくつもホッテントリするほどの内容かな。 パンティーのこ... 続きを読む

CPU / メモリ / ディスクに負荷をかける stress コマンド - kakakakakku blog

2018/10/21 109 users Stress dev Yes null CPU

最近 stress コマンドを使って，サーバに負荷をかける方法を紹介する機会があり，よく使っているのに今までブログに書いていなかったなと気付き，今回まとめることにした．CPU に負荷をかけるだけなら yes > /dev/null をコア数に合わせて並列実行すれば良いけど，stress コマンドならメモリとディスクにも負荷をかける... 続きを読む

CPU実験：マルチコアで並列実行するまで（コンパイラ係目線） - eguchishi

2017/09/09 105 users アセンブラ サブセット OCaml コンパイラ CPU実験

2017 - 09 - 09 CPU実験：マルチコアで並列実行するまで（コンパイラ係目線） CPU実験が終わって半年ですが、忘れる前にやったことを書き残しておこうと思います。 並列化ーー CPU実験 全体 4人程のチームで、自作CPU、 コンパイラ 、 アセンブラ 、シュミレータ等を作り、最終的には 高級言語 ( mincaml という Ocaml のサブセット)で書かれたプログラム（ レイトレー... 続きを読む

ASCII.jp：Go言語と並列処理｜Goならわかるシステムプログラミング

2017/04/26 186 users システムプログラミング 並行 コンピューター 区別 並行処理

Go言語の特徴として挙げられる機能の1つに、「並列処理を書くのが簡単」というものがあります。 そこで今回は、Goにおける並列処理の機能を紹介してから、そもそも現代のコンピューターでどのようにして並列処理が実現されているのかをとりあげます。 複数の仕事を同時に行うとは？ 複数の仕事を行うことを表す言葉には 並行 と 並列 の2つがありますが、これらには次のような区別があります。 並行処理（Concu... 続きを読む

AWS Lambda を計算リソースとして使う - いもす研 (imos laboratory)

2015/09/26 144 users imos laboratory コンパイル 計算リソース

Amazon EC2 は 1 時間単位，Google Compute Engine も 10 分単位でしか借りられず，試行錯誤しながらプログラムを書いている時に計算リソースを使い切ることは困難です．そこで 100 ミリ秒単位で使える AWS Lambda を計算リソースとして使ってみました． 実際の効果 このページの最後の使用例では，各 30 秒制限 90 並列で動かしたところ，コンパイルを含め ... 続きを読む

Ruby - 並列に実行するんだけど並列度も制限したい時 - Qiita

2015/08/13 103 users Qiita Ruby 並列度

まあ例を挙げて話したほうがわかりやすい気がするので例をあげると、たとえばあなたはオンプレミスからコンテナまで総計数千台のホスト的な何かで構成されたシステムを管理する必要があります、と。この規模になってくると当然日々何かが壊れては何かが直っていくのはそういうものですね。で、じゃあ、刻一刻と変わる管理台帳と実際の環境の整合性をチェックすることを考える、と。すると要件としては、 管理台帳から存在するはず... 続きを読む

ASCII.jp：生体脳をコンピューターを介在してシンクロさせることに成功

2015/07/13 164 users コンピューター ASCII.jp 成功 ブレインネット ラット

ラットの脳を用いたブレインネット実験の概要　 米デューク大学(Duke University)のブレイン・マシン・インターフェース研究(Miguel A. L. Nicolelis氏の論文)が注目を集めいている。コンピューターを介在させてマウス4匹の脳を並列動作させる「ブレインネット」を用い、複雑な問題を解くなどの成果を上げている。 7月9日に一般公開された論文によると、この研究は大脳皮質に数百の... 続きを読む

第1回　なぜ，Hadoopはどのように動くのか，を学ぶのか：Hadoopはどのように動くのか ─並列・分散システム技術から読み解くHadoop処理系の設計と実装｜gihyo.jp … 技術評論社

2015/04/01 268 users Hadoop 実装 Hadoop処理系 gihyo.jp 内部

はじめに ビッグデータ解析のためのシステム基盤として，Hadoopをはじめとするオープンソースのデータ処理ソフトウェア（データ処理系）が広く利用されつつありますが，当該データ処理系をすでに利用している，もしくは利用の検討をしている読者の方々の中には，たとえば以下のような問題を抱えている方が少なからずいらっしゃるのではないでしょうか。 データ処理系の使い方はなんとなくわかるが，その内部をあまり理解で... 続きを読む

速いしスケールする並列CSVパーサ作った紆余曲折話 - 俺とお前とlaysakura

2014/12/30 242 users laysakura ヘッダファイル パブリックドメイン お前

laysakura/partial_csv_parser laysakura/partial_csv_parser · GitHub 年の瀬にどうしてもCSVを並列にパースしたくなって、PartialCsvParserというC++のライブラリを作った。 1スレッドでも高速だし複数スレッドで使うとちゃんとスケールする ヘッダファイルだけインクルードすればコンパイルなしで使える パブリックドメインなの... 続きを読む

O'Reilly Japan - Haskellによる並列・並行プログラミング

2014/08/05 128 users Haskell 核心 プログラマ 根底 本書

並列・並行プログラミングはプログラマの重要な関心事であり、常に注目を集めている話題です。これまで、関数型言語は並列・並行プログラミングに有利であると言われてきましたが、それを説明する書籍はありませんでした。本書では、純粋関数型言語Haskellが提供する並列・並行プログラミングの機能を俯瞰し、実践的な問題を解いていきます。その根底にある考え方は、関数プログラミングの核心であるモジュラリティです。ま... 続きを読む

Java並行・並列・非同期処理チートシート - Qiita

2014/05/27 460 users Qiita

Java 1.5以降では Executorsフレームワーク 利用を優先検討のこと。 遅延実行（タイマー） クラス / メソッド 概要 Since 続きを読む

ShellScript - shellで書かれたbatch scriptを手軽に高速化する - Qiita [キータ]

2013/12/22 110 users Wait ＢＧ キータ shell Qiita

waitを使うことでshellで疑似的にマルチコア環境を実現し、batch scriptの処理速度を高速化します。 下記のようなフローで、複数のタスクがあるとします。 Task2〜3はお互いに独立で並列に処理してもかまわないタスクです。 仮に2個としましたが増えてもかまいません。 waitとは waitは自分のプロセスからbgへ送った全てのプロセスが終了するまでその行でブロックしてくれる、shel... 続きを読む

構造化『並列』プログラミング - どらの日記

2012/12/25 209 users とら プログラミング 構造化 日記

構造化プログラミング。 といえば、順次、分岐、ループのパターンからなる、シリアルプログラミングにおける基本スタイルですね。（これらだけしか使わなくてもシリアルプログラムは書けますっていうね） C++にはあらかじめこれらのパターンを簡単に使えるようにシンタックスが用意されています。 分岐はifやswitch、ループはwhile、for、doといったかんじで。 もちろんこれらのパターンは並列プログラミ... 続きを読む

xargs -P が激しく便利なのでメモ - おともだち革命

2012/11/21 529 users xargs Convert zsh JPEG jpg

18:48 | xargs の -P オプションを使うとプロセスを複数起動して処理を並列に行なうことが出来る。 例例えば、 1 万枚の JPEG 画像を全て 800x800 に収まるように効率良くリサイズしたい。まず私はこのようなコマンドを考えた。 convert --geometry 800x800 *.jpg しかし zsh に怒られた。 zsh: argument list too long... 続きを読む

xargs -P が激しく便利なのでメモ - おともだち革命

2012/11/21 529 users xargs Convert zsh JPEG jpg

18:48 | xargs の -P オプションを使うとプロセスを複数起動して処理を並列に行なうことが出来る。 例例えば、 1 万枚の JPEG 画像を全て 800x800 に収まるように効率良くリサイズしたい。まず私はこのようなコマンドを考えた。 convert --geometry 800x800 *.jpg しかし zsh に怒られた。 zsh: argument list too long... 続きを読む

安価に最大45GHzの高速CPUを並列処理させてスパコン並みの環境を自宅でも可能にするオープンソースプロジェクト「Parallella」とは？ - GIGAZINE

2012/10/07 346 users GIGAZINE Kickstarter プロセッサー 自宅

スーパーコンピューター並のシステムすら構築できる強力なハードとソフトオープンソースで開発、誰でも99ドル(約7700円)から利用できるようにしよう、というプロジェクトが「Parallella」です。 Parallella: A Supercomputer For Everyone by Adapteva — Kickstarter 「今、私たちは1つのプロセッサーが1つのタスクを行うというシングル... 続きを読む

[CSS]画像やパネルに斜めにしたリボンを重ねるスタイルシート | コリス

2012/05/09 142 users コリス 矩形 jpg CSS div要素

「New」「新着」などのちょっとした情報を単に矩形で添えるのではなく、斜めにしたリボンで添えるスタイルシートを紹介します。 デモページ：div要素 ※当方作成 実装 実装はimg要素もdiv要素もほぼ同じです。 HTML:img要素版 リボンのテキストはimg要素と並列に配置し、div要素で内包します。 <div class="side-corner-tag"> <img src="1.jpg" ... 続きを読む

できる！並列・並行プログラミング

2011/10/20 285 users 並行プログラミング Loading or above

Loading… Flash Player 9 (or above) is needed to view presentations. We have detected that you do not have it on your computer. To install it, go here. できる！並列・並行プログラミング - Presentation Transcript できる！並列... 続きを読む

モダン並列・並行プログラミング ～ Concurrent Revisions による実装と現実 ～ : Preferred Research

2011/10/20 364 users Preferred Research 並行プログラミング

本日社内向けのTechTalkにて、並列・並行プログラミングに関する話を行いました。 昨今、プログラムの並列化はなくてはならないものとなっています。しかし、そのプログラミング環境は依然としてロックを用いたものが主流です。今回の発表の主張を端的に申し上げますと、 “Locks must go！” ということになります。並列プログラミングに銀の弾丸はありません。しかし、ロックは別の何らかの安全性を確保... 続きを読む

ソニーが10年以上の長寿命を実現する大容量蓄電モジュール「LIM1001」を出荷へ、レアメタルが不要に - GIGAZINE

2011/04/18 110 users GIGAZINE レアメタル ソニー 直列 長寿命

3月11日に発生した東日本大震災の影響で計画停電などが行われたことを受けて、停電中でも利用できる携帯電話向け充電池などを購入するユーザーが増えていますが、ソニーがデータサーバーや携帯電話の無線基地局、住宅用蓄電システムなどにも利用できる大容量の蓄電モジュール「LIM1001」の出荷を開始しました。 10年以上という長寿命に加えて急速充電にも対応し、モジュール同士の直列や並列の複数接続によって、用途... 続きを読む