CPU自体が準光速で動くことで計算時間を短縮するコンピューター【いろいろなコンピューター Advent Calendar 2023 1日目】 - prime's diary

2023/12/01 12 users prime's diary コンピューター

この記事はいろいろなコンピューター Advent Calendar 2023(さっき作った)の1日目の記事です。 adventar.org 背景 さて、昨今のCPUはどんどん高速化し、クロック周波数も5GHzを超えることは珍しくなくなりました。 一方で、ここまで高速化すると問題になるのが光速です。 5GHzというのは50億分の1秒に1サイクルというこ... 続きを読む

計算時間とメモリの壁を打破！Transformerの次世代モデルReformer

2023/09/01 9 users Transformer attention 打破 log 要点

3つの要点 ✔️ Local-Sensitive-Hashingにより必要な要素同士のAttentionを計算することができるようになった ✔️ Reversible layerによってレイヤー数に比例して増加するactivationを保存するメモリの削減 ✔️ transformerの計算量を$O(L^2)$から$O(L \log L)$まで削減した Reformer: The Efficient Transformer written by N... 続きを読む

PyTorchでGPUの計算時間を正しく計測する - まったり勉強ノート

2021/03/21 16 users PyTorch GPU time Python 関数

FacebooktwitterHatenaPocket 今回の記事ではPyTorchでGPUで実行した関数の計算時間を正しく測定する方法とその後に詳しい説明をしていきます。 はじめに 仕事がらPyTorchで高速な学習方法をいろいろ調べることがよくあります。 その際、blog記事などで、Pythonの time() を利用して計算時間を測定して「こんなに速くな... 続きを読む

MIT、光を使ったディープラーニングの原理実証-計算時間と消費電力を大幅削減 | マイナビニュース

2017/06/26 44 users MIT マサチューセッツ工科大学 ディープラーニング 従来

マサチューセッツ工科大学(MIT)の研究チームは、ディープラーニングに必要とされる複雑で多量の計算を光コンピューティングを使って高速化、低消費電力化する技術を開発したと発表した。まだ概念実証の段階だが、原理的にはディープラーニングの計算時間を大幅に短縮でき、従来のコンピュータに比べて消費電力を1/1000程度にできるという。研究論文は光学分野の専門誌「Nature photonics」に掲載された... 続きを読む

コードレビューのクオリティとスピード，とくにスピードについて，それとコミュニケーションについて - hitode909の日記

2017/06/01 361 users hitode909 ソフトウェア クオリティ スピード 日記

2017 - 06 - 02 コードレビューのクオリティとスピード，とくにスピードについて，それとコミュニケーションについて ソフトウェアを作るときにクオリティとスピードのバランスをとりたくて，どちらかに偏ってはいけなく，どちらもキープしないといけない．すごく雑に *1 とらえると， クオリティ→正しく動き，不具合がないほうがよい スピード→(計算時間ではなく)早く作れるほうがよい ということにな... 続きを読む

Wavelet TreeのTop-Kの改善 - 気ままなブログ

2013/09/01 13 users Top-K wavelet tree 改善 Greedy 操作

2013-09-01 Wavelet TreeのTop-Kの改善 NLP Wavelet Treeは強力なデータ構造ですが、ひとつどうしても気になる点があります。それは、Top-Kの列挙です。文字列本で紹介されているGreedyな方法は、結果がK件しか必要ないにもかかわらず、計算時間がけっこうかかります。他の操作は、最悪値の計算量が小さく、安心して使えるのに対して、Top-Kだけは、少し注意する必... 続きを読む

計算ミスと計算時間を４０％減らす掛け算のやり方 読書猿Classic: between / beyond readers

2011/07/20 861 users between beyond readers 計算ミス

特別な場合に計算が簡単になる方法はいくつもあるが、たくさん覚えても出番が限られているから実用性は低い。 　二桁の九九を覚えるのは確かに有効だが、準備に時間と労力がかかるので、敬遠されがちである。 　結局、適用範囲の広さと習得の容易さのトレードオフから「普通の方法」が浮上してくる。 　筆算は、紙を外部記憶として活用することで、計算中の作動記憶の消費を抑え、計算プロセスに割くことのできる認知資源を確保... 続きを読む