AIのスケーリング則が限界に直面、「学習データや学習量を増やせばAIの性能が上がる」という状況はすでに終わっている

2024/11/26 23 users スケーリング則 直面 OpenAI 限界 性能

AIのスケーリング則は2020年1月にOpenAIが提唱した法則で、「AIモデルの性能は、『学習に使われるデータの規模』『学習に使われる計算量』『モデルのパラメーター数』が増加するほど強化される」というものです。この法則について、AIの動向に詳しいゲイリー・マーカス氏が「AI業界ではスケーリング則が通用しなくなって... 続きを読む

従来の大規模言語モデルの制約だった「入力量の限界」を取り払った「RWKV」は一体どんな言語モデルなのか？

2023/07/09 16 users RWKV Bard 制約 chatgpt 従来

ChatGPTやBardなど、2023年7月時点で商用利用されている大規模言語モデルはほとんど全てがトランスフォーマーというアーキテクチャを利用したモデルですが、トランスフォーマー型のモデルは入力の長さの2乗に比例して計算量が増加するため、入力サイズが制限されてしまう問題があります。そうした問題に応えて、大きいデ... 続きを読む

言語モデルのスケーリング則（Scaling Laws for Neural Language Models）とは？

2023/05/24 10 users スケーリング則 用語辞典 法則 用語 パラメーター数

言語モデルのスケーリング則（Scaling Laws for Neural Language Models）とは？：AI・機械学習の用語辞典 用語「スケーリング則」について説明。自然言語処理モデルのサイズ（＝パラメーター数）や、データセットのサイズ、トレーニングに使用される計算量が増えるほど、より高い性能を発揮できる、という法則を指す。 ... 続きを読む

キャッシュアルゴリズムの比較 - falsandtruのメモ帳

2022/12/28 158 users falsandtru メモ帳 ハードウェア 本稿 比較

アプリケーションなどOSより上に作られる高水準のプログラムではハードウェアの速度と容量を考慮しない数学的キャッシュアルゴリズムが使われ主にこれを本稿の対象とする。キー探索用マップと明示的キャッシュサイズ(対となる値が保持されているキーの数)は計算量に含まれない。 LRU 最も単純かつ高性能な基礎的アルゴリ... 続きを読む

タンパク質設計問題を解決する数学公式を名古屋大学が発見、圧倒的な高速化を実現

2022/10/31 14 users 数学公式 発見 名古屋大学 実現 高速化

名古屋大学大学院の高橋智博士後期課程学生らの研究グループは、シミュレーションや実験をせずにタンパク質設計をするための数学公式を世界で初めて導出することに成功した。この数学公式により、膨大な計算量のシミュレーションの必要がなくなり、圧倒的に高速な設計が可能になった。 創薬の分野では、必要な機能や薬効... 続きを読む

できるだけ嘘を書かずに計算量やオーダーの説明をしようとした記事 - えびちゃんの日記

2021/10/13 688 users オーダー エビちゃん 日記 説明 数式

計算量についてのお話です。対象は、プログラミング経験はあるが計算量のことを知らない初心者から、計算量のことを知っているつもりになっている中級者くらいです。 数式を見たくない人にとっては読むのが大変かもですが、深呼吸しつつ落ちついて読んでくれるとうれしいです。 それから、この記事が自分には合わないな... 続きを読む

アメリカさん、遂にアメリカの誇るIT企業総動員でアメリカ版ヤシオリ作戦発動。／／日本の京コンピューター33台分の計算量でコロナウイルスを解析に - Togetter

2020/03/23 549 users GIGAZINE Togetter statu 解析 模様

アメリカさん、遂にアメリカの誇るIT企業総動員でアメリカ版ヤシオリ作戦発動。330ペタフロップスの計算量でコロナウイルスを解析してぶん殴りに行く模様。330ペタフロップスとは、日本の京コンピューター33台分。やっぱりアメリカ凄い、もっとやれ。 twitter.com/gigazine/statu… 続きを読む

コンピュータサイエンスの基礎を学ぶと何ができるようになるのか｜masuidrive｜note

2019/05/13 545 users コンピュータサイエンス masuidrive｜note

今日、Facebookに「プログラマだったら当然知ってるよね？という知識一覧」という記事で、「データ構造」や「計算量」から「理論計算機」など幅広くコンピュータサイエンス(CS)の基礎をプログラマ知っているべきという論が展開されています。 私は経営学部だったのでコンピュータサイエンスについて学校で習ったことはな... 続きを読む

カメラとGPSだけで自動運転。AIベンチャーが映像公開、模倣･強化学習で計算量を10%未満に - Engadget 日本版

2019/04/04 22 users 模倣 GPS AIベンチャー 強化学習 自動運転

現在開発されているおおよその自動運転車は、高精度で周囲の状況を把握するためのLiDARやカメラ映像、音波など各種センサーなどを使い、また高精度な地図データなどを使用することで安全な走行を実現しています。 しかし、自動運転技術スタートアップのなかには、無人でも走行可能な完全自動運転車を、より簡単かつ低コ... 続きを読む

ヒープについてわかりやすく解説してみた – Yasufumi Taniguchi – Medium

2018/12/24 321 users ビーフ medium MIT アルゴリズム 講義

基本的なデータ構造であるヒープについて、概要、計算量と実装、そして最もシンプルな応用であるヒープソートを紹介します。MITが講義や資料を公開しているMIT OpenCourseWareのアルゴリズムとデータ構造の講義 が非常にわかりやすかったので、その内容に沿ってまとめました。この記事ではHeaps and Heap Sortの内容を以... 続きを読む

Laravel Collectionの計算量を調べてみた - Speaker Deck

2018/09/26 34 users Speaker Deck

All slide content and descriptions are owned by their creators. 続きを読む

AIの進化が止まる気配はなく、6年間で約30万倍以上の学習が可能に - GIGAZINE

2018/05/17 59 users GIGAZINE OpenAI コンピューター 気配 人工知能

人工知能(AI)を使ったコンピューターに、より正確な判断を行わせるには学習が不可欠とされています。学習の量が増えれば増えるほど、より高度な判断を行うことができるのですが、学習量を増やすためには大規模な処理をこなせる「計算量の高い」システムが必要です。AIの非営利の研究機関として設立された OpenAI によると、AIの学習で使用される計算量は2012年から3.5カ月で倍になるスピードで進化し続けて... 続きを読む

Google、72量子ビットの量子プロセッサ「Bristlecone」で量子超越性を目指す - ITmedia NEWS

2018/03/07 95 users 量子プロセッサ 量子ビット 量子コンピュータ 量子超越性 限界

米Googleは3月5日（現地時間）、72量子ビットの量子プロセッサ「Bristlecone」を発表した。同社はこの新プロセッサで、「量子超越性（quantum supremacy）」の実現を目指す。 量子超越性とは、従来型コンピュータの限界を超える計算量の処理が量子コンピュータで可能になることを指す。Googleは、量子ビットが49個以上になれば量子超越性が可能になるとしている。その条件は、49... 続きを読む

Googleら、暗号学的ハッシュ関数SHA-1の衝突攻撃に成功 〜異なるファイルに同一ハッシュを持たせてなりすまし - PC Watch

2017/02/24 40 users SHA-1 ハッシュ ハッシュ関数 衝突 通信プロトコル

Googleは23日(米国時間)、暗号学的ハッシュ関数の1種であるSHA-1への衝突攻撃に成功したと発表した。内容が異なったファイルに対し、同一のハッシュを持たせる(衝突)ことで「ファイルのなりすまし」などのおそれがある。ただし、この攻撃には膨大な計算量が要求されるため、差し迫った危険性は無いとされる。 　暗号学的ハッシュ関数はファイルの同一性保証など、電子証明書や通信プロトコル、パスワードの運用... 続きを読む

Suffix Trieを使って文字列マッチングする - $shibayu36->blog;

2017/01/08 36 users Java アルゴリズム $shibayu36 探索 Blog

2017 - 01 - 08 Suffix Trieを使って文字列マッチングする tech algorithm 文字列マッチングを行うための アルゴリズム として、Suffix Trieを使った探索というものがある。これはテキストからSuffix Trieという構造を作り、パターンをつかってそれを辿ることで、パターンの長さmに対して、O(m)の計算量で探索できるものである。 今回は Java でS... 続きを読む

文字列マッチングのためのLCP Arrayを構築する - $shibayu36->blog;

2017/01/06 15 users Suffix Array $shibayu36 Blog

2017 - 01 - 06 文字列マッチングのためのLCP Arrayを構築する tech algorithm 前回のブログ記事で、文字列マッチングをするための Suffix Array という構造を構築した。この Suffix Array という構造だけでも、テキスト長をn、パターン長をmとして、 の計算量で文字列マッチングできるようになった。 suffix arrayを一番簡単なアルゴリズム... 続きを読む

沈黙のプログラマ - megamouthの葬列

2016/12/15 56 users アルゴリズム 彼ら megamouth 無理 練習曲

2016 - 12 - 15 沈黙のプログラマ プログラマのための練習曲 プログラマ と言えば寡黙、というイメージがある。 実際のところ、彼らは寡黙というよりはプログラム以外の話をするのが苦手なだけで、専門分野について話を始めると、こちらが驚くほど饒舌であったりもするものだが、 アルゴリズム の計算量の話をしない普通の人間にとっては、無口な人に見えてしまうのも無理はない。 また、彼らは作業中に話し... 続きを読む

計算量と僕とWeb開発 / computational complexity and I and Web // Speaker Deck

2016/07/09 276 users Speaker Deck Web開発

All slide content and descriptions are owned by their creators. 続きを読む

さまざまなソートアルゴリズムをアニメーションで学べるサイト「SORTING」 ｜ ライフハッカー［日本版］

2016/01/18 64 users ソートアルゴリズム sorting ソート カメきち 途中

カメきち  -  Webサービス , 動画     05:00 PM さまざまなソートアルゴリズムをアニメーションで学べるサイト「SORTING」 「 SORTING 」は さまざまなソートアルゴリズムをアニメーションで学べるサイト です。17種類のソートアルゴリズムについて、アニメーションでその仕組みを知ることができます。ソートの途中の様子や計算量も分かります。 以下に使ってみた様子を載せておき... 続きを読む

Python で計算量を意識する - 武蔵野日記

2015/09/28 25 users Python 武蔵野日記

アルゴリズムとデータ構造ワークショップ3日目（最終日）。受講生たちの進度を聞くと、ちょっと厳しそうだったので、午前中いっぱいはデータ構造を続けてもらう。お昼はくら寿司である。宅配だと高くなるので、車を持っている後輩に車を出してもらったら、たまたま今日に限ってなぜか家を出るときパンクして、結局タクシーでお寿司を持ってきてくれたりというハプニングがあったようだが、参加者の満足度は高かったように思う。3... 続きを読む

計算量はコンピュータ性能論の「入り口」にすぎない--専門家が語る、IT屋に知っておいてほしい基礎知識 - ログミー

2015/04/20 553 users ログミー 入り口 ＩＴ屋 基礎知識 HPC

情報処理における全国のエキスパートが一堂に会したリクルート主催の「春の情報処理祭」。HPC（High Performance Computing）研究分野の専門家である、京都大学の中島浩教授は、HPCの役割や速さの秘密について説明するとともに、HPCがビジネス全体にもたらす影響を語ります。コンピュータの性能を生かすために知っておくべき、HPCの基礎知識とは？（春の情報処理祭in京都より） 【スピー... 続きを読む

計算量のはなし - 赤い黒歴史を蓄積する

2013/12/07 119 users はなし スライド 有名アルゴリズム 計算 過去

2013-12-07 計算量のはなし どうも華麗なるキャッツパーです。キャットアッパーです。 この記事はCompetitive Programming Advent Calendar Div2013, 12/7の記事です。私は過去に、暇に任せてこのようなスライドを作ってしまいました。 有名アルゴリズムとそれの計算量について列挙するのが楽しすぎて作ってしまいました。後悔しております。本記事では「計算... 続きを読む

Wavelet TreeのTop-Kの改善 - 気ままなブログ

2013/09/01 13 users Top-K wavelet tree 改善 Greedy 操作

2013-09-01 Wavelet TreeのTop-Kの改善 NLP Wavelet Treeは強力なデータ構造ですが、ひとつどうしても気になる点があります。それは、Top-Kの列挙です。文字列本で紹介されているGreedyな方法は、結果がK件しか必要ないにもかかわらず、計算時間がけっこうかかります。他の操作は、最悪値の計算量が小さく、安心して使えるのに対して、Top-Kだけは、少し注意する必... 続きを読む

hagino3000's blog: asm.jsを手書きしつつフィボナッチで速度比較をしてみる

2013/04/19 29 users フィボナッチ サブセット 所感 asm.js 実装

2013-04-19 asm.jsを手書きしつつフィボナッチで速度比較をしてみる asm.jsを触ってみたので所感など。 asm.jsはJavaScriptのサブセットで、限られた型しか使えないが高速に動作する言語との事。とりあえずどの程度速くなるのか、計算量が多くなるfibonacciの実装で試してみた。参考資料はasm.jsの仕様ぐらいしか無かったのでこれを見ながら。 で、実際に書いてみると型... 続きを読む

Haskell(GHCi)の:printが面白い - 西尾泰和のはてなダイアリー

2013/01/30 17 users Haskell print 西尾泰和 変数 議論

Haskellって、変数に束縛されている値が「評価されている」と「されていない」の状態を持っていて、それがグローバルにあちこちから共有されているから「どれくらいの計算量で終わるか」みたいな議論になるとイメージが掴めなくて困っていた。確認する方法があればいいのになぁ、でも、ないんだろうなぁと、諦めていたが、GHCiである程度できることがわかった。面白いじゃんこれ。まずこんなソースコードを用意してみる... 続きを読む