AIのスケーリング則が限界に直面、「学習データや学習量を増やせばAIの性能が上がる」という状況はすでに終わっている

2024/11/26 23 users スケーリング則 直面 OpenAI 限界 性能

AIのスケーリング則は2020年1月にOpenAIが提唱した法則で、「AIモデルの性能は、『学習に使われるデータの規模』『学習に使われる計算量』『モデルのパラメーター数』が増加するほど強化される」というものです。この法則について、AIの動向に詳しいゲイリー・マーカス氏が「AI業界ではスケーリング則が通用しなくなって... 続きを読む

従来の大規模言語モデルの制約だった「入力量の限界」を取り払った「RWKV」は一体どんな言語モデルなのか？

2023/07/09 16 users RWKV Bard 制約 chatgpt 従来

ChatGPTやBardなど、2023年7月時点で商用利用されている大規模言語モデルはほとんど全てがトランスフォーマーというアーキテクチャを利用したモデルですが、トランスフォーマー型のモデルは入力の長さの2乗に比例して計算量が増加するため、入力サイズが制限されてしまう問題があります。そうした問題に応えて、大きいデ... 続きを読む

言語モデルのスケーリング則（Scaling Laws for Neural Language Models）とは？

2023/05/24 10 users スケーリング則 用語辞典 法則 用語 パラメーター数

言語モデルのスケーリング則（Scaling Laws for Neural Language Models）とは？：AI・機械学習の用語辞典 用語「スケーリング則」について説明。自然言語処理モデルのサイズ（＝パラメーター数）や、データセットのサイズ、トレーニングに使用される計算量が増えるほど、より高い性能を発揮できる、という法則を指す。 ... 続きを読む

【React】useMemo の使い時をまとめる

2023/04/21 7 users React useMemo primitive エンジニア

chot Inc. で Web エンジニアをしているすてぃんです。今回は社内で useMemo の使い時がわからんという話題が挙がったので、ケースによる使い時と解説をまとめました。コードレビュー時などの参考になれば幸いです。 結論 値の計算量が大きい場合: 使う 値の計算量が小さい場合 値が primitive の場合: 使わない 値がオ... 続きを読む

GPTを超える大規模言語アーキテクチャ「Hyena」とは何か？

2023/03/09 9 users GPT Transformer chatgpt GPT3 動作

GPTを超える大規模言語アーキテクチャ「Hyena」とは何か？：清水亮の「世界を変えるAI」（1/2 ページ） 広く使われているGPT3やChatGPTといったいわゆる「Transformer（トランスフォーマー）」というモデルは、パラメータ数が多く、しかも計算量が膨大であるため、利用料金が高い上に動作が遅いと言う問題がある。Hyena... 続きを読む

キャッシュアルゴリズムの比較 - falsandtruのメモ帳

2022/12/28 158 users falsandtru メモ帳 ハードウェア 本稿 比較

アプリケーションなどOSより上に作られる高水準のプログラムではハードウェアの速度と容量を考慮しない数学的キャッシュアルゴリズムが使われ主にこれを本稿の対象とする。キー探索用マップと明示的キャッシュサイズ(対となる値が保持されているキーの数)は計算量に含まれない。 LRU 最も単純かつ高性能な基礎的アルゴリ... 続きを読む

数列と近似と計算量｜Ryota Yokote @ミラティブ｜note

2022/12/01 9 users ミラティブ Note 近似 実数 複素数

結論を述べる。ソフトウェアエンジニア、特に高負荷環境のゲームエンジニアやバックエンドエンジニアにとって有用な教養となる。 数列数の列数が並んでいるものを数列（numerical sequence）という。 $$ 1,5,5,6,3,4,2, \cdots $$ 適当に並べたが数は自然数でも実数でも複素数でもなんでも良い。適当に並べるとあまり意... 続きを読む

タンパク質設計問題を解決する数学公式を名古屋大学が発見、圧倒的な高速化を実現

2022/10/31 14 users 数学公式 発見 名古屋大学 実現 高速化

名古屋大学大学院の高橋智博士後期課程学生らの研究グループは、シミュレーションや実験をせずにタンパク質設計をするための数学公式を世界で初めて導出することに成功した。この数学公式により、膨大な計算量のシミュレーションの必要がなくなり、圧倒的に高速な設計が可能になった。 創薬の分野では、必要な機能や薬効... 続きを読む

できるだけ嘘を書かずに計算量やオーダーの説明をしようとした記事 - えびちゃんの日記

2021/10/13 688 users オーダー エビちゃん 日記 説明 数式

計算量についてのお話です。対象は、プログラミング経験はあるが計算量のことを知らない初心者から、計算量のことを知っているつもりになっている中級者くらいです。 数式を見たくない人にとっては読むのが大変かもですが、深呼吸しつつ落ちついて読んでくれるとうれしいです。 それから、この記事が自分には合わないな... 続きを読む

AIの進歩は頭打ちに？ このままでは「膨大な計算量」が壁になるという研究結果が意味すること | WIRED.jp

2020/07/28 5 users 手法 欧州 削減 人工知能 顧客

欧州のある大規模スーパーマーケットチェーンが、2019年の初めに人工知能（AI）を導入した。この企業はAIを使って顧客が毎日さまざまな店舗で購入する製品を予測し、コストのかかる製品廃棄の削減と在庫の維持とを両立させていた。 売上を予測するためにこの企業は、すでに購入データとシンプルな統計的手法を使用してい... 続きを読む

End-to-End音声認識の計算量を削減した話 - Yahoo! JAPAN Tech Blog

2020/06/29 9 users Yahoo Transformer ヤフー 藤田 近年

こんにちは、音声処理黒帯（黒帯はヤフー内のスキル任命制度）の藤田です。今日のブログでは、音声認識技術の研究開発におけるヤフーの最新の取り組みを紹介します。 特に、近年注目されているTransformerという手法に基づく、End-to-End音声認識の計算量を削減した研究を紹介します。この研究は、難関国際会議IEEE ICAS... 続きを読む

アメリカさん、遂にアメリカの誇るIT企業総動員でアメリカ版ヤシオリ作戦発動。／／日本の京コンピューター33台分の計算量でコロナウイルスを解析に - Togetter

2020/03/23 549 users GIGAZINE Togetter statu 解析 模様

アメリカさん、遂にアメリカの誇るIT企業総動員でアメリカ版ヤシオリ作戦発動。330ペタフロップスの計算量でコロナウイルスを解析してぶん殴りに行く模様。330ペタフロップスとは、日本の京コンピューター33台分。やっぱりアメリカ凄い、もっとやれ。 twitter.com/gigazine/statu… 続きを読む

コンピュータサイエンスの基礎を学ぶと何ができるようになるのか｜masuidrive｜note

2019/05/13 545 users コンピュータサイエンス masuidrive｜note

今日、Facebookに「プログラマだったら当然知ってるよね？という知識一覧」という記事で、「データ構造」や「計算量」から「理論計算機」など幅広くコンピュータサイエンス(CS)の基礎をプログラマ知っているべきという論が展開されています。 私は経営学部だったのでコンピュータサイエンスについて学校で習ったことはな... 続きを読む

カメラとGPSだけで自動運転。AIベンチャーが映像公開、模倣･強化学習で計算量を10%未満に - Engadget 日本版

2019/04/04 22 users 模倣 GPS AIベンチャー 強化学習 自動運転

現在開発されているおおよその自動運転車は、高精度で周囲の状況を把握するためのLiDARやカメラ映像、音波など各種センサーなどを使い、また高精度な地図データなどを使用することで安全な走行を実現しています。 しかし、自動運転技術スタートアップのなかには、無人でも走行可能な完全自動運転車を、より簡単かつ低コ... 続きを読む

ヒープについてわかりやすく解説してみた – Yasufumi Taniguchi – Medium

2018/12/24 321 users ビーフ medium MIT アルゴリズム 講義

基本的なデータ構造であるヒープについて、概要、計算量と実装、そして最もシンプルな応用であるヒープソートを紹介します。MITが講義や資料を公開しているMIT OpenCourseWareのアルゴリズムとデータ構造の講義 が非常にわかりやすかったので、その内容に沿ってまとめました。この記事ではHeaps and Heap Sortの内容を以... 続きを読む

Laravel Collectionの計算量を調べてみた - Speaker Deck

2018/09/26 34 users Speaker Deck

All slide content and descriptions are owned by their creators. 続きを読む

AIの進化が止まる気配はなく、6年間で約30万倍以上の学習が可能に - GIGAZINE

2018/05/17 59 users GIGAZINE OpenAI コンピューター 気配 人工知能

人工知能(AI)を使ったコンピューターに、より正確な判断を行わせるには学習が不可欠とされています。学習の量が増えれば増えるほど、より高度な判断を行うことができるのですが、学習量を増やすためには大規模な処理をこなせる「計算量の高い」システムが必要です。AIの非営利の研究機関として設立された OpenAI によると、AIの学習で使用される計算量は2012年から3.5カ月で倍になるスピードで進化し続けて... 続きを読む

Google、72量子ビットの量子プロセッサ「Bristlecone」で量子超越性を目指す - ITmedia NEWS

2018/03/07 95 users 量子プロセッサ 量子ビット 量子コンピュータ 量子超越性 限界

米Googleは3月5日（現地時間）、72量子ビットの量子プロセッサ「Bristlecone」を発表した。同社はこの新プロセッサで、「量子超越性（quantum supremacy）」の実現を目指す。 量子超越性とは、従来型コンピュータの限界を超える計算量の処理が量子コンピュータで可能になることを指す。Googleは、量子ビットが49個以上になれば量子超越性が可能になるとしている。その条件は、49... 続きを読む

Googleら、暗号学的ハッシュ関数SHA-1の衝突攻撃に成功 〜異なるファイルに同一ハッシュを持たせてなりすまし - PC Watch

2017/02/24 40 users SHA-1 ハッシュ ハッシュ関数 衝突 通信プロトコル

Googleは23日(米国時間)、暗号学的ハッシュ関数の1種であるSHA-1への衝突攻撃に成功したと発表した。内容が異なったファイルに対し、同一のハッシュを持たせる(衝突)ことで「ファイルのなりすまし」などのおそれがある。ただし、この攻撃には膨大な計算量が要求されるため、差し迫った危険性は無いとされる。 　暗号学的ハッシュ関数はファイルの同一性保証など、電子証明書や通信プロトコル、パスワードの運用... 続きを読む

Suffix Trieを使って文字列マッチングする - $shibayu36->blog;

2017/01/08 36 users Java アルゴリズム $shibayu36 探索 Blog

2017 - 01 - 08 Suffix Trieを使って文字列マッチングする tech algorithm 文字列マッチングを行うための アルゴリズム として、Suffix Trieを使った探索というものがある。これはテキストからSuffix Trieという構造を作り、パターンをつかってそれを辿ることで、パターンの長さmに対して、O(m)の計算量で探索できるものである。 今回は Java でS... 続きを読む

文字列マッチングのためのLCP Arrayを構築する - $shibayu36->blog;

2017/01/06 15 users Suffix Array $shibayu36 Blog

2017 - 01 - 06 文字列マッチングのためのLCP Arrayを構築する tech algorithm 前回のブログ記事で、文字列マッチングをするための Suffix Array という構造を構築した。この Suffix Array という構造だけでも、テキスト長をn、パターン長をmとして、 の計算量で文字列マッチングできるようになった。 suffix arrayを一番簡単なアルゴリズム... 続きを読む

沈黙のプログラマ - megamouthの葬列

2016/12/15 56 users アルゴリズム 彼ら megamouth 無理 練習曲

2016 - 12 - 15 沈黙のプログラマ プログラマのための練習曲 プログラマ と言えば寡黙、というイメージがある。 実際のところ、彼らは寡黙というよりはプログラム以外の話をするのが苦手なだけで、専門分野について話を始めると、こちらが驚くほど饒舌であったりもするものだが、 アルゴリズム の計算量の話をしない普通の人間にとっては、無口な人に見えてしまうのも無理はない。 また、彼らは作業中に話し... 続きを読む

計算量と僕とWeb開発 / computational complexity and I and Web // Speaker Deck

2016/07/09 276 users Speaker Deck Web開発

All slide content and descriptions are owned by their creators. 続きを読む

さまざまなソートアルゴリズムをアニメーションで学べるサイト「SORTING」 ｜ ライフハッカー［日本版］

2016/01/18 64 users ソートアルゴリズム sorting ソート カメきち 途中

カメきち  -  Webサービス , 動画     05:00 PM さまざまなソートアルゴリズムをアニメーションで学べるサイト「SORTING」 「 SORTING 」は さまざまなソートアルゴリズムをアニメーションで学べるサイト です。17種類のソートアルゴリズムについて、アニメーションでその仕組みを知ることができます。ソートの途中の様子や計算量も分かります。 以下に使ってみた様子を載せておき... 続きを読む

Python で計算量を意識する - 武蔵野日記

2015/09/28 25 users Python 武蔵野日記

アルゴリズムとデータ構造ワークショップ3日目（最終日）。受講生たちの進度を聞くと、ちょっと厳しそうだったので、午前中いっぱいはデータ構造を続けてもらう。お昼はくら寿司である。宅配だと高くなるので、車を持っている後輩に車を出してもらったら、たまたま今日に限ってなぜか家を出るときパンクして、結局タクシーでお寿司を持ってきてくれたりというハプニングがあったようだが、参加者の満足度は高かったように思う。3... 続きを読む