タグ 計算コスト
人気順 10 users 50 users 100 users 500 users 1000 users目先のことを過大評価してしまう人間の行動を分析し最適な介入を導出する数理モデルを開発~シミュレーション実験の計算コストをかけずに、個人の目標達成の成功を支援~ | ニュースリ
トップページ ニュースリリース 目先のことを過大評価してしまう人間の行動を分析し最適な介入を導出する数理モデルを開発~シミュレーション実験の計算コストをかけずに、個人の目標達成の成功を支援~ 日本電信電話株式会社(本社:東京都千代田区、代表取締役社長:島田 明、以下「NTT」)は、目先のことを過大評価... 続きを読む
Microsoftが1.58ビットの大規模言語モデルをリリース、行列計算を足し算にできて計算コスト激減へ
Microsoftの研究チームがモデルのウェイトを「-1」「0」「1」の3つの値のみにすることで大規模言語モデルの計算コストを激減させることに成功したと発表しました。 [2402.17764] The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits https://arxiv.org/abs/2402.17764 従来のモデルであれば入力に対して... 続きを読む
機械学習モデルの再学習でLoRAよりもより少ない計算コストと時間でより高いパフォーマンスを期待できる「DoRA」
大規模言語モデルや画像生成AIなどの機械学習モデルでは、ファインチューニングやLoRA(Low Rank Adaptation)といった手法によって、モデルの重みを微調整し、特定のタスクや目的に沿った出力を行うようにカスタマイズすることができます。香港科技大学の研究チームが、LoRAよりも計算コストと時間を削減できる新たな手法... 続きを読む
OpenAI「ChatGPT API」を発表、GPT-3.5モデルと比べて10分の1の料金
米OpenAIは3月1日(現地時間)、「ChatGPT API」と「Whisper API」を発表した。 ChatGPT APIでは、OpenAIが現在ChatGPT製品で用いているモデルと同じ「gpt-3.5-turbo」を利用できる。料金は1000トークンあたり0.002ドル。システム全般にわたる一連の最適化によって、2022年12月からChatGPTの計算コストを約90%削減して... 続きを読む
画像認識の大革命。AI界で話題爆発中の「Vision Transformer」を解説! - Qiita
0. 忙しい方へ 完全に畳み込みとさようならしてSoTA達成したよ Vision Transformerの重要なことは次の3つだよ 画像パッチを単語のように扱うよ アーキテクチャはTransformerのエンコーダー部分だよ 巨大なデータセットJFT-300Mで事前学習するよ SoTAを上回る性能を約$\frac{1}{15}$の計算コストで得られたよ 事前学習デ... 続きを読む
ビット (bit 演算) の使い方を総特集! 〜 ビットマスクから bit DP まで 〜 - Qiita
はじめに はじめまして。 NTTデータ数理システム でリサーチャーをしている大槻 (Ken/drken) です。 C や C++ を使用しているとしばしば ビット 演算を行う場面が出て来ます。 計算機リソースが限られている状況では、ビットを用いることでデータ量を少なく済ませたり、計算コストを小さく抑えたりすることができるメリットがあります。 本記事では、ビット演算を用いて実現できる処理について、簡... 続きを読む