目先のことを過大評価してしまう人間の行動を分析し最適な介入を導出する数理モデルを開発～シミュレーション実験の計算コストをかけずに、個人の目標達成の成功を支援～ | ニュースリ

2024/04/19 14 users ニュースリリース 島田 NTT 本社 ニュースリ

トップページ ニュースリリース 目先のことを過大評価してしまう人間の行動を分析し最適な介入を導出する数理モデルを開発～シミュレーション実験の計算コストをかけずに、個人の目標達成の成功を支援～ 日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：島田　明、以下「NTT」）は、目先のことを過大評価... 続きを読む

Microsoftが1.58ビットの大規模言語モデルをリリース、行列計算を足し算にできて計算コスト激減へ

2024/02/29 22 users 足し算 Microsoft abs 行列計算 リリース

Microsoftの研究チームがモデルのウェイトを「-1」「0」「1」の3つの値のみにすることで大規模言語モデルの計算コストを激減させることに成功したと発表しました。 [2402.17764] The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits https://arxiv.org/abs/2402.17764 従来のモデルであれば入力に対して... 続きを読む

機械学習モデルの再学習でLoRAよりもより少ない計算コストと時間でより高いパフォーマンスを期待できる「DoRA」

2024/02/20 10 users LoRa DORA ファインチューニング 機械学習モデル 重み

大規模言語モデルや画像生成AIなどの機械学習モデルでは、ファインチューニングやLoRA(Low Rank Adaptation)といった手法によって、モデルの重みを微調整し、特定のタスクや目的に沿った出力を行うようにカスタマイズすることができます。香港科技大学の研究チームが、LoRAよりも計算コストと時間を削減できる新たな手法... 続きを読む

OpenAI「ChatGPT API」を発表、GPT-3.5モデルと比べて10分の1の料金

2023/03/02 11 users OpenAI chatgpt 米OpenAI 一連 最適化

米OpenAIは3月1日（現地時間）、「ChatGPT API」と「Whisper API」を発表した。 ChatGPT APIでは、OpenAIが現在ChatGPT製品で用いているモデルと同じ「gpt-3.5-turbo」を利用できる。料金は1000トークンあたり0.002ドル。システム全般にわたる一連の最適化によって、2022年12月からChatGPTの計算コストを約90％削減して... 続きを読む

画像認識の大革命。AI界で話題爆発中の「Vision Transformer」を解説！ - Qiita

2020/10/12 351 users Qiita Vision Transformer frac

0. 忙しい方へ 完全に畳み込みとさようならしてSoTA達成したよ Vision Transformerの重要なことは次の3つだよ 画像パッチを単語のように扱うよ アーキテクチャはTransformerのエンコーダー部分だよ 巨大なデータセットJFT-300Mで事前学習するよ SoTAを上回る性能を約$\frac{1}{15}$の計算コストで得られたよ 事前学習デ... 続きを読む

ビット (bit 演算) の使い方を総特集！ 〜 ビットマスクから bit DP まで 〜 - Qiita

2018/02/19 327 users Qiita リサーチャー KEN 演算 大槻

はじめに はじめまして。 NTTデータ数理システム でリサーチャーをしている大槻 (Ken/drken) です。 C や C++ を使用しているとしばしば ビット 演算を行う場面が出て来ます。 計算機リソースが限られている状況では、ビットを用いることでデータ量を少なく済ませたり、計算コストを小さく抑えたりすることができるメリットがあります。 本記事では、ビット演算を用いて実現できる処理について、簡... 続きを読む