Microsoftの検索エンジンBingがTransformerからLLMとSLMの組み合わせに移行＆TensorRT-LLMの統合を発表

2024/12/18 12 users LLM SLM TensorRT-LLM Bing 統合

Microsoftは検索エンジンのBingで、これまでGoogleが開発した機械学習モデルの「Transformer」を採用してきました。しかし、Transformerに限界が訪れたとして、大規模言語モデル(LLM)と小規模言語モデル(SLM)の組み合わせに移行すると発表しています。さらに、ワークフローにNVIDIAが開発している「TensorRT-LLM」を統合... 続きを読む

0.5BパラメータのLLMを一から作ろうとして心が折れかけた話

2024/10/15 15 users LLM ローカルLLM スクラッチ 反面 ブラックボックス

この記事について 今回Transformerを理解したいという目的でDecoder-OnlyのLLMをスクラッチで作ることにしました。 というのも、この約2年、新しいモデルが発表されなかった月はないほど目まぐるしく変化していくローカルLLMを追っていく中で、楽しさもある反面、よく分からないブラックボックスとして扱い続けるという... 続きを読む

15時間で学べるAI学習決定版。グーグルが提供する無料の機械学習集中講座が大幅刷新され、LLMもカバー | DevelopersIO

2024/09/09 632 users LLM DevelopersIO グーグル 論文 無償

15時間で学べるAI学習決定版。グーグルが提供する無料の機械学習集中講座が大幅刷新され、LLMもカバー Googleが提供する無料の機械学習の集中講座はご存知でしょうか? 機械学習に関する幅広いテーマを座学・動画・実験・コーディングといった様々なアプローチで15時間で学べます。しかも無料です。 このコンテンツはもと... 続きを読む

ロボットを根本から変えるLLM技術「Transformer」の威力

2024/09/02 7 users 聴覚 触覚 五感 視覚 人工知能

今、AI（人工知能）によりロボットの世界が様変わりしようとしている。人間は五感を使って周囲の環境を認識し、行動する。同様にロボットも、外部環境と適切にインタラクションするために、視覚、聴覚、触覚など複数の感覚器を使って、異なる種類のデータ、すなわちマルチモーダルなデータを統合的に処理し、動作を生成... 続きを読む

Attentionと類似度は異なるという話

2024/08/18 9 users attention ベクトル 類似度 コサイン類似度 内積

はじめに 「Transformerのattentionはトークン間の類似度をモデリングしている」という説明をよく聞くが、この表現は適切でないことを示す。 なお、このような説明がよくされる背景としては、Transformerのdot-product attentionは内積で計算され、コサイン類似度も正規化されたベクトルの内積で計算される点によるもの... 続きを読む

大規模言語モデルの仕組みが目で見てわかる「Transformer Explainer」

2024/08/15 21 users 言語モデル Claude Llama フレームワーク 視覚化

GPT-4やLlama、Claudeといった大規模言語モデルは、2017年にGoogleの研究者が発表した「Transformer」というフレームワークの上に構築されています。このTransformerをベースにしたAIモデルがどのように機能するのかを視覚化したツール「Transformer Explainer」が、ジョージア工科大学のPolo Club of Data Scienceによ... 続きを読む

超重要な基盤技術「Attention」、Transformerがなぜ画期的なのかを知る

2024/06/26 47 users RNN デコーダー エンコーダー attention 欠点

対話型AIサービス「ChatGPT」で使われている自然言語モデルの核になっている技術が「Transformer」だ。自然言語処理を例に、Transformerの仕組みを解説する。 実は、エンコーダーとデコーダーに用いられている「RNN」（Recurrent Neural Network）には、欠点があります。それは、長い文章が苦手だということです。 なぜ... 続きを読む

「NVIDIA最新GPUの20倍速い」史上最速を謳うAIチップ「Sohu」

2024/06/26 132 users AIチップ NVI chatgpt アーキテクチャー 史上最速

米AIスタートアップ「Etched」は6月25日（現地時間）、ChatGPTなど最新のAI技術の基盤となっている「Transformer」アーキテクチャーに特化したチップ「Sohu」を発表した。この発表は、現在NVIDIAが支配的な地位を占めるAIチップ市場に、新たな競争をもたらす可能性がある。 Transformer処理に特化 AIチップ市場は現在NVI... 続きを読む

GPTを生んだ先端技術「Transformer」、その基礎を正しく理解する

2024/06/24 7 users GPT chatgpt 言語処理 先端技術 対話型AIサービス

対話型AIサービス「ChatGPT」で使われている自然言語モデルの核になっている技術が「Transformer」だ。自然言語処理を例に、Transformerの仕組みを解説する。 すっかり市民権を得た対話型AIサービス「ChatGPT」。ChatGPTで用いられている自然言語モデルが「GPT」（Generative Pre-trained Transformer）です。いわゆる「... 続きを読む

GPTとは何か Transformerの視覚化 | Chapter 5, Deep Learning

2024/05/11 179 users GPT Deep learning 視覚化

この動画は3Blue1Brownの動画を東京大学の学生有志団体が翻訳・再編集し公式ライセンスのもと公開しているものです。 チャンネル登録と高評価をよろしくお願いいたします。 日本語版Twitter https://twitter.com/3B1BJP 元チャンネル（英語） https://www.youtube.com/c/3blue1brown 元動画（英語） https://youtu.be/wj... 続きを読む

Googleが開発した画像分類タスクが可能な機械学習モデル「Vision Transformers」の仕組みとは？

2024/04/20 7 users 機械学習モデル Google chatgpt 時系列 翻訳

Googleの機械学習モデル「Transformer」は、データを時系列に処理しなくても、自然言語などのデータを翻訳やテキスト要約することが可能で、ChatGPTなどの自然な会話が可能なチャットAIのベースとなっています。また、Transformerの手法を画像分野に応用したモデルが「Vision Transformer」です。ソフトウェアエンジニア... 続きを読む

ChatGPTなど数々の高性能AIを生み出した仕組み「Attention」についての丁寧な解説ムービーが公開される

2024/04/16 235 users attention chatgpt アテンション 数々 ｗｗ

さまざまな数学的トピックをムービー形式で解説するサイト「3Blue1Brown」において、ChatGPTに代表されるAIを形作っている「Transformer」構造の心臓部「Attention(アテンション)」についての解説が行われています。 3Blue1Brown - Visualizing Attention, a Transformer's Heart | Chapter 6, Deep Learning https://ww... 続きを読む

Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能｜shi3z

2024/04/06 289 users shi3z 実行 衝撃 えーーー えーー

Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能 Transformerの発明者らが起業したCohereAIがとんでもないモデルを出してきた。この業界では毎週のように「えーー!」ということが起きるのだが、その中でも年に1,2回起きる「えーーーっ」が起きたのでブログでも紹介してお... 続きを読む

「Transformer」後継と期待される「RetNet」活用　PKSHAが日英対応の独自LLMを開発　日本MSも協力

2024/03/28 11 users LLM PKSHA Technology 生成AI 日英

AIベンチャー・PKSHA Technology（東京都文京区）は3月28日、「RetNet」技術を活用した日英大規模言語モデル（LLM）を開発したと発表した。RetNetを使用した日英モデルは世界初で、日本マイクロソフトの技術支援により実現。PKSHA Technologyの上野山勝也代表は「これによって生成AIの活用が一段前に進む」と自信を見せ... 続きを読む

NVIDIAはなぜAI用途で独走中？牙城は崩せるか

2023/12/07 12 users 牙城 NVIDIA CUDA AI用途 独走中

主にAI処理用途での先行者利益と性能の良さで採用が拡大している。2006年からGP（汎用）GPU開発環境「CUDA」を展開する。TransformerはNVIDIAのGPUを前提に設計した。 先行者利益─。米NVIDIAがAI半導体市場で独走する大きな理由の1つである。同社は2006年からCUDA（Compute Unified Device Architecture）を公開し、いち... 続きを読む

「機械学習で時系列予測はできるのか」論議がTransformerと共に帰ってきた - 渋谷駅前で働くデータサイエンティストのブログ

2023/10/21 167 users 論議 時系列予測 データサイエンティスト 高橋 渋谷駅前

先日、こちらのポストをお見かけしました。 AI技術開発部の高橋が社内勉強会の資料「時系列予測にTransformerを使うのは有効か？」を公開しました。 論文Are Transformers Effective for Time Series Forecastingの紹介を中心に、時系列予測について解説しています。ぜひご覧ください。https://t.co/LplxTT8b1d pic.twit... 続きを読む

【文系でもわかる】ChatGPTのキモ「Transformer」「Attention」のしくみ

2023/09/26 518 users GPT attention chatgpt 文脈 根幹

第1回は、さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」の性能の鍵を握る「トークン長（GPTが文脈を意識できる過去の単語数）」やGPTの歴史的経緯について解説しました。第2回はGPTを支える自然言語処理 の分野で使用される深層学習モデル「Transformer」とその根幹となる「Attention機構（そのタ... 続きを読む

計算時間とメモリの壁を打破！Transformerの次世代モデルReformer

2023/09/01 9 users attention Reformer 打破 log 要点

3つの要点 ✔️ Local-Sensitive-Hashingにより必要な要素同士のAttentionを計算することができるようになった ✔️ Reversible layerによってレイヤー数に比例して増加するactivationを保存するメモリの削減 ✔️ transformerの計算量を$O(L^2)$から$O(L \log L)$まで削減した Reformer: The Efficient Transformer written by N... 続きを読む

225行のコードでGPTの仕組みを理解する

2023/08/27 187 users GPT コーパス chatgpt コード 単語

概要 LLMに関心があり、ChatGPTやtransformerの仕組みを理解したいと思っていたところ、雰囲気を掴むのにこちらの動画がとても参考になりました。 動画の内容としては、以下のコーパスを学習して、直前の数文字から次の1文字（単語ではないことに注意）予測機を作成するというものです。 この動画で完成するコードは以下... 続きを読む

ジェネレーティブAIの進歩に大きな影響を与えた「Transformer」を開発した研究者らはなぜGoogleを去ったのか？

2023/08/21 6 users Midjourney chatgpt ジェネレーティブAI

昨今のChatGPTやMidjourneyなど、さまざまなジェネレーティブAIを支えるニューラルネットワークアーキテクチャである「Transformer」は、2017年にGoogleの研究者8人によって発表されました。しかし、Transformerの開発に携わった研究者は全員Googleを退職していることが報じられています。 Ex-Google Scientists Kicksta... 続きを読む

RWKVについて解説

2023/08/17 14 users RWKV RNN アーキテクチャ 解説 アプローチ

本記事では、RWKVとよばれるモデルのアーキテクチャについて詳しく説明します。 はじめに 自然言語処理の分野において、Transformer[1]の登場以前に一般的に使用されてきたRNN[2]はいくつかの課題を抱えており、その課題を克服する新たな手法として、RNNとは完全に異なるアプローチを取るTransformerが登場しました。し... 続きを読む

AI 時代のコードの書き方, あるいは Copilot に優しくするプロンプターになる方法

2023/06/15 282 users COPILOT バックプロパゲーション プロンプター 実装

Copilot をオープンベータ直後から長く使っていて、また補助的に ChatGPT も使いながらコードを書いていて、なんとなくコツがわかるようになってきた。 自分は生成モデルのことは表面的な理解しかしてない。雑にバックプロパゲーションの実装の写経したり、Transformer の解説とかは読んだが、にわかの域を出ていない。 ... 続きを読む

Metaが既存の生成AIにあるトークン制限をはるかに上回る100万トークン超のコンテンツ生成を可能にする次世代AIアーキテクチャ「Megabyte」を発表

2023/05/25 21 users Meta Bard 生成AI 既存 アーキテクチャ

MetaのAI研究チームが、100万トークンを超えるテキストや画像、オーディオ形式などのコンテンツを生成できる可能性を持つ「Megabyte(メガバイト)」のアーキテクチャを提唱しました。GPT-4やBardなどのAIモデルの基盤となっているアーキテクチャは「Transformer」ですが、MegabyteをAIモデルに採用することで、より高度で... 続きを読む

ChatGPTなどの対話型AIの基礎となっている「Attention」を可視化した「Attention Viz」

2023/05/20 28 users attention chatgpt 対話型AI 基礎 可視化

ChatGPTやBing Chatの背景にある大規模言語モデルの多くは、Googleが開発したニューラルネットワークアーキテクチャーの「Transformer」を採用しています。このTransformerの鍵になるのが「Self-Attention」というシステムです。このSelf-Attentionを視覚化するためのツール「Attention Viz」を、ハーバード大学とGoogle... 続きを読む

ジェネレーティブAIの基礎を築いた論文「Attention Is All You Need」著者たちの今——期待される〝OpenAIマフィア〟の出現 - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報

2023/05/01 79 users need Bridge ジェネレーティブAI ブリッジ 論文

2017年の画期的な研究論文「Attention Is All You Need」で、Google は、テキストや画像データ間の連続した関係や深い意味を強力なニューラルネットワークで学習する、つまり AI をより本物の「人」に近づける言語モデル「Transformer」を紹介した。 Image credit: Google 2017年、Google は画期的な論文「Attention Is ... 続きを読む