PyTorchやPythonなしの純粋なC言語を使用した大規模言語モデルトレーニングツール「llm.c」がリリースされる

2024/04/11 11 users PyTorch LLM Python C言語 実装

AIの本体と言える大規模言語モデル(LLM)のトレーニングはほとんどの場合PyTorchやPythonを使用して行われていますが、そうしたトレーニングを純粋なC言語のみで実装したツール「llm.c」が登場しました。まだ最適化が行われておらず従来の手法に速度面では敗北していますが、GPT-2のトレーニングを行う実装を約1000行のク... 続きを読む

「ExcelでChatGPTを再現するシート」が想像以上に素晴らしかった (2/4)

2024/03/08 9 users chatgpt output input Action タブ

まずはこの図を見てほしい。一番左の「GPT2 Phase」はGPT-2のそれぞれの処理（フェーズ）を、「Action」はそれぞれの処理でやっていること、「Tab in Spreadsheet」は対応するExcelのシート名をあらわしている。 Excelで左から右へタブを実行していくことで、この図の上から下まで、つまり入力（Input）から出力（Output... 続きを読む

「ExcelでChatGPTを再現するシート」が想像以上に素晴らしかった (1/4)

2024/03/08 169 users chatgpt スフレ スプレッドシート Excel シート

先日本サイトで「めちゃくちゃ重いけど動くぞ！Excelで『GPT-2』を再現したスプレッドシート」というニュースを執筆したのだが、実際に触ってみたところ想像以上に素晴らしかったのでレポートする。 「Spreadsheets-are-all-you-need」とは 記事で紹介した「Spreadsheets are all you need」とは、Excelの標準的なスプレ... 続きを読む

OpenAIの「超知性」誕生に備える研究チームがGPT-2のような弱いAIモデルでGPT-4のように強力なAIを制御する方法を詳しく説明

2023/12/15 20 users OpenAI chatgpt GPT-4 賢いAI 現状

チャットAI「ChatGPT」などの開発で知られるOpenAIは、人間よりもはるかに賢いAIである「超知性」が2033年までの10年間で開発されると推測しています。しかし、超知性を確実に制御する方法は現状構築されていません。OpenAIでは「スーパーアライメントチーム」を立ち上げ、超知性を制御するための研究が行われており、そ... 続きを読む

GPUメモリが小さくてもパラメーター数が大きい言語モデルをトレーニング可能になる手法「QLoRA」が登場、一体どんな手法なのか？

2023/06/03 104 users パラメーター gpt-3 メモリ GPUメモリ 性能

GPT-1は1億1700万個のパラメーターを持つ言語モデルで、GPT-2では15億、GPT-3では1750億とパラメーター数が増加するにつれて言語モデルの性能が上がってきています。しかしパラメーター数が増加するにつれてトレーニングに必要なデータの数やトレーニング中に使用するメモリの量も増加し、トレーニングのコストが大きく... 続きを読む

OpenAIが研究を公表、GPT-4でGPT-2のニューロン解析 | Ledge.ai

2023/05/16 9 users OpenAI ニューロン GPT-4 Ledge.ai 公表

5月9日（米現地時間）OpenAIが新たな研究結果を発表した。GPT-4を用いて大規模言語モデルのニューロンの動きを解析することで、以前は人間が手作業で行っていた分析作業を自動化するという。GPT-2のニューロンの動きをGPT-4でシミュレートし、その結果を実際の結果と比較して類似度を点数化することで、技術の有効性の評... 続きを読む

GPT-1→GPT-2→GPT-3→GPT-3.5→ChatGPT→GPT-4までの進化の軌跡と違いをまとめてみた｜スタビジ

2023/04/05 821 users chatgpt gpt-3 GPT-4 GPTシリーズ ウマ

ウマたん 当サイト【スタビジ】の本記事では、昨今のAIの進化のきっかけになっているGPTシリーズについてまとめていきたいと思います。GPT-1から始まりGPT-2、GPT-3、そしてChatGPTであるGPT-3.5、GPT-4と進化してきました。この進化の軌跡と違いについて解説していきます。 こんにちは！ データサイエンティストのウマ... 続きを読む

3基のAIで構成される決議システム「NAGIシステム」を使ってみた

2022/12/21 14 users Bert ３基 議題 可否 MT5

「BERT」「GPT-2」「multilingual-T5(mT5)」の3つのAIを用いて、提起された議題の可否を決議する合議制システム「NAGIシステム」が公開されています。 NAGISystem - a Hugging Face Space by gojiteji https://huggingface.co/spaces/gojiteji/NAGISystem 使い方は、まず上部のテキストボックスに決議内容を入力し、「提... 続きを読む

GPT-2でブログ記事のタイトルをTogetterまとめ風にする「面白いのでやってみて」 - 詩と創作・思索のひろば

2022/11/26 113 users 思索 ひろば 創作 タイトル ブログ記事

オレ定義だけど Togetter まとめ風というのはこういうやつ。 散歩で急にシロクマと会っても食べるのは肉だけにしたほうがいい「肝臓1gに含まれるビタミンAが致死量を超える」 - Togetter まとめタイトルの終わりに誰かのツイートの引用を挿入する、という形式。よくできたもので、誰かの生の声が入っているだけで、感想... 続きを読む

Rubyで文章生成AI「GPT-2」を実行して遊んでみた - Qiita

2022/09/09 7 users 推論 Qiita Python プラットフォーム 言語

はじめに Python 以外の言語から AI にアクセスするのは難しすぎると考えている人が多いと思います。しかし、最近は、事前トレーニング済みのモデルが多数公開されており、さまざまなプラットフォームやプログラミング言語から AI 推論を簡単に実行できるようになっています。 ここでは、Ruby 言語から ONNX ランタイム... 続きを読む

人工知能にコウメ太夫さんのツイートを学習させてみた - ニートの言葉

2021/10/31 54 users コウメ太夫さん アンドゥ t_andou ニート 人工知能

どうもこんにちは、最近何かを生成する系のAIで遊ぶことにハマってます、あんどう(@t_andou)です。 5年以上前の話ですが、人工知能に哲学書を読ませて哲学的な文章を書いてもらいました。 blog.takuya-andou.com 今回はその時よりも高度な「GPT-2」というものを使って、コウメ太夫さんのツイートを学習させてみたいと思... 続きを読む

AIが描いた絵本、人類には早すぎる作品に…。物語、絵、BGM、読み上げのすべてを人工知能で生成

2021/10/29 8 users BGM 人工知能 生成 人類 絵本

絵、物語、読み上げ音声、BGM、すべてをAIにお任せして作った絵本が、いろんな意味でホラーになっています。 タイトルは『犬と男の子』。物語は文章生成AIの「GPT-2」が作っています。冒頭の部分「あるところに～その後ろには」までを指定して、続きをAIに作ってもらいました。 絵は、VQGANとCLIPという技術で描いていま... 続きを読む

rinnaが日本語に特化したGPT-2とBERTの事前学習モデルを開発しオープンソース化 | TechCrunch Japan

2021/08/30 16 users Bert GitHub rinna MIT NLP

rinnaは8月25日、日本語に特化したGPT-2とBERTの事前学習モデルとその学習を再現するためのソースコードを、GitHubおよびNLPモデルライブラリーHuggingFaceにオープンソースソフトウェア（OSS）として公開したと発表した。ライセンスはMIT。製品開発のための実験過程で開発したもので、日本語の自然言語処理（NLP）の研... 続きを読む

rinna、日本語に特化した「GPT-2」「BERT」事前学習モデルを無償公開 75ギガバイトのデータを最大45日間で学習 | Ledge.ai

2021/08/25 28 users Bert GitHub rinna NLP Ledge.ai

元女子高生AI「りんな」などで知られるrinna株式会社は8月25日、製品開発のための実験過程で、日本語に特化した「GPT-2」と「BERT」の事前学習モデルを開発したと発表。 日本語の自然言語処理（NLP）の研究・開発コミュニティに貢献するために、開発した事前学習モデルとその学習を再現するためのソースコードを、GitHub... 続きを読む

日本人中心のチームが開発したAIモデルのLUKE、Transformersに追加される | Ledge.ai

2021/05/28 6 users Luke Bert Transformers PyTorch

画像はHuggingFace Transformersより Studio Ousiaのチーフサイエンティスト山田育矢氏をはじめとするチームが開発したAIモデルのLUKEが、HuggingFace Transformersライブラリの最新バージョン4.6.0に追加された。 TransformersはTensorflowやPyTorchに対応しているライブラリで、BERTやGPT-2などの自然言語処理モデルを... 続きを読む

AIチャットボット「りんな」を手がけるrinnaが日本語特化のGPT-2大規模言語モデルをオープンソース化 | TechCrunch Japan

2021/04/08 20 users rinna りんな AIチャットボット GitHub モデル

AIチャットボット「りんな」などを手がけるrinna（リンナ）は4月7日、日本語に特化したGPT-2の大規模言語モデルを構築し、GitHubおよびNLPモデルライブラリー「HuggingFace」において、トレーニングコードと言語モデルをオープンソースソフトウェアとして公開した。 また今回公開したモデルは、GPT2-mediumと定義される... 続きを読む

rinna社、日本語に特化したGPT-2の大規模言語モデルを開発しオープンソース化 ｜rinna株式会社のプレスリリース

2021/04/07 92 users rinna社 プレスリリース グリフ rinna株式会社 本社

rinna株式会社（本社：東京都渋谷区/代表取締役：ジャン“クリフ”チェン、以下rinna社）は、日本語に特化したGPT-2の大規模言語モデルを構築し、オープンソースとして公開しました。 ■背景 rinna社は、MicrosoftのAI＆リサーチ部門でAIチャットボットの研究を行っていたチームがスピンアウトして2020年6月に設立したAI開... 続きを読む

GPT-2におけるテキスト生成 - Stockmark Tech Blog

2021/02/03 31 users テキスト生成 Stockmark Tech Blog

はじめにMachine Learning部門の江間見です。ストックマークでは、自然言語処理技術の研究開発を行っています。 昨今、OpenAIからGPT-3が発表され、生成系モデルが大きな注目を集めています。 そこで、本記事では、弊社で作成している生成系モデルの紹介をいたします。 自然言語処理におけるテキスト生成自然言語処理（N... 続きを読む

AIが「私は人類を絶滅させるつもりはない」とAI脅威論を否定 - GIGAZINE

2020/09/10 12 users gpt-3 精度 GIGAZINE 文章 言語モデル

人間が書いたものと見分けがつかないレベルの高精度な文章を生成できるAIとして一躍有名になった言語モデル「GPT-2」の最新バージョンとなる「GPT-3」が、「私は人類を絶滅させるつもりはない」と出力したことで話題を呼んでいます。 A robot wrote this entire article. Are you scared yet, human? | Artificial intel... 続きを読む

超巨大高性能モデルGPT-3の到達点とその限界. この記事では、超巨大言語モデルGPT-3の技術的な解説、GPT-3達成したことと… | by akira | Jul, 2020 | Medium

2020/07/24 254 users サマリ Jul medium gpt-3 前身

この記事についてこの記事ではGPT-3[1]の解説をします。内容のサマリは以下の通りです。 GPT-3の前身であるGPT-2では、巨大なデータセット＋巨大なネットワークで言語モデルを構築し、各タスクで学習させなくても良い結果が得られた。GPT-3では、さらに巨大なデータセット＋さらに巨大なネットワークで言語モデルを構築... 続きを読む

「あまりにも危険過ぎる」と危険視された文章生成ツール「GPT-2」の技術で画像を自動で生成することに成功 - GIGAZINE

2020/06/18 21 users GIGAZINE OpenAI アーキテクチャ 人工知能 事態

人工知能を研究する非営利組織のOpenAIが開発したAIによる文章生成ツール「GPT-2」は高精度の文章が自動生成できるため、開発陣が「あまりにも危険過ぎる」と危惧して論文公開を延期する事態に発展しました。このGPT-2のトレーニングに使用されるアーキテクチャを直接適用し、自動で画像を生成する技術が開発されていま... 続きを読む

あまりに高精度のテキストを作り出してしまうため「危険すぎる」と問題視された文章生成言語モデルの最新版「GPT-3」が公開 - GIGAZINE

2020/06/01 320 users GIGAZINE GitHub OpenAI gpt-3 後継

人間が書いたものと見分けが付かないぐらいに精度の高い文章を生成できる言語モデル「GPT-2」の後継である「GPT-3」が、人工知能を研究する組織・OpenAIにより公開されました。 GitHub - openai/gpt-3: GPT-3: Language Models are Few-Shot Learners https://github.com/openai/gpt-3 [2005.14165] Language Models are... 続きを読む

MIT Tech Review: グーグル、どんな会話もできる「最高」のチャットボットを発表

2020/02/02 5 users REVIEW OpenAI チャットボット グーグル 会話

グーグルはニューラル・ネットワークを利用したチャットボット「ミーナ（Meena）」を発表した。同社は、ミーナが他の既存のチャットボットよりも優れていると主張している。 ミーナは、ソーシャルメディア上の341ギガバイトもの膨大な会話データを使って訓練された。オープンAI（OpenAI）の言語モデル「GPT-2」が訓練に... 続きを読む

ほぼ見分けられない嘘ニュースを書くAIの完全版公開。OpenAI「悪用への強力な兆候なし」と判断 - Engadget 日本版

2019/11/08 54 users イーロン OpenAI MIT 兆候 悪用

イーロン・マスクが設立に関わった人工知能研究開発団体OpenAIが、MITとともに精巧な嘘ニュースを書くAI "GPT-2"を開発したという話題は2月にお伝えしました。ただ当時は、もし悪用されるとフェイクニュースやスパム、疑わしい情報が世に溢れ出し混乱を来してしまうとの恐れから、GPT-2の簡易版のみが公開され、我々がそ... 続きを読む

OpenAI、まことしやかなフェイクニュースも簡単生成の言語モデル「GPT-2」の完全版を公開 - ITmedia NEWS

2019/11/08 20 users 論文 懸念 人工知能 OpenAI 言語

イーロン・マスク氏が共同会長を務める非営利の米AI（人工知能）研究企業OpenAIは11月5日（現地時間）、自然言語の文章を生成する言語モデル「GPT-2」を公開したと発表した。 同社は2月、GPT-2を発表したが、その段階では悪意あるアプリに流用される懸念から、オープンソース化はせず、縮小版モデルと論文のみ公開した。... 続きを読む