OpenAIの共同設立者が「GPT-2」をわずか90分の時間と3100円の費用で再現するレポートを公開

2024/05/29 10 users OpenAI クラウドコンピューティングサービス レポート

2019年に公開されるやいなや「危険すぎる」と話題になったOpenAIの「GPT-2」を、ゼロから作成したレポートが公開されました。作成にかかった時間は、1時間14ドル(約2200円)のクラウドコンピューティングサービスで1時間半だったため、総コストは約20ドル(約3100円)に収まっています。 Reproducing GPT-2 (124M) in llm.c... 続きを読む

謎の高性能AIモデル「gpt2-chatbot」がChatbot Arenaに登場、GPT-4.5かGPT-5なのではないかと話題に

2024/04/30 10 users Chatbot Arena GPT-5 出力 https 話題

ユーザーがログインせずに様々な言語モデルとチャットしてその出力を評価することができるウェブサイト「LMSYS.org」のChatbot Arenaで、「GPT-4.5」あるいは「GPT-5」と思われるモデルがテストされているのではないかと話題になっています。 GPT-2? https://rentry.co/GPT2 GPT-4.5 or GPT-5 being tested on LMSYS? | ... 続きを読む

PyTorchやPythonなしの純粋なC言語を使用した大規模言語モデルトレーニングツール「llm.c」がリリースされる

2024/04/11 11 users PyTorch LLM Python C言語 実装

AIの本体と言える大規模言語モデル(LLM)のトレーニングはほとんどの場合PyTorchやPythonを使用して行われていますが、そうしたトレーニングを純粋なC言語のみで実装したツール「llm.c」が登場しました。まだ最適化が行われておらず従来の手法に速度面では敗北していますが、GPT-2のトレーニングを行う実装を約1000行のク... 続きを読む

「ExcelでChatGPTを再現するシート」が想像以上に素晴らしかった (1/4)

2024/03/08 169 users chatgpt スフレ スプレッドシート Excel シート

先日本サイトで「めちゃくちゃ重いけど動くぞ！Excelで『GPT-2』を再現したスプレッドシート」というニュースを執筆したのだが、実際に触ってみたところ想像以上に素晴らしかったのでレポートする。 「Spreadsheets-are-all-you-need」とは 記事で紹介した「Spreadsheets are all you need」とは、Excelの標準的なスプレ... 続きを読む

OpenAIの「超知性」誕生に備える研究チームがGPT-2のような弱いAIモデルでGPT-4のように強力なAIを制御する方法を詳しく説明

2023/12/15 20 users OpenAI chatgpt GPT-4 賢いAI 超知性

チャットAI「ChatGPT」などの開発で知られるOpenAIは、人間よりもはるかに賢いAIである「超知性」が2033年までの10年間で開発されると推測しています。しかし、超知性を確実に制御する方法は現状構築されていません。OpenAIでは「スーパーアライメントチーム」を立ち上げ、超知性を制御するための研究が行われており、そ... 続きを読む

GPUメモリが小さくてもパラメーター数が大きい言語モデルをトレーニング可能になる手法「QLoRA」が登場、一体どんな手法なのか？

2023/06/03 104 users パラメーター gpt-3 メモリ GPUメモリ 性能

GPT-1は1億1700万個のパラメーターを持つ言語モデルで、GPT-2では15億、GPT-3では1750億とパラメーター数が増加するにつれて言語モデルの性能が上がってきています。しかしパラメーター数が増加するにつれてトレーニングに必要なデータの数やトレーニング中に使用するメモリの量も増加し、トレーニングのコストが大きく... 続きを読む

GPT-1→GPT-2→GPT-3→GPT-3.5→ChatGPT→GPT-4までの進化の軌跡と違いをまとめてみた｜スタビジ

2023/04/05 821 users chatgpt gpt-3 GPT-4 GPTシリーズ ウマ

ウマたん 当サイト【スタビジ】の本記事では、昨今のAIの進化のきっかけになっているGPTシリーズについてまとめていきたいと思います。GPT-1から始まりGPT-2、GPT-3、そしてChatGPTであるGPT-3.5、GPT-4と進化してきました。この進化の軌跡と違いについて解説していきます。 こんにちは！ データサイエンティストのウマ... 続きを読む

3基のAIで構成される決議システム「NAGIシステム」を使ってみた

2022/12/21 14 users Bert ３基 議題 可否 MT5

「BERT」「GPT-2」「multilingual-T5(mT5)」の3つのAIを用いて、提起された議題の可否を決議する合議制システム「NAGIシステム」が公開されています。 NAGISystem - a Hugging Face Space by gojiteji https://huggingface.co/spaces/gojiteji/NAGISystem 使い方は、まず上部のテキストボックスに決議内容を入力し、「提... 続きを読む

GPT-2でブログ記事のタイトルをTogetterまとめ風にする「面白いのでやってみて」 - 詩と創作・思索のひろば

2022/11/26 113 users 思索 ひろば 創作 タイトル ブログ記事

オレ定義だけど Togetter まとめ風というのはこういうやつ。 散歩で急にシロクマと会っても食べるのは肉だけにしたほうがいい「肝臓1gに含まれるビタミンAが致死量を超える」 - Togetter まとめタイトルの終わりに誰かのツイートの引用を挿入する、という形式。よくできたもので、誰かの生の声が入っているだけで、感想... 続きを読む

人工知能にコウメ太夫さんのツイートを学習させてみた - ニートの言葉

2021/10/31 54 users コウメ太夫さん アンドゥ t_andou ニート 人工知能

どうもこんにちは、最近何かを生成する系のAIで遊ぶことにハマってます、あんどう(@t_andou)です。 5年以上前の話ですが、人工知能に哲学書を読ませて哲学的な文章を書いてもらいました。 blog.takuya-andou.com 今回はその時よりも高度な「GPT-2」というものを使って、コウメ太夫さんのツイートを学習させてみたいと思... 続きを読む

rinnaが日本語に特化したGPT-2とBERTの事前学習モデルを開発しオープンソース化 | TechCrunch Japan

2021/08/30 16 users Bert GitHub rinna MIT NLP

rinnaは8月25日、日本語に特化したGPT-2とBERTの事前学習モデルとその学習を再現するためのソースコードを、GitHubおよびNLPモデルライブラリーHuggingFaceにオープンソースソフトウェア（OSS）として公開したと発表した。ライセンスはMIT。製品開発のための実験過程で開発したもので、日本語の自然言語処理（NLP）の研... 続きを読む

rinna、日本語に特化した「GPT-2」「BERT」事前学習モデルを無償公開 75ギガバイトのデータを最大45日間で学習 | Ledge.ai

2021/08/25 28 users Bert GitHub rinna NLP Ledge.ai

元女子高生AI「りんな」などで知られるrinna株式会社は8月25日、製品開発のための実験過程で、日本語に特化した「GPT-2」と「BERT」の事前学習モデルを開発したと発表。 日本語の自然言語処理（NLP）の研究・開発コミュニティに貢献するために、開発した事前学習モデルとその学習を再現するためのソースコードを、GitHub... 続きを読む

AIチャットボット「りんな」を手がけるrinnaが日本語特化のGPT-2大規模言語モデルをオープンソース化 | TechCrunch Japan

2021/04/08 20 users rinna りんな AIチャットボット GitHub モデル

AIチャットボット「りんな」などを手がけるrinna（リンナ）は4月7日、日本語に特化したGPT-2の大規模言語モデルを構築し、GitHubおよびNLPモデルライブラリー「HuggingFace」において、トレーニングコードと言語モデルをオープンソースソフトウェアとして公開した。 また今回公開したモデルは、GPT2-mediumと定義される... 続きを読む

rinna社、日本語に特化したGPT-2の大規模言語モデルを開発しオープンソース化 ｜rinna株式会社のプレスリリース

2021/04/07 92 users rinna社 プレスリリース グリフ rinna株式会社 本社

rinna株式会社（本社：東京都渋谷区/代表取締役：ジャン“クリフ”チェン、以下rinna社）は、日本語に特化したGPT-2の大規模言語モデルを構築し、オープンソースとして公開しました。 ■背景 rinna社は、MicrosoftのAI＆リサーチ部門でAIチャットボットの研究を行っていたチームがスピンアウトして2020年6月に設立したAI開... 続きを読む

GPT-2におけるテキスト生成 - Stockmark Tech Blog

2021/02/03 31 users テキスト生成 Stockmark Tech Blog

はじめにMachine Learning部門の江間見です。ストックマークでは、自然言語処理技術の研究開発を行っています。 昨今、OpenAIからGPT-3が発表され、生成系モデルが大きな注目を集めています。 そこで、本記事では、弊社で作成している生成系モデルの紹介をいたします。 自然言語処理におけるテキスト生成自然言語処理（N... 続きを読む

AIが「私は人類を絶滅させるつもりはない」とAI脅威論を否定 - GIGAZINE

2020/09/10 12 users gpt-3 精度 GIGAZINE 文章 言語モデル

人間が書いたものと見分けがつかないレベルの高精度な文章を生成できるAIとして一躍有名になった言語モデル「GPT-2」の最新バージョンとなる「GPT-3」が、「私は人類を絶滅させるつもりはない」と出力したことで話題を呼んでいます。 A robot wrote this entire article. Are you scared yet, human? | Artificial intel... 続きを読む

超巨大高性能モデルGPT-3の到達点とその限界. この記事では、超巨大言語モデルGPT-3の技術的な解説、GPT-3達成したことと… | by akira | Jul, 2020 | Medium

2020/07/24 254 users サマリ Jul medium gpt-3 前身

この記事についてこの記事ではGPT-3[1]の解説をします。内容のサマリは以下の通りです。 GPT-3の前身であるGPT-2では、巨大なデータセット＋巨大なネットワークで言語モデルを構築し、各タスクで学習させなくても良い結果が得られた。GPT-3では、さらに巨大なデータセット＋さらに巨大なネットワークで言語モデルを構築... 続きを読む

「あまりにも危険過ぎる」と危険視された文章生成ツール「GPT-2」の技術で画像を自動で生成することに成功 - GIGAZINE

2020/06/18 21 users GIGAZINE OpenAI アーキテクチャ 人工知能 事態

人工知能を研究する非営利組織のOpenAIが開発したAIによる文章生成ツール「GPT-2」は高精度の文章が自動生成できるため、開発陣が「あまりにも危険過ぎる」と危惧して論文公開を延期する事態に発展しました。このGPT-2のトレーニングに使用されるアーキテクチャを直接適用し、自動で画像を生成する技術が開発されていま... 続きを読む

あまりに高精度のテキストを作り出してしまうため「危険すぎる」と問題視された文章生成言語モデルの最新版「GPT-3」が公開 - GIGAZINE

2020/06/01 320 users GIGAZINE GitHub OpenAI gpt-3 後継

人間が書いたものと見分けが付かないぐらいに精度の高い文章を生成できる言語モデル「GPT-2」の後継である「GPT-3」が、人工知能を研究する組織・OpenAIにより公開されました。 GitHub - openai/gpt-3: GPT-3: Language Models are Few-Shot Learners https://github.com/openai/gpt-3 [2005.14165] Language Models are... 続きを読む

ほぼ見分けられない嘘ニュースを書くAIの完全版公開。OpenAI「悪用への強力な兆候なし」と判断 - Engadget 日本版

2019/11/08 54 users イーロン OpenAI MIT 兆候 悪用

イーロン・マスクが設立に関わった人工知能研究開発団体OpenAIが、MITとともに精巧な嘘ニュースを書くAI "GPT-2"を開発したという話題は2月にお伝えしました。ただ当時は、もし悪用されるとフェイクニュースやスパム、疑わしい情報が世に溢れ出し混乱を来してしまうとの恐れから、GPT-2の簡易版のみが公開され、我々がそ... 続きを読む

OpenAI、まことしやかなフェイクニュースも簡単生成の言語モデル「GPT-2」の完全版を公開 - ITmedia NEWS

2019/11/08 20 users 論文 懸念 人工知能 OpenAI 言語

イーロン・マスク氏が共同会長を務める非営利の米AI（人工知能）研究企業OpenAIは11月5日（現地時間）、自然言語の文章を生成する言語モデル「GPT-2」を公開したと発表した。 同社は2月、GPT-2を発表したが、その段階では悪意あるアプリに流用される懸念から、オープンソース化はせず、縮小版モデルと論文のみ公開した。... 続きを読む

「危険すぎる」と話題の文章生成AI「GPT-2」の最新版がリリース、実際に使えるデモサイトも登場 - GIGAZINE

2019/11/06 61 users GIGAZINE OpenAI パラメータ 人工知能 事態

by Suzy Hazelwood 人工知能を研究する非営利組織のOpenAIが開発したAIによる文章生成ツール「GPT-2」は、高精度のテキストを簡単に自動生成できるといわれており、開発陣が「あまりにも危険過ぎる」と危惧するあまり論文公開が延期される事態にまで発展しました。そんなGPT-2は2019年2月、5月、8月と段階的にパラメータ... 続きを読む

AIがこの世にいない人の顔画像を大量生成する、著作権フリーの画像が10万枚！ | Techable(テッカブル)

2019/09/22 798 users 信憑性 真っ先 ひと クオリティ Techable

創作AIの進化は予想以上に速く、気づけば創作物の多くをAIが担っていた…なんて状況も、信憑性を帯びてきた。クオリティの高い創作物を大量生成するAIの出現で、著作の使用料体系に崩壊が起きる可能性がある。 ヒトの書いたものと見分けがつかないような文章を生成する「GPT-2」の登場も衝撃的だったが、真っ先に市場にイ... 続きを読む

「危険すぎる」と言われたAIの自動文章作成ツール「GPT-2」のモデルが新たに公開へ - GIGAZINE

2019/08/21 217 users パラメーター GIGAZINE 文章生成ツール 小型モデル

by duallogic AIによる文章生成ツール「GPT-2」はあまりにも高度な文章が作成できることから、「危険すぎる」と判断され公開が延期されていました。2019年2月に小型モデル、5月に中型モデルと、段階的に公開されていたGPT-2でしたが、新たに7億4700万個のパラメーターを持つより大きなモデルが公開されています。 GPT-2:... 続きを読む

ディープラーニングでコーディングを高速化する「Deep TabNine」 | マイナビニュース

2019/07/31 49 users コーディング ディープラーニング fossBytes カナダ

Fossbytesは7月26日(米国時間)、「Programmers Can Code Faster With This AI-Based Autocompleter Tool」において、カナダのウォータールー大学コンピュータサイエンスの学生が開発した入力補完ツール「Deep TabNine」を紹介した。 Deep TabNineは、Open AIによる予測テキストのディープラーニング言語モデル「GPT-2」... 続きを読む