「ExcelでChatGPTを再現するシート」が想像以上に素晴らしかった (1/4)

2024/03/08 169 users chatgpt スフレ スプレッドシート Excel シート

先日本サイトで「めちゃくちゃ重いけど動くぞ！Excelで『GPT-2』を再現したスプレッドシート」というニュースを執筆したのだが、実際に触ってみたところ想像以上に素晴らしかったのでレポートする。 「Spreadsheets-are-all-you-need」とは 記事で紹介した「Spreadsheets are all you need」とは、Excelの標準的なスプレ... 続きを読む

GPUメモリが小さくてもパラメーター数が大きい言語モデルをトレーニング可能になる手法「QLoRA」が登場、一体どんな手法なのか？

2023/06/03 104 users パラメーター gpt-3 メモリ GPUメモリ 性能

GPT-1は1億1700万個のパラメーターを持つ言語モデルで、GPT-2では15億、GPT-3では1750億とパラメーター数が増加するにつれて言語モデルの性能が上がってきています。しかしパラメーター数が増加するにつれてトレーニングに必要なデータの数やトレーニング中に使用するメモリの量も増加し、トレーニングのコストが大きく... 続きを読む

GPT-1→GPT-2→GPT-3→GPT-3.5→ChatGPT→GPT-4までの進化の軌跡と違いをまとめてみた｜スタビジ

2023/04/05 821 users chatgpt gpt-3 GPT-4 GPTシリーズ ウマ

ウマたん 当サイト【スタビジ】の本記事では、昨今のAIの進化のきっかけになっているGPTシリーズについてまとめていきたいと思います。GPT-1から始まりGPT-2、GPT-3、そしてChatGPTであるGPT-3.5、GPT-4と進化してきました。この進化の軌跡と違いについて解説していきます。 こんにちは！ データサイエンティストのウマ... 続きを読む

GPT-2でブログ記事のタイトルをTogetterまとめ風にする「面白いのでやってみて」 - 詩と創作・思索のひろば

2022/11/26 113 users 思索 ひろば 創作 タイトル ブログ記事

オレ定義だけど Togetter まとめ風というのはこういうやつ。 散歩で急にシロクマと会っても食べるのは肉だけにしたほうがいい「肝臓1gに含まれるビタミンAが致死量を超える」 - Togetter まとめタイトルの終わりに誰かのツイートの引用を挿入する、という形式。よくできたもので、誰かの生の声が入っているだけで、感想... 続きを読む

人工知能にコウメ太夫さんのツイートを学習させてみた - ニートの言葉

2021/10/31 54 users コウメ太夫さん アンドゥ t_andou ニート 人工知能

どうもこんにちは、最近何かを生成する系のAIで遊ぶことにハマってます、あんどう(@t_andou)です。 5年以上前の話ですが、人工知能に哲学書を読ませて哲学的な文章を書いてもらいました。 blog.takuya-andou.com 今回はその時よりも高度な「GPT-2」というものを使って、コウメ太夫さんのツイートを学習させてみたいと思... 続きを読む

rinna社、日本語に特化したGPT-2の大規模言語モデルを開発しオープンソース化 ｜rinna株式会社のプレスリリース

2021/04/07 92 users rinna社 プレスリリース グリフ rinna株式会社 本社

rinna株式会社（本社：東京都渋谷区/代表取締役：ジャン“クリフ”チェン、以下rinna社）は、日本語に特化したGPT-2の大規模言語モデルを構築し、オープンソースとして公開しました。 ■背景 rinna社は、MicrosoftのAI＆リサーチ部門でAIチャットボットの研究を行っていたチームがスピンアウトして2020年6月に設立したAI開... 続きを読む

超巨大高性能モデルGPT-3の到達点とその限界. この記事では、超巨大言語モデルGPT-3の技術的な解説、GPT-3達成したことと… | by akira | Jul, 2020 | Medium

2020/07/24 254 users サマリ Jul medium gpt-3 前身

この記事についてこの記事ではGPT-3[1]の解説をします。内容のサマリは以下の通りです。 GPT-3の前身であるGPT-2では、巨大なデータセット＋巨大なネットワークで言語モデルを構築し、各タスクで学習させなくても良い結果が得られた。GPT-3では、さらに巨大なデータセット＋さらに巨大なネットワークで言語モデルを構築... 続きを読む

あまりに高精度のテキストを作り出してしまうため「危険すぎる」と問題視された文章生成言語モデルの最新版「GPT-3」が公開 - GIGAZINE

2020/06/01 320 users GIGAZINE GitHub OpenAI gpt-3 後継

人間が書いたものと見分けが付かないぐらいに精度の高い文章を生成できる言語モデル「GPT-2」の後継である「GPT-3」が、人工知能を研究する組織・OpenAIにより公開されました。 GitHub - openai/gpt-3: GPT-3: Language Models are Few-Shot Learners https://github.com/openai/gpt-3 [2005.14165] Language Models are... 続きを読む

ほぼ見分けられない嘘ニュースを書くAIの完全版公開。OpenAI「悪用への強力な兆候なし」と判断 - Engadget 日本版

2019/11/08 54 users イーロン OpenAI MIT 兆候 悪用

イーロン・マスクが設立に関わった人工知能研究開発団体OpenAIが、MITとともに精巧な嘘ニュースを書くAI "GPT-2"を開発したという話題は2月にお伝えしました。ただ当時は、もし悪用されるとフェイクニュースやスパム、疑わしい情報が世に溢れ出し混乱を来してしまうとの恐れから、GPT-2の簡易版のみが公開され、我々がそ... 続きを読む

「危険すぎる」と話題の文章生成AI「GPT-2」の最新版がリリース、実際に使えるデモサイトも登場 - GIGAZINE

2019/11/06 61 users GIGAZINE OpenAI パラメータ 人工知能 事態

by Suzy Hazelwood 人工知能を研究する非営利組織のOpenAIが開発したAIによる文章生成ツール「GPT-2」は、高精度のテキストを簡単に自動生成できるといわれており、開発陣が「あまりにも危険過ぎる」と危惧するあまり論文公開が延期される事態にまで発展しました。そんなGPT-2は2019年2月、5月、8月と段階的にパラメータ... 続きを読む

AIがこの世にいない人の顔画像を大量生成する、著作権フリーの画像が10万枚！ | Techable(テッカブル)

2019/09/22 798 users 信憑性 真っ先 ひと クオリティ Techable

創作AIの進化は予想以上に速く、気づけば創作物の多くをAIが担っていた…なんて状況も、信憑性を帯びてきた。クオリティの高い創作物を大量生成するAIの出現で、著作の使用料体系に崩壊が起きる可能性がある。 ヒトの書いたものと見分けがつかないような文章を生成する「GPT-2」の登場も衝撃的だったが、真っ先に市場にイ... 続きを読む

「危険すぎる」と言われたAIの自動文章作成ツール「GPT-2」のモデルが新たに公開へ - GIGAZINE

2019/08/21 217 users パラメーター GIGAZINE 文章生成ツール 小型モデル

by duallogic AIによる文章生成ツール「GPT-2」はあまりにも高度な文章が作成できることから、「危険すぎる」と判断され公開が延期されていました。2019年2月に小型モデル、5月に中型モデルと、段階的に公開されていたGPT-2でしたが、新たに7億4700万個のパラメーターを持つより大きなモデルが公開されています。 GPT-2:... 続きを読む

まるで本当みたいな フェイクニュース を書き出すAI「GPT-2」MITが開発。簡易版と論文を公開 - Engadget 日本版

2019/02/15 119 users MIT SpaceX イーロン テスラ 論文

AIが小説を執筆し、ニュースを読む時代になりましたが、今度はAIがニュースを書く時代がやってきました。しかも普通のニュースではなく、いわゆるフェイクニュースです。 テスラ、SpaceXのイーロン・マスクが支援する人工知能研究開発グループOpenAIは、自然な文章を生成する言語モデル「GPT-2」を発表しました。このモ... 続きを読む