GPUメモリが小さくてもパラメーター数が大きい言語モデルをトレーニング可能になる手法「QLoRA」が登場、一体どんな手法なのか？

2023/06/03 104 users パラメーター GPT-2 メモリ GPUメモリ 性能

GPT-1は1億1700万個のパラメーターを持つ言語モデルで、GPT-2では15億、GPT-3では1750億とパラメーター数が増加するにつれて言語モデルの性能が上がってきています。しかしパラメーター数が増加するにつれてトレーニングに必要なデータの数やトレーニング中に使用するメモリの量も増加し、トレーニングのコストが大きく... 続きを読む

「GPT-4」が無料で使える？--「新しいBing」と「Poe」の賢い使い方

2023/05/02 197 users プロンプト 日進月歩 POE アウトプット タスク

先週の話はもう過去の話。AI技術の進化は日進月歩で、GPT-4の圧倒的なアウトプットの質の向上をはじめ、私たちが感じる未来への期待感は高まるばかりです。 GPT-4は、文脈理解や複雑なタスクへの対応力がGPT-3に比べて向上しており、ますます多くのことができるようになっています。 プロンプトだけでHTMLファイルのコー... 続きを読む

GPT-1→GPT-2→GPT-3→GPT-3.5→ChatGPT→GPT-4までの進化の軌跡と違いをまとめてみた｜スタビジ

2023/04/05 821 users chatgpt GPT-2 GPT-4 GPTシリーズ ウマ

ウマたん 当サイト【スタビジ】の本記事では、昨今のAIの進化のきっかけになっているGPTシリーズについてまとめていきたいと思います。GPT-1から始まりGPT-2、GPT-3、そしてChatGPTであるGPT-3.5、GPT-4と進化してきました。この進化の軌跡と違いについて解説していきます。 こんにちは！ データサイエンティストのウマ... 続きを読む

オープンソースでGPTベースの大規模言語モデル「Cerebras-GPT」7種類が一気に誰でもダウンロード可能に

2023/03/29 209 users DeepMind OpenAI Cerebras 学習コスト

AI企業のCerebrasが、オープンソースでパラメータ数1億1100万～130億の大規模言語モデル「Cerebras-GPT」7種類を公開しました。Cerebras-GPTは、OpenAIのGPT-3をベースに、DeepMindが2022年3月にリリースしたChinchilla方式で学習したモデルで、これまでに公開されているどのモデルよりも学習時間が短く、学習コストが低... 続きを読む

ChatGPTのおさらいと、プログラミングに活用するための第一歩 | gihyo.jp

2023/03/23 673 users chatgpt Fine-tuning Codex おさらい

大量の文章から学習することで、多言語を取り扱う能力だけでなく、高度な推論能力まで手に入れました。 GPT-3.5、とりわけその初期モデルのCodexはGitHubに存在する5400万の公開リポジトリから採取された159GBのPythonコードでGPT-3をfine-tuning（微調整）することで生まれました。ChatGPTがとりわけPythonが得意なのは... 続きを読む

クリエイターの時代

2023/03/11 315 users クリエイター GPT-4 単位 時代

クリエイターの時代 2023.03.11 Updated by Ryo Shimizu on March 11, 2023, 15:48 pm JST ChatGPTが流行り過ぎている。 来週にはGPT-4が出るという話になっていて、しかもGPT-3は1750億パラメータであるのに対し、GPT-4は100兆パラメータと言われている。 普通に考えて単位が桁違いにおかしいのだが、そもそもそんなに... 続きを読む

ChatGPT APIをUnityから動かす。｜ねぎぽよし｜note

2023/03/02 114 users Unity ChatGPT API ChatGPTライク

こんにちは。 先日AIエージェント開発の技術解説記事を書いて「今後ChatGPTライクのAPIが出てきた瞬間に進化すると思う」という話をしたのですが… まさか3日後にChatGPT APIが出てくるとは思いませんでした。 というわけで今回はUnityからChatGPT APIを叩く方法について書いてみます。 先日の記事で用いたGPT-3のTextCom... 続きを読む

GPT-3を使って自分だけのAIアシスタントを作る第一歩 - Taste of Tech Topics

2023/02/24 316 users AIアシスタント acro-engineer 自分 前回 年齢

皆さんこんにちは。健康診断の結果がちょっと気になる年齢になってきたSsk1029Takashiです。 GPT-3を扱ってチャットボット作ってみる記事の第2弾になります。 第1弾のこちらもぜひご覧ください。 acro-engineer.hatenablog.com 前回は質問応答システムとしてGPT-3を活用しましたが、今回はAIアシスタントとしてGPT-3を活... 続きを読む

契約書の差分比較をGPT-3を使って自動化する - Qiita

2023/02/21 125 users Qiita gyakuse twitter.com 逆瀬川

こんにちは！逆瀬川 ( https://twitter.com/gyakuse ) です！ 今日は契約書の更新差分の比較をGPT-3とGoogle Document AIを使ってやってみたいと思います。 概要 異なるバージョンの契約書をPDF解析システムとGPT-3を使って自動的に比較し、リスクなどの検討も自動で出力する仕組みを作る。 Colab 使い方 Document AIの... 続きを読む

GPT-3を使って根拠付きで正確に質問応答してくれるシステムを作ってみる - Taste of Tech Topics

2023/02/17 167 users Taste of Tech Topics システム 質問

こんにちは。社内データサイエンスチームYAMALEXの@Ssk1029Takashiです。 最近はChatGPTが出て注目を浴びたり、GPT-4がBingに搭載されるなど、OpenAIのGPTモデルが世の中を騒がせています。 私もChatGPT使ってみましたが、受け答え自体は人が書いていた文章と遜色なく、文章の自動生成もここまで来たか。。という感じで... 続きを読む

VSCodeにChatGPTの拡張機能を入れてコードレビューやバグを発見してもらう - Qiita

2023/01/15 394 users Qiita vscode OpenAI chatgpt パク

ChatGPTとは？ OpenAIが開発するGPT-3という言語モデルをベースとしたチャットアプリです。 こちらの質問に対して、AIが色々な質問に答えてくれて、一般的な内容だけではなく、コードレビューやバグなども発見してくれるめっちゃ凄いやつです。 細かい内容は以下の記事がとても参考となります。 VSCodeと連携して、ブラ... 続きを読む

ChatGPTのリリースでGoogleは「コードレッド」を宣言、AIチャットボットが検索ビジネスにもたらす脅威に対応するためにチームを再割り当て

2022/12/23 114 users OpenAI chatgpt AIチャットボット 脅威 精度

AI開発団体のOpenAIが発表した「ChatGPT」は、自然言語処理モデルの「GPT-3」の進化系である「GPT-3.5」がベースになっており、質問文を打ち込むと人間が書いた文章と見分けが付かないほどに高精度の文章で回答してくれます。そんなChatGPTの登場に、ユーザー数世界最大を誇る検索エンジンを持つGoogleの経営陣が事業に... 続きを読む

OpenAIが高性能文字起こしAI「Whisper」を発表、日本語にも対応し早口言葉や歌詞も高精度に文字起こし可能

2022/09/22 281 users whisper OpenAI 早口 早口言葉 文章生成AI

画像生成AI「DALL・E 2」や文章生成AI「GPT-3」といった高性能AIを開発してきたAI開発組織のOpenAIが、新たに音声を超高精度で認識して文章に書き起こせるAI「Whisper」を発表しました。発表と同時に公開されたサンプルでは「早口のセールストーク」や「ハイテンポな曲の歌詞」などの音声でも問題なく文字起こしできる性... 続きを読む

Midjourneyで思い通りの画像を出すヒント｜shi3z｜note

2022/08/09 650 users Midjourney コントロ Note 画風 DALL-E

GPT-3とかDALL-Eとか、もちろんMidjourneyとかもそうだが、こういうAIの特性を理解して自分の思い通りのことをさせる技術を「プロンプトエンジニアリング」と呼ぶ。 この記事では、Midjourneyをもっと使いこなしたい人のためにMidjourneyをうまく操作するための呪文を紹介する。 1)画風をコントロールする画風をコントロ... 続きを読む

文章生成AI「GPT-3」にハンドルネームを入力したら本名がフルネームで出力されたという報告

2022/06/27 158 users 本名 ハンドルネーム 文章生成AI OpenAI フルネーム

AI研究団体のOpenAIが開発した文章生成AI「GPT-3」は人間と見分けが付かないほど自然な文章を生成できることから大きな注目を集めています。そんなGPT-3について「自分のハンドルネームを入力してみたところ、自分の本名を含む文章が生成されてしまった」という恐ろしい経験談がニュース共有サイトのHacker Newsに投稿さ... 続きを読む

［速報］マイクロソフト、自然言語をプログラミング言語にAIで変換、新ノーコード機能をPower Appsに搭載。AI言語モデル「GPT-3」を採用。Microsoft Build 2021 － Publickey

2021/05/25 405 users Publickey ローコード マイクロソフト 変換 言語

［速報］マイクロソフト、自然言語をプログラミング言語にAIで変換、新ノーコード機能をPower Appsに搭載。AI言語モデル「GPT-3」を採用。Microsoft Build 2021 マイクロソフトは、オンラインで開催中の開発者向け年次イベント「Microsoft Build 2021」で、ローコード／ノーコード開発ツール「Power Apps」に、英語で説... 続きを読む

「バイクに乗るピカチュウ」「アボカドの椅子」など言葉から自動でイラストや写真を生成するAI「DALL・E」 - GIGAZINE

2021/01/06 318 users GIGAZINE OpenAI DALL·E ピカチュウ 精度

人工知能(AI)を研究する非営利団体のOpenAIが、自然言語処理と画像生成を組み合わせたAI「DALL・E」を発表しました。DALL・Eは人間と見分けが付かないほど高精度な文章を生成するAI「GPT-3」のパラメータを使用し、文章からイラストや写真を作り出すことができます。 DALL·E: Creating Images from Text https://openai.... 続きを読む

文章生成AI「GPT-3」がRedditで1週間誰にも気付かれず人間と会話していたことが判明 - GIGAZINE

2020/10/08 613 users GIGAZINE reddit Redditユーザー 何者

人工知能を研究している非営利団体OpenAIが開発した言語モデル「GPT-3」を使用して、何者かが海外掲示板のRedditに1週間近く投稿を続けていたことが分かりました。GPT-3による投稿は、最終的に開発者の手によって停止されましたが、発覚するまでの間GPT-3は誰にも気付かれることなく、Redditユーザーと言葉を交わしてい... 続きを読む

「私は人間の敵ではない」人工知能が生成した文章が不吉すぎて震えるレベル : カラパイア

2020/09/10 252 users カラパイア 人工知能 OpenAI 文章 人間

OpenAIが開発した「GPT-3」（関連記事）という最新型の文章生成AIにあるお題を出し、それに基づいて文章を生成してもらった。 そのお題は「人間がAIを恐れる必要がない理由について、500単語で簡潔に述べよ」である。 なかなか興味深いお題ではある。その結果、AIはなかなか興味深く、ちょっとゾっとする内容の文章を生... 続きを読む

超巨大高性能モデルGPT-3の到達点とその限界. この記事では、超巨大言語モデルGPT-3の技術的な解説、GPT-3達成したことと… | by akira | Jul, 2020 | Medium

2020/07/24 254 users サマリ Jul medium GPT-2 前身

この記事についてこの記事ではGPT-3[1]の解説をします。内容のサマリは以下の通りです。 GPT-3の前身であるGPT-2では、巨大なデータセット＋巨大なネットワークで言語モデルを構築し、各タスクで学習させなくても良い結果が得られた。GPT-3では、さらに巨大なデータセット＋さらに巨大なネットワークで言語モデルを構築... 続きを読む

「GPT-3」は思ってたより「やばい」ものだった。話し言葉でプログラミングまでこなすAI - CUBE MEDIA

2020/07/22 284 users 話し言葉 プログラミング

このサイトを立ち上げて、執筆するとき、いくつか心のなかで決めたことがありました。 その中の一つに「タイトルで”やばい”という言葉は使わないようにしよう」というものがあります。まとめサイト等で、対して大きな事件でもないものを「やばすぎるｗｗｗ」等と囃し立ててアクセスを取る行為が嫌いだったからです。 し... 続きを読む

GPT-3の衝撃 - ディープラーニングブログ

2020/07/21 1527 users ディープラーニングブログ 衝撃 Transformer 勢い

この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformer... 続きを読む

あまりに高精度のテキストを作り出してしまうため「危険すぎる」と問題視された文章生成言語モデルの最新版「GPT-3」が公開 - GIGAZINE

2020/06/01 320 users GIGAZINE GitHub OpenAI GPT-2 後継

人間が書いたものと見分けが付かないぐらいに精度の高い文章を生成できる言語モデル「GPT-2」の後継である「GPT-3」が、人工知能を研究する組織・OpenAIにより公開されました。 GitHub - openai/gpt-3: GPT-3: Language Models are Few-Shot Learners https://github.com/openai/gpt-3 [2005.14165] Language Models are... 続きを読む