1つのGPU／CPUで推論可能な超軽量LLM「tsuzumi」を24年3月から提供へ

2024/01/16 5 users tsuzumi 推論 GPU LLM CPU

1つのGPU／CPUで推論可能な超軽量LLM「tsuzumi」を24年3月から提供へ：学習コストは「GPT-3」の300分の1に（1/2 ページ） NTTが、独自開発した大規模言語モデル（LLM）「tsuzumi」を2024年3月から提供開始する。tsuzumiは、パラメーターサイズが6億または70億と軽量でありながら、世界トップクラスの日本語処理性能を持... 続きを読む

OpenAI API で提供されている モデル まとめ｜npaka

2023/11/09 74 users OpenAI API まとめ｜npaka Model モデル

「OpenAI API」で提供されている「モデル」をまとめました。 ・Model - OpenAI API 1. OpenAI API で提供されている モデル「OpenAI API」で提供されている「モデル」は、次のとおりです。 ・GPT-4 / GPT-4 Turbo : GPT-3.5を改善し、自然言語やコードを理解し、生成できるモデル ・GPT-3.5 : GPT-3を改善し、自然言語や... 続きを読む

GPT-3は傾向や類似点を見いだして問題を解決する「類推」のテストで大学生を上回る能力を発揮できる

2023/08/01 7 users 類推 Bert 大学生 傾向 テスト

膨大なデータでトレーニングしたGPT-3やBERTなどの大規模言語モデルは、基本的には「文章の並び方に確率を割り当て、次に来るのが自然な語を予測する」というモデルです。ところが、大規模言語モデルはまるで人間のように自然な文章を生成できるほか、画像の生成やタンパク質の立体構造の予測など、さまざまなタスクにも... 続きを読む

PythonでChatGPTとBardを対話させてみた…ChatGptさんGoogle AIと会話していることを認識してしまう - Qiita

2023/07/19 64 users Bard blob Qiita chatgpt Mai

画面 上段が人間、中段がChatGPT、下段がBard ログの見方 HUMAN・・・人間 NONE ・・・システム（カウンター） CHATGPT　・・・マイクロソフト(gpt-3)　人工知能 BARD　・・・Google　人工知能 コード まったく同じソースコードではないですがいかにおいています。 https://github.com/su5filed/chatgpt_python/blob/mai... 続きを読む

400億パラメータで日本語特化　NICT、独自の生成AIを試作　「GPT-3」と同規模のモデルも開発中

2023/07/04 18 users NICT Googl 試作 生成AI 産学官

また、現在「GPT-3」と同規模となる1790億パラメータを持つモデルの事前学習をスタート。学習用テキストの大規模化にも取り組んでいるという。さらに、民間企業、大学、国立研究所などとの共同研究を拡大し、安全に活用できる大規模言語モデルの研究開発に産学官連携して取り組む予定としている。 NICTは、2018年にGoogl... 続きを読む

GPUメモリが小さくてもパラメーター数が大きい言語モデルをトレーニング可能になる手法「QLoRA」が登場、一体どんな手法なのか？

2023/06/03 104 users パラメーター GPT-2 メモリ GPUメモリ 性能

GPT-1は1億1700万個のパラメーターを持つ言語モデルで、GPT-2では15億、GPT-3では1750億とパラメーター数が増加するにつれて言語モデルの性能が上がってきています。しかしパラメーター数が増加するにつれてトレーニングに必要なデータの数やトレーニング中に使用するメモリの量も増加し、トレーニングのコストが大きく... 続きを読む

LLMアプリケーションの新定番、Microsoft guidanceライブラリのgenメソッドを詳細に追ってみる｜mah_lab / 西見 公宏

2023/05/28 14 users guidance mah_lab 西見 公宏 新定番 定番

MicrosoftのguidanceライブラリはLLMアプリケーションを作成する際の新たな定番となりそうな気がしています。そういう訳で、今回はguidanceのgenメソッドについて詳しく追ってみたいと思います。 基本的な使い方import guidance gpt3 = guidance.llms.OpenAI("text-davinci-003") gpt3_5 = guidance.llms.OpenAI("gpt-3.... 続きを読む

「GPT-4」が無料で使える？--「新しいBing」と「Poe」の賢い使い方

2023/05/02 197 users プロンプト 日進月歩 POE アウトプット タスク

先週の話はもう過去の話。AI技術の進化は日進月歩で、GPT-4の圧倒的なアウトプットの質の向上をはじめ、私たちが感じる未来への期待感は高まるばかりです。 GPT-4は、文脈理解や複雑なタスクへの対応力がGPT-3に比べて向上しており、ますます多くのことができるようになっています。 プロンプトだけでHTMLファイルのコー... 続きを読む

「ナントカGPT」の改称相次ぐ　OpenAIのガイドライン公開で

2023/04/25 18 users OpenAI ADA 改称 GPT DaVinci

OpenAIはガイドライン内で、APIを利用した製品について「◯◯GPT」「GPT-4搭載の◯◯」「ChatGPT搭載の◯◯」といった表現は使わず、「Powered by GPT-4」や「Built with GPT-4」などと表現するよう求めている。OpenAIのモデルを指すときはGPT-3、GPT-4、ChatGPT、DALL・Eを使い、Ada、Babbage、Curie、Davinci、GPT-3.5-turbo... 続きを読む

20～50の質問をされるたび、ChatGPTは500mlのペットボトル1本分の真水を｢飲む｣必要がある —— 最新調査

2023/04/18 10 users chatgpt 人工知能 サーバー 実態 計算過程

20～50の質問をされるたび、ChatGPTは500mlのペットボトル1本分の真水を｢飲む｣必要がある —— 最新調査 人工知能（AI）の環境への影響はまだあまりよく知られていないが、その実態を伝えるレポートが出てきた。 GPT-3は計算過程で熱くなるのを防ぐために水を必要とする。 20～50の質問をされるたびに、ChatGPTのサーバー... 続きを読む

GPT-3.5世代のオープンな言語モデルを調べてみた - Qiita

2023/04/09 6 users Qiita chatgpt 本稿 gpt-3.5-turbo

GPT-3.5世代のオープンな言語モデルを調べてみました。 本稿では以下の特徴をもって「GPT-3.5世代」の言語モデルと定義しました。 ChatGPT等（text-davinci-003、gpt-3.5-turbo）の登場した2022年11月以降に登場 GPT-3と同様にテキスト生成ができる言語モデル GPT-3（text-davinci-003等）を主なベンチマークにしたり、... 続きを読む

GPT-1→GPT-2→GPT-3→GPT-3.5→ChatGPT→GPT-4までの進化の軌跡と違いをまとめてみた｜スタビジ

2023/04/05 821 users chatgpt GPT-2 GPT-4 GPTシリーズ ウマ

ウマたん 当サイト【スタビジ】の本記事では、昨今のAIの進化のきっかけになっているGPTシリーズについてまとめていきたいと思います。GPT-1から始まりGPT-2、GPT-3、そしてChatGPTであるGPT-3.5、GPT-4と進化してきました。この進化の軌跡と違いについて解説していきます。 こんにちは！ データサイエンティストのウマ... 続きを読む

オープンソースでGPTベースの大規模言語モデル「Cerebras-GPT」7種類が一気に誰でもダウンロード可能に

2023/03/29 209 users DeepMind OpenAI Cerebras 学習コスト

AI企業のCerebrasが、オープンソースでパラメータ数1億1100万～130億の大規模言語モデル「Cerebras-GPT」7種類を公開しました。Cerebras-GPTは、OpenAIのGPT-3をベースに、DeepMindが2022年3月にリリースしたChinchilla方式で学習したモデルで、これまでに公開されているどのモデルよりも学習時間が短く、学習コストが低... 続きを読む

新規事業でジェネレーティブAI（GPT-3、ChatGPT）を活用する6つの具体例 | 新規事業とテックトレンドメディア | NEWMIX

2023/03/25 20 users OpenAI chatgpt SAMA December 事例

2023年3月12日：ペルソナ作りの事例を追加 2022年も終わろうとした12月にOpenAIからChatGPTがリリースされ、5日で100万人が利用するなど各業界で話題となりました。 ChatGPT launched on wednesday. today it crossed 1 million users! — Sam Altman (@sama) December 5, 2022 そこで新規事業分野で、AIの力を体験してみ... 続きを読む

ChatGPTのおさらいと、プログラミングに活用するための第一歩 | gihyo.jp

2023/03/23 673 users chatgpt Fine-tuning Codex おさらい

大量の文章から学習することで、多言語を取り扱う能力だけでなく、高度な推論能力まで手に入れました。 GPT-3.5、とりわけその初期モデルのCodexはGitHubに存在する5400万の公開リポジトリから採取された159GBのPythonコードでGPT-3をfine-tuning（微調整）することで生まれました。ChatGPTがとりわけPythonが得意なのは... 続きを読む

リリースされたばかりのGPT-4を触ってみた | DevelopersIO

2023/03/15 9 users 吉川 スコア 特長 司法試験 DevelopersIO

吉川@広島です。 GPT-4 GPT-4がアナウンスされましたので早速触ってみました。 GPT-4の特長 上記アナウンスによると: GPT-3より信頼性や創造性アップ。より細かな指示にも応えられる。 司法試験で上位10%のスコアで合格 GPT-3は下位10%だった 画像入力ができる（ただしまだ機能公開していない？） 「この画像のどこが面... 続きを読む

GPT-4をいち早く試すなら「ChatGPT Plus」　月額2400円だが、画像入力など「お楽しみはこれから」

2023/03/14 16 users GPT-4 ChatGPT Plus chatgpt 画像

米OpenAIが3月14日（現地時間）に公開した、次世代大規模言語モデル「GPT-4」。これまでのGPT-3や、「ChatGPT」に搭載されたGPT-3.5よりも推論性能を向上させた他、入力された画像に対してコメントしたりなど、マルチモーダル対応を果たしている。 続きを読む

GPT-3のライバルとなるMetaの「LLaMA」をM1搭載Macで実行可能に、大規模言語モデルを普通の消費者向けハードウェアで実行可能であることが示される

2023/03/13 8 users Meta Llama LLM OpenAI ライバル

日常生活でのAI(人工知能)の使用への関心が高まる中、OpenAIのGPT-3やMicrosoftのKosmos-1などの大規模言語モデル(LLM)が注目を浴びており、2023年2月にはMetaが新たなLLMである「LLaMA」を発表しました。このLLaMAはGPT-3よりも小さな規模でありながらGPT-3に匹敵する性能を単体GPUの環境でも示すことが可能ということ... 続きを読む

クリエイターの時代

2023/03/11 315 users クリエイター GPT-4 単位 時代

クリエイターの時代 2023.03.11 Updated by Ryo Shimizu on March 11, 2023, 15:48 pm JST ChatGPTが流行り過ぎている。 来週にはGPT-4が出るという話になっていて、しかもGPT-3は1750億パラメータであるのに対し、GPT-4は100兆パラメータと言われている。 普通に考えて単位が桁違いにおかしいのだが、そもそもそんなに... 続きを読む

JDLA緊急企画！「生成AIの衝撃」～ ChatGPTで世界はどう変わるのか？ ～

2023/03/09 23 users chatgpt 一線 進展 生成AI ディープラーニング技術

JDLA緊急企画！「生成AIの衝撃」～ ChatGPTで世界はどう変わるのか？ ～ 2020年のGPT-3の衝撃以来、生成AIの進展は従来のディープラーニング技術の進展とは一線を画す、破壊的な変化となっています。 2022年11月末に発表されたChatGPTでは日本語が極めて自然な形で使えるようになり、 日本でも急激に関心が高まっていま... 続きを読む

Metaの大規模言語モデル「LLaMA-65B」のデータが4chanで流出

2023/03/06 13 users Meta Llama chatgpt GPU 単体

Metaが2023年2月に発表した大規模言語モデル「LLaMA」はGPT-3と匹敵する性能を持ち、単体のGPUでも動作可能なほどに動作が軽いことから、コンシューマーレベルのハードウェア環境でもChatGPTのようなAIを動かせるようになることが期待されています。そんなLLaMAのデータが流出したと話題になっています。 Facebook LLAMA... 続きを読む

ChatGPT APIをUnityから動かす。｜ねぎぽよし｜note

2023/03/02 114 users Unity ChatGPT API API 瞬間 技術解説記事

こんにちは。 先日AIエージェント開発の技術解説記事を書いて「今後ChatGPTライクのAPIが出てきた瞬間に進化すると思う」という話をしたのですが… まさか3日後にChatGPT APIが出てくるとは思いませんでした。 というわけで今回はUnityからChatGPT APIを叩く方法について書いてみます。 先日の記事で用いたGPT-3のTextCom... 続きを読む

GPT-3を使って自分だけのAIアシスタントを作る第一歩 - Taste of Tech Topics

2023/02/24 316 users AIアシスタント acro-engineer 自分 前回 年齢

皆さんこんにちは。健康診断の結果がちょっと気になる年齢になってきたSsk1029Takashiです。 GPT-3を扱ってチャットボット作ってみる記事の第2弾になります。 第1弾のこちらもぜひご覧ください。 acro-engineer.hatenablog.com 前回は質問応答システムとしてGPT-3を活用しましたが、今回はAIアシスタントとしてGPT-3を活... 続きを読む

いもす on Twitter: "「ChatGPTを使ってない企業は遅れてる」みたいなツイートを目にしつつも、現段階で使うのは情報セキュリティの点で困難に感じていたけど、AzureがOpenAIと同価格でGPT-3を（

2023/02/21 10 users Azure OpenAI chatgpt https 現段階

「ChatGPTを使ってない企業は遅れてる」みたいなツイートを目にしつつも、現段階で使うのは情報セキュリティの点で困難に感じていたけど、AzureがOpenAIと同価格でGPT-3を（利用ルールに同意すれば）記録を残さず使えるよう… https://t.co/ylgFulliVw 続きを読む

契約書の差分比較をGPT-3を使って自動化する - Qiita

2023/02/21 125 users Qiita gyakuse twitter.com 逆瀬川

こんにちは！逆瀬川 ( https://twitter.com/gyakuse ) です！ 今日は契約書の更新差分の比較をGPT-3とGoogle Document AIを使ってやってみたいと思います。 概要 異なるバージョンの契約書をPDF解析システムとGPT-3を使って自動的に比較し、リスクなどの検討も自動で出力する仕組みを作る。 Colab 使い方 Document AIの... 続きを読む