GPTの仕組みと限界についての考察（１） - conceptualization

2023/03/21 1330 users conceptualization chatgpt 考察

GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 ... 続きを読む

【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.) - Qiita

2023/03/30 804 users prompt LLM Fine-tuning Qiita 過言

【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.) ChatGPT に代表される今日の AI ブームを牽引しているのは 大規模言語モデル（Large-scale Language Model, LLM） と言っても過言ではないでしょう。LLM とは大量のテキストデータを使ってトレーニングされた自然言語処理のモデルで... 続きを読む

【ChatGPT】面倒なことはアウラにやらせよう - 本しゃぶり

2024/02/04 761 users chatgpt アウラ GPTs 挙動 チャットボット

ChatGPTは自分オリジナルのGPTを作ることができる。 それを好きな時に呼び出すこともできる。 つまり、こういうことができる。 おわり GPTsの正しい使い方 去年の11月にChatGPTでは、誰でも簡単にカスタマイズされたチャットボットを作れるGPTsという機能が追加された。挙動を自然言語で指示し、名前とアイコンを付けた... 続きを読む

【全公開】落合陽一も絶賛、GPT「究極のプロンプト」

2023/05/31 594 users プロンプト 落合陽一 絶賛 究極 全公開

ChatGPTが返してくる回答を見て、そんな印象を持った人は、まだ本当の力を引き出せていないだけかもしれない。 続きを読む

高橋恒一 on Twitter: "GPTでAI界隈が沸騰している。開発者も含めて誰も急激な性能向上の理由を理解出来ていない。普段は半年や1年で古くなるような時事ネタはあまり呟かないことにしている

2023/03/20 586 users AI界隈 不確実性 高橋恒一 on Twitter 時事ネタ

GPTでAI界隈が沸騰している。開発者も含めて誰も急激な性能向上の理由を理解出来ていない。普段は半年や1年で古くなるような時事ネタはあまり呟かないことにしているが、このところの動きがあまりに早く、未来に向けての不確実性が高まってい… https://t.co/1BCs8cXavs 続きを読む

行政の統計資料のような非構造化データをGPTで構造化データに変換する｜まーくん | 西見 公宏｜note

2023/03/15 541 users GPT-4 Note GPT-4 API まーくん 西見 公宏

今朝方GPT-4が発表されて、みなさん死ぬほど盛り上がってますねー。 GPT-4を使えば一発でできそうなネタではありますが、GPT-4 APIのお値段は3.5よりもお高めの設定なので、これからはどのように上手くGPTのバージョンを使い分けていくかが問われていくと思います。 というわけで今日は非構造化データを構造化データに変... 続きを読む

【文系でもわかる】ChatGPTのキモ「Transformer」「Attention」のしくみ

2023/09/26 518 users Transformer attention chatgpt

第1回は、さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」の性能の鍵を握る「トークン長（GPTが文脈を意識できる過去の単語数）」やGPTの歴史的経緯について解説しました。第2回はGPTを支える自然言語処理 の分野で使用される深層学習モデル「Transformer」とその根幹となる「Attention機構（そのタ... 続きを読む

【完全保存版】OpenAIが教えるChatGPTからより良い結果を得るためのプロンプトのコツ - Qiita

2023/06/08 507 users Qiita OpenAI chatgpt プロンプト 原文

OpenAIの公式ページに、ChatGPTに使われているモデルである「GPT」を使う上でのベストプラクティスが公開されていました！ そこで、ここでは、そのベストプラクティス集を参考に、ChatGPTからより良い結果を得る方法を解説していきます！ 原文を読みたい方はこちらの記事をご覧ください！ また、ChatGPTについてさらに理... 続きを読む

GPTの仕組みと限界についての考察（2.1） - conceptualization

2023/03/27 480 users conceptualization attention

全３回のシリーズパート２の本記事では、GPTの能力と可能性をAttention/Transformerの仕組みをふまえて考察します。 というつもりでしたが、凄く長くなってしまったのでパート2は以下の3回に分けようと思います。 （2.1）各技術の定性的な説明（本記事） （2.2）Transformerのアルゴリズム詳細 （2.3）GPTの能力と可能性... 続きを読む

米OpenAI、アルトマンCEOが退社へ　事実上の解任 - 日本経済新聞

2023/11/17 466 users 解任 退社 アルトマンCEO 米オープンAI 人選

【シリコンバレー=中藤玲】生成AI（人工知能）「Chat（チャット）GPT」を手掛ける米新興オープンAIは17日、サム・アルトマン最高経営責任者（CEO）が退任すると発表した。現在、最高技術責任者（CTO）のミラ・ムラティ氏が暫定CEOに就く。新たなCEOの人選も進める。事実上の解任とみられ、アルトマン氏は退社する。同社... 続きを読む

GPTの仕組みをちゃんと勉強したい本 - きしだのHatena

2023/04/25 449 users ニューラルネットワーク 概観 CNN トランスフォーマー 概要

やっぱGPTを仕組みから勉強したい、という本をいくつか見つけたのでまとめておきます。 まず理論的な概要。 機械学習からニューラルネットワーク、CNNでの画像処理、トランスフォーマーでの自然言語処理、音声認識・合成、そしてそれらを組み合わせたマルチモーダルと章が進むので、理論的な概観を得るのにいいと思いま... 続きを読む

GPTが人知れず既存の名刺管理アプリを抹殺していた話 - Qiita

2024/02/27 446 users 抹殺 発端 部署 名刺 自作

抹殺は言い過ぎかもしれませんが簡易な名刺管理アプリであれば自作で十分という時代がきていたようです これで紙の名刺からはきっとバイバイできるでしょう！ 名刺管理アプリ作ってほしいといわれた それは2/22のお話。 ことの発端は別の部署からかかってきた一本の電話でした。 新規事業の部署でいろいろな取引先様と付... 続きを読む

「ChatGPT」に使われる言語モデル「GPT」からうまく答えを引き出すためのOpenAI公式ガイド

2023/06/06 432 users OpenAI chatgpt ベストプラクティス 対話型AI

対話型AI「ChatGPT」は人間の言葉を受けて自然な文章を返してくれますが、人間が求める答えをうまく引き出すにはちょっとしたコツが必要です。ChatGPT開発元のOpenAIは「GPTのベストプラクティス」と題し、ChatGPTに使われるモデル「GPT」からより良い結果を得るための6つの戦略をまとめて公開しました。 GPT best pract... 続きを読む

【GPT】プロンプトエンジニアリング手法まとめ - Qiita

2023/04/02 417 users Qiita

はじめまして、sonesuke( https://twitter.com/sonesuke ) です。 LLMのニュースを追っかけ続けたので、これからキャッチアップする人用にまとめておきます。 単発のプロンプトテクニックについてはこちらご覧ください。 これだけは知っとけ用語 各手法の説明を読む前に、これらの用語を読んでおくと各手法がわかります... 続きを読む

GPTのモデル構造を可視化した｜shi3z

2023/06/10 391 users Tokenizer shi3z from t 可視化 気持ち

GPTのモデル構造を目で見てみたい! そんな気持ち、わかるでしょ? 技研フリマをやりながら、どうにかこうにか出力したよ ご覧あれ 22世紀に残したい図やり方メモ from transformers import AutoTokenizer, AutoModelForCausalLM from torchviz import make_dot tokenizer = AutoTokenizer.from_pretrained("gpt2") from t... 続きを読む

【業務効率革命】GAS Interpreter の衝撃｜ChatGPT研究所

2024/04/11 385 users ChatGPT研究所 GPTs 衝撃 他者 インパクト

今までで最もインパクトのあるGPTsが完成しました。 その名も、「GAS Interpreter」です。 このGPTは名前の通り、Code Interpreter のように Google Apps Script コードを生成し、その実行までを行います。 他者に使ってもらうものではなく、自分専用のプライベートGPTです。 人によっては、Code Interpreter よりも便利... 続きを読む

GPT-4が労働市場に与える影響と各職種のリスク評価──OpenAIの研究者が論文発表

2023/03/21 345 users OpenAI LLM GPT-4 論文発表 労働市場

「GPT-4」を手掛けたOpenAIの研究者が「GPTはGPT：LLMの労働市場への影響の可能性に関する初期の考察」と題した論文を発表した。米国の労働力の約8割が、少なくとも仕事の1割にGPT導入の影響を受ける可能性があるとしている。影響を受けやすいのはジャーナリスト、翻訳者、Webデザイナーなど。 大規模言語モデル（LLM）... 続きを読む

いくらAIが便利だからって、子どもの教育データをGPTに流し込んで表を作らせようとする馬鹿教師は滅亡して欲しい｜山本一郎（やまもといちろう）｜note

2023/03/23 344 users Slack OpenAI Note ヤマ ロク

いくらAIが便利だからって、子どもの教育データをGPTに流し込んで表を作らせようとする馬鹿教師は滅亡して欲しい 確かにAIは便利なんですが、どこかの会社とのオンライン会議などのログをそのまま文字起こしにして出力し、それをGPTに食わせて要約してSLACKに流している馬鹿もいました。まあどこまでOpenAIを信頼するか... 続きを読む

ChatGPTのコア技術「GPT」をざっくり理解する - Qiita

2023/05/31 327 users Qiita chatgpt コア技術

※本記事はOracleの下記Meetup「Oracle Big Data Jam Session」で実施予定の内容です。 本記事の対象者 これから機械学習を利用した開発をしていきたい方 機械学習のトレンド技術を知りたい方 なるべく初歩的な内容から学習したい方 はじめに Transformerの登場以降、著しい技術革新が続くここ数年、特にOpenAI社のChatGP... 続きを読む

LLMを理解する一歩として「ゼロから作るDeep Learning」をやった - $shibayu36->blog;

2023/05/23 304 users LLM conceptualization 考察 限界 気持ち

LLM、GPT界隈を追いかけていて、GPTの仕組みと限界についての考察（2.1） - conceptualizationという記事を見かけた。これを見たとき、「どういうことか全然理解できない」という気持ちになった。また、その他LLMの解説記事を理解できないことが多く、自分の機械学習知識不足が明確になった。 理解できなかったことは悔... 続きを読む

【決定版】GPTs開発の教科書｜ChatGPT研究所

2023/12/24 284 users ChatGPT研究所 教科書 chatgpt GPTs 決定版

この note は、一度使われて終わるような、巷に無数に溢れているChatGPT にちょっと機能を追加しただけの GPTではなく、本当に使われる素晴らしく便利な GPTs を作るための教科書として、書きました。 今までの GPTs 開発関連の情報を全てまとめた内容になっています。 この note 一冊を読めば、GPTs 制作の基礎から応用... 続きを読む

GPTで作ったAIに24時間お問合せ対応をしてもらう方法とは？ 導入手順とそのリアルな成果と課題を徹底レポート！｜maKunugi

2023/06/14 264 users 領域 成果 プロダクト 課題 導入手順

GPTで作ったAIに24時間お問合せ対応をしてもらう方法とは？ 導入手順とそのリアルな成果と課題を徹底レポート！ GPTを利用したプロダクトが次々と登場し、AIの社会実装が加速していますね！「AIによるお問合せへの対応」も、GPTの利用が大きく期待される領域です。本記事は、GPT製のお問合せ対応チャットボットを導入す... 続きを読む

GPTが出した回答の確からしさを見えるようにしてみる - Taste of Tech Topics

2023/03/10 232 users acro-engineer YAMALEX メインテーマ

皆さんこんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 この記事はGPTでチャットボットを作ってみるシリーズ第3弾です。 第1弾と第2弾もぜひご覧ください。 acro-engineer.... 続きを読む

【超入門】GPT Builderの使い方！【GPTs / ChatGPT】

2023/11/10 221 users chatgpt GPTs GPT Builder 収益 超入門

はじめまして、ますみです！ 先日のOpenAI社の初めてのカンファレンスである「OpenAI Dev Day 2023」で発表されたGPT Builderがついに利用可能になりました！ 上記の発表会にて、「自分で作ったGPTを公開して、たくさん他の人に利用されると、その利用量に応じて、収益がもらえる」という話は非常に話題を呼びました。 ... 続きを読む

ChatGPTで1日分のSlackを要約してくれるスクリプトを作りました｜masuidrive｜note

2023/03/02 220 users chatgpt メンション Slack OpenAI 全体感

Slackって読むの大変ですよね。っていうかもうみんな追いかけるの無理でメンションしか読んでないですよね？ でも、全体感は把握しておきたい。そんな人のために昨日発表されたChatGPT APIを使って、SlackのチャンネルをGPTが読んで短くまとめてくれるスクリプトを作りました。 OpenAIへの登録(要課金)とGitHub Actions(... 続きを読む