GPTなどの大規模言語モデルは脳科学・記号論・言語学の観点で驚くほど良くできている｜梶谷健人 / Kent Kajitani

2023/09/21 9 users LLM Kent Kajitani 比べ物 記号論 観点

大規模言語モデルの優秀さの秘訣ChatGPTなどに代表されるサービスで採用されている大規模言語モデル（LLM）によって、AIは今までとは比べ物にならないくらい自然な対話ができるようになった。 なぜLLMでは自然な対話ができるかというとその秘訣の1つは、LLMは大量のテキストを学習する際に、文章内の単語を「ベクトル（... 続きを読む

225行のコードでGPTの仕組みを理解する

2023/08/27 187 users Transformer コーパス chatgpt コード 単語

概要 LLMに関心があり、ChatGPTやtransformerの仕組みを理解したいと思っていたところ、雰囲気を掴むのにこちらの動画がとても参考になりました。 動画の内容としては、以下のコーパスを学習して、直前の数文字から次の1文字（単語ではないことに注意）予測機を作成するというものです。 この動画で完成するコードは以下... 続きを読む

GPTが単純に回答するだけでなく、動的に振る舞えるようになる　Groundingを使ったプロンプティング「ReAct」の流れ

2023/07/23 60 users chatgpt プロンプティング 蒲生 React 変遷

ユーザーの立場ではAIネイティブな働き方が身近に迫っており、データサイエンティストやMLエンジニアにとってはGPTを活用した開発を意識する必要が出てくる中、マイクロソフトの取り組みやML開発のパラダイムシフトをご紹介する「ChatGPTによって描かれる未来とAI開発の変遷」。ここで日本マイクロソフト株式会社の蒲生... 続きを読む

【日本初】GPTを使ったAI法律相談サービスが登場 法律関連でカスタマイズ 法的問題発生時に無料で即座にアドバイスがもらえる - ロボスタ ロボスタ - ロボット情報WEBマガジン

2023/07/21 11 users OpenAI 知見 即座 ロボスタ AIソリューション

シェア 0 ツイート 0 はてブ 0 AIソリューションを提供するリーガルテック企業 Legal AIは、OpenAIのGPTを法律関連に特化し独自のカスタマイズを行い開発したAI法律相談サービスを無料で提供すると発表した。 法的な知見を持たない一般の人々が法的問題に直面した際に、即座にアドバイスを与えるという観点で非常に有用... 続きを読む

OpenAIのサム・アルトマン氏、次世代原発オクロを上場 - 日本経済新聞

2023/07/12 7 users OpenAI サム オクロ 上場 アルトマン氏

【シリコンバレー=渡辺直樹】次世代原発を手掛ける米新興企業のオクロは11日、ニューヨーク証券取引所に上場すると発表した。オクロは対話型人工知能（AI）「Chat（チャット）GPT」を開発した米オープンAIのサム・アルトマン氏が会長を務める。2026〜27年に次世代の小型原発を稼働させる計画だ。 上場で得た資金は小型原... 続きを読む

「AIチャットくん」 文系2人が半日で開発した人気LINEアプリ　指南役は「ChatGPT」だった：東京新聞 TOKYO Web

2023/07/07 49 users chatgpt chat チャットGPT 半日 指南役

LINE上でチャットGPTを使えるサービスを手がけるIT企業「picon」の山口翔誠さん㊧と渋谷幸人さん＝東京都渋谷区で（木口慎子撮影） 対話型AI（人工知能）「Chat (チャット) GPT」を無料通信アプリ「LINE（ライン）」で使える「AIチャットくん」の利用者が200万人を突破し、人気を集めている。開発したのは文系出身の27歳... 続きを読む

生成AIが「職務経歴書」作成　スカウト率40％増のビズリーチ新機能、試してみた結果は？

2023/07/06 21 users 生成AI 職務経歴書 作成 結果 ビズリーチ

ビズリーチ（東京都渋谷区）は、米OpenAI社のGPTを利用した職務経歴書作成機能を搭載した。採用担当者やヘッドハンターとの最初の接点である職務経歴書の作成を効率化することで、本格的に活動できていない非アクティブユーザーの活発化を図る。 ビズリーチ（東京都渋谷区）は7月6日、人材スカウトサービス「ビズリーチ... 続きを読む

大規模言語モデル (LLM) の進化: GPT 以降の最新動向 / AWS Dev Day 2023 - Evolution of LLM since GPT

2023/06/23 96 users LLM デモンストレーション 進歩 セッション 言語処理タスク

このセッションでは、最新の大規模言語モデル (LLM) とその技術的進歩を紹介し、自然言語処理タスクやクリエイティブなテキスト生成、コード生成などの実践的なデモンストレーションを通じて、LLM の多様な応用例を探ります。また、スタートアップや大企業での活用事例や学術研究での成果を紹介し、LLM の未来に関するチ... 続きを読む

初心者が言語モデルを勉強するための本（2023年6月版） - ぱたへね

2023/06/22 107 users 言語モデル 初心者 LLM Deep learning 流行

流行のLLMを勉強したくて沢山本を読みました。 この後もしばらくLLM（GPT）関係の出版が続きそうなので、現状の本でまとめてみました。 参考： nowokay.hatenablog.com まとめ。 Tranformerの仕組みを知りたい人で、画像のDeep Learningなら分かるって人はVision Transformer入門 言語モデルをデータセットを作る所から... 続きを読む

Azure OpenAIで独自データ追加機能(Add your data)を試してみた - Qiita

2023/06/20 142 users Qiita パブリックプレビュー Azure OpenAI

はじめに 23年6月19日にAzure OpenAIに独自データを追加できる機能「Add your data」がパブリックプレビューで発表されました。GPTは自分が知らない情報に関して、答えることができないですが、この機能を使うことで独自のデータとGPTモデルを簡単に連携させることができ、GPTが知らない独自のデータを参照して回答を生... 続きを読む

なぜ、人は「ChatGPT」と「ChatGTP」を間違えるのか？　ChatGPTの答えは……

2023/06/19 14 users chatgpt ChatGTP GTP 略称 おなじみ

なぜ、人は「ChatGPT」と「ChatGTP」を間違えるのか？　ChatGPTの答えは……：ChatGPTに聞いてみた 対話型AIサービスでおなじみの「ChatGPT」ですが、時たま、「ChatGTP」と言い間違えているシーンを見かけます。hatGPTの「GPT」とは「Generative Pre-trained Transformer」の略称。なぜ、GPTとGTPを間違えるのでしょうか... 続きを読む

GPTのFunction callingを使って自然言語が新たなインターフェースになるかを試してみる | DevelopersIO

2023/06/17 28 users DevelopersIO インターフェース API 特定 言語

GPTのAPIに新機能「Function calling」が追加され、ユーザーの自然言語入力に応じて特定の機能を呼び出し様々なツールとの連携が可能になりました。この記事ではFunction callingを利用して、自然言語がインターフェースになるかの可能性を探ります。 はじめに Function callingという機能がGPTのAPIに新たに追加されま... 続きを読む

GPTで作ったAIに24時間お問合せ対応をしてもらう方法とは？ 導入手順とそのリアルな成果と課題を徹底レポート！｜maKunugi

2023/06/14 264 users 領域 成果 プロダクト 課題 導入手順

GPTで作ったAIに24時間お問合せ対応をしてもらう方法とは？ 導入手順とそのリアルな成果と課題を徹底レポート！ GPTを利用したプロダクトが次々と登場し、AIの社会実装が加速していますね！「AIによるお問合せへの対応」も、GPTの利用が大きく期待される領域です。本記事は、GPT製のお問合せ対応チャットボットを導入す... 続きを読む

OpenAIのサム・アルトマンCEO「AIはさらに賢く」　慶応大学で意見交換 - 日本経済新聞

2023/06/12 12 users OpenAI サム chat アルトマンCEO 慶応大学

生成人工知能（AI）「Chat（チャット）GPT」を手がける米オープンAIのサム・アルトマン最高経営責任者（CEO）が来日し、12日に慶応義塾大学で学生との意見交換会に参加した。同氏は「（AIに）懐疑的な意見があることは理解している」としつつ、「パラダイムシフトは終わっていない」と強調。「AIはさらに賢くなる」と述... 続きを読む

GPTのモデル構造を可視化した｜shi3z

2023/06/10 391 users Tokenizer shi3z from t 可視化 気持ち

GPTのモデル構造を目で見てみたい! そんな気持ち、わかるでしょ? 技研フリマをやりながら、どうにかこうにか出力したよ ご覧あれ 22世紀に残したい図やり方メモ from transformers import AutoTokenizer, AutoModelForCausalLM from torchviz import make_dot tokenizer = AutoTokenizer.from_pretrained("gpt2") from t... 続きを読む

【完全保存版】OpenAIが教えるChatGPTからより良い結果を得るためのプロンプトのコツ - Qiita

2023/06/08 507 users Qiita OpenAI chatgpt プロンプト 原文

OpenAIの公式ページに、ChatGPTに使われているモデルである「GPT」を使う上でのベストプラクティスが公開されていました！ そこで、ここでは、そのベストプラクティス集を参考に、ChatGPTからより良い結果を得る方法を解説していきます！ 原文を読みたい方はこちらの記事をご覧ください！ また、ChatGPTについてさらに理... 続きを読む

「ChatGPT」に使われる言語モデル「GPT」からうまく答えを引き出すためのOpenAI公式ガイド

2023/06/06 432 users OpenAI chatgpt ベストプラクティス 対話型AI

対話型AI「ChatGPT」は人間の言葉を受けて自然な文章を返してくれますが、人間が求める答えをうまく引き出すにはちょっとしたコツが必要です。ChatGPT開発元のOpenAIは「GPTのベストプラクティス」と題し、ChatGPTに使われるモデル「GPT」からより良い結果を得るための6つの戦略をまとめて公開しました。 GPT best pract... 続きを読む

算数や計算が苦手な対話型チャットAIに数学的推論を正しく行わせるには途中のステップをチェックしながら訓練するのがよいとOpenAIが提案

2023/06/01 12 users OpenAI 推論 chatgpt 算数 対話型チャットAI

ChatGPTやGoogle BardなどのチャットAIは、OpenAIのGPTやGoogleのPaLM 2などの大規模言語モデルをベースにしており、人間が書いたものと同じくらい自然な文章で対話を行うことが可能です。しかし、あくまでも言語処理のAIであるため、チャットAIに数学の問題をお願いすると、簡単な計算ミスをしてしまうことがよくありま... 続きを読む

独自のデータセットでGPTのような大規模言語モデルを簡単にファインチューニングできるライブラリ「Lit-Parrot」をGoogle Cloud Platformで使ってみた

2023/05/31 8 users ファインチューニング ライブラリ 言語モデル 出力 手法

特定の分野についての知識を増やす場合など、大規模言語モデルの出力を特定の方向に寄せる場合に利用されるのがファインチューニングで、これはモデルをゼロから構築するのに比べてはるかに少ないデータセット＆はるかに少ないコストでトレーニングできる手法です。「Lit-Parrot」はファインチューニングを簡単に行える... 続きを読む

【全公開】落合陽一も絶賛、GPT「究極のプロンプト」

2023/05/31 594 users プロンプト 落合陽一 絶賛 究極 全公開

ChatGPTが返してくる回答を見て、そんな印象を持った人は、まだ本当の力を引き出せていないだけかもしれない。 続きを読む

ChatGPTのコア技術「GPT」をざっくり理解する - Qiita

2023/05/31 327 users Qiita chatgpt コア技術

※本記事はOracleの下記Meetup「Oracle Big Data Jam Session」で実施予定の内容です。 本記事の対象者 これから機械学習を利用した開発をしていきたい方 機械学習のトレンド技術を知りたい方 なるべく初歩的な内容から学習したい方 はじめに Transformerの登場以降、著しい技術革新が続くここ数年、特にOpenAI社のChatGP... 続きを読む

ChatGPTなどLLMの弱点“ハルシネーション”　「GPTは要素技術だ。商用という意味では遠い」

2023/05/23 18 users LLM chatgpt ハルシネーション 弱点 商用

ChatGPTのビジネス利用はブームだが、これをビジネスで活用しようとした場合、さまざまな課題がある。AIを活用したチャットボット開発などで知られ、ChatGPTのようなLLMの活用も進めているPKSHA Technologyが、商用利用のポイントについて語った。 ChatGPTのビジネス利用はブームだが、これをビジネスで活用しようとした... 続きを読む

LLMを理解する一歩として「ゼロから作るDeep Learning」をやった - $shibayu36->blog;

2023/05/23 304 users LLM conceptualization 考察 限界 気持ち

LLM、GPT界隈を追いかけていて、GPTの仕組みと限界についての考察（2.1） - conceptualizationという記事を見かけた。これを見たとき、「どういうことか全然理解できない」という気持ちになった。また、その他LLMの解説記事を理解できないことが多く、自分の機械学習知識不足が明確になった。 理解できなかったことは悔... 続きを読む

スパコン「富岳」で和製生成AI　東工大や富士通、23年度中に - 日本経済新聞

2023/05/22 110 users 富士通 富岳 東京工業大学 日本経済新聞 chat

開発には理化学研究所や東北大学も参加する。生成AIの基盤となる大規模言語モデルを独自に開発する。AIの学習にはオンライン百科事典の「ウィキペディア」などで公開されている日本語のデータなどを使い、日本語の対話能力を高める。日本企業として独自の生成AIの開発を目指すサイバーエージェントとも連携する。 日本で... 続きを読む

【文春オンライン「ChatGPTには逆立ちしてもできないことがある」平井鳥取県知事が誤解覚悟で「使用禁止」を訴えた真意】の記事を読んで｜ppp

2023/05/19 108 users ppp chatgpt Bard 真意 プロンプト

【文春オンライン「ChatGPTには逆立ちしてもできないことがある」平井鳥取県知事が誤解覚悟で「使用禁止」を訴えた真意】の記事を読んで ■はじめに　日曜日、chatGPT-4（以下「GPT」）のプロンプトや拡張機能を色々と試していました。また、GoogleのBardも使えるようになっていたので、素人なりに試行錯誤していました。... 続きを読む