生成AIの飛躍的性能アップの秘密「グロッキング」とは？

2023/05/31 67 users OpenAI chatgpt 生成AI ディープラーニング

ChatGPTなどの優れたAIモデルを開発するAI研究団体のOpenAIが発見した、ディープラーニングにおける最も魅力的な謎のひとつとされる「グロッキング」について、GoogleのAI研究者が位相変化との関係を指摘しています。 [2301.05217] Progress measures for grokking via mechanistic interpretability https://arxiv.org/... 続きを読む

OpenAI開発のテキスト生成AI「GPT-3」がどんな処理を行っているのかを専門家が解説

2022/12/12 91 users gpt-3 テキスト生成AI chatgpt OpenAI

AI研究団体・OpenAIが発表して話題を呼んだ対話型AI「ChatGPT」は、テキスト自動生成AI・GPT-3の派生形である「GPT-3.5」をファインチューニングした自然言語処理モデルです。チューリッヒ工科大学で機械学習とロボティクスの博士号課程に進んでいるダニエル・デュガス氏が、GPT-3が行っている数学的処理工程について解... 続きを読む

自分の行動を毎日24時間録音してWhisperで文字起こしする「全自動口述日記」を1週間つけつづけたエンジニアの報告

2022/11/16 267 users whisper OpenAI 録音 精度 エンジニア

AI研究団体のOpenAIが開発した「Whisper」は非常に高い精度で録音から文字起こしを行うAIモデルで、オープンソースで無料公開されています。エンジニアのロバー・ダム氏が自身のブログで、毎日スマートフォンに行動を逐一吹き込み、その録音をWhisperで文字起こしすることで「全自動口述日記」を残すことができるシステ... 続きを読む

文章生成AI「GPT-3」にハンドルネームを入力したら本名がフルネームで出力されたという報告

2022/06/27 158 users gpt-3 本名 文章生成AI ハンドルネーム OpenAI

AI研究団体のOpenAIが開発した文章生成AI「GPT-3」は人間と見分けが付かないほど自然な文章を生成できることから大きな注目を集めています。そんなGPT-3について「自分のハンドルネームを入力してみたところ、自分の本名を含む文章が生成されてしまった」という恐ろしい経験談がニュース共有サイトのHacker Newsに投稿さ... 続きを読む