GPT-4やClaudeなどの大規模言語モデルが抱える「ストロベリー問題」とは？

2024/10/19 227 users Claude LLM GPT-4 算数 ウソ

大規模言語モデル(LLM)をベースにしたAIは高い能力を発揮できる一方で、ウソにダマされやすいといった特徴があったり、算数の文章題への推論能力が小学生未満という研究結果があったりと、脆弱(ぜいじゃく)さについてもしばしば指摘されます。AIの能力の限界を示す「ストロベリー問題」という脆弱性について、機械学習エ... 続きを読む

ChatGPTのおさらいと、プログラミングに活用するための第一歩 | gihyo.jp

2023/03/23 673 users chatgpt Fine-tuning Codex おさらい

大量の文章から学習することで、多言語を取り扱う能力だけでなく、高度な推論能力まで手に入れました。 GPT-3.5、とりわけその初期モデルのCodexはGitHubに存在する5400万の公開リポジトリから採取された159GBのPythonコードでGPT-3をfine-tuning（微調整）することで生まれました。ChatGPTがとりわけPythonが得意なのは... 続きを読む

主語が大きいことを問題視する人は推論能力にハンディキャップを抱えている可能性があるのでは？

2020/11/05 276 users ハンディキャップ 主語 大きいこと 可能性

はてなとかTwitterとか見てるとよく感じるんだけど、やっぱりしんどいなあと感じた。 https://anond.hatelabo.jp/20201104215721 たとえば 中年おっさんは傲慢だ。 という主張があったとする。 これに対して、はてなやTwitterの人たち（その多くはオタクっぽい？）は 発言者は「すべての中年おっさんは傲慢だ」と言って... 続きを読む