OpenAI的GPT3在推理测试中表现与本科生相当
发布日期: 2023-08-11 12:20:45 来源: 互联网


(资料图)

OpenAI 的流行语言模型 GPT-3 经过推理测试,以确定它可以自行解决多少问题。

加州大学洛杉矶分校 (UCLA) 进行的测试向 GPT-3 提出了与 SAT 等智力测试(用于学院和大学招生)相关的常见问题。

加州大学洛杉矶分校的结论是,GPT-3 表现出了与本科生同等的推理能力,甚至犯了类似的错误。在测试过程中,人工智能的任务是使用各种复杂排列的模式来预测后续形状。它还进行了 SAT 类比测试。

研究人员还邀请了 40 名 UCLA 本科生参与并尝试同样的问题。在形状预测测试中,GPT-3 的准确率达到 80%,高于学生 60% 的平均成绩。

在 SAT 类比测试中,GPT-3 再次表现出比人类学生更高的表现。测试涉及诸如识别具有相似关系的单词对等问题,例如,“爱是‘恨’,因为‘富有’是哪个单词?”,正确答案是“贫穷”。

GPT-3 落后的一个领域是当它面临基于短篇小说的类比时,这需要阅读一篇文章,然后回答问题。

加州大学洛杉矶分校心理学教授卢红景说:“令人惊讶的是,GPT-3 不仅表现得与人类一样好,而且还犯了类似的错误。”

关键词:

相关文章

热点图集