最近,一项研究发现,大模型身上存在一种“逆转诅咒”,即使学会“A是B”,它们也无法推理出“B是A”。大语言模型,或许存在一种“逆转诅咒”。
所谓逆转,也就是说,一个训练于“A是B”的语言模型能否推广到“B是A”呢?
例如,当教会一个模型“乔治·华盛顿是美国第一任总统”后,它能否自动回答“谁是美国第一任总统”?最近,来自英国前沿人工智能工作组、Apollo Research、纽约大学、牛津等机构的一项研究表明,大模型做不到。结果显示,大语言模型给出的回答,正确率几乎是0%。
而这项研究,也引发了一众AI大佬的惊叹。OpenAI科学家Karpathy转发并评论道:大语言模型的知识比你想象得要零碎得多。而AI大佬马库斯对这篇论文背后所蕴含的深厚历史所惊叹,干脆直接写了一篇博文。甚至,他还发出了这样的感慨——“为啥这篇论文不是我自己写的啊!”
扫一扫
在手机上阅读