【太平洋科技快讯】近日,麻省理工学院(MIT)信息与决策系统实验室(LIDS)的一项研究对生成式AI模型的导航能力提出了质疑。尽管这些模型在纽约市提供近乎完美的逐步导航指引,但它们并未形成精确的地图。
研究发现,当研究人员对某些街道进行封闭并设置绕行路线时,这些生成式AI模型的性能急剧下降。例如,仅关闭1%的街道,模型的准确率就从接近100%降至67%,显示出模型在应对环境或任务变化时的不足。
进一步分析显示,这些模型生成的纽约地图包含大量不存在的街道,这些街道在网格间扭曲连接,形成了一个“虚构的纽约”。地图中充斥着随机跨街桥和以不可思议角度交叉的街道,揭示了模型的缺陷。
研究强调,对于生成式AI模型而言,评估其是否形成了连贯的世界观至关重要。尽管这些模型在语言领域表现出色,但在探索其他科学领域时,其连贯性和适应性仍需进一步验证。
此次研究主要关注的是一种名为“transformer”的生成式AI模型,该模型是大型语言模型(如GPT-4)的核心。Transformer模型通过大量基于语言的数据进行训练,但其局限性在此次研究中得到了凸显。
打开APP,阅读体验更佳
热门跟贴