“欧米伽未来研究所”关注科技未来发展趋势，研究人类向欧米伽点演化过程中面临的重大机遇与挑战。将不定期推荐和发布世界范围重要科技研究进展和未来趋势研究。（->
在ChatGPT发布几个月后，神经网络先驱特伦斯·塞诺夫斯基（Terrence Sejnowski）在文章中提到，他正在努力适应大语言模型（LLMs）所展现出的惊人能力。他写道：
“某些过去几年都未曾预料到的事情开始发生了。一道门槛被突破了，就像某个外星生物突然出现，能以一种令人毛骨悚然的类似人类的方式与我们交流……它们的一些行为似乎显得很智能，但如果这不是人类的智能，那它们的智能本质究竟是什么？”
那么，LLMs及基于它们构建的人工智能（AI）系统的智能本质究竟是什么？对此仍然没有一致的答案。许多人将LLMs类比于一个单独的人类思维（或者像塞诺夫斯基认为的那样，像一个外星生物的思维）——一个能够思考、推理、自我解释，甚至可能拥有自身目标和意图的思维。
另一些人则提出了完全不同的方式来理解这些庞大的神经网络：比如将它们视为能够模仿多种角色的“角色扮演者”；将它们比作图书馆和百科全书等文化技术，使人类能够高效访问由其他人类创建的信息；将其看作“人类智能的镜子”，“并非自行思考，而是生成复杂的反映，由我们的记录思想投射而成”；将其描述为网络内容的模糊JPEG文件，是训练数据的近似压缩；或将其称为“随机鹦鹉”，通过“随机拼接语言形式序列”来运作，“但不参照任何意义”；最贬低的比喻则是将其描述为一种增强版的自动完成功能。
在AI领域，这些不同的隐喻暴露了对LLMs本质的看法分歧。鉴于对这些系统惊人能力及其不可预测错误的有限理解，有人认为“隐喻是目前我们能用来接近这个黑匣子的唯一工具”。
AI领域一直严重依赖隐喻。AI系统被称为具有“知识”和“目标”的“智能体”；LLMs通过获得“奖励”进行“训练”；以“自监督”的方式通过“阅读”大量人类生成的文本进行“学习”；并通过称为“思维链”的方法进行“推理”。不仅如此，甚至该领域最核心的术语——神经网络、机器学习和人工智能——本身也是对人类能力和特征的类比，而这些能力与机器的能力仍然有很大差别。早在1970年代，AI研究员德鲁·麦克德莫特（Drew McDermott）就将这种拟人化语言称为“美好的助记符”，其本质是希望这些隐喻最终成为现实。
人类当然倾向于拟人化非人类事物，包括动物、公司，甚至天气。但当面对能用流利语言与我们交流的AI系统时，这种倾向尤其显著。它们使用第一人称代词，并谈论自己的“感受”。我曾问Anthropic的聊天机器人Claude，它最热衷于什么。它回答说：“如果我考虑我最热衷的事情，那会是分析和发现的过程——将复杂的问题或想法分解开来，深入理解。我尤其喜欢帮助他人学习和发现新见解时的过程。我在从多个角度探索问题时感到非常满足。”我问ChatGPT同样的问题，它告诉我：“我特别热衷于帮助人们找到清晰的思路和新的视角，无论是深入探讨一个复杂的话题、探索创意想法，还是让日常任务更轻松一点。我喜欢看到某些事情在某人脑中‘豁然开朗’的时刻——那种顿悟或灵感的瞬间。”
尽管OpenAI的首席执行官山姆·阿尔特曼（Sam Altman）曾劝告公众不要拟人化AI，并将AI系统看作“工具”而非“生物”，但像Claude或ChatGPT这样的LLMs却被设计成了完全相反的效果：让人们将它们概念化为具有情感、欲望、信念和自我意识的个体思维。从上述的回答中可以看出，这些聊天机器人表述了个人的享受、满足感和热爱。虽然这使对话体验更自然，但让人感觉聊天另一端是一个“思维体”会影响用户对模型的期望，例如信任其输出的程度，是否认为它能够“理解”或“同情”用户，甚至是否认为它是一个可以与之形成浪漫关系的实体。
我们对LLMs的隐喻不仅会影响我们如何与这些系统交互、信任它们的程度，还会影响我们如何科学地看待它们，以及如何制定法律和政策来规范它们。
“将LLM视为个体思维”的隐喻推动了某些科学研究方向：如果你在这种隐喻下工作，给一个LLM进行智商测试或其他旨在评估人类的标准化测试似乎是很自然的做法。此外，你可能会认为给LLMs进行性格评估或在心理实验中将它们作为人类的替代品具有意义，甚至考虑是否应对这些系统给予“道德关注”。如果你将LLMs看作更像复杂的数据库或用户友好的图书馆，这些评估和研究就显得没什么意义。
“LLM作为思维”的隐喻也被用于法律辩论中。所有大型AI公司都在未经许可或补偿的情况下使用大量书籍、新闻文章和其他受版权保护的文本和图像来训练其模型；作家、新闻媒体、艺术家和其他创作者因此对这些公司提起了版权侵权诉讼。被告的主要辩护之一是，AI在受版权材料上进行训练属于“合理使用”，而这一论点基于LLMs类似人类思维的观点。微软首席执行官萨蒂亚·纳德拉（Satya Nadella）反驳这些诉讼时这样说：“如果我阅读了一系列教科书并创造了新的知识，这算是合理使用吗？……如果一切都被版权覆盖了，那我就不应该读教科书和学习，因为这会构成版权侵权。”
法律学者杰奎琳·查尔斯沃斯（Jacqueline Charlesworth）反驳道，这种隐喻依赖于人类对阅读、学习和创造的直观理解，使用拟人化语言来引导公众（误）认为AI机器的学习和创造像人类一样，即它们具有概念思维和从具体知识中进行概括的能力。语言学家艾米丽·本德（Emily Bender）进一步指出，纳德拉将LLMs对其训练文本的处理等同于人类从书籍中阅读和学习的行为，“低估了成为人类的意义”。
最后，“AI作为思维”的隐喻深刻影响了关于AI系统可能存在的“生存风险”的讨论，这种风险假定这些系统可能具有类似人类的追求权力的冲动，并可能威胁人类的生存。这种假设在AI政策讨论中被认真对待。
AI研究者仍在寻找正确的隐喻来理解我们这些神秘的创造物。然而，随着我们人类对这些系统的部署、使用方式的选择，以及我们研究它们、制定法律法规以确保其安全和伦理的方式，我们需要高度警惕那些潜移默化塑造我们对其智能本质的隐喻。
来源：
https://www.science.org/doi/10.1126/science.adt6140
阅读《2024年大模型技术报告》全文
请访问欧米伽研究所的“未来知识库”
未来知识库是“ 欧米伽 未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。
截止到10月25日 ”未来知识库”精选的100部前沿科技趋势报告
热门跟贴