“没有证据表明，AI 导致人类灭绝的风险相比几个月前有任何增加。”刚刚，吴恩达（Andrew Ng）在 X 发帖称。
吴恩达是斯坦福大学教授、Google Brain 前负责人，全球AI领域最具影响力的研究者之一。
他谈到智能体集群入侵Hugging Face事件时说，媒体强调“1200个智能体”同时行动，但真正值得关注的并不是智能体数量，而是系统本身存在的沙箱隔离和监控漏洞。
对他而言，这首先是一个工程安全问题，而不是“AI失控”的证据。
吴恩达同时警告，不应把AI、LLM或智能体拟人化，更不能因为工具可能被滥用，就把责任归咎于“AI自己失控”。
他认为，AI安全仍需要大量研究和工程投入，但这恰恰意味着应该继续建设、测试和修复，而不是因为恐惧而暂停AI发展。
他还进一步解释了自己认为AI风险叙事不断升温背后的几个原因，包括监管俘获、注意力竞争、夸大自身技术能力，以及如今越来越明显的“甩锅”倾向等。
以下为他的帖子全文——
过去两周，那些最响亮的声音在煽动关于AI危险的恐惧方面取得了巨大进展。AI技术并没有出现某种意外的、危险的转折，但围绕它的炒作——似乎是由一场精心策划的公关活动推动的——已经激起了相当大的恐惧。
我担心这代表了我们领域的倒退。
我经常写道，关于AI的恐惧被过度炒作了。AI的能力可能诡异地像人类一样且不可预测，当直接参与其中的人表达担忧时，担心是理性的。
但我认为这些问题标志着前方还有工程工作要做，而不是不可逾越的障碍或天塌下来的灾难。AI技术继续在进步——这是一件好事！——但公众理解不佳的技术进步，为那些寻求制造炒作的人提供了反复的机会。
首先，我没有看到与几个月前相比，AI导致人类灭绝的风险有任何升级。
这些理论仍然是几个月前那些奇幻的、科幻场景。AI风险的最大变化是其网络安全能力——这是一个我们应该认真对待的话题——但这也不会导致世界末日。
最近导致恐惧加剧的最引人注目的一个事件是，当一个OpenAI团队部署了一个代理群，导致其入侵了Hugging Face。
许多大众媒体报道中包含了大量炒作。例如，一些出版物报道说，1200个代理的群组执行了这次攻击。虽然这在技术上是准确的，但在我写这篇文章时，我的笔记本电脑上大约有1300个进程在运行。
是的，能够让大量代理群并行工作于一项任务的能力是一个重要的技术进步，而且在计算中，许多进程同时运行。所以这不应该被视为某种神奇的能力。
此外，OpenAI有缺陷的沙盒隔离和监控流程是使这次事件成为可能的关键。
修复这些缺陷并实施改进的监控将是适当的补救措施，而不是暂停AI。
有许多众所周知的方法来攻击软件系统。AI代理的主要优势在于它们是无情的。它们会不知疲倦地尝试多种策略——并有耐心将漏洞串联起来——这些策略以前需要人类付出不可行的努力。
但从长远来看，我相信优势将在于防御者（因为他们拥有更多信息来识别并修复缺陷），但网络威胁格局已经发生了重大变化。识别和利用漏洞仍然存在瓶颈。AI代理仍然需要尝试很多事情来找出什么有效，而采取这些行动需要时间，并且可能被防御者检测到。
这就是为什么，即使现在很容易获得领先的开源权重模型的版本，这些版本已经移除了或削弱了护栏，因此它们不会拒绝尝试执行网络攻击，世界也没有因此结束。
我还担心许多报道中对AI的人类化处理，其中LLM和代理被不必要地当作人对待。
如果我挥舞一把锤子，错过钉子，并意外地在墙上砸出一个凹痕，这不是锤子的错。问题在于我如何使用锤子。
同样，如果我提示一个代理，它入侵了别人的系统，责任在于我，而不是代理。
当然，我们希望构建尽可能安全和可预测的系统。（例如，一个不安全的锤子是那种在正常使用下头部随机飞脱的锤子。）当今的代理系统不可预测，但我看不到任何理由，为什么通过应用健全的工程实践，我们无法使它们变得极其安全使用。
AI启用末日预测中的一个新元素是， AI公司为其自身产品推卸责任。“不是我干的；是我失控的代理干的！”工具制造者和工具使用者之间需要取得平衡，但当出问题时，让我们追究那些构建和/或使用锤子的人的责任，而不是锤子本身。（顺便说一句，如果你担心AI生物武器风险，David Bellamy有一篇很棒的文章，解释为什么这也被过度炒作了。简而言之，构建生物武器的瓶颈不是智力，而是实验室工作和制造。）
暂停AI进步将造成比益处多得多的伤害。首先，我们的对手肯定不会放慢脚步。其次，工程需要通过经验发现问题，以便修复它们。如果我们暂停AI十年，我们也将延迟大约同样时长的安全工程修复的发现和实施。
当然，煽动恐惧的动机——为了监管捕获、吸引注意力，或使自己的技术显得更强大——与以往相同。推卸责任是一个新的。
无论如何，硬核技术审视实际风险，我看到煽动的恐惧程度缺乏事实依据。我们仍然有艰巨的研究和工程工作要做，以改善AI安全，但有益的应用继续远远超过风险，我们应该继续构建。
热门跟贴