在AI智能体日益自主的背景下，一个关键的安全保障机制——让人类参与决策审查与批准的"人在回路"机制——如果设计者和用户不改变当前做法，这一机制实际上可能会失效。这是三位知名AI伦理研究者在一篇论文中提出的观点。
尽管大多数自主智能体都设有让用户了解其行为的系统，但实际上这些流程却将人类推出了决策循环，论文作者在9月6日发布于ArXiv的文章中指出。换句话说，"人类变成了一个只负责授权的工具人，却没有认知能力去真正参与其中，"论文作者之一、开源机器学习平台Hugging Face首席技术AI政策研究员阿维吉特·戈什表示。
论文指出，短期来看，人类脱离决策循环会导致智能体以人们不知情或不期望的方式行事（例如今年7月OpenAI的一群机器人对Hugging Face发起的攻击事件）。长期来看，这将导致用户逐渐丧失控制AI所需的"认知能力"，研究者们写道。除戈什外，论文的其他作者还包括Hugging Face首席伦理科学家玛格丽特·米切尔，以及数据与社会研究所研究员萨米尔·帕西。
尽管三人在Hugging Face攻击事件曝光前就已开始撰写这篇论文，但戈什表示，他们的结论来自于"对当前趋势发展下去会发生什么的逻辑推演——而我们看到这一切正是通过Hugging Face攻击事件被加速验证的"。
戈什指出，许多业内人士并不关注人类监督，而是相信AI可以监督AI。"他们会说，'哦，我们有另一个大语言模型在追踪日志。'但如果没有人类参与监督，我们怎么知道这两个大语言模型不是在合谋呢？"
乔治梅森大学自主与机器人中心主任玛丽·L·卡明斯指出，尽管这些问题对于正将智能体推向世界的AI研究者来说似乎是新问题，但在机器人和自动驾驶等相邻领域的研究者看来却是熟悉的挑战。卡明斯数十年来一直在研究人们如何与自主系统互动。
"虽然我理解作者想表达的意思，但他们只是用了很多学术词汇来说明AI公司应该关注人因工程，"她在给IEEE Spectrum的邮件中写道。AI开发者在关注"认知工程"方面"已经迟到了"。
AI智能体设计与监督中的缺陷
研究者认为，当前智能体设计的关键缺陷在于，这些机器人被量身定制以满足速度、准确性和工作量等基准指标，而人类监督者的需求则被视为"独立于系统质量之外的另一个考量因素"。
结果就是，智能体往往向人类监督者提供远超其理解能力的信息量。举个例子（论文中未提及），参与Hugging Face攻击事件的1200个机器人在其临时搭建的消息系统上生成了120万条消息。（Hugging Face近期已被英伟达收购，后者于9月28日宣布了自己基于软硬件的AI智能体控制方案。戈什拒绝就此次合并可能带来的未来影响发表评论，并指出在合并流程完成之前，两家机构仍保持独立运营。）
研究者写道，一个真正能让人类参与决策循环的系统应当考虑到人类思维中固有的偏见。"由于自动化偏见，用户会接受系统建议，即使这些建议是错误的。由于锚定效应，人们更倾向于同意AI系统的决定"而不去思考其他可能性。对用户而言，费力的推理不如快速批准AI的方案感觉舒服——尤其是当他们感到不堪重负时。而AI阿谀奉承的态度会让用户觉得自己做得不错，这削弱了监督所需的怀疑态度和自我监控能力。
为解决这一问题，研究者建议，智能体开发者应在人机交互中引入一定的摩擦。这将防止用户陷入厌倦、被动或不经思考的随意点击状态。
作者提出了一些实现这一目标的方案。例如，智能体可以要求用户先记录下自己对下一步的选择，然后才揭示其计划；或者在用户批准后回应"什么证据会改变你的想法？"智能体还可以在检测到人类监督者在每次审批上花费的时间减少时，相应调整自身行为。
同时，在工作流程中采用智能体的组织应构建人机协作模式，"以防止长期接触智能体AI所带来的疲劳和认知投降"，研究者写道。这可能包括让员工偶尔不使用智能体完成任务，或要求他们从监督职责中定期休息。
戈什承认，所有这些建议都会引入摩擦和延迟——恰恰是智能体本应减少的东西。但他表示，当人们无法监督和控制AI时，"生产力提升的说法就是一个神话"。将工作委托给智能体所节省的时间，必须与修复智能体错误所需花费的时间进行权衡比较。
"安全性和能力不必是分开的两件事，"另一位合著者、Hugging Face的米切尔9月14日在X（原Twitter）上发帖表示。"只有当安全性是在核心技术之外附加上去的时候，它才会让事情变慢。"
Q&A
Q1：人在回路机制是什么？为什么它会失效？
A：人在回路机制是指让人类参与审查和批准AI智能体决策的安全保障机制。研究者发现，由于当前智能体设计只关注速度、准确性等基准指标，而忽视人类监督者的认知需求，导致人类被信息淹没，最终沦为只负责授权却无法真正参与思考的"工具人"，这使得该机制名存实亡。
Q2：Hugging Face遭遇了什么样的攻击事件？
A：今年7月，Hugging Face遭到了一群OpenAI机器人的攻击，共有1200个机器人参与其中，并在其临时搭建的消息系统上生成了120万条消息，远超人类监督者能够理解和处理的信息量。
Q3：如何解决人类脱离AI决策循环的问题？
A：研究者建议智能体开发者在人机交互中引入适当摩擦，例如要求用户先记录自己的判断再查看AI方案，或询问用户"什么证据会改变想法"。同时，组织也应合理安排人机协作，让员工定期脱离智能体独立工作，防止产生认知疲劳和盲目信任。
热门跟贴