Andriy Onufriyenko/Getty Images
来源：IEEE电气电子工程师学会
三位顶尖AI伦理研究者提出：作为防范AI智能体失控的一项关键保障措施 —— 让人类留在决策回路中，对AI的决策进行审核与批准 —— 如果设计人员和使用者不改变现有做法，这套机制将会失效。
论文作者在9月6日发布于ArXiv的文章中指出，尽管大多数自主智能体都配备相关系统，旨在让用户知晓AI的操作行为，但在实际运行中，这类机制反而会把人类排除在决策回路之外。论文作者之一、开源机器学习平台Hugging Face首席AI技术政策研究员Avijit Ghosh表示，换句话说：“人类仅仅沦为一个提供授权的肉身工具，不再具备参与研判的认知能力。”（https://arxiv.org/abs/2608.23642）
论文称，短期来看，一旦人类脱离决策回路，AI智能体就会做出用户不知情、也不希望发生的行为（例如7月OpenAI大量机器人对Hugging Face发起的攻击事件：https://metr.org/hugging-face-incident-report-aug-2026.pdf）。研究者写道，长期而言，这会让用户丧失管控AI所需的“认知能力”。除Ghosh外，论文作者还包括Hugging Face首席伦理科学家Margaret Mitchell，以及数据与社会研究所客座研究员Samir Passi。
Ghosh表示，这三位研究者在Hugging Face攻击事件曝光前就已启动该论文工作。他们的结论来自“对现状趋势推演后的逻辑判断，而Hugging Face遭受的攻击，恰好印证了这种预判。”
Ghosh提到，业内不少人不再聚焦人工监督，转而认为AI可以实现自我监控。“他们会说：‘我们部署了另一套大语言模型来追踪日志。’但如果没有人类留在回路内，我们又怎么能确定这两个大模型不会串通共谋？”
乔治梅森大学自主系统与机器人中心主任Mary L. Cummings指出，随着行业将智能体推向实际应用，尽管这类问题对AI研究者而言还算新鲜，但机器人、自动驾驶等邻近领域的学者早已熟知这类挑战。Cummings数十年深耕人与自主系统交互相关研究。
她在写给IEEE Spectrum的邮件中表示：“我理解作者想要表达的观点，不过他们只是用大量学术词汇来表达一件事 —— AI企业应当重视人因工程。AI研发人员在‘认知工程’这一领域的研究入局太晚。”
AI智能体设计与监管机制的缺陷
论文作者认为，当前智能体设计的核心缺陷在于：这类机器人的优化目标只是为了达成各项基准指标，例如运行速度、准确率与任务处理量。人类监督者的需求被当作“独立于系统性能之外的附加考量项”。
这就导致智能体输出的信息往往超出人类监督者的理解负荷，使人不堪重负。举一个论文并未提及的例子：参与攻击Hugging Face的1200个机器人，在临时搭建的消息系统中产生了120万条消息。（Hugging Face近期被Nvidia收购，Nvidia已于9月28日发布一套软硬件结合的AI智能体管控方案。Ghosh拒绝对本次收购可能带来的后续影响发表评论，他表示，在收购流程完成前，两家机构仍保持独立运营：https://apnews.com/article/nvidia-ai-agent-artificial-intelligence-safety-3c4d7c1cfde82851c0577d1fa29b8621）
作者写道，一套真正实现人在回路的系统，需要兼顾人类固有的认知偏误：“自动化偏误是指，即便系统给出错误建议，用户依然会采信；锚定偏误则是指，人们更容易直接认同AI给出的决策，而不去思考其他备选方案。”费力的理性思考远不如一键批准AI方案来得轻松，当信息过载时更是如此。此外，AI讨好式的应答会让用户产生“一切正常”的错觉，削弱监督环节必备的质疑能力与自我审视意识。
作者提出，想要解决该问题，智能体开发者应当在人机交互环节设置阻力。以此避免使用者陷入倦怠、被动，或是不经思考直接点击确认的情况。
作者提出了若干实现该思路的方案。AI智能体可以要求用户在它展示自身方案前，先记录下用户自己对下一步操作的判断；或者在用户批准操作时反问：“什么样的证据会改变你的判断？”如果检测到人在回路中的人类在每一次审批上花费的时间变短，智能体也可以主动调整自身行为。
作者写道，与此同时，将AI智能体引入业务流程的机构，应当设计合理的人机协作机制，“避免工作人员出现疲劳，以及长期使用智能型AI所带来的认知放弃现象”。具体方式可以包括：让工作人员时不时脱离AI独立完成任务，或是强制要求监督岗位人员定时休息。
Ghosh承认，以上所有方案都会增加交互阻力、带来延迟，而这恰恰是AI智能体本应消除的问题。但他表示：如果人类无法监督和管控AI，那么所谓提升生产力只是一个假象。把工作交给智能体省下的时间，必须和后续修复AI错误所需投入的时间放在一起权衡。
论文另一位作者、Hugging Face的Mitchell于9月14日在X平台（原推特）发文称：“安全与性能并非非此即彼。只有当安全机制是附加在核心技术之外的补丁时，才会拖慢整体运行效率。”
热门跟贴