21世纪经济报道记者李览青 上海报道
10月20日，2026可持续全球领导者大会在上海黄浦世博园区开幕。
开幕式间隙，2007年度图灵奖得主约瑟夫·斯发基斯（Joseph Sifakis）接受了21世纪经济报道记者的采访。
面对记者“AI Agent要发展到什么阶段，人们才愿意把支付权限、银行账户的访问权交出去”的提问，斯发基斯没有给出时间表，而是给了一条判断标准：如果这项任务失败，将产生怎样的后果。
在传统系统工程里，这是一条沿用多年的规则，任务越关键，系统必须越可靠。斯发基斯坦言，应当对系统任务进行分级，真正的关键任务不建议让AI自主执行。
按“关键性”给AI设定权限
因在模型检测理论与工具方面的贡献，斯发基斯与爱德蒙·克拉克、艾伦·爱默生共同获得2007年图灵奖。他长期研究嵌入式系统与形式化方法，近十年的研究重心是可信自主系统。
斯发基斯向记者指出，AI Agent不应当是聊天机器人的升级版。
“AI Agent是一套系统，由许多不同的智能体构成。”他指出，每个智能体都是专门化的，有各自特定的任务，再由系统协调它们去完成复杂的任务。“这套架构与ChatGPT、DeepSeek等一体化系统非常不同。”斯发基斯表示，AI Agent的目标是在自主模式下提供服务，这也意味着不需要人工干预。
“这些年AI Agent被宣传得很多，有人说2025年会成为AI Agent元年，但它们在实体经济中的影响仍然有限。”斯发基斯指出，人们可以用AI Agent去整理数据，但这套系统的责任归属问题仍然限制着人们的使用，需要谨慎对待。
“这取决于决策的重要性。”斯发基斯说，传统系统工程中有一条规则，如果让一个系统在没有人工干预的情况下自主完成一项任务，那么这项任务就要按它的关键性来界定，也就是看任务失败会造成什么影响。
因此，斯发基斯认为，任务越关键，系统就必须越可靠。他把场景切成了两类：用 ChatGPT 问一个问题，不属于关键任务；但如果一个多智能体系统为金融机构做决策，或者在驱动一座智能工厂，那就属于关键类别。“对于这些关键任务，你就要提出相应的可靠性要求。”
关键决策必须有人监督
根据任务关键性的差异，同样的模型能力，在不同的位置上，对可靠性的要求也有所不同。
“如果单步的可靠性是0.99，那么每一步相乘后的可靠性就会大幅下降。”斯发基斯指出，在可靠性工程中，串联环节的整体可靠度是各环节可靠度的乘积，环节越多，乘积越小，误差会沿着步骤链条累积。
多智能体系统把这个问题放大了。“一个智能体的误差会被传递、被放大，最后得到非常糟糕的结果。”这正是他认为当下多智能体系统的问题所在。
斯发基斯给了一个参考系：对传统系统来说，关键任务所要求的可靠性，例如飞机，是10的负9次方，这相当于每飞行一小时十亿分之一的失效概率。“而这样的可靠性要求，AI系统是远远达不到的。”他表示。
“对于不那么关键的任务，我们会让 AI 自主执行；但对于真正关键的任务，我不建议让 AI 自主执行。”斯发基斯表示。
这套分级授权的思路，在斯发基斯近年的研究中一以贯之。今年7月，他在世界人工智能大会上谈及可信Robotaxi时提出“构造即安全、系统协同、运行保障”三条原则，强调系统需要持续维持安全边界。
热门跟贴