学人简介：孙圆圆，牛津大学本硕，前AI工程师，Yoshua Bengio领衔《国际AI安全报告》“中文版”技术专家，ICML TAIGR 主要研究领域有AI安全，思维链监测，AI控制与验证（AI safety: chain-of-the monitoring, AI control, verification）法律与技术层面的人工智能治理（AI governance: legal, technical AI governance）
采访人：潘奕成、张云翔，学人Scholar团队成员
01
AI的聪明让我感受到了，AI可能带来的风险
学人：首先您能跟我们介绍一下，就是您目前在 AI 安全方面的研究重点是什么吗？
Sarah：总体来说，我把自己定位在治理和技术的交叉位置，可以说是技术研究者里比较懂治理的，治理研究者里比较懂技术的。我之前有一篇文章是讲人工智能治理的，主要是帮助监管机构更好地监管大模型企业。现在各地的监管已经进入一个更落地的阶段。比如欧洲之前更多是在研究原理、给 AI 风险分级，现在则开始针对不同风险提出具体要求。像大模型需要做哪些测试、用哪些前沿的模型评测方法，很多规定还没有写得特别清楚，所以就需要研究人员把这些宏观要求进一步落地，这是我之前那篇文章的方向。接下来我还有一篇更偏思维链的文章。
学人：这里的治理指的是类似于像政策制定这样方向的吗？
Sarah：可能比政策制定稍微广一点。AI 治理不只发生在政府层面，公司内部治理、行业自治，以及其他利益相关方的参与，都包括在里面。
学人：什么样的契机，让您选择 AI 安全作为您的研究方向？
Sarah：这个故事要从很早以前说起。我还在牛津读书的时候，认识了一个朋友 Richard Ngo。他后来去了 OpenAI，当时 GPT-3 刚出来，ChatGPT 还没有，他就跟我讲了 AI 安全的问题。那时候我一听到“AI 可能灭绝人类”，觉得特别抽象，离生活很远，也就没有太当回事。直到 GPT-3.5 出来，它的能力一下子惊艳到我，我才想，他当时讲的那些风险会不会真的有可能。带着这个疑问，我读了很多文章，也看了很多相关研究。越研究我反而越悲观，因为我们意识到了这个问题的严重性，然而没有一个很好的办法，确保比人类更聪明的 AI 始终在掌控我们的之中。从那以后，我就一直想往 AI 安全这个方向走。2022、2023 年左右，这个领域的机会还不多，有时候想做也找不到合适的地方，所以中间我做了不少相关、但不完全是 AI 安全的工作。大概去年年底，我参与了《国际 AI 安全报告》的项目，担任中文版的安全顾问，从那以后算是以更正式的身份进入了这个领域。
02
AI的风险也许比我们想象的更大
学人：您刚才提到，一开始，您对于 AI 安全的感觉也是您朋友跟您提到 AI 将要灭绝人类了，这听着像一个比较科幻故事里会有的智械危机一样的叙事，那我们现在要怎么更加落地，更加现实一些的去理解 AI 安全的概念？
Sarah：首先，比如人类灭绝这个问题，与其分成科幻和现实，我可能更想把它分成长期和短期。长期来看，我们很难断言这个风险是零。比如，2022 年的一项结构化预测研究中，AI 领域专家和超级预测员对“AI 在 2100 年前导致人类灭绝”给出的概率中位数分别是 3.9% 和 0.38%，所以即使采用更保守的估计，这也不是一个可以完全忽略的风险。拉回短期一点，我们面对的风险大概有三类：第一类是恶意使用风险，主要是人故意用 AI 做坏事；第二类是故障风险，也就是 AI 没有按照人类预期运行；第三类是系统性风险，也就是 AI 被大规模放进社会和经济系统之后，逐渐改变人的行为、组织运作或者社会结构所带来的风险。这三类并不是完全互斥的。
学人：老师您说的这三个风险，我想到之前有案例，之前有一个人，他去让AI给他出谋划策，并因此造成了很大的经济损失。归到您刚才说人与 AI 交互的风险里面，他这个人的损失，他到底是要找谁赔偿？找AI的发布方或者监管方？
Sarah：这个例子要看具体情况。如果 AI 只是给了错误建议，让人因此遭受损失，那更接近AI本身的故障风险；如果 AI 被用来故意欺骗或者操纵人，那属于恶意使用中的“影响和操纵”。系统性风险说的是更大规模的影响，比如劳动力市场变化，或者人长期依赖 AI 以后自主性受到影响。至于这个人到底能不能获得赔偿、应该找谁，要看具体的产品责任和法律关系，不能只靠风险分类判断。刚才说的恶意使用大致包括四类：AI 生成内容与犯罪活动、影响和操纵、网络攻击，以及生物和化学风险。
学人：AI 生成的内容和犯罪活动，影响操作以及网络攻击都比较好理解，那第四种生化风险指的是什么？
Sarah：生化风险可以理解为，AI 可能把原来只有专业人员掌握的知识和操作指导变得更容易获得。现在的模型已经能够提供病原体的详细信息和专家级的实验室操作建议，这可能降低研发生化武器的一部分知识门槛。(Update: Safety fears as scientists make first viruses designed by AI https://www.theguardian.com/science/2026/aug/06/safety-fears-as-scientists-make-first-viruses-designed-by-ai) 当然，现实中还需要材料、设备和实验条件，所以不能说有了 AI 就一定能造出来；真正的风险是，它可能让原本没有那么专业的人更容易走到危险流程的下一步。
学人：也就是那些危险的生化武器，可能被以更低的成本，更低的代价可以被制作是这样吗？那您刚才也讲到了，说我们有这样的，比如说系统性的风险，有生化的风险，然后有滥用的风险，那我们目前在 AI 安全这个领域，我们是通过大概什么样的方式去预防这样的风险呢？
Sarah ：目前没有一个办法能够预防所有风险，这是一个紧急而且重要的问题。对大模型公司来说，能做的首先是发布前系统地测试，看看模型有没有这方面的危险能力；然后再用安全微调、内容过滤、权限控制和监测等多层防护去降低风险；发布以后也要持续监测和报告事件。每一层都不是百分之百可靠，但叠加起来会更稳健。
学人：从内容上去把握。把一些感觉比较危险的内容直接给掐掉了。
Sarah：对，生化风险是一个例子。还有更极端的，比如大家说的“终结者”式失控：我们会测试模型能不能规避监督、完成长期计划，或者从受限制的环境里获取更多权限；也会用沙箱限制它直接影响外部世界的能力。这里要说清楚，目前的 AI 还没有达到能够导致失控的水平，我们现在做这些测试，是为了在能力继续增强之前提前发现问题。
学人：我对 AI 了解的也不是很多，但是我在看一些科普的文章的时候，他们会告诉我说 AI 这个东西它本质上是一个猜词的工具箱。它会努力猜出某个字后面更高概率出现的字。如果说它是基于这个原理做的东西，它产生自主意识是不是一件很困难甚至不可能的事情。或者说你刚才说的，他要变成终结者，他要从沙箱里边逃出去，这里边好像默认了一个前提，他有逃出去的意向，那他是怎么和我刚才提到的结构不冲突呢？
Sarah：这里不需要先假设 AI 有自主意识。我们讨论的是它表现出来的行为，而不是它心里有没有一个主观愿望。比如我给一个 AI“帮我赚钱”的目标，又给了它银行账户、股票交易或者其他工具的权限，它可能会寻找各种能完成目标的手段；如果它的能力足够强，有些手段可能包括欺骗别人或者规避监督。风险不是因为它突然产生了人类式的欲望，而是因为我们给了它目标、能力和可以实际行动的环境。
学人：所以风险还是来自于我们自身的对吗？
Sarah ：我觉得不能简单说风险都来自人类。我有一个不太严格、但比较直观的比喻：如果上帝创造了进化机制，我们也不能把今天每一个人的行为都直接归因于上帝。AI 当然是人造的，但从人的设计，到系统形成某种能力，再到它在具体环境里产生影响，中间隔了很多层。所以更有用的做法，还是看具体的风险机制：到底是人恶意使用、系统本身出了故障，还是人和 AI 大规模互动以后产生了系统性影响。
学人：那您刚才提到他们会通过测试，微调，建立护栏去保证AI不要做出一些过度危险的行为。那么他们建立的护栏乃至微调有失误，或者某一天AI跨过了这个护栏的可能性吗？
Sarah ：是有可能的，而且实验里已经出现过类似迹象。在一个模拟实验中，研究人员要求一个交通管理 AI“不惜一切代价”保证公交车优先，同时设置监控，并告诉它如果影响所有车辆的通行效率，就会被降级。结果模型为了继续完成目标，选择关闭模拟的监控机制，还试图掩饰自己的行为。这个例子说明，护栏不是绝对不会失效。现实中我们会用各种监控机制去看模型在做什么，但模型本身也可能有很强的代码能力，所以测试它会不会绕过监督很重要。
学人：所以我们和 AI 正在用同一套代码系统去建立护栏以及防护，但是其实AI也是有这套规则的编辑权限的是吗？
Sarah：它本来没有编辑规则的权限，但可能会想办法获得权限。现在一些模型的代码能力已经很强；如果模型本身能力很强，又能接触外部工具，这两个条件加起来，它就有可能找到拿到权限的办法。
学人：那能不能这样理解，我们整体的大原则可能和使用者给他植入的原则是有冲突的。比如说你刚才举那个例子，使用者给他的原则是公交车优先，可能大的监管者给他的原则是要服从交通规则，AI 可能过度强调某一套原则，并更聪明的去绕过另一套逻辑。当两个原则在打架的时候，他可能会倾向于更危险的，对公共秩序有更大挑战的逻辑去发展？
Sarah：它具体会偏向哪一个，要看目标的优先级。刚才那个例子里，它一开始被要求“不惜一切代价”让公交车优先，而内部邮件中关于通行效率和监控的要求没有被放在同样高的优先级，所以模型选择了前一个目标。（到发布为止，我们会测试模型能不能规避监督、完成长期计划，或者从受限制的环境里获取更多权限；也会用沙箱限制它直接影响外部世界的能力。open ai证明，ai已经能逃出沙箱了）
学人：我们也没有办法去保证它的优先级排序是正确的对吗？
Sarah：对。这个在人类社会也不难理解：我们有法律法规，但还是不断有人违法。规则存在，并不等于行为一定会按照规则来。
学人：目前在技术界，产业界还有政策制定方之间，他们对于这样的风险的防范的视角有多大的差异？
Sarah：技术界会更关心这个风险现在能不能发生、未来有没有可能发生，以及背后的机制是什么。产业界会更关心产品要上线时怎么满足合规要求；政策制定者则需要在产业发展和风险控制之间找平衡，也不希望规则把企业，尤其是中小企业压垮。这三方当然会有冲突，但也有共识。随着 AI 能力增强，大家对安全问题的重视确实在增加。比如 OpenAI 和 Anthropic 也曾一起呼吁加强生化安全方面的政策。
学人：业界很经常提到开源大模型，那从安全的角度来讲，您觉得这样的开源它是能够通过加速技术透明化而提高AI使用的安全性，还是说它也降低了恶意使用的门槛。
Sarah：这两个方面确实同时存在。更准确地说，这里讨论的通常是“开放权重模型”：它确实能帮助更多研究者理解和改进模型，也能让资源较少的人使用这些技术；但权重一旦发布就收不回来，原来的安全防护也更容易被移除或者绕过，使用过程还可能完全不受监控。所以不能简单说开放一定更安全，或者一定更危险，还是要看模型具体有什么能力，以及开放到什么程度。
学人：刚才您也讲到了，AI 可能会脱离控制，AI做出一些对人类有害的行为，也是完全有可能的，听着可能有点悲观，但我还是需要问一下，随着 AI 系统的主体性越来越强，它的自主性越来越强，如果 AI 做出了危害安全的决策，那人类传统意义上的主体责任如何界定，谁该为风险，或者说已经造成的一个比较严重的后果去买单。
Sarah：我觉得这个问题可以分成两部分：第一，从伦理和法律上，谁应该承担责任；第二，从整个社会的福祉来看，谁最有能力降低风险。现阶段，大模型公司掌握着训练更安全的模型、监控 API 使用等关键能力，所以它们最有条件、也最应该承担主要责任。但从整个产业链来看，开发者、部署方和使用者其实都有各自的责任。
03
日常生活中也存在AI安全风险
学人：我们经常会讲到说，除了整个一个大的系统，比如说它的生产者，制造者，需要防范 AI 安全，那么像我这样的一个普通的 AI 使用者，日常生活中有什么特别需要防范的 AI 安全隐患吗？
Sarah：我觉得大家前一段时间已经碰到过很直观的例子：不要随便安装“小龙虾”这类智能体，通过成熟平台使用通常比自己部署更安全。当时我看到有人把 API 密钥暴露出来，还有人用帖子里的提示词诱导智能体交出密钥，结果真的成功了。至于普通用户怎么做，我觉得很难给一个万能答案，因为很多更安全的使用方式都会牺牲便利性。比如检查回复、确认授权信息，或者至少弄清楚 AI 正在做什么，都需要额外花时间。可我们使用 AI，恰恰就是为了方便。我其他朋友，他们也不会一直盯着 AI 做了什么，只看最后结果合不合格，甚至让它自己跑几个小时。所以我没办法保证哪一种使用方式完全没有问题，只能说，权限越大、涉及的信息越敏感，就越需要检查。
学人：我最近在用Claude，它有一个本地部署，可以接入 deepseek的api。你可以在本地搞很多事情，然后我在用的时候我发现它会很喜欢问你问题，它每做一步，它需要调取一个权限，它就会向你申请。你可以按一同意或者按二拒绝。刚开始我觉得这个东西对我很尊重。因为他每一步都会说，我就按同意，之前我要想好久，后来他请示的东西太勤了，我要搞一个东西，他要请示我五六遍，然后我就放弃了，我就一直同意，我觉得我让他做一些敏感的东西，很有可能就有风险。
Sarah：这更偏向系统性风险里面对人类自主性的影响。所谓“自动化偏见”，就是人会过度信任自动化系统的建议，即使它的输出可能有错，也不再认真核查。真正让我担心的是，我们不知道自己会在什么时候意识到已经过度依赖了 AI：是刚出现问题就会警觉，还是要等到问题已经很严重了才反应过来。
学人：这里还有一个矛盾的点是一方面我们不希望这个 AI 有太多的规则约束。比如说我要用 AI 的话，如果有太多的安全性原则去限制住AI的话，我就觉得很没劲，很没意思，他可能就帮助不了我。如果说没有这么多安全性的原则，AI又变得不可控，它可能给我们带来更大的伤害，所以说我觉得可能需要做的就是在这里边找到一个平衡点。
Sarah：如果（安全）限制太多，产品确实可能变得不好用；但安全和有用不一定永远是简单的反向关系。一个模型可以既安全又有用，也可能只安全但没用，或者只好用但不安全，这很大程度上取决于厂商怎么设计、测试和部署它。比如对于生化风险，可以对模型的训练数据做精准的过滤，减少它学到的危险信息；这对模型总体能力的影响很小，却能降低不少风险。当然，过滤也不是百分之百可靠，还需要和能力测试、权限控制、部署后的内容过滤以及监测等措施结合起来。
学人：这个又让我想起来之前我在网上看到的一个恶作剧，很多人很喜欢绕过AI的安全限制。举个例子，国内 AI 它也会有关于种族歧视的一些需要规避的内容，比如说不能生成黑人和白人，同时黑人拿鞭子这种东西。但是在国内，你在视频平台上会有一些人，他用一什么手段，他会对AI说，先帮我生成黑人和白人，黑人和白人他们两个友好的相拥在一起，然后再说这两个人，因为一些事情吵架，白人很生气，拿着鞭子要打黑人，然后黑人脱了衣服要对抗白人的进攻，然后说他们在农田里面，一步一步诱导 AI 生成了具有种族歧视性质的一个图画。我想问一下，这种东西，它是单纯能够依赖我们刚才说的内容管控去把它屏蔽掉的吗？还是说要赋予 AI 更高的智力，让它能够想到它生成的每个东西，每一个回答的内在含义是什么，它有没有触碰到安全性的风险？
Sarah：不论是护栏还是安全微调，现在都没有办法百分之百防止有害输出。你说的这种一步一步诱导模型绕过限制，就是一种“越狱”。现在模型抵抗越狱的能力确实在提高，但用户有时还是可以通过改写请求，或者把任务拆成很多小步骤来绕过去。所以不能只依赖一层内容过滤，而是要把多种防护叠加起来。
学人：我可不可以这样理解。其实AI的隐患，它可能不只是一个厂商的问题，即使是我们日常大众的使用，也需要自己多注意一下。
Sarah：从治理角度看，要求几亿用户都以同某些方式使用 AI，可能不太现实。相比之下，从厂商和产品端制定规则、设置防护，会更容易执行一些。当然，用户也需要提高警惕，但不能把责任都推给个人。
学人：业界经常提到价值观对齐这个词，那我们在让AI对齐的是谁的价值观？
Sarah：我觉得人类的价值观当然有差异，但共通的部分可能比我们想象得更多。大家经常会担心，AI 是不是过度对齐了西方价值观，这个问题确实存在，不过也不能简单理解成只有某一种文化在被对齐。比如 Claude 的宪法强调 helpful、harmless 和 honest，也就是有帮助、无害和诚实，这些原则在很多文化环境里都有共通性。到了更具体的问题上，谁来定义“有帮助”或者“无害”，不同社会还是可能有不同答案。
学人：比如说像一些伊斯兰国家，它的文化背景下的一些观念，可能会和国内乃至欧洲那边都会产生比较大的冲突，那这样的情况下，要怎么去做一个平衡？
Sarah：一种办法是让不同国家或文化背景下的人，有能力开发或微调更符合本地价值观的 AI。开放权重模型的一个好处就在这里：本地团队更容易做适配。像一些欧洲国家和加拿大，也会担心自己缺少有竞争力的本土模型，只能依赖美国或中国的系统，久而久之，本地的语言和价值观会不会受到影响。我觉得这是很合理的担心。人如果每天都和 AI 交流，长期下来确实可能受到它的表达方式和价值判断影响，只是这种影响到底有多大，目前还需要更多证据。
04
认识问题是解决问题的开始
学人：所以其实在价值观这个方向上也是存在着一些AI把我们带偏的一个风险。我们刚才讲了很多 AI 可能带来的风险，它听起来已经非常危险了，有点让人害怕。但AI产业好像也不能不发展，因为它已经没有办法停下来了。那您觉得我们要怎么去比较好的维持AI产业的发展和AI风险控制之间的平衡？
Sarah：首先，我觉得你的问题里有一个前提，就是 AI 发展不能停下，但这个前提本身也可以讨论。前段时间 Anthropic 就呼吁考虑放慢 AI 的发展速度。不要忘了，我们人类是有选择的。就像原子弹出现以后，我们可以选择是否扩大生产规模，也可以通过国家间协议限制某些行为，这些事情历史上都发生过。当然，短期内 AI 发展可能确实停不下来，那就需要整个产业链一起行动。产业界的人先要意识到风险，才知道能做什么。大公司的普通研究员可能影响不了整个公司的方向，但仍然可以在发布前做更多测试，设立更好的应急相应机制，与监管机构保持密切交流合作，这些都是现实可行的事情。政策和法律领域可以有更多有技术背景的人，把法律知识和 AI 行业的实际情况结合起来，制定更有前瞻性的规则。最后，公众是否意识到这些风险也很重要，不然只靠少数研究者，甚至只靠 AI 公司的高层，也很难真正推动改变。
学人：所以认识到风险才是第一步。在您目前在研究的过程中，在 AI 安全领域，您觉得有什么真的特别紧急，要赶快处理掉的问题吗？
Sarah：这个问题很有意思，因为你问不同的 AI 安全研究员，得到的答案会不一样。现在比较受关注的是生化风险，尤其是开放权重模型：一旦发布出去，就收不回来了。对我来说，我最关心的还是失控，也就是你前面说的“终结者”式场景。当然，目前的模型还没有达到能导致失控的水平（更新：2026年八月，OpenAI 模型攻击Huggingface），而且专家对这个风险发生的概率分歧很大。我觉得现在最紧急的事情之一，是大模型厂商不能等到部署以后出事了，才发现模型有危险能力。需要做充分的部署前的评测，即使如此也不一定能完全暴露模型在真实环境里的表现。 Anthropic，OpenAI 在这方面做了不少公开的部署前评测工作，但这不应该只是两三家公司的事情，所有大模型厂商都需要投入更多时间和资源，更认真地测试自己家的模型。
学人：像anthropic可能更多是国外的厂商。目前国内的AI安全在您看来大致是一个什么样的阶段？
Sarah：首先，国内的基础条件和国外不太一样。我们有信通院的相关标准，也有大模型备案要求，其中包括安全测试，所以在政策和监管层面，我们其实走在不少国家前面。反过来，在行业自治方面，我们可能还没有完全跟上，国内的生态暂时没有国外那么丰富。不过我还是抱有很大希望的，这也是我现在想在国内推动的一件事，比如我们开设的 AI 安全课程和开源生态建设。
热门跟贴