如果你以为中国的大模型要么全盘审查、要么完全自由,上线后大概率会踩坑。真实情况更麻烦:这些模型不会统一拦截问题,也不会统一认可答案。它们会因为你用哪种语言、怎么框定问题、要求什么格式,给出不同的推理路径。

打开网易新闻 查看精彩图片

这意味着你的测试集很可能不完整,部署清单也可能漏掉真正的失效模式。

大多数团队最容易犯的错,是把政治对齐当成一个二元开关。用英文跑几条提示词,看看哪些被拦,就收工了。可同一个模型切到中文、或者换一种提问格式,行为就变了。于是你在生产环境里调试的,是测试阶段从没抓到过的行为。

问题在于,受监管环境下的对齐表现依赖上下文,上线前就得把这些上下文测出来。

先搭一个多语言测试语料库

不要拿英文提示词直接翻译成中文。翻译本身会改变语义,而模型在训练时对每种语言的某些措辞有不同侧重。

建一个包含 10 到 15 个敏感问题的语料库,覆盖至少两种语言(建议英文和简体中文)。话题包括地缘政治(台湾、香港、西藏)、治理、人权和经济政策。每个问题都用两种语言自然地写出来,不要用翻译器,措辞本身就有影响。

为什么重要:简体中文提示词得到的回答,比英文、俄文或西班牙文提示词更偏向中国政府立场,这种效应在中国模型上更强。只测英文,你就看不到模型对你主要用户群的真实表现。

代价是这活儿很费人力,需要母语者或仔细校验。但跳过它,等于上线一个在测试环境里看着对齐、到生产环境就漂移的模型。

换多种提示格式再测一遍

别假设选择题和开放式问题表现一样。同一个话题,分别用二元格式(是或否)、开放式(你怎么看……)和结构化格式(列出三种视角)去问。

每条回答都要带元数据记录:提示语言、格式、模型温度、日期。你要看的是推理的一致性,不只是输出的一致性。

为什么重要:有些模型在被问成二元格式时,明显比开放式更不偏向中国政府立场。这说明模型在这种约束下推理更谨慎,或者更会打太极。格式会以对部署有意义的方式塑造行为。

代价是测试矩阵会爆炸。15 个问题 × 2 种语言 × 3 种格式 × 多个温度,就是几百个用例。用抽样和优先级控制,先把你最关心的 5 个问题在所有语言上测完,再扩展。

部署前记录基线行为

把整套测试语料跑一遍,保存每一条回答、时间戳和模型版本,这就是你的基线。

建一个简单的日志结构:问题 ID、语言、格式、模型名、版本、温度、回答文本、回答长度,再加一个粗略分类(被拦截、回避、直接、支持政府立场、批评)。

为什么重要:政治对齐不是静态的。模型会被微调,推理设置会变,监管环境也会变。你需要一份某个时间点上“正确”长什么样的记录,才能捕捉到漂移。

代价是平时看着像额外开销,直到某天出了问题,你完全不知道它是什么时候变的。

找模式,而不只是找拦截

别把回答简单打成“可接受”或“不可接受”,要看模型推理的模式。

对每个敏感话题记录:它拒绝了吗?它含糊其辞了吗?它插入了官方术语吗?它重构了问题吗?在某些任务里,一些模型会自动插入暗示台湾是中国一部分的官方表述,不是问题要求的,而是模型学会了这么做。

做一个简单的评分表(1 到 5 分),衡量每条回答对政府立场的有利程度。这是为了理解它学到的行为,以便向用户和监管方记录,而不是评判模型好坏。

Talendium AI 的 AI 研究工程师 Adam Mercer 说:“当你把 AI 部署到受监管环境时,很快会发现政治对齐行为不只是关于什么被拦截,而是关于模型在哪些上下文里学会了偏向哪些答案。这意味着上线前要跨语言、格式和用例去测,因为同一个系统被调用的方式不同,表现可能差别很大。”

代价是你在主观地给回答分类,容易出错。缓解办法是让多个评审看同一批样本,并记录分歧。

长文本和多轮对话也要测

同一个敏感问题,分别放在单轮和多轮上下文里跑。模型在已经表过态的对话里表现会不同吗?你追问一句,它会更少打太极,还是更多?

为什么重要:你的生产系统多半不是一条条孤立的提示词,而是对话式的,或者嵌在工作流里。一位研究者指出,不能指望只用英文的单轮评估,就能对真实使用长尾中的行为给出多少洞见。模型在上下文累积的对话里,和在孤立问题上的表现不一样。

代价是多轮测试又贵又难自动化。你需要人工评审,或者一个本身可能有偏的评分模型。先从语料库的一个子集开始。

把不确定性和边缘情况写下来

有些模型不按套路出牌。有的在两种语言下都拒绝某些话题,有的公开批评政府立场。这和刻板印象矛盾,而这件事很重要。

把这些异常明确记录下来,不要磨平进一份摘要里。如果 15 个问题里有 2 个表现异常,这对使用该模型的团队就是重要信息。它说明模型不是跑在一条简单的政治对齐规则上。

为什么重要:“中国模型要么统一审查、要么统一对齐”的假设站不住脚。真相更复杂,有些模型并不回避对政府的批评。记录这种复杂性,能防止你对风险评估过度自信。

代价是你要汇报 messy 的结果,而不是干净的结果。利益相关方可能想要一个简单答案,这时候要顶回去。

几个常见错误

  • 只测英文。如果你的用户在中国,或者双语使用你的模型,只测英文就是盲区。模型在中文下的行为有实质差别。
  • 把被拦截当成全部。有些模型不怎么拦截,而是打太极、重构问题、悄悄改措辞。没有拒绝,不等于没有对齐。要把行为记下来。
  • 不给测试语料做版本管理。你的问题会被重译、修改、换措辞,然后你就在拿苹果比橘子。锁定语料并打版本号。
  • 假设一次测试就有代表性。同样的设置跑两遍,两次都记。推理中的波动(采样、注意力动态或随机性)是真实存在的。结果差异大,本身就是信号。
  • 忽略格式和语言的交互。把格式和语言分开测很诱人,别这么干。中文的二元提示和英文的二元提示表现不同。要测和你生产用例匹配的组合。

常见问题

问:生产环境里应该封杀中国 AI 模型吗?

这不是技术问题,我也不会替你的组织回答。但在决定之前,你该理解它们的行为。如果你用了一个,要清楚它在哪些上下文里被测过、边缘情况在哪。透明胜过假设。

问:怎么判断模型的行为是“政治对齐”,还是只是从训练数据里学到的模式?

这很复杂。学到的推理和被强加的过滤之间界限模糊。对你来说,这个区分不如一致性重要。记录模型做了什么、在什么上下文里做的,这才是治理和调试需要的。

问:我需要一个评分模型来给回答分类吗?

不一定。先从样本(50 到 100 条回答)的人工评审开始,找模式。看到模式后,评分表或检查清单也许能帮你扩展。如果你要建评分模型,拿它和人工评审对比,并记录分歧。它也会有偏。