一个搜索智能体为回答一道财务问题，执行了20次工具调用。哪几步该为最终答对拿功劳？结果型强化学习只在终点给一个奖励，过程监督想给每一步打分，可当检索到的上下文又长又噪、来源五花八门时，这两种做法都会失灵。

KnowGPO（Knowledge-Grouped Policy Optimization，知识分组策略优化）换了个切分方式：不按表面状态给轨迹步骤分组，而是按这些步骤已经拿到的、与任务相关的知识来分组。Chen等人的这篇论文（arXiv 2610.22331v1）给出的结果是，在知识密集型基准上，它比只看结果和过程监督两类基线高出3.8到4.2个点，一个8B模型能追平32B的开源系统。

功劳为什么难分

一条典型的深度搜索轨迹长这样：智能体接到问题“X公司三季度供应链中断对营收的影响有多大”，然后发出15到25次工具调用——网页搜索、文档检索、表格抽取、计算，最后合成答案，环境只回一个终局奖励：对或错。

结果型强化学习（比如GRPO）把这个终局奖励平均摊到25步上。不管某一步是捞到了关键的10-K文件，还是抓到一份没用的新闻稿，拿到的功劳一样多。

过程监督（GiGPO、IGPO）想给每一步单独发奖励，却卡在两种失效模式上：一是表面锚定，按观察文本或工具名分组，忽略了语义等价——两次不同的搜索都找到了同一张营收表，却被当成不同状态；二是模型内部信号，用隐藏状态或注意力模式当进度代理，在上下文又长又噪时非常脆弱。

KnowGPO绕开这两者的办法，是把状态表示成“到目前为止已满足的知识条件子集”。

知识状态怎么表示

对每个查询，KnowGPO把推导答案所需的信息拆成原子知识条件。以上面那道营收题为例：条件1，确定三季度报告期日期；条件2，取到基线营收数字；条件3，取到中断后的营收数字；条件4，算出差值。

轨迹每走一步，智能体的状态就是它已满足的条件子集。两条轨迹都满足了条件1和2、都没满足3和4，就处在同一个知识状态，哪怕它们走的工具路径完全不同。

分组机制随之而来：共享同一知识状态的轨迹归到一组，组内做两两比较来分配功劳，相邻步骤之间的知识增量就是过程奖励。也就是说，捞到关键10-K文件的那次搜索（满足条件3），拿到的功劳高于抓到一篇边缘博客的那次搜索（没满足任何新条件）。

整套流程由几个部件撑起来：知识分解器把查询变成一组原子条件；条件检查器判断某条观察是否满足某个条件，这是关键的判定器，它一噪，分组就退化；分组函数按知识状态指纹切分轨迹；优势估计器在组内比较轨迹、分配功劳，单步新增的条件数就是过程奖励。

它没解决的那块

论文没有明确处理智能体在轨迹中途检索到矛盾数据的情况。在财务搜索里这很常见：两个来源报出不同的营收数字，或者一份文件后来被修订。

在KnowGPO下可能出现几种行为：如果检查器把矛盾数据判为“未满足”，智能体会停在原知识状态直到冲突解决；如果检查器接受第一个满足条件的观察，后面的矛盾就被忽略，文中没有描述回滚机制；如果检查器要求共识或置信阈值，知识状态可能来回震荡或卡住。

这是个缺口。生产系统需要版本化的知识状态，记录哪些观察支撑了每个已满足条件，好让矛盾触发重新评估；需要置信度加权的条件，把部分满足当成连续值而非二值；还需要回滚原语，允许智能体把某个条件标记为“此前满足、现在存疑”并退回更早的知识状态。没有这些，KnowGPO就假设知识是单调累积的，这在真实搜索里很脆弱。

规模上去之后的瓶颈

论文在Xbench、BrowseComp-ZH和GAIA上做了实验，轨迹长度没写明，但典型的深度搜索基准在10到30步。规模化的麻烦有三个：条件爆炸，一道复杂财务分析可能要50个以上原子条件，分组变得稀疏，组内比较的好处被稀释；检查器延迟，每一步评估50个条件都是开销，如果检查器是一次LLM调用，代价不小；内存占用，分组要缓存整批轨迹，100步、上下文又大的轨迹并不轻松。

论文显示8B模型能追平32B系统，说明分组机制在样本效率上有优势。但实验都在深度有界的基准上。换成开放式组合分析工作流——100步以上、跨天研究——就需要分层条件（把“理解营收趋势”这类高层目标拆成子条件）、惰性评估（只在观察类型变化时检查，比如新文档取回后，而不是每次工具调用后）、分布式分组（先按查询类型或领域分片，再在片内分组）。

部署形态与新的攻击面

生产版KnowGPO有三个服务：分解器服务，接收查询、返回条件集，大概率是带缓存和微调的LLM；检查器服务，判断观察是否满足条件，结构化数据可以走规则，非结构化文本走LLM；训练器服务，收集轨迹、按知识状态分组、算优势、更新策略。延迟预算上，分解器每个查询1到2秒，是一次性成本可缓存；检查器每步100到500毫秒，是重复成本、在关键路径上；分组和训练离线批处理。检查器就是瓶颈，如果是LLM调用，得靠激进缓存或一个微调过的小模型。

它还引入了一个新的攻击面：条件检查器。如果对手能构造出虚假满足条件的观察，智能体就会因为抓到垃圾而被奖励。威胁模型包括对抗性文档（恶意网站返回含匹配关键词但内容误导的页面）、检查器提示注入（观察里夹带指令覆盖条件评估）、条件投毒（能影响分解器的人注入容易被低质数据满足的条件）。缓解手段有：用独立加固的检查器模型并严格校验输入；高价值条件要求多条观察共识；记录所有检查器决策以便审计；对生成异常条件集的查询限流。

核心判断不复杂：按智能体“知道了什么”分组，而不是按它“看到了什么”分组。但实现负担不轻，分解器、检查器、以及两者失效时的调试观测缺一不可。对金融研究智能体或长程分析任务，这笔投入大概率值；对更简单的工作流，还是用结果型强化学习，或者锚定工具成功的过程监督更省事。