一项针对大语言模型（LLM）智能体的最新审计研究揭示了一个令人意外的现象：目前业界常用的几种逐步信用分配信号，在识别因果关键步骤时，其表现竟然与随机猜测无异。

该研究提出了一种名为“执行回放”的审计方法，旨在为LLM智能体的逐步信用分配提供因果层面的“真值”参照。研究团队将智能体在实际执行过程中产生的轨迹进行回放，以此构建出判断每一步骤是否真正关键的客观基准。

打开网易新闻 查看精彩图片

核心发现：常用信号集体失灵

在对照这一因果基准进行审计后，研究得出了颇为颠覆的结论。被广泛使用的三类信号——LLM裁判评分（LLM-judge scores）、对数概率比值（logprob ratios）以及策略置信度（policy confidence）——在识别因果关键步骤这一任务上，其准确率均未超过随机水平。

这意味着，当前许多依赖这些信号来优化智能体行为、进行过程监督或归因分析的方法，其基础假设可能并不牢固。当这些信号无法准确指出“哪一步真正导致了最终结果”时，基于此进行的模型调试和优化，其有效性便值得打上问号。

对智能体开发的影响

这项审计工作为LLM智能体的可解释性和可靠性研究提供了一个新的视角。它提示开发者，在缺乏因果真值的情况下，对现有信用分配工具的输出需保持审慎态度。研究团队通过“执行回放”构建的审计框架，也为未来评估和改进新的信用分配方法提供了可参考的路径。