智猩猩AI整理
编辑： 没方
随着Coding Agent从简单的代码补全走向长时间自主执行任务，模型需要不断读取文件、修改代码、运行测试并分析反馈。
任务越复杂，交互轮次越多，大量历史上下文和重复工具输出就会持续消耗Token。
如何在不明显牺牲任务完成能力的前提下，降低Agent Harness的运行成本，成为智能体规模化运行的重要挑战。
为此，NVIDIA联合开源SoL-Pi，这是一种受递归自我改进（RSI）启发的自动研究系统，让AI自主发现、测试并改进Agent Harness。
该项目在github上已收获3.5k stars。
研究团队探索了152个优化方向，在535个可执行环境中开展超过3000次运行，最终筛选出四项可复用的优化机制，分别作用于工具执行、上下文压缩、观察结果管理和日志处理。
在EdgeBench测试中，SoL-Pi使用GPT-5.6 Sol和Claude Opus 5作为后端模型，相比原始Pi Harness，Token总流量分别降低49.0%和44.7%，API成本分别降低33.2%和33.5%，同时保留了93.7%和94.3%的平均任务得分。
01
让Harness在自动研究循环
中持续优化
研究团队设计了Broad-to-Deep（由广到深）的自动研究流程。
图1：SoL-Pi：扩展自动研究循环
研究智能体先分析基础Harness的执行轨迹，识别重复操作、上下文增长、冗长工具输出等效率问题，再从上下文、任务进度、工具、委托执行、提示词与策略、改进与评估六大类中提出152个候选方向。
随后，每个候选方向进入独立的研究循环。
AI提出修改方案、实现代码、运行实验、分析结果，再决定保留、修改或放弃。实现阶段还引入基于Ralph Loop的迭代机制，由独立审查者检查实现结果，不合格则继续修改。
为了避免Harness只针对少量测试题优化，团队构建了535个研究环境，包括495个GitHub Issue–PR任务环境，以及40个带有可执行验证器的合成环境。
图2：两类研究环境支持优化机制的发现，同时确保EdgeBench基准测试独立于搜索过程。
所有候选机制都必须满足预先确定的能力约束，并至少改善一项效率指标。
搜索完成后，研究人员冻结候选实现，再进行独立验证，防止利用测试结果反向修改方案。
图3：在整个搜索过程中，开发反馈与留出评估始终保持分离。 执行轨迹用于指导机制提案与实现，而独立审查与开发验证则为修订提供依据。留出评估仅在候选方案冻结之后进行，其结果永不回流至搜索循环。
最终，四项机制通过筛选并整合进入SoL-Pi。
图4:四项保留下来的机制在agent–environment loop的不同环节发挥作用。
工具执行（Action Fusion）
传统Pi执行编码任务时，通常先调用工具修改文件，再等待模型发出下一条命令，运行测试或构建程序。
Action Fusion将文件修改及其后续执行命令合并到一次工具请求中，并在同一条观察结果中返回执行反馈。
例如，Agent修改代码后需要立即运行测试，原本涉及三次API调用的流程可以缩减为两次。
这种方法减少了模型在连续操作之间反复决策的开销，但对于必须先检查修改结果才能决定后续操作的情况，仍然保留分步执行。
上下文压缩（Online Context Compact）
长程任务会不断积累历史消息。传统上下文压缩往往关注窗口长度，却不一定考虑压缩后重新写入提示词缓存的成本。
Online Context Compact利用update_plan维护任务计划，在每个计划步骤完成时，根据已完成步骤的请求数量、剩余步骤和上下文增长速度，估算未来Token开销。
只有预计节省的输入成本超过缓存重写成本，才触发Pi原生的上下文压缩；当上下文接近窗口上限时，也可以执行压缩。
这使上下文管理从简单的长度控制，转向结合任务进度与实际成本进行动态决策。
观察结果管理（ObservationPack）
大段输出不必反复发送Agent执行工具时，可能产生大量日志、文件内容和搜索结果。这些信息会进入后续上下文，即使模型已经读取过，也可能反复产生输入成本。
ObservationPack对超过10 KiB的工具输出进行本地归档。
前两次模型请求仍保留完整输出，从第三次开始，将其替换为稳定引用标识、原始大小信息和约1 KiB的首尾摘录。
需要查看细节时，Agent可以通过引用标识重新读取原始内容。
这样既避免重复传输大段信息，又保留了按需恢复完整证据的能力。
日志处理（Evidence-Preserving Reducer）
对于不少于4 KiB、符合预定义命令范围的构建和测试日志，SoL-Pi引入一个低成本辅助模型，提取错误信息、执行状态和关键证据，生成简短的结果记录。
系统随后使用确定性验证器检查记录格式、原始输出哈希、退出状态、引用原文和大小。
如果验证失败、存在疑似凭据，或者压缩没有节省空间，就直接返回原始日志。
该机制使用GPT-5.6 Luna（high）提取证据，但最终的问题诊断与下一步行动仍由主模型负责。
这四项机制相互配合。
Action Fusion减少工具调用轮次，Online Context Compact降低长期上下文成本，ObservationPack减少重复观察信息，而Evidence-Preserving Reducer压缩构建与测试日志。
02
对比实验与结果分析
表1对比了GPT-5.6 Sol条件下的8种评估配置，并列出了各配置使用的主要后端模型。
实验结果显示，效率模式仅消耗1.10 B Token，比原始Pi减少49.0%，同时保留了Pi平均得分的93.7%（42.0分对比44.8分），Token成本降低33.2%。
表1：EdgeBench基准上的Harness性能对比。
表2对比了GPT-5.6 Sol和Opus 5两种模型下，原生Harness、Pi、SoL-Pi [Efficiency]效率模式以及SoL-Pi [Performance]性能模式的表现。
为了验证方法的迁移能力，研究团队将基于GPT-5.6 Sol开发的SoL-Pi直接应用于Opus 5，没有进行额外的搜索或适配优化。
实验结果显示，在Opus 5上，SoL-Pi保留了原始Pi平均得分的94.3%，同时Token总流量减少44.7%，API成本降低33.5%。
表2：SoL-Pi在EdgeBench上的不同配置及跨模型迁移表现。
表3报告了各Harness成功解决的任务数量、模型总成本以及每项成功任务的平均成本，所有成本均按API费用计算。
实验结果显示，Codex和Pi均成功解决18项任务，而SoL-Pi成功解决15项任务。
与Pi相比，SoL-Pi的模型总成本降低26.3%（211.12美元对比286.45美元），每项成功任务的平均成本降低11.6%（14.07美元对比15.91美元）。
表3：Terminal-Bench 4和IMO 2026基准上的Harness性能对比。
这些结果表明，SoL-Pi的效率优势不仅体现在EdgeBench上，还能够迁移至其他基准测试，在降低总体运行成本的同时，保持一定的任务解决能力。
研究团队进一步使用GPT-5.6 Sol（xhigh）模型，在IMO 2026（国际数学奥林匹克竞赛）题目上评估了这三种Harness，要求每道题的解答都必须使用Lean 4进行形式化表达和验证。
实验结果显示，SoL-Pi成功通过6道题中的3道，模型总成本为62.69美元，每道通过题目的平均成本仅为20.90美元，是三种Harness中最低的。
03
多智能体内核优化实验
研究团队进一步开展了一项多智能体内核优化实验，使用模拟机器周期（simulated machine cycles）作为性能评估指标，以验证SoL-Pi在多Agent协作场景中的表现。
实验对比了三种配置，每种配置分别独立运行两小时：
（1）单Agent模式：使用一个Codex Agent。
（2）Pi多Agent集群：由一个Codex协调智能体（Coordinator）管理20个基于原始Pi Harness的工作智能体（Worker）。
（3）SoL-Pi多Agent集群：由一个Codex协调智能体管理20个采用完整四机制配置的SoL-Pi工作智能体。
其中，单Agent和所有协调智能体均使用GPT-5.6 Sol（xhigh）模型，工作智能体则统一使用GPT-5.6 Luna（xhigh）模型。
所有实验均从相同的冻结初始程序（Frozen Starter）开始，该程序需要147,734个机器周期。每次运行都使用全新会话，不会继承此前实验中的解决方案或研究笔记，以确保对比公平。
在两种多Agent集群中，20个工作智能体被划分为5个小组，每组4个Agent。每个Agent拥有独立的工作空间，而同一小组内的Agent共享一个证据板（Evidence Board）。
工作智能体通过交换研究笔记，复现有潜力的发现，或将不同优化方案组合起来；协调智能体则负责在不同小组之间传递研究结果。
只有当协调智能体提交不可变的候选方案快照，并经过独立验证确认其性能取得严格提升后，系统才会更新全局共享的最优结果。
图5(b)展示了三种配置的实验结果。SoL-Pi多Agent集群最终将机器周期降低至1127，API成本为60.11美元；单Agent模式达到1333个机器周期，成本为39.20美元；Pi基线集群则达到1366个机器周期，成本为82.12美元。
图5：多Agent集群架构及两小时搜索实验结果。
在相同的执行时间预算下，SoL-Pi多Agent集群相比Pi基线集群，API成本降低26.8%，但单Agent模式仍然是成本最低的方案。
所有实验最终提交的候选方案均通过了官方正确性检查。
在速度阈值测试中，SoL-Pi多Agent集群和单Agent均通过全部8项速度阈值，而Pi基线集群仅通过7项，未能达到最后一项要求，即机器周期低于1363。
这些结果表明，SoL-Pi的价值可能不仅局限于提升单个Agent的运行效率，还能够扩展到Agent集群和多智能体系统。
通过提高Harness效率，多Agent系统有望在固定预算下开展更有效的协同探索，从而发现更优的解决方案。
关注+星标，获取AI前沿进展与开源一线动态
热门跟贴