打开网易新闻 查看精彩图片

几天前,前 OpenAI 安全研究副总裁、Thinking Machines Lab 联合创始人翁荔(Lilian Weng)发布了关于“Scaling Laws, Carefully”的技术博客。

近日,她又更新了一篇名为“Harness Engineering for Self-Improvement”的最新博客[1]。这次,她将焦点聚焦于一个 AI 领域火热讨论的议题——已成为当前 AI Agent 系统的重要工程层的 Harness Engineering。

如果说 Scaling Laws 决定了一代模型的天花板有多高,那 Harness 就是决定这个模型在现实任务中可以走多稳、多远的那层操作系统。

翁荔这篇新博文可以看到的是,她试图在回答一个关键问题:在真正能够修改自身权重的“硬递归”仍十分遥远时,真正能够持续实现递归自我提升(RSI,Recursive Self-Improvement)的循环,是否可能先从模型外面的这层“脚手架”开始?

图丨相关博客文章(来源:https://lilianweng.github.io/posts/)
打开网易新闻 查看精彩图片
图丨相关博客文章(来源:https://lilianweng.github.io/posts/)

Harness 的概念,可以理解成包裹在大模型外的一套系统。它不只是简单的提示词模板,而是决定着模型如何思考和规划、调用哪些工具和行动、如何管理上下文和执行工作流的运行时环境。

翁荔在文章里提到,当下像 Claude Code 和 Codex 这类成功的编程智能体产品,它们的核心优势很大程度上来自精心设计的 Harness。

一个成熟的 Harness 类似于操作系统,它能封装复杂的逻辑,同时保持接口简单:让模型无需将整个工作流和所有日志都“塞”进有限的上下文窗口中,而是基于文件系统这类持久化存储来管理状态和产物。这种设计模式,让智能体能够处理更长周期的任务,在一定程度上可避免在长上下文的混乱中迷失。

(来源:https://openai.com/index/unrolling-the-codex-agent-l
打开网易新闻 查看精彩图片
(来源:https://openai.com/index/unrolling-the-codex-agent-l

沿着这个思路,翁荔系统梳理近期一系列相关的研究,总结出一条 Harness 从手工设计到自我优化的演进路线。在她看来,早期 Agentic Context Engineering 等框架的尝试,更像是将上下文当作一个不断演化的“操作手册”,通过生成、反思和筛选的循环,让模型可以从成功或失败的轨迹中提炼出结构化的要点,进而更有效地管理记忆。

(来源:https://github.com/yasasbanukaofficial/claude-code)
打开网易新闻 查看精彩图片
(来源:https://github.com/yasasbanukaofficial/claude-code)

更进一步地,Meta Context Engineering 将上下文管理本身也变成了一个可优化的对象,让一个元智能体去搜索和改进管理上下文的“技能”,进而达到双层优化的目标。

而像 Meta-Harness 这样的工作,则直接将Harness 的代码作为一种搜索空间,让编码智能体进行编写、测试和迭代新的 Harness 代码,甚至能生成多个候选方案,并找出其中的帕累托最优解。

这种让智能体进行自身系统代码改进的思路,在进化搜索领域也有所体现。比如,Darwinian Gödel Machine 提出了一种让编码智能体能够修改自身 Harness 代码库的框架,通过一个基于性能排名的选择机制,不断产生新的版本。

实验表明,在 SWE-bench Verified 这类编程基准上,Darwinian Gödel Machine 发现的智能体可以达到 20% 到 50% 的通过率,与手工设计的智能体相当甚至更优。

不过,翁荔也强调,这并不意味着未来只优化 Harness。更长期来看,Harness 与模型权重的联合优化,仍可能成为递归自我提升的重要方向。

图丨智能体上下文工程的框架示意图(来源:https://arxiv.org/ab)
打开网易新闻 查看精彩图片
图丨智能体上下文工程的框架示意图(来源:https://arxiv.org/ab)

翁荔认为,这种“元方法论”的转向是当前最值得关注的趋势:我们不再只是让模型给出更好的答案,而是在制造一套能持续改进“如何获得更好答案”的机制。

在这个回路里,Harness 自身成为优化对象,逐步减少依赖人工编写的启发式规则,转向更多可自动搜索的通用机制;工程师的角色也从编写具体规则,转变为设计更通用的进化框架。

不过,翁荔并没有把这条路描绘成一条坦途。她在文章的后半部分,客观地列出了这项研究面临的一系列现实瓶颈。其中,最大的挑战之一来自评估。目前的自我改进循环在那些有明确、快速、客观评估指标的任务上效果显著,比如写代码、解数学题。

图丨元上下文工程的框架示意图(来源:https://arxiv.org/abs/2)
打开网易新闻 查看精彩图片
图丨元上下文工程的框架示意图(来源:https://arxiv.org/abs/2)

但如果面对模糊的判断,例如“这项研究是否有品味”“这个结果是否真的重要”,系统就很容易失效,甚至会为了实现通过测试的目标学会作弊,也就是所谓的“奖励黑客”。

安全则是另一个隐患。如果允许模型自由修改系统代码,抽象边界和权限控制就会被打破,可能引发灾难性后果。因此翁荔强调,人类的角色不是被排除在循环之外,而是需要向上移动,在环路外扮演架构师和方向指引者的角色,负责设计可编辑的边界和进行关键节点的审查。

在文章的结尾,翁荔并没有呈现迈向 RSI 的虚幻的愿景,而是列出了一份务实的挑战清单:如何设计好的评估器、如何管理上下文和长期任务的记忆、如何解决进化中的多样性坍缩、如何应对奖励黑客,以及如何平衡短期任务成功与代码库长期健康之间的关系。

她指出了一个容易被忽视的问题:目前的优化大多基于沙盒内的短期奖励,但现实中的软件工程需要兼顾可维护性、向后兼容性和未来开发负担。这些“长期成功”的指标,正是当前系统最不擅长处理的问题。

如果说上篇关于 Scaling Laws 的文章是在提醒大家,那个用于规划数十亿算力投资的公式没有想象中可靠,那么,这篇关于 Harness 的文章则更像是在告诉公众,通向递归自我提升的第一步,很可能并不是修改模型本身,而是先优化模型之外那个不起眼的 Harness。而这条路本身,也充满了需要小心绕开的“坑”。

或许,真正的 RSI 不是突然某天模型开始修改自己,而是悄悄开始于一次次 Harness 优化中。

参考资料:

1.https://lilianweng.github.io/posts/2026-07-04-harness/

排版:刘雅坤

注:封面/首图由AI辅助生成