有一个场景,可能很多带过团队的人都遇到过。
你手下有个能力一般但踏实肯干的员工,你专门给他搭了一套顺手的工作流程:模板文件、检查清单、固定的汇报格式,都是照着他的做事习惯量身定做的。用了这套流程之后,这个员工的表现突飞猛进。你想,既然效果这么好,不如再找个厉害的高手,让这个员工跟着高手学几招,是不是能更上一层楼?
结果高手来了之后,同样用这套流程,干得比你的员工还漂亮。你满心欢喜地把高手的操作录下来,让员工照着学。学完之后你傻眼了:员工的表现不但没变好,反而比学之前还差了一大截,有些任务甚至直接跪了。
这不是虚构的段子,而是一篇最新论文里真实发生的实验现象。研究者们把这件事翻来覆去研究了一遍,找到了背后的原因,而这个原因跟我们直觉里"跟高手学习总没错"完全相反。
**核心问题:两套优化手段,凭什么会打架**
先说清楚这篇论文在研究什么。
现在做AI智能体,比如那些能自动查数据库、跑脚本、操作网页的AI程序,业内公认有两个可以调的旋钮。第一个叫做harness
(harness:指包裹在AI模型外面的一整套支撑系统,包括给模型的系统提示词、能调用的工具、执行过程中的检查钩子、以及如何管理上下文信息,这些东西共同决定了AI能看到什么、能做什么)
第二个旋钮是模型本身的参数,也就是通过微调的方式让模型的"脑子"发生改变。业内比较流行的轻量级微调方法叫LoRA
(LoRA:全称Low-Rank Adaptation,一种不用重新训练整个大模型、只调整其中一小部分参数就能让模型适应新任务的技术,好处是几个GPU小时就能跑完,成本很低)
过去一段时间,学术界发现单独调harness这件事威力惊人。有篇论文(Yang等人2026年的工作)显示,给一个便宜的小模型精心设计一套harness,能让它在企业级任务上的表现逼近昂贵的顶级大模型,成本却只有后者的一个零头。这个发现让很多人兴奋,因为企业场景里最在意的就是成本,动辄调用GPT-4级别的大模型跑批量任务,账单会很吓人。
那么问题来了:harness调好了,模型权重这个旋钮要不要也顺手调一下?两个旋钮加在一起是不是效果更好?这篇论文要回答的正是这个问题,而答案比预想的复杂得多。
研究者选了七个真实的企业级任务作为测试场,包括工资单审计、预算审批、股票预警、物联网设备异常检测、浏览器自动化、网站后台管理、代码重构。这些任务的特点是步骤多、跨度长,而且结果可以客观打分,不是靠人主观感觉。
他们先用一个较弱的模型(阿里的Qwen3-Coder,300亿参数但激活的只有30亿)针对这七个任务分别进化出专属的harness。进化的方法有点像自然选择:让一个更强的AI(谷歌的Gemini)当"军师",不断观察弱模型哪里做得不好,提出修改harness的建议,改完之后拿去测试,效果好就留下,不好就扔掉,反复迭代很多轮。
这套流程效果立竿见影。用没优化过的基础harness,七个任务平均成功率只有29.2%;换上进化过的harness后,平均成功率飙到78.0%,整整提升了近49个百分点。这是什么概念?意味着原来十次任务里勉强能做对三次,现在十次里能做对将近八次。
**发现一:强者用弱者的工具,反而用得更顺手**
研究者接下来做了一件很自然的事:既然harness是给弱模型量身定做的,那让更强的Gemini模型也用这套harness试试看,会发生什么?
按常理猜测,这套harness是照着弱模型的"性格"设计的,强模型用起来说不定水土不服,甚至可能因为限制太具体而束手束脚。
但实验结果反过来了。Gemini在没有优化的基础harness上,七个任务平均成功率是84.4%,已经比弱模型强很多。换上专门为弱模型进化出的harness之后,Gemini的成绩不降反升,涨到93.6%,又多拿了9.2个百分点。
研究者还进一步查看了Gemini具体是怎么用这套harness的。进化出来的harness里有几项关键改动,比如新增了一个原本缺失的工具、给模型演示了工具的正确用法、用钩子强行阻止某些危险操作、写明了某个多步骤的计算公式。Gemini几乎每一项改动都用上了,使用率在93.6%到100%之间,其中有一项叫"领域计算方案"的改动,原本弱模型只有30.8%的时候会用到,Gemini则达到了94.2%的使用率。
这个发现说明了一件事:harness里沉淀的经验,不是专属于某个模型的私有财产,而是一种可以跨模型复用的通用知识。就像一份写得特别详细的操作手册,即便是新手写出来的,一旦把里面隐含的行业窍门都明确写出来了,老师傅拿去用照样管用,甚至用得更好,因为老师傅能更充分地调动手册里的每一条建议。
既然强模型能把这套harness用得更好,一个顺理成章的想法就冒出来了:既然强模型在这个环境下表现这么亮眼,那能不能把强模型的操作过程录下来,教给弱模型,让弱模型也学会强模型的那一套?
**发现二:全盘模仿,反而学垮了**
研究者真的这么做了。他们把Gemini在进化后harness上跑出来的成功案例,也就是Gemini完成任务的完整操作记录,转换成Qwen模型能理解的格式,拿去做微调训练。
结果所有人都没想到:微调之后的Qwen,在七个任务上的成绩全部下滑,跌幅从4.2个百分点到29.9个百分点不等,平均跌了14.9个百分点。原本78.0%的平均成功率,跌到了63.1%。
这不是个例。研究者换了另一个模型家族再试一次,这次用的是谷歌的Gemma模型(260亿参数),在网站自动化任务上重复同样的流程。进化harness让Gemma从46.7%涨到55.6%,同样的harness也让Gemini受益。但模仿Gemini的操作记录做微调之后,Gemma的成绩跌到41.1%,比进化harness之前的基础成绩还低了5.6个百分点。两个完全不同的模型家族,出现了同样的诡异现象,这说明问题不是偶然的技术故障,而是某种系统性的规律在起作用。
更让人费解的是,研究者又拿同样的模仿训练方法,用在没有经过harness优化的基础环境上试了一次。这一次,模仿训练反而有效,Qwen的平均成绩从29.2%涨到35.5%,涨了6.3个百分点。
同样的老师,同样的教学内容,在一个环境里帮倒忙,在另一个环境里却管用。这说明问题根本不出在"跟强者学习"这件事本身,而是出在"跟强者学习"和"harness已经被专门优化过"这两件事撞在一起的时候。
**问题出在哪:不是忘了知识,而是走路的姿势变了**
研究者没有停在"发现问题"这一步,他们进一步拆解了微调之后的模型到底发生了什么变化。
第一个直觉是,会不会是模型学了新东西之后,反而忘了怎么用harness里的那些工具和技巧?检查下来发现完全不是这么回事。微调之后的Qwen模型,几乎所有harness里的改动它都照样在用,甚至用得更勤了。前面提到的那个"领域计算方案",原本弱模型只有30.8%的时候会用,微调之后反而用到了76.1%的比例。说明模型确实吸收了专家演示里的知识,而且用得更充分了。
那问题究竟出在哪?
研究者用一套六分类的失败原因框架,把所有失败的任务案例逐一归类分析,结果发现变化集中在两类原因上,其他四类(工具使用、指令遵循、长文本处理、其他杂项)几乎没有明显变化。
第一类叫"隐性知识缺失"
(隐性知识缺失:指AI没有掌握任务里那些没有明说、但行业老手都懂的规矩,比如某种数据的计算顺序、某个步骤该注意的细节)
这一类失败反而在微调后减少了,从46.2%降到44.5%,说明知识层面确实在往好的方向变化。
真正爆发式增长的是第二类,叫"规划缺陷"
(规划缺陷:指AI在完成任务的过程中,漏掉了关键步骤、选错了整体思路又没能及时纠正、或者陷入反复重新规划却毫无进展的死循环)
在基础harness上,这类失败原本只占1.1%,微调后涨到14.6%,暴涨了13.5个百分点。而在优化过的harness上,情况几乎一模一样:从1.1%暴涨到14.6%。
研究者在附录里给出了一个非常具体的例子,看完会让人恍然大悟。有一个工资单审计任务,微调后的模型其实已经算出了正确答案,评分程序也确认了这一点。但模型没能把答案提交上去,它反反复复地重新检查计算过的表格,同一个操作重复了29次,同一段提示重复读了20次,最后跑了78步都没能收尾,任务直接判零分。这个模型明明知道正确答案,却因为规划节奏乱了套,硬生生把一个满分任务做成了零分。
这里就要说到全篇最关键的洞察了:**harness不是一个孤立存在的工具箱,它是围绕特定模型的思维习惯量身雕琢出来的**
进化出来的harness,之所以能把弱模型的表现拉高49个百分点,靠的不只是里面写了什么知识,更重要的是它的节奏感恰好卡在弱模型自己一步一步做事的习惯上。比如harness里设计的"只验证一次就结束"的收尾流程,是照着弱模型原本的做事风格量身定制的。
一旦模型通过模仿强模型学会了一套完全不同的做事风格,比如强模型习惯直接给答案、不啰嗦、不反复确认,弱模型却没有强模型那种一次到位的能力,它只是学到了强模型"说话很干脆"的表面动作,却没学到支撑这种干脆背后的真本事。这时候harness里那些围绕原来节奏设计的检查点、收尾逻辑,就全都对不上了。
这里可以打一个比方。假如你是个刚学开车没多久的司机,教练根据你的驾驶习惯,帮你把后视镜角度、座椅位置、换挡时机全部调到最适合你的状态,你开车因此顺畅了很多。这时候有人给你看一段赛车手的驾驶视频,赛车手过弯从不多看一眼后视镜,直接凭感觉一把过弯。你看完之后学着赛车手的样子,减少了看镜子的次数,结果呢?你的座椅角度、换挡习惯还是原来那一套,但你现在按照赛车手的节奏在开,两边完全对不上,反而更容易出事故。如果你没有强行模仿赛车手的动作,只是继续按自己的节奏开车,反而不会有事。这正是论文里发生的事情:车(模型的实际能力)没变,但开车的姿势(规划风格)学了别人的,而车子周围的配置(harness)却还是照着原来的开车姿势调的,两者一旦脱节,结果比谁都没学之前还糟。
再回头看为什么同样的模仿训练在没优化的harness上反而管用,答案就很清楚了。基础harness本来就没有针对模型的规划风格做过任何专门优化,谈不上有什么"节奏"需要保护,规划缺陷带来的损失有限(从0.9%涨到11.5%),而知识层面的提升(失败率从61.0%降到54.4%)盖过了这点损失,所以总体成绩还是涨的。可是在优化过的harness上,节奏契合本来就是那49个百分点提升的核心来源,模仿一旦打乱这个节奏,之前辛辛苦苦优化出来的增益也就跟着一起崩了。
**解法:不是整段抄作业,而是精准补一道题**
发现了病根,研究者接着开出了药方,这个方案叫做"在线专家纠正"
(在线专家纠正:一种教学方式,不是把强模型完整的操作流程整段搬给弱模型学,而是让弱模型先自己去跑任务,只在它真正卡壳、出错的那一步,请强模型帮忙演示正确的做法,其余步骤保持弱模型原本的操作方式不变)
具体流程是这样的:先让弱模型在进化过的harness上自己跑一遍任务,记录下它失败的案例。然后有一个专门的"元智能体"
(元智能体:论文里指一个自动化的、专门负责管理数据生成整个流程的AI程序,它自己判断弱模型的操作在哪一步出了问题,不需要人工介入)
会在失败的操作记录里,精确定位到具体是哪一步走岔了路。找到这一步之后,才请强模型出手,只重写这一个步骤,前面和后面弱模型自己走的路,一步都不动。
打个比方,这就像老师批改作文,不是把学生的整篇作文全部划掉重写一遍范文让学生照抄,而是只圈出那句写得不通顺的句子,帮学生改好这一句,其余的段落原封不动地保留下来。学生自己的文风、自己的行文习惯完全没被打乱,只是学会了怎么把那个卡壳的地方处理得更漂亮。如果换成整篇重写的方式,学生确实能抄到一篇更好的范文,可他自己原本的写作节奏、组织思路的方式也跟着被连根拔起了,下次遇到新题目,他既没有范文可抄,又找不回自己原来的写法,反而更容易写砸。
这套方法效果如何?数据说话。用在线纠正训练出来的Qwen模型,七个任务的平均成功率从进化harness基线的78.0%涨到79.7%,涨了1.7个百分点,而且七个任务里有五个是正向提升的,其中网站管理任务涨了5.6个百分点,股票预警涨了2.2个百分点,代码重构涨了2.2个百分点。另外两个任务(预算审批和工资单审计)成绩基本持平,跌幅在0.4到0.6个百分点之间,属于噪声范围,因为这两个任务的harness本身可能已经接近能力天花板了。
对比一下就更能看出差别:全盘模仿是七个任务全线下滑,平均掉14.9个百分点;在线纠正是七个任务里五个涨、两个基本不变,平均涨1.7个百分点。同样是跟强模型学,学习方式不同,结果一个天上一个地下。
研究者又检查了一遍失败原因分布,验证这次规划节奏有没有被破坏。结果显示,在线纠正训练之后,规划缺陷的比例几乎没有变化,只从1.1%微涨到1.8%,跟模仿训练暴涨到14.6%形成了鲜明对比。与此同时,知识层面的失败比例继续下降,从46.2%降到43.2%,整体失败率也从28.9%降到26.8%。也就是说,在线纠正拿到了模仿训练本该带来的知识收益,却没有付出规划节奏被打乱的代价。
这套方案还有一个很现实的优点:便宜。整个训练流程一小时之内就能跑完,因为纠正数据集本身很小,大约500条记录左右,其中真正需要专家介入改写的只有大约400条,另外50条是弱模型自己本来就能做对的案例,混进去帮助模型保持稳定。这意味着这套流程完全可以反复循环使用:先进化一版harness,再用在线纠正微调一版模型,模型变强了之后再重新进化harness,如此往复,形成一个良性循环的迭代闭环。
Q&A
Q1:为什么用强模型的完整操作记录训练弱模型,反而会让弱模型表现变差?
A:因为harness是围绕弱模型自身的规划节奏和做事风格优化出来的。弱模型全盘模仿强模型的操作方式后,只学到了表面的做事风格,却没有匹配的能力去支撑,导致它的规划节奏和harness原本适配的节奏对不上,任务失败率里的"规划缺陷"占比从1.1%暴涨到14.6%,最终七个任务成绩全线下滑。
Q2:在线专家纠正和直接模仿专家操作记录有什么区别?
A:直接模仿是把强模型完整的操作过程整段搬给弱模型学习。在线专家纠正则是先让弱模型自己跑任务,由一个自动化的元智能体精确定位它具体在哪一步出错,只让强模型重写这一步,其余步骤保留弱模型自己的操作方式,从而避免打乱弱模型原有的规划节奏。
Q3:harness进化对不同模型都有效吗,还是只对训练它的模型有效?
A:论文发现harness进化出的经验可以跨模型复用。研究者用较弱的Qwen模型进化出harness后,把它给更强的Gemini模型使用,Gemini的成绩不降反升,从84.4%涨到93.6%,说明harness里沉淀的经验是通用的,不只是为特定模型量身定做后就无法迁移。
热门跟贴