一项基准研究对编码会话中附加技能文件的做法提出质疑。结果显示,在全部4个模型上,为每个提示注入技能反而让堆栈匹配对的平均Pass@2降低1.3至4.2个点

成本与损失分布

打开网易新闻 查看精彩图片

注入技能的同时,token成本至少增加72%。损失并非均匀分布,而是集中在简单早期任务上,降幅达到4.0至10.7个点

研究建议

研究据此提出,不应把技能注入当作通用增益,而应视为按后端衡量的路由决策。也就是说,是否注入、注入哪些技能,需要结合具体后端条件来判断。