把大模型塞进 AutoML 的搜索循环当"评论员",听起来是让 AI 帮忙挑更好的模型配置。亚马逊与马萨诸塞大学阿默斯特分校的一项新研究给出的结论不太客气:这个评论员可能帮倒忙。

研究论文题为《The Critic Can Hurt: On the Safety of Critics in LLM-Guided AutoML Search》。核心发现是,引入 LLM 评论员最多只能带来 0.005 AUC 的提升,却可能造成显著下降。

具体到模型,Llama-3.1-8B 担任评论员时,在 8 个数据集中的 7 个上表现低于无评论员基准,损失最高可达 0.245 AUC。换句话说,加了这个环节,多数情况下还不如不加。

研究还区分了评论员强弱的影响。弱评论员往往不如随机搜索;而随机评论员的成本并不大,因为搜索循环本身会保留最佳结果。真正的问题出在持续给出错误建议的评论员身上——它们会白白浪费尝试次数。

论文给出的建议很直接:在采纳任何 LLM 评论员之前,即便是大模型,也应当先用相同预算跑一遍无评论员版本,把它作为基准来比较。不先做这一步对照,就无从判断评论员到底是在帮忙还是在拖后腿。