哈佛与斯坦福最新论文给大模型应用提了个醒：首轮检索，别用LLM（大语言模型）替代嵌入模型。

论文核心建议是，嵌入模型继续负责候选检索，LLM只在需要推理的短名单阶段介入。理由很直接——成本差距悬殊。

打开网易新闻 查看精彩图片

同等质量下，LLM成本最高可达嵌入模型的1431倍。论文对比了Gemini 3.1 Pro与Octen-8B：前者在37项任务中得分77.6，后者77.2，统计上基本持平。但成本呢？$154.14对$0.11。

两种模型各有优势：LLM在检索任务上领先8.5分，嵌入模型在分类任务上领先5.6分。研究者据此给出的分工方案是：嵌入模型负责大规模候选检索，LLM只处理需要推理的短名单。

简单说，让最贵的模型干最重的粗活，不划算。