哈佛与斯坦福联合发表新论文,给正在用大模型替代传统检索方案的技术团队提了个醒:首轮检索,嵌入模型仍是首选。
研究团队对比了LLM与嵌入模型在检索任务中的表现,结论很直接——LLM不该被用来做第一轮候选筛选,只有在需要推理的短名单环节才值得引入。
打开网易新闻 查看精彩图片
核心数据最能说明问题:Gemini 3.1 Pro在37项任务中得分77.6,与Octen-8B的77.2统计持平,但成本却是天壤之别——前者$154.14,后者仅$0.11,差距高达1431倍。
具体到任务类型,LLM在检索任务中领先8.5分,嵌入模型则在分类任务中领先5.6分。论文建议的架构是:嵌入模型负责候选检索,LLM只处理需要推理的短名单。
一句话总结:别拿大炮打蚊子,检索的活儿交给嵌入模型,省下的成本够干很多别的事。
热门跟贴