缓存评估中的意外发现

在为一个本地部署的检索增强生成系统评估语义缓存时，作者复盘了自己犯下的三个方法性错误。最核心的问题是：当词法重叠不受控制时，余弦相似度无法可靠地区分否定句对和改写句对。

打开网易新闻 查看精彩图片

作者原本以为语义相似度模型能够自然识别“不是”这类否定带来的含义反转，但实测结果并不支持这一假设。否定句和它的肯定版本在向量空间中距离过近，而意思相近的改写句反而可能被推得更远。

文献早已记录这一反转

更让作者意外的是，这种“否定对与改写对排序颠倒”的现象并非新发现。相关文献此前已经记录过这一反转，只是作者在评估自己的缓存时没有先查阅这些资料。

作者将这次经历归结为三个具体的方法性错误，并提醒：在评估语义缓存时，不能只依赖相似度分数，还需要控制词法重叠带来的干扰，否则会把否定句误判为语义相近的句子。