你用AI时有没有遇到过这种情况——同样一个问题,用DeepSeek处理一段长文档时,有时候它能精准找到你要的答案,有时候却像换了个人似的,怎么都找不到关键信息?这种“时好时坏”的“抽风”现象,困扰了不少用户。
最近,字节跳动的Seed团队在论文预印本平台arXiv上提交了一篇研究,揭开了这个谜团,原来答案藏在一个叫“相位敏感性”的技术问题里。
为什么AI处理长文本会“抽风”?
要理解这个问题,先得知道大模型处理长文本时的一个核心难题:内存开销。
当AI阅读一篇长文章时,它需要把每个字词的信息都临时“记”在一个叫KV缓存的地方。文章越长,这个缓存就越大,占用的计算资源也越多,就像你的手机同时打开几十个App会变卡一样。
为了省内存,研究者发明了一种“压缩”办法:不再逐字记录,而是每隔固定距离,把连续的一小段内容“打包”成一条记录。打个比方,原来是一页纸记一个字,现在是一页纸记一句话,省了不少空间。
但问题就出在这个“打包”上。
字节团队发现,这种压缩方式引入了一个新的坐标——每个字词相对于“打包边界”的位置,研究人员把它叫做“相位”。
这个“相位”的影响有多大呢?团队在DeepSeek-V4-Flash、DeepSeek-V4-Pro等多款模型上做了测试,结果发现了一个系统性的不对称现象:同样一条信息,放在某个位置时AI能轻松找到,但仅仅挪动几个字,AI就像瞎了一样完全找不到。
更惊人的是,在采用这种压缩方式的大模型中,不同“相位”下的长文本检索准确率差距可以高达40个百分点。也就是说,如果运气不好,AI找到答案的概率可能从90%暴跌到50%。
团队把这种随位置周期性变化的检索能力缺陷称为“相位敏感性”。
为什么这个发现很重要?
这个研究揭示了一个容易被忽视的问题:我们平时看AI的评测分数,往往看的是一个“平均分”。但“平均分”可能会掩盖这种周期性的弱点——就像一个人考试平均分80,但实际上有的章节考100,有的章节考20。
这意味着,当你问AI一个问题时,它能不能找到答案,可能不完全取决于问题本身,还取决于你问的方式、文档的格式、信息出现的位置。这些看似无关的细节,可能恰好让关键信息落在了AI的“盲区相位”上。
字节Seed团队的这项研究,相当于给大模型的“抽风”现象找到了一个明确的病因。对于普通用户来说,这也提供了一个实用启示:如果你发现AI在长文档里找不到某个信息,不妨试着换个问法,或者调整一下信息的呈现位置,也许就能绕开那个“相位盲区”了。
热门跟贴