打开网易新闻 查看精彩图片

迈阿密的人工智能初创公司Subquadratic在2026年5月正式结束隐身模式,抛出了一个让整个人工智能行业坐不住的说法。

它宣称,自己已经解决了困扰大型语言模型近十年的一个数学瓶颈,也就是Transformer架构里那个所谓的二次方注意力问题。

最初公开的细节并不多,所以很多人持怀疑态度。

但根据《麻省理工科技评论》6月19日的最新报道,这家公司开始拿出第三方的独立评估结果,部分数据看起来确实值得严肃对待。

这家公司是在2026年5月5日带着2900万美元种子轮融资走到台前的。

创始人兼CEO是连续创业者Justin Dangel,联合创始人兼CTO是前Meta工程师Alexander Whedon。

投资方包括Tinder联合创始人Justin Mateen,以及曾投资过Anthropic和OpenAI的几位早期投资人。

要理解Subquadratic的说法为什么有分量,得先讲清楚现在的大语言模型是怎么算账的。

今天几乎所有主流的大模型,无论是OpenAI的GPT,谷歌DeepMind的Gemini,还是Anthropic的Claude,底层都用着同一种叫Transformer的神经网络架构。

这种比较方式很彻底,但代价很重。

Subquadratic的核心思路,是用一种叫"次二次方选择性注意力"的稀疏注意力机制取代稠密注意力。

简单说,模型不再比对所有词对,而是根据内容动态挑选出真正相关的词对来计算。

这个思路并不新,业界已经有不少团队尝试过稀疏注意力,但此前没有人能在质量上追上稠密注意力。

Subquadratic公布的几个关键数字相当抢眼。

在1百万token的速度测试中,SubQ的注意力机制据称比谷歌DeepMind的FlashAttention快52倍。

但真正引发议论的是成本数字。

公司告诉SiliconANGLE,跑同样的RULER 128K测试,SubQ的成本是8美元,而Claude Opus 4.6需要约2600美元。

在编码任务上,SubQ在LiveCodeBench上据称拿到89.7%,在SWE-Bench Verified上拿到81.8%,跟Opus 4.6的80.8%基本持平。

公司还请了第三方评估机构Appen来复核基准成绩,Appen生成式人工智能研究总监Jeanine Sinanan-Singh形容这些结果"可能是游戏规则的改变者"。

不过,质疑声同样密集。

最核心的一个问题是:SubQ并不是从零开始训练的。

Whedon在X平台上确认,公司是在中国开源模型Qwen的权重基础上,替换了自己的稀疏注意力机制,再做的训练。

这种做法本身在业内很常见,但和"完全重新定义LLM架构"这种宣传口径放在一起,就显得有些尴尬。

曾在OpenAI工作的独立研究员Will Depue评论说,公司可能真的做出了实用的东西,但目前公开的证据还不足以支撑"已经解决二次方注意力瓶颈"这种更强的论断。

另一个被指出的疑点是研究模型和生产模型之间的差距。

这17分的落差至今没有得到完整解释,让人不得不怀疑:从实验室搬到实际产品中,到底牺牲了多少精度。

人工智能评论员Dan McAteer在社交平台上的话流传很广,他写道:SubQ要么是Transformer之后最大的突破,要么就是人工智能版的Theranos。

抛开数字的争议不谈,Subquadratic所瞄准的方向其实是整个人工智能行业最迫切的问题之一。

这也是Justin Dangel在采访中那句话的底气,他说Subquadratic希望开启一个效率新时代,他不认为几年后还会有人在Transformer之上继续搭建系统。

不过谨慎的观察者更愿意等等看。

正如一位开发者在社交平台上的犀利发问:如果SubQ真的把算力减少1000倍,成本只有Opus的不到5%,公司为什么还要靠"早期访问计划"控制流量?

接下来几个月里,社区基准测试一旦放开,独立研究者跑出来的数据将决定这家公司究竟是写下了Transformer之后的新一章,还是给2026年的AI炒作史又添上一笔注脚。

无论结果如何,Subquadratic已经把整个行业的目光,重新拉回了那个被大家暂时搁置的老问题:注意力机制,真的非要这么算账吗?