你有没有想过，一个AI代理在干活的时候，最贵的不是它写代码，而是它做决定？
选哪个文件、调哪个工具、测试过了没有、这一步要不要换更强的模型——这些判断几乎贯穿工作流的每个环节。判断得快不快、准不准，直接决定了整个流程要烧多少钱、等多久。
美国AI公司Subquadratic刚刚发布了一款专门干这件事的模型，叫SubQ Snap。它最扎眼的数字是：支持38万4000词元的输入，是同类决策模型Jev的12倍。
为什么决策模型一直"看不清"
Subquadratic在发布说明里点出了一个尴尬的现状：今天的决策模型上下文窗口普遍停留在3万2000词元。
这意味着什么？一个代理要决定"下一步该做什么"，本该参考整个代码库、合同的前几页、或者一长串工具调用历史。但窗口太小，它只能看到其中一小块，剩下的信息全被挡在门外。
Subquadratic的解释是，上下文一长，二次注意力机制会让每次调用都变慢、变贵，决策模型就失去了使用价值。所以厂商干脆把窗口做小，让模型在信息不全的情况下硬做判断。
SubQ Snap的解法是换一套注意力机制。它搭载了Subquadratic自研的下一代高速长上下文注意力架构SSA，官方称这是唯一一个"随着上下文增长，每个词元的计算量保持恒定"的决策模型或大语言模型。
快、准、还便宜
具体能力上，SubQ Snap可以基于最多38万4000词元的文本和图像做决策，并且能在1秒以内处理最多10万词元的请求。
准确度方面，在衡量决策模型判断力和实务性能的基准Decision Index v0.2.1上，SubQ Snap比Jev高出4分，得分61.7。
在专门评估长上下文决策准确性的Decision RULER和Decision LCR两项测试中，SubQ Snap的曲线显示：输入词元变长之后，它的决策水平没有明显下滑。反过来，输入词元较短时，它的表现同样优于Jev。
分项对比里，SubQ Snap在Decision Index的多数项目上领先Jev。只有三个基准是例外：评估复杂属性分类判断的ACOS、测量API使用准确度的API-Bank，以及判断该不该调用API的When2Call。
价格是另一个值得注意的点：每100万输入词元收费0.05美元，输出词元不收费。
目前SubQ Snap处于公开预览阶段，先到先得。名额满了之后，新用户会被放进等待名单。
决策模型想从配角变主角
Subquadratic对当前决策模型的定位说得很直白：现在这类模型主要用在评估大语言模型输出、或者提前挑选该用哪个大语言模型上，真正处理任务的还是大语言模型本身。
而他们认为，一旦决策模型能在大语言模型的工作流里真正承担起决策职责，它就有可能独立完成大规模任务，那时候事情会变得有意思得多。
SubQ Snap瞄准的正是这个方向——不是替大语言模型写答案，而是替它做判断。判断做得又快又准，整个代理工作流的成本和延迟才有下降的空间。
热门跟贴