10倍Token生成速率,这个数字到底有几分真?NVIDIA突然牵手一家ASIC初创,卖的究竟是什么药?
先从合作本身看。据The Information报道,NVIDIA正在与d-Matrix联手打造混合算力基础设施。具体载体是一家叫Parasail的Neocloud企业——它把NVIDIA的Hopper/Blackwell GPU和d-Matrix的Corsair ASIC塞进同一个推理流水线,直接喊出了10倍词元生成速率。不是替换,是混用。这和以往“GPU一统推理”的叙事明显不同。
技术上的分工更值得细拆。Parasail这套方案里,GPU被钉在推理前端,专门处理计算密集的预填充任务;而d-Matrix的Corsair芯片带着大容量SRAM,蹲在后端负责延迟敏感的解码。换句话说,把权重搬进SRAM里离计算单元更近的地方,避开了频繁访问外部内存的能耗和延迟。这颗基于台积电N6制程的SoC采用数字存内计算架构,片上SRAM直接跟计算单元耦合,片外再挂LPDDR5做容量补充。想法不新鲜,但能把专用芯片和NVIDIA自家GPU摆在同一张菜单上,说明连英伟达也承认:单靠通用GPU,解码环节的能效账算不过来。
d-Matrix创始人Sid Sheth的话说得更直白:推理的未来是异构的,GPU和专用加速器不是对手,而是上下游。这话放在一年前可能会被当成碰瓷,现在NVIDIA亲自站台,味道就变了。Parasail的案例其实在暗示一种新的云推理商业模式——客户不用纠结选哪家芯片,而是按工作负载阶段匹配最适合的硬件。
但回到那个扎眼的10倍。得冷静看一眼:这究竟是端到端吞吐的10倍,还是只在解码环节、特定模型和batch size下的最优表现?原文只提了Token生成速率,没讲总延迟、并发数或成本变化。如果只是把解码从GPU迁到SRAM密集型ASIC上,单看这一阶段有10倍提升并不奇怪,可整个推理链条的总账能不能跑赢,得看预填充那头的GPU会不会成为新瓶颈。商业上,异构调度带来的软件复杂度、运维成本,Parasail能消化多少,新闻稿里一个字都没提。
所以这更像一次精准的卡位。NVIDIA用生态优势把专用芯片圈进自己的管道里,d-Matrix拿到背书和落地场景,双方都在赌同一件事:大模型推理的下半场,赢家不是某一种芯片,而是能灵活编排多种算力的中间层。这个逻辑本身没问题,只是那10倍增速到底值多少钱,还得看客户刷卡后的真实账单。
热门跟贴