原标题：沐曦股份联合港科大SpecBlock推理加速方案入选AI顶会，实测性能达业界领先
国产GPU厂商的AI研究，再添一项顶会成果。
近日，全球人工智能顶级会议NeurIPS 2026公布录用结果，沐曦股份AI技术团队与香港科技大学联合提出的大模型推理加速方案SpecBlock入选主会Poster论文，全部实验流程已在沐曦GPU平台同步复现。
这项研究关注一个直接影响大模型使用体验的问题：怎样让模型生成回答更高效？SpecBlock从“草稿生成”环节入手，让轻量级模型先生成候选内容，再交由目标模型集中验证，并进一步优化草稿生成的效率与质量。
在沐曦C500通用GPU的指定测试条件下，相较于EAGLE-3，SpecBlock在两个8B模型上的平均推理吞吐分别提升16.4%和14.4%。
从国际学术会议录用，到国产GPU平台验证，这项联合研究呈现了沐曦在算法研发与算力平台协同方面的进展。
采用四大核心技术，突破推测编码性能瓶颈
随着大模型加速向智能Agent、实时交互等场景渗透，推理效率与运行成本成为AI产业竞争的新焦点。
传统逐Token自回归生成在Decode阶段受显存带宽限制，推理延迟与算力成本成为规模化落地瓶颈。推测解码（Speculative Decoding）作为关键加速技术，在Draft阶段（草稿阶段）通过轻量Draft草稿模型预生成候选Token，Verify（验证阶段）阶段再由Target目标模型一次并行验证，把逐Token生成转为一次计算接受多个Token。
但现有的推测解码方法面临“高预测质量依赖高计算成本、低成本牺牲预测质量"的两难——自回归Draft质量高却开销大，并行Draft成本低却质量差，固定候选树又难以动态分配验证预算。
针对这一难题，沐曦股份联合港科大提出SpecBlock（Block-Iterative Speculative Decoding with Dynamic Tree Drafting），以"块级迭代生成+动态树搜索"兼顾草稿效率与预测准确性。
该方案主要采用四项关键核心技术：Block-Iterative Drafting以块级生成替代逐Token串行预测、显著降低Draft开销；Layer-wise Shift与Prefix Broadcast强化Token间依赖、保持预测质量；Rank-Guided Dynamic Tree按预测置信度自适应分配搜索分支；Cost-Aware Online Adaptation根据验证反馈动态调整更新策略。
基于沐曦国产GPU跑通复现，性能达业界领先
目前，SpecBlock全部实验流程已在沐曦GPU平台同步复现。
实测表明，在沐曦C500通用GPU上，相比EAGLE-3，SpecBlock在Llama-3.1-8B和Qwen3-8B模型上的平均推理吞吐分别提升16.4%和14.4%，Draft阶段耗时分别降低50.9%和38.4%，性能达业界领先。
这项创新工作依托沐曦通用GPU与MXMACA软件生态，打通了“算法设计、模型训练到推理部署、性能评测”的完整链路，是对国产GPU与自主软件生态能否承载前沿AI研究的一次完整验证。未来，沐曦股份将继续深化与高校及产业伙伴的协同，推动算法创新、系统软件与国产算力深度融合，并通过代码开源加速先进推理技术的演进与应用落地。
论文名称：SpecBlock: Block-Iterative Speculative Decoding with Dynamic Tree Drafting
热门跟贴