封面新闻记者 付文超

随着AI应用加速演进，算力竞争正从单一芯片峰值性能向系统整体效能延伸，如何提升有效Token吞吐，成为智能计算发展的重要课题。

10月22日，在成都举行的2026中国计算机大会（CNCC 2026）上，海光信息携全系芯片及解决方案亮相，并围绕“数聚驱动，智算未来”大会主题，分享面向Agent高通量推理的系统级优化思路。

打开网易新闻 查看精彩图片

Agent应用加速发展，推动大模型从单次问答向自主规划、连续执行演进。多轮推理、工具调用和长上下文处理带动Token需求持续增长，对算力系统的并发处理、响应速度及持续服务能力提出更高要求。

然而，芯片峰值算力并不等于实际产出。计算等待、通信延迟、数据搬运及任务排队等问题，都可能制约算力资源的有效利用。如何突破系统瓶颈，让更多算力转化为有效Token，成为提升智能计算效率的关键。

海光信息智算量化设计专家孙建鹏提出，Token高效吞吐需要统筹“算、传、存、调”全链路优化。在服务时延与成本约束下，通过计算、通信、存储和调度协同，减少资源空转与无效数据搬运，提升系统整体计算效率，让峰值算力更充分地转化为实际业务产出。

面对高通量推理需求，CPU与智能计算芯片的协同价值进一步凸显。海光信息总裁助理兼智能计算产品部总经理杜夏威指出，Agent应用涉及复杂的任务编排、数据处理和资源调度，CPU在智能计算系统中的作用日益增强。同时，大模型训练与推理仍需要高密度并行计算支撑。两类计算需求相互交织，推动异构计算架构向深度协同演进。

依托CPU与智能计算芯片双芯协同，海光积极推动计算资源、数据传输、存储访问及任务调度的系统级优化，贯通应用、框架、算子、运行时与硬件等多个层级，减少计算等待和资源闲置，提升复杂负载下的整体计算效率。

此外，围绕AI Infra效能提升，海光进一步提出以量化分析驱动系统优化，通过硬件性能实测、模型负载解析、瓶颈归因及系统级仿真寻优，建立模型需求与计算资源的定量映射，为算力配置和架构优化提供依据，推动芯片性能优势转化为系统整体效能。