大模型规模持续膨胀,算力集群的扩展性瓶颈已经成为通用人工智能向前推进的核心堵点。长期以来,全球AI算力集群普遍沿用主从调度架构:集群内存在主节点承担任务分发、资源调度,大量计算卡作为从节点执行运算。当集群规模持续扩大,主节点会成为天然瓶颈,跨节点通信开销激增、内存访问割裂,算力利用率会快速下滑。行业过去的解法,大多是持续堆叠芯片、提升单卡算力、优化高速互联网络,本质是在原有范式内做性能优化,并没有解决集群扩展的底层矛盾。9月17日,华为正式发布面向AI时代的Peerium计算架构,试图跳出原有框架,从底层模型重构大规模算力组织方式。

从技术内核来看,Peerium架构依靠嵌套并行、统一内存寻址、平等互联三大核心能力,实现百万级处理器的强扩展。华为创新性提出NestedBSP(嵌套批量同步并行)模型,突破传统图灵范式与冯・诺依曼单机架构约束,颠覆沿用数十年的主从架构。在这套体系下,所有处理器节点地位对等,不再区分主节点与从节点;配合“灵衢”开放高速总线互联技术,CPU、NPU、内存、存储、网络设备可以平等互联,海量处理器能够融合成单一的巨型计算机,而非一堆独立机器的简单拼接。这一设计直击当前智算集群的两大痛点:主节点单点瓶颈、分布式内存地址隔离。

落地产品层面,Atlas950超节点是Peerium架构首款落地硬件产品,25.6万卡规模的Atlas950超节点集群已经进入部署阶段;下一代基于NPO的Atlas960系统,目前处于内部测试环节。从产业视角解读,这一动作的意义远不止新增一套算力硬件。在此之前,国内算力产业更多聚焦芯片制造、服务器整机、集群网络等单点突破,而Peerium架构代表国内厂商开始深入到计算范式、并行编程模型、全局内存模型等最底层的基础理论层。

放眼全球算力竞争格局,海外主流AI集群方案依旧扎根在主从分布式体系之上,优化重心集中在芯片算力、网络带宽。这套路线在几万卡规模尚能维持效率,但向几十万、百万级处理器扩张时,通信延迟、同步开销、内存墙带来的损耗会指数级上升。华为Peerium架构提出的平等互联+嵌套并行思路,提供了一条差异化的技术路线,理论上可以大幅降低超大规模集群的调度损耗,提升算力利用率,适配下一代超大参数量通用模型训练需求。

但我们也需要理性看待新架构落地的现实挑战。一套全新计算架构,硬件只是基础,生态才是决定成败的关键。NestedBSP是全新并行模型,意味着大模型开发者、AI框架厂商需要重新适配编程逻辑,原有大量分布式训练代码需要改造,迁移成本不容小觑。同时,百万级处理器一体化运行,对集群稳定性、故障恢复、运维体系提出极高要求。目前Atlas950集群尚处在部署阶段,理论性能能否在真实大模型训练场景兑现,长时间稳定运行的表现如何,都需要经过长时间工程验证。

放到国内数字基础设施建设的大背景下,Peerium架构的价值体现在算力底座自主可控。国内智算中心建设持续提速,但底层计算范式长期跟随海外体系。如果Peerium架构能够顺利完成工程落地,并逐步吸引框架、开发者生态接入,国内有望建立一套自主的大规模AI计算体系,不再完全依附海外分布式计算范式。

总体而言,Peerium架构的发布,标志AI算力竞争进入底层范式比拼的新阶段。单纯比拼单卡算力、卡群规模的时代正在走向尾声。未来,谁能解决百万级处理器高效协同的难题,谁就能掌握通用人工智能时代算力基础设施的话语权。当然,范式革新是漫长过程,架构理论优势,最终需要真实场景的训练效率、稳定性、生态成熟度来证明。