10月16日，第十届CSDI Summit中国软件研发智能创新科技峰会在深圳举行。商汤大装置副总裁、CTO宣善明在主论坛发表题为《Agentic时代AI基础设施实践与趋势》的主题演讲，围绕Agentic时代Token增长趋势、异构推理集群实践及AI基础设施新技术探索等话题，分享了商汤大装置在大规模推理服务领域的技术探索与实践。

打开网易新闻 查看精彩图片

首先，AI基础设施的竞争逻辑已经变了。Agentic时代一来，多Agent协作、长任务执行把Token消耗拉到了千倍级，但高端芯片供给又卡着脖子。这时候，拼的不是堆卡，而是怎么用架构创新把每一分算力都榨出价值。商汤大装置搞的PD分离，说白了就是让国产算力干计算密集的活，高阶GPU干带宽敏感的活，在特定测试配置下，相同高端卡数量下整体吞吐量能提到5倍。这其实是一种产业经济学意义上的“比较优势”重组，不追求单点最强，而是让不同硬件各干各擅长的，整体效率反而上去了。

其次，这套玩法真正难的地方不在技术原理，而在工程落地。万卡级异构集群里，800G、400G、200G网络混着用，节点一故障大片资源就闲置。商汤的解法挺务实：预留高端算力补位，加上节点角色动态切换，让资源跟着负载流动。更关键的是，它手握临港AIDC这种自建智算中心，有物理改造权，能从硬件、网络到软件全链路调优。市面上不少玩家要么只卖软件、要么只运营算力，很难做到这种端到端的整合。这恰恰构成了它的护城河，不是某一项技术多牛，而是整套系统别人抄不走。

第三，往长远看，商汤大装置正在把推理从“调参艺术”变成“系统工程”。跨域PD分离要把不同地区的算力串起来，未来单卡吞吐有望提升150%到200%，运营成本降三到四成。当Token产出变得可度量、可验收，AI基础设施就真正具备了工业品属性。对商汤来说，这不仅是技术路线，更是商业模式，从卖算力转向卖Token产能，从项目制走向规模化交付。

我们看好商汤，不是因为它某一次测试的吞吐提升有多惊人，而是因为它选择的这条效率路线，恰好踩在了产业竞争的节拍上。Token这东西，最终比拼的不是谁喊得响，而是谁能稳定、便宜、大规模地产出。商汤至少在这个方向上，是认真的。