随着人工智能智能体普及，长上下文对话带来海量Token（词元）消耗与高昂算力成本，成为下游AI服务厂商的核心痛点。6月30日，中昊芯英推出第二代自研TPU芯片“须臾”与泰则2.0智算平台，综合性能比前一代芯片提升3倍，有望大幅下降算力调用成本。

中昊芯英创始人、CEO杨龚轶凡接受证券时报记者等媒体采访时表示，TPU架构针对大模型高并发张量计算具备深度定制优化的天然优势，随着AI行业从实验室走向大规模应用，TPU生态的行业价值和差异化壁垒将持续放大。

优化算力落地成本

作为国产首款量产级TPU芯片，中昊芯英推出的初代TPU芯片“刹那®”于2023年完成流片、量产并推向市场，落地深圳联通、天津移动、太极股份等运营商、政府机构、科技企业建设的多个超大规模智算中心，覆盖金融、教育、传媒等行业。经过三年大规模落地验证，中昊芯英推出了第二代芯片“须臾”。

“须臾综合性能相比一代提升3倍，其中至少1.5倍来自底层纯架构性能升级。”杨龚轶凡介绍，因为TPU架构本身天然比通用GPU能耗更低，所以最新迭代并未将功耗优化作为核心，而是将性能与芯片面积作为平衡优先级项目。即便如此，须臾相较于同等算力性能传统算力芯片，功耗降低50%。另外，当前行业最核心诉求是控制硬件采购成本，优先提升算力、压缩百万Token硬件开销，急迫性高于单纯降低功耗。

综合性能来看，相比上一代芯片，须臾深度优化大模型张量计算逻辑，扩容寄存器与大容量片上缓存，核心参数大幅跃升：单芯片混合精度浮点算力896TFLOPS，8-bit推理算力1792TOPS，适配百万词元高并发推理；显存与片间互联速率全面升级，大幅减少多轮对话上下文重复搬运损耗。

“当下行业最突出痛点就是超长上下文推理需求爆发，市面上现有算力设备很难高效支撑百万Token级上下文窗口，这也是我们重点攻坚方向。”杨龚轶凡介绍，须臾芯片重构脉动阵列数据流调度，大幅提升KV Cache缓存命中率，削减历史上下文重复计算，并在底层原生支持PD分离推理架构，拉高Token处理性价比。

客户内测反馈显示，搭载须臾的泰则2.0整机综合性能实现三倍以上提升，同时二代芯片售价仅小幅上调，综合下来百万Token推理性价比实现两倍以上提升。

夯实TPU差异化壁垒

早在2018年团队归国创业，中昊芯英便锁定TPU赛道，并主打差异化竞争优势。

“通用GPU具备本土化落地价值，但从全球产业视角，这条路线很难再诞生颠覆性技术玩家。”杨龚轶凡解释，英伟达、AMD深耕GPU三十年，每年投入数十亿美元研发，硬件架构、CUDA软件栈优化空间基本耗尽，后续迭代仅能依靠先进制程、存储器件做小幅调整，底层无法实现革新；成熟软件生态更是难以逾越的护城河，后来者难以弯道超车。

相比通用GPU，TPU天生面向大模型高并发张量计算定制，更加契合大模型底层计算核心，在Attention算子做数据流优化，数据复用率均远高于通用GPU，而重复内存读写开销大幅削减。泰则2.0整机正式基于TPU原生张量计算架构打造，不只是简单架构迭代，还在计算单元、片间通信、存储三大模块叠加多层微架构创新。

更关键的是，随着人工智能推理算力向专业化发展，Prefill-Decode（PD）分离将成为新型算力架构趋势。即专门负责预填充（Prefill）计算的芯片、专门负责解码（Decode）计算的芯片各司其职，不同计算环节匹配专用硬件。通用GPU兼顾全场景通用能力，在这种细分专业化场景下优势将打折扣，而TPU的性价比优势还会进一步放大。全球市场中，谷歌持续扩产自研TPU，英伟达收购同类张量架构团队Groq和LPU（语言处理单元）技术。

“TPU有更多的无人区待探索。”杨龚轶凡介绍，对比成熟GPU，TPU赛道发展周期较短，谷歌2015年才启动初代TPU研发，目前，TPU赛道仍存在大量微架构创新空间。中昊芯英一代刹那已经落地高复杂度Chiplet芯粒分层集成方案，集成难度高于行业同类产品，完整打通流片、量产、规模化交付全链路，为国内TPU产业积累自主工程化知识体系。

攻坚软件生态

当前国产芯片面临的最大挑战并非单一性能问题，而是软件生态的构建与完善，这需要数年时间沉淀。杨龚轶凡坦言，英伟达数十年重金深耕生态，公司仅一年半完成基础软件栈搭建，仍有漫长优化周期。

中昊芯英全面拥抱开源生态，适配PyTorch等主流底层框架，开发者可沿用原有业务代码，无需大规模底层改写。团队会聚焦国内头部大模型专属算子调优；企业迁移算力平台时，配套定制算子优化，提升推理吞吐。

目前须臾已完成MiniMax、智谱等国产主流大模型适配，多数落地场景单位Token产出性价比超过海外头部GPU，后续将持续推进芯模联动调优，进一步放大成本优势。集群层面，泰则2.0单个超节点最高可实现2048片须臾芯片直联，支持搭建万卡规模算力池，原生兼容OCS（光电路交换）方案，批量部署后集群多年综合运营成本降幅将超20%。

作为产品研发和迭代方向，公司短期核心攻坚大模型、智能体赛道，超大模型计算、视频算力、万卡超大规模集群将为中长期目标。芯片侧将完善PD分离专用架构、优化超大模型分布式集群互联、硬件原生加速低精度推理、扩容超大片上存储。

针对国内算力软件碎片化现状，杨龚轶凡判断长期国内底层软件框架将走向兼容互通，并将公司目标定位为AI界的“x86”，对标CPU领域X86架构，打造全行业通用AI计算标准，“未来即便涌现更多TPU、专用算力创业企业，我们也不会恶性竞争，而是开放协同、共建TPU软硬件标准，联合全产业链完善技术体系，做TPU架构普及与标准化的核心推动者”。