2018年ISCA会议提出计算机架构进入“新黄金时代”，背景是CPU性能增长率持续下滑。摩尔定律和Dennard缩放双双逼近极限，通用处理器已经难以靠制程红利继续提升效率。域特定架构（DSA）由此成为行业核心驱动力，它不再追求面面俱到，而是针对AI负载重新设计计算和内存路径。
专用架构为何能打破CPU停滞
谷歌TPU v1是最早被广泛讨论的案例之一。根据原文数据，这款芯片在推理任务上实现了29倍的吞吐量提升，同时能效提高80倍。这个数字对比的是同期通用CPU方案，说明DSA在特定场景下的收益远超传统路线。GPU、TPU、晶圆级引擎和LPU等架构随后陆续出现，各自选择不同的技术路径来放大这一优势。
四种主流架构的计算方式差异
GPU走的是可编程线程加Tensor Core路线，灵活性高，但需要软件栈配合才能发挥算力。TPU和Trainium采用systolic array（脉动阵列），数据在阵列中按固定节奏流动，适合矩阵乘法这类规整运算。Cerebras把整片晶圆做成单一芯片，用超大规模片上互连减少跨芯片通信。Groq的LPU则使用固定流水线，牺牲一定灵活性换取确定性的低延迟。
这四种方案没有绝对优劣，差异主要体现在计算单元形态和数据移动路径上。GPU依赖NVLink和PCIe连接外部内存，TPU更强调片上缓冲区与HBM的配合，Cerebras尽量把数据留在晶圆内部，Groq则通过固定数据流减少调度开销。
内存墙在解码阶段最致命
AI推理的瓶颈并不总是在计算端。解码阶段以GEMV（矩阵-向量乘法）为主，计算密度远低于训练时的GEMM（矩阵-矩阵乘法），但每次生成一个token都要访问大量权重数据。此时内存带宽成为硬约束，也就是常说的“内存墙”。原文指出，各架构都在围绕三个问题做优化：数据放在哪里、数据怎么移动、计算单元长什么样。
具体策略包括扩大片上SRAM、引入HBM高带宽内存、优化数据移动路径。英伟达Hopper H100是一个典型例子，它引入HBM3和Tensor Memory（TMEM），重点降低数据局部性成本和移动开销。原文认为这种设计在大规模上下文处理场景中具有优势，因为更长的上下文意味着更频繁的内存访问，谁能减少数据搬运，谁就能在解码阶段拿到更好的实际性能。
数据位置决定能效上限
从片上SRAM到HBM再到DRAM，每一级存储的带宽和功耗差距都很大。把频繁访问的数据尽量留在靠近计算单元的位置，是各架构共同的目标。Cerebras的晶圆级方案把这一思路推到极致，整片晶圆上的SRAM容量远超单芯片方案，数据几乎不需要离开计算区域。Groq则通过固定流水线让数据移动路径完全可预测，避免动态调度带来的额外访问。
TPU和Trainium的脉动阵列同样在减少数据搬运，权重在阵列中复用，输入数据按节奏流入，输出结果直接进入下一级缓冲区。这种设计在推理场景下能效表现突出，但对非规整计算的支持相对有限。GPU的Tensor Core虽然也针对矩阵运算优化，但整体架构仍需兼顾通用计算，数据路径更复杂。
架构选择本质是取舍
原文没有给出某一架构全面胜出的结论，而是强调每种方案都在特定约束下做权衡。GPU胜在生态和灵活性，TPU/Trainium胜在规整负载下的能效，Cerebras胜在片上资源规模，Groq胜在延迟确定性。内存墙的解法也不是单一技术，而是数据位置、移动路径和计算单元形式的组合优化。
随着上下文长度持续增长，解码阶段的内存压力还会进一步放大。HBM3和Tensor Memory这类技术只是当前阶段的应对手段，未来架构迭代仍会围绕“让数据少跑路”这个核心逻辑展开。
热门跟贴