Hot Chips 2026 Takeaway（一）：Hyperscaler ASIC全面提速|amd|asic|gpu|nvidia|知名企业|英特尔

来源：市场资讯

事件

Hot Chips 2026最明确的产业信号之一，是AI Accelerator正在从追求单一通用架构转向围绕不同Workload进行系统级优化。Google首次将第八代TPU拆分为面向训练的TPU 8t和面向推理的TPU 8i；Meta将MTIA从Recommendation进一步扩展至GenAI；Microsoft Maia 200明确聚焦大规模Inference；OpenAI则首次系统披露与Broadcom联合开发的Jalapeño推理ASIC。与此同时，AMD MI455X和Intel Crescent Island显示GPU本身也开始围绕不同推理场景重新平衡Compute、Memory、Power和Deployment Cost。我们认为，AI芯片竞争的单位正在从“Chip vs. Chip”升级为围绕Training、Reasoning、Low-latency Inference及Recommendation分别优化Compute、Memory、Fabric和Software的Workload-Specific System；ASIC将在规模足够大、模型结构稳定且TCO敏感的Inference市场加速渗透，而GPU也会通过架构分化继续覆盖Frontier Training和更广泛的通用AI workload。

点评

Training与Inference的硬件需求已经明显分化，Inference正在快速变得更加Memory-intensive。 TPU 8t面向大规模Pre-training，单芯片216GB HBM、6.5TB/s带宽和12.6PFLOPS FP4，单Superpod扩展至9,600颗芯片；TPU 8i则主动降低峰值Compute至10.1PFLOPS FP4，同时将HBM提高至288GB/8.6TB/s、片上SRAM提高至384MB，并引入Collectives Acceleration Engine和新的Boardfly网络拓扑。按单芯片计算，TPU 8i的HBM Capacity/FP4 Compute和Memory Bandwidth/FP4 Compute均较8t高约1.65倍。Google给出的结果是8t训练Performance/$较Ironwood提升最高2.7倍，而8i低延迟MoE推理Performance/$提升最高80%。我们认为，Agentic AI时代的Inference瓶颈正在从峰值FLOPS逐步迁移至Memory Capacity、Bandwidth、KV Cache及Collective Latency，单纯提高Compute Density的边际收益下降。

Hyperscaler ASIC已经越过内部实验阶段，开始直接承接核心生产流量。 Meta此前的MTIA主要服务Ranking和Recommendation，而MTIA 400开始同时覆盖Recommendation与GenAI，并采用8颗HBM3E、约9.4TB/s Memory Bandwidth以及72颗ASIC Scale-up Domain；相较MTIA 200，其FP16 Compute提升超过15倍、DRAM Bandwidth提升约46倍。Microsoft Maia 200则以Token Economics为设计目标，采用TSMC 3nm、216GB HBM3E/7TB/s和272MB SRAM，在750W功耗下提供超过10PFLOPS FP4，并已进入GPT-5.2、Microsoft 365 Copilot等实际负载。我们认为，自研ASIC的核心价值已经从单纯降低芯片采购成本，扩大至围绕内部Model、Compiler和Infrastructure联合优化Token/$，这会进一步提高Hyperscaler将稳定Inference workload迁移至Custom Silicon的经济动力。

OpenAI Jalapeño进一步将Hardware-Software Co-design从架构定义推进至芯片开发流程本身。 Jalapeño针对LLM Inference从零设计，配备216GB HBM4、15.4TB/s Memory Bandwidth，在700W下提供最高13.4PFLOPS MXFP4，并可由128颗ASIC扩展至单Rack、2,048颗扩展至16-Rack Pod。更值得关注的是，OpenAI从RTL到Tape-out仅用了约9个月，并利用自身模型参与RTL生成和PPA优化。我们认为，AI Lab对Silicon的参与正在从提出Workload需求进一步延伸至Architecture、Compiler乃至RTL开发；如果AI辅助芯片设计能够持续缩短Design Cycle，Custom ASIC的迭代节奏有望逐步接近模型和软件迭代周期，进一步削弱传统3-4年固定芯片周期对专用架构的限制。

Workload-Specific并不局限于ASIC，GPU路线本身也开始明显分层。 AMD MI455X选择432GB HBM4和23.3TB/s Memory Bandwidth，并提供40.3PFLOPS MXFP4，明显强化大模型、长Context和KV Cache所需的Memory Capacity；72颗MI455X组成的Helios Rack进一步提供31TB HBM4。相比之下，Intel Crescent Island采用最高480GB LPDDR5X和350W风冷PCIe形态，核心目标是以更低功耗和更低部署门槛承接Enterprise Agentic Inference。我们认为，这一对比说明未来AI Accelerator不会沿着单一“更高FLOPS+更高HBM”的路线演进：Frontier和Hyperscale workload继续追求HBM Bandwidth与Rack-scale Fabric，而成本敏感、存量数据中心和Enterprise Inference则可能通过更大容量LPDDR、较低TDP和标准PCIe形态优化Token Economics。

横向来看，AI Accelerator正沿Workload形成三类差异化架构，Inference的资源配置明显由Compute向Memory和Communication倾斜。 Frontier Training以TPU 8t和AMD MI455X为代表，核心仍是Peak Compute、HBM容量和Rack-scale Fabric；Hyperscale Inference以TPU 8i、MTIA 400、Maia 200和Jalapeño为代表，更强调Memory Bandwidth、On-chip Memory及Scale-up能力，以优化Token/$和Latency；Enterprise Inference则以Intel Crescent Island为代表，通过大容量LPDDR5X、低TDP和标准PCIe形态降低部署成本。按公开规格测算，TPU 8i、MTIA 400、Maia 200和Jalapeño的Memory Bandwidth/Peak Compute约为0.69-1.15TB/s per PFLOP/PetaOPS，高于NVIDIA Rubin的0.44、TPU 8t的0.52和MI455X的0.58，进一步反映高性能Inference的系统瓶颈正加速向Memory Movement和Communication迁移，而NVIDIA则通过更高Compute Density、NVLink和CUDA维持更广泛的Workload覆盖。

Memory和Scale-up Fabric正在成为决定系统性能的共同变量，但不同Workload对应的最优Memory Architecture也开始分化。 TPU 8i、MTIA 400、Maia 200和Jalapeño均显著提高HBM Capacity和Bandwidth，说明高端Hyperscale Inference仍在持续提高HBM content；AMD MI455X同样将单GPU HBM4提高至432GB。另一方面，Crescent Island选择480GB LPDDR5X，也说明并非所有Inference workload都需要HBM的极致Bandwidth。我们预计Memory市场会进一步形成分层：HBM继续占据Frontier Training和高性能Inference的高带宽层，LPDDR/CXL等更低成本方案则承接部分Capacity-sensitive workload；AI Accelerator数量和应用场景扩张仍将提高整体Memory content，但不同Memory tier之间的价值量分配将更加Workload-specific。

对NVIDIA而言，ASIC渗透更可能改变AI Compute的结构和产品Mix，而非短期压缩整体GPU需求。 Google在持续推进TPU的同时仍部署NVIDIA GPU，Meta也同时发展MTIA与外购GPU；Custom ASIC首先承接的是超大规模、重复性高且TCO敏感的内部Inference workload，而GPU在Frontier Training、快速变化的模型架构及第三方Cloud workload上仍具备Programmability和Ecosystem优势。与此同时，NVIDIA也在通过Groq 3 LPX、Spectrum-X和BlueField等架构向Inference和AI Factory系统层延伸，提高单个AI Factory中的非GPU System Content。我们预计AI Compute市场会进一步分层：GPU继续占据Frontier和通用计算平台，ASIC加速进入规模化Inference和垂直工作负载，而竞争焦点则从单芯片峰值性能逐步转向Token/$、Memory efficiency、Fabric utilization和Software integration。

风险

1）市场竞争加剧2）技术验证不及预期3）产品落地不及预期