PyTorch 的创造者，如今在谷歌的 TPU 上跑 AI 模型了。而且大部分模型不需要移植到 JAX。
谷歌在开发者博客上宣布，其自研 AI 芯片张量处理单元（TPU）已经通过一个 PyTorch 原生版本的 SGLang 推理引擎，在 Meta 的生产环境中承担 AI 推理任务。同一时间，另一个常用推理引擎 vLLM 的对应版本也宣布开源。
此前，这两个引擎都要借助谷歌自家的 JAX 框架才能在 TPU 上运行。新版本让这块硬件成为 PyTorch 的原生选项，多数情况下不用重写代码。
三方合建的推理栈
Meta 的 PyTorch-TPU 负责人周宗伟（Zongwei Zhou）说：“SGLang-TorchTPU 今天已经在 Meta 的生产环境运行。”他提到，这是 Meta、谷歌和 SGLang 团队“紧密的三方协作”的成果。
该团队就职于 RadixArk，这家初创公司由 SGLang 的创造者创办，与谷歌、Meta 共同打造了这个引擎。按周宗伟的说法，它给 Meta 带来了一套“相当成熟的、PyTorch 原生的服务栈”。
Meta 的 PyTorch 工程总监 Jana van Greunen 在谷歌的 TorchTPU 文章中补充说，Meta“不能被单一硬件架构束缚”，TorchTPU“让我们能把 PyTorch 工作负载部署到谷歌 TPU 上”。谷歌表示，TorchTPU 是与 Meta 的 PyTorch 团队共同开发的。
这不是 Meta 第一次碰 TPU
谷歌把 PyTorch/XLA 称为新 TorchTPU 的“前身”，那是从 PyTorch 通往 TPU 的旧桥。SemiAnalysis 去年报道，Meta 的研究团队在 2020 到 2023 年间通过这座桥用过 TPU，后来 Meta 取消了那些合同。
谷歌推动 PyTorch 上 TPU，主要目标就是 Meta——后者不想迁移到 JAX。
Meta 生产环境中的 TPU 具体部署在哪里，目前不清楚。去年的相关谈判据称涉及 2026 年租用谷歌云 TPU、2027 年采购，Meta 后来据称签下了一份多年期租用协议。
这次发布的前一天，亚马逊在同一场 PyTorch 大会上宣布开源 TorchNeuron，那是它为自家 Trainium2 和 Trainium3 芯片打造的原生 PyTorch 后端。两个动作看起来都指向同一件事：松动英伟达的软件锁定。
性能数字
在性能方面，一套调优过的 vLLM 配置在第七代 Ironwood TPU 上服务 Moonshot AI 的开源权重模型 Kimi K3（2.8 万亿参数），据称单用户速度超过每秒 700 个 token。
这个速度数字来自 Inferact，这家由 vLLM 创造者创办的初创公司参与了谷歌 vLLM-TorchTPU 的构建。它的测试用 16 块 Ironwood 芯片加投机解码（用一个小型草稿模型加速大模型推理的方法），对照 vLLM 公布的 16 块英伟达 GB200 配置，后者达到每秒 452 个 token。
在不使用投机解码、小批量场景下，它针对 Kimi K3 和 Qwen 3.8 27B 的内核吞吐量约为 GB200 基线的 1.4 到 2 倍。
SGLang-TorchTPU 会持续增加模型支持，首批是 DeepSeek V4.1 Flash 和 Reflection Beam。据 RadixArk 说法，团队还在推进新开源模型的“第 0 天”TPU 支持，也就是发布当天即可支持，目标时间是 2027 年第一季度。谷歌、Meta 和 RadixArk 计划在 2026 年 11 月 12 日至 13 日于旧金山举行的 SGLang 峰会上分享更多内容。
热门跟贴