公众号记得加星标⭐️，第一时间看推送不会错过。
2026年秋季，人工智能推理领域将迎来重大变革。随着推理成为人工智能的主要工作负载，其成功不仅取决于强大的芯片，还取决于来自新架构和内存设计的系统级创新。
从OpenAI的Jalapeneo和英特尔的Crescent Island GPU到初创公司独角兽Fractile，多款新型芯片即将应用于人工智能数据中心。其他初创公司，例如Taalus和Tensordyne，则一直在开发专用于数据中心人工智能推理的芯片，而不是可编程图形处理器（GPU）。
未来几个月，边缘人工智能市场也将发生变化，Hailo 被 Microchip 收购，而英伟达将与苹果在桌面电脑领域展开正面竞争。
与此同时，AMD计划将其第五代GPU MI455X与Cerebras开发的晶圆级推理引擎相结合。此外，荷兰Axelera公司正在开发一种名为Titania的芯片技术，英国Graphcore公司也将于今年晚些时候推出一款面向数据中心应用的新芯片。
其他一些成熟的公司，如 SambaNova 和 Tenstorrent，也在推销他们的人工智能推理芯片，云服务提供商也开始采用这些技术。
然而，随着数据中心大量采购高带宽内存 (HBM) 堆栈甚至 DRAM，内存架构和支持变得越来越重要。
OpenAI Jalapeño
OpenAI 的 Jalapeño 推理芯片是为该公司当前和未来的 LLM 从零开始构建的，从设计到生产仅用了九个月时间，博通公司利用 OpenAI 的模型来加快芯片设计速度。
博通表示，这项技术将与数据中心合作伙伴分几代以千兆瓦级规模部署，并于 2026 年底开始部署。Jalapeño 芯片的工程样品正在实验室中以生产目标频率和功耗运行机器学习工作负载，包括 GPT-5.3-Codex-Spark。
OpenAI 基于其对 LLM 基本原理的深刻理解，并结合其模型、内核、服务系统和产品需求的路线图，从零开始设计了这款芯片。OpenAI 与合作伙伴 Broadcom 和 Celestica 携手，通过芯片实现、电路板和机架系统集成、高性能网络以及可扩展的生产系统，助力该平台实现产业化。Jalapeño 芯片的设计具有高度灵活性，可与所有 LLM 兼容。
该架构减少了数据传输，并平衡了计算、内存和网络资源，从而使实际利用率更接近理论峰值性能。博通的芯片实现和网络技术，包括 Tomahawk 网络芯片，助力该平台实现大规模量产。
虽然详细的技术报告尚未发布，但 OpenAI 表示，早期测试表明，Jalapeño 的每瓦性能将远超目前最先进的芯片。详细的性能技术报告将在未来几个月内发布。
OpenAI总裁兼联合创始人格雷格·布罗克曼表示：“世界正在迈向计算驱动型经济。Jalapeño是我们长期全栈基础设施战略的一部分，旨在提升计算能力，从而打造速度更快、更可靠、更经济实惠的人工智能，让个人和企业都能从中受益，并用于解决更重要的问题。通过自主设计更多技术栈，我们可以更高效地提供更强大的智能服务，并不断推动先进人工智能走向更广泛的应用。”
“Jalapeño 从底层架构开始就专为 LLM 推理而设计，并融入了我们与 OpenAI 研究人员紧密合作的深入见解，”OpenAI 硬件项目负责人 Richard Ho 表示。“我们围绕内核、内存移动、网络和服务模式等对前沿 AI 模型至关重要的方面优化了架构。根据早期测试，Jalapeño 能够高效地执行我们最重要的工作负载，并接近硬件的理论极限。”
博通公司总裁兼首席执行官陈福阳表示：“我们与OpenAI的合作体现了我们对未来十年人工智能所需物理基础设施规模化发展的根本承诺。这仅仅是一个多代路线图的开端。通过与OpenAI直接合作开发我们业界领先的芯片，我们将与微软和其他合作伙伴携手，从2026年开始部署千兆瓦级数据中心。”
英特尔Crescent Island
英特尔携一款代号为“Crescent Island”的数据中心设备重返GPU市场，该设备面向人工智能推理工作负载，具有高内存容量和节能性能。
英特尔首席技术官 Sachin Katti 表示：“人工智能正从静态训练转向实时、无处不在的推理——由智能体人工智能驱动。扩展这些复杂的工作负载需要异构系统，将合适的芯片与合适的任务相匹配，并由开放的软件栈提供支持。随着令牌量的激增，英特尔的 Xe 架构数据中心 GPU 将为客户提供所需的充足性能和更高价值。”
英特尔与数据中心标准组织开放计算项目 (OCP) 合作设计了该芯片，该芯片针对风冷企业服务器进行了优化，并集成了大量的内存容量和带宽，以满足推理工作流程的需求。
该芯片基于即将推出的 Nova Lake-S 和 -H CPU 所使用的 Xe3P 微架构，优化了每瓦性能，并支持 160GB 低功耗 LPDDR5X 内存。此外，它还支持多种数据类型，可用于“令牌即服务”提供商和推理。
英特尔面向异构人工智能系统的软件栈目前正在 Arc Pro B 系列 GPU 上进行开发和测试，以实现早期优化，客户样品预计将于 2026 年下半年交付。
Maia 200
与此同时，超大规模数据中心运营商也在开发自己的芯片。微软于今年1月发布了Maia 200，该芯片采用了重新设计的架构，专注于提升内存吞吐量。
这款750W芯片采用台积电3nm工艺制造，并采用分层微架构，由一系列单元组成。每个单元集成了两个互补的执行引擎：一个用于高吞吐量矩阵乘法和卷积的单元张量单元（TTU），以及一个作为高度可编程SIMD引擎的单元向量处理器（TVP）。这些引擎由多级存储单元的单元SRAM（TSRAM）和单元级DMA子系统供电，用于在不中断计算流水线的情况下将数据移入和移出SRAM。一个轻量级的单元控制处理器（TCP）运行软件栈生成的底层代码，并协调TTU和DMA的工作分配，而硬件信号量则提供数据移动和计算之间的细粒度同步。
这意味着该芯片片上集成了 272 GB 的 SRAM，并连接到 216 GB 的 HBM3e 内存，集群规模最多可扩展至 6144 个设备。该芯片已部署在爱荷华州和亚利桑那州的数据中心，并计划于今年晚些时候扩展到意大利、澳大利亚和韩国。
人工智能推理主权
总部位于英国的初创公司Fractile强调了欧洲对推理芯片的需求。该公司获得了北约投资基金的支持，并在最近一轮2.12亿美元的融资中获利，其基于RISC-V的内存计算架构使其估值超过10亿美元。该公司计划于2026年下半年发布其首款芯片。
另一家英国芯片设计公司Graphcore，虽然隶属于日本软银集团，但在2020年开发了第二代Colossus芯片GC200，该芯片集成了1472个内核和900Mbit的SRAM内存。这款芯片运行的是该公司在LLM技术出现之前开发的软件，而且该公司还必须自行开发电路板和机架。
该公司在内存集成和内存计算方面拥有关键技术，并正在扩充其位于英国布里斯托尔和剑桥的设计团队，以及位于印度班加罗尔的500人团队。这些团队正在开发Izanagi芯片，该芯片也计划于今年晚些时候发布。这款芯片很可能采用Graphcore公司已展示的晶圆键合技术，将处理器与海量SRAM内存连接起来。这将在提升性能的同时，避免目前采购HBM内存堆栈乃至LPDDR内存所面临的难题。
其他推理人工智能芯片
目前有多种推理型人工智能芯片正在研发中。Taalus 针对特定的人工智能模型，为其定制开发硬件，以在降低功耗的同时提升性能。Taalus HC1 技术演示器采用台积电 6nm 工艺制造，运行于 2.5kW 的服务器上，搭载 Llama 3.1 8B 人工智能模型。真正的挑战在于如何选择合适的模型并将其转化为硬件。
另一家初创公司是Tensordyne，该公司于2017年以Recogni之名成立，专注于汽车视觉人工智能。其数据中心推理技术采用对数数制（LNS）而非传统的浮点运算。其3纳米Napier推理人工智能处理器将复杂的矩阵乘法转换为简单的加法，从而缩小计算逻辑面积，优化每瓦性能。该处理器拥有48个针对Transformer人工智能模型优化的计算节点，并连接到144GB的HBM内存。它封装在一个风冷机箱中，采用72芯片机箱，在30千瓦功耗下可提供相当于76.7 petaflops的FP16计算能力，仅为其他领先系统的三分之一。
边缘人工智能推理
英伟达凭借其Project Digits设计，正式进军边缘AI设备领域，如今这款产品以DGX Spark之名正式上市。它基于与联发科联合开发的独立GB10 Grace Blackwell超级芯片，集成了20个ARM核心（10个Cortex-X925和10个Cortex-A725）以及6144个CUDA核心，采用英伟达Blackwell架构。配备128GB LPDDR5x一致性统一系统内存，其FP4 4位精度下最高可达1 PetaFLOP的运算能力，或1000 AI TOPS的运算能力。
功耗是推理芯片的另一个关键标准，无论是在机架中还是在机箱中，GB10 的散热范围为 140W，而 DGX Spark 机箱需要 240W 电源。
它可以运行领先的人工智能模型，例如 Kimi-K2 Thinking、DeepSeek-V3.2、Mistral Large 3、Meta Llama 4 Maverick、Qwen3 和 OpenAI gpt-oss-120b。
vLLM核心维护者尤凯超表示：“Nvidia GB300通常以机架式系统的形式部署。这使得像vLLM这样的项目难以直接在强大的GB300超级芯片上进行测试和开发。DGX Station改变了这种现状。通过将GB300集成到紧凑的单系统桌面环境中，DGX Station使vLLM能够以更低的成本测试和开发GB300的特定功能。这加快了开发周期，并使vLLM能够轻松地持续验证和优化GB300的性能。”
SGLang社区贡献者Jerry Zhou表示：“DGX Station将数据中心级别的GPU性能直接带到了我的房间里。它足以运行像Qwen3-235B这样的大型模型，测试具有大型模型配置的训练框架，并开发具有超大矩阵规模的CUDA内核，所有这些都可以在本地完成，无需依赖云机架。这大大缩短了系统和框架开发的迭代周期。”
多家制造商都开发了各自的 DGX Station 版本，华硕、Boxx、戴尔科技、技嘉、惠普、微星和超微等公司都已开始出货相关系统。
联发科也曾协助英伟达开发过一款与GB10类似的显卡，用于运行Windows 11系统的PC，以便使用OpenClaw等AI代理框架。RTX Spark芯片与GB10一样拥有128GB的统一显存，目标客户是今年晚些时候上市的AI笔记本电脑，其功耗范围为80至110瓦。
OpenClaw基金会首席架构师Vincent Koc表示：“我们强烈支持将OpenClaw等代理安全地部署到Windows生态系统中。在RTX Spark上运行OpenShell和微软安全原语等解决方案，将使用户能够利用完全集成的技术栈，在设备上运行私密的个人代理。”
Metis
Axelera 指出，一位开发者每天仅使用两台迷你电脑就能处理数百万个代币，完全放弃了云 API 以降低成本。这是一个关键的转变。随着人工智能能力的不断提升以及其在日常运营中的日益融入，在本地硬件上运行人工智能的理由也越来越充分。开源模型已经成熟，迷你 AI 电脑也发展成为一个强大的计算平台，能够替代传统台式机处理各种工作负载。因此，Axelera 迷你电脑搭载了其第一代 Metis 芯片，并采用 PCI M.2 接口，专为边缘 AI 而设计。
对于人工智能视觉而言，这种转变尤为重要。一条持续进行缺陷检测的生产线会产生海量数据，难以高效地将其传输到云端。据市场研究公司Market Mind Partners预测，到2027年，全球超过40%的制造工厂将采用边缘计算视觉系统。
Axelera 表示，将 AI 视觉功能部署到企业内部意味着在数据生成地点进行处理，并根据实际运营需求扩展部署规模，而不是受限于云架构。这还能确保系统无论网络状况如何或 API 定价如何变化，都能保持完全正常运行。
苹果 M5 Ultra
尽管英伟达一直在用两年前发布的苹果M4 Max处理器对标其DGX Station，但一款新的芯片即将问世，它将为人工智能推理提供更强大的性能。M5 Ultra预计将于今年晚些时候发布，它将由两颗M5芯片组成。这些芯片最多包含10个定制的ARM核心和10个针对人工智能优化的GPU核心。M5 Max也采用了两颗这样的芯片，因此M5 Ultra的规格预计将包含更大的内存，以支持更大规模的人工智能模型。
Hailo
Microchip Technology 将在未来两个月内收购以色列芯片开发商 Hailo，具体金额未披露。此次收购将显著提升 Microchip 的边缘 AI 能力，为其带来 Hailo-8、Hailo-10 和 Hailo-15 三款计算机视觉芯片，同时为智能边缘系统增添先进的摄像头、ISP、DSP、视频编码和 AI 视频流处理功能。此前，Microchip 还收购了 Neuronix AI Labs，为其 FPGA 和片上系统 (SoC) 器件上的 AI/ML 工作负载增加了神经网络优化技术。
“收购Hailo将加速Microchip在高性能边缘AI处理领域的扩张，”Microchip高级副总裁Mark Reiten表示。“Hailo的AI加速、先进视觉处理和软件生态系统与Microchip的嵌入式处理、FPGA、连接、安全、电源和模拟产品组合形成直接互补。我们将携手帮助客户构建功能更强大的智能边缘系统，并在性能、能效、可靠性和系统成本之间实现最佳平衡。”
Hailo首席执行官Orr Danon表示：“加入Microchip将使Hailo有机会借助全球嵌入式系统领导者Microchip的平台，扩展我们加速的边缘AI技术。Microchip的客户覆盖范围、渠道规模和广泛的技术组合将为我们提供强大的平台，将先进的视觉处理和AI加速技术应用于更广泛的智能边缘应用。”
人工智能的蓬勃发展正在推动新型芯片架构和内存设计，这项技术今年将从数据中心下放到桌面端。未来几个月，一系列芯片技术将涌现，它们不仅将提升边缘人工智能部署的效率，还将改变人工智能推理的经济格局。
（来源：编译自eenews ）
*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。
今天是《半导体行业观察》为您分享的第4484内容，欢迎关注。
加星标⭐️第一时间看推送
求推荐
热门跟贴