周二，Nvidia宣布与EPRI、Prologis和InfraPartners合作，计划研究用于分布式推理的小规模数据中心，这些中心将用于各行业的实时处理。
合作伙伴将研究所谓的微型数据中心的部署，这些数据中心功率范围为5至20兆瓦，位于或靠近电力变电站，以实现更快的搭建。公司表示，目标是在数据产生点附近提供推理能力，同时优化未充分利用的基础设施，缓解拥堵传输系统的压力。
该合作计划到2026年底在美国建设五个试点站点，旨在建立一个可快速、可扩展部署的复制模型。
EPRI总裁兼首席执行官Arshad Mansoor在发布会上表示："AI正在改变每个行业，能源系统需要持续发展以满足不断增长的需求。利用现有电网容量将推理计算带到需要的地方——快速且可靠地——对所有人都是双赢。"
推理是使用训练好的AI模型生成输出的过程，与训练相比具有不同的基础设施要求。随着工作负载从训练转向生产，对AI推理的需求正在爆炸式增长。根据Markets and Markets的报告，推理市场预计到2030年将达到2540亿美元。
但所有这些需求都对电网造成了更大的压力。Omdia最新的数据中心建设报告估计，从2025年到2030年，AI推理功耗需求的5年复合年增长率(CAGR)为45%，超过了同期AI训练预计的30%复合年增长率。
Omdia首席分析师Alan Howard对Data Center Knowledge表示："这个公告的有趣之处在于它解决了电力可用性问题，而历史上关于边缘部署的对话主要围绕延迟，所以它解决了两个问题。Nvidia在推动AI创新方面做得很好，帮助行业在面临电力可用性等障碍时采用该技术。"
KBV Research的报告指出，推理市场的挑战包括延迟和实时性能，因为许多AI应用需要在毫秒内做出决策，同时还有显著的功耗。本地化数据中心有助于解决这些限制。
HyperFrame Research首席执行官兼分析师Steven Dickens在接受Data Center Knowledge采访时表示："推理将比典型的云工作负载更靠近商店、工厂和医院。往返延迟将对AI工作负载产生巨大影响，因此我们将看到推理在地理上更加分散。这种动态将快速改变数据中心的部署模式，我们将看到大型数据中心和靠近消费点的推理的增长。"
推理对于自动物流、欺诈检测和数字诊断等各种应用越来越重要。研究合作伙伴表示，这些工作负载需要可靠、快速且邻近的计算能力。将推理移至电网边缘使提供商能够更高效地响应，公司说。
Nvidia全球能源行业高级董事总经理Marc Spieler在声明中表示："AI正在推动一场新的工业革命，需要对数据中心基础设施进行根本性反思。通过在可用电网容量旁直接部署加速计算资源，我们可以释放滞留电力，高效扩展AI推理。"
Q&A
Q1：Nvidia与EPRI等公司合作建设的微型数据中心有什么特点？
A：这些微型数据中心功率范围为5至20兆瓦，位于或靠近电力变电站，主要用于分布式推理。目标是在数据产生点附近提供推理能力，同时优化未充分利用的基础设施，缓解拥堵传输系统的压力。计划到2026年底在美国建设五个试点站点。
Q2：为什么AI推理需要更靠近用户的数据中心？
A：AI推理对延迟和实时性能要求很高，许多AI应用需要在毫秒内做出决策。往返延迟对AI工作负载产生巨大影响，将推理移至电网边缘使提供商能够更高效地响应用户需求，特别是对于自动物流、欺诈检测和数字诊断等应用。
Q3：AI推理市场的增长前景如何？
A：随着工作负载从训练转向生产，对AI推理的需求正在爆炸式增长。根据Markets and Markets的报告，推理市场预计到2030年将达到2540亿美元。Omdia估计，从2025年到2030年，AI推理功耗需求的复合年增长率为45%，超过了AI训练的30%。
热门跟贴