IT之家6月16日消息,微软昨日(6月15日)发布博文,援引《Joule》研究指出,AI 在大规模部署下的能耗与用水量显著低于外界早前估计。

该研究认为在大规模推理场景下,外界对 AI 大语言模型的关注点,不应该只放在单个模型的训练 / 推理规模,更应该注重用户典型调用下的“每次查询”。

该研究指出一次常规典型 AI 调用,耗电0.16至0.60瓦时(watt-hours),约等于一台40瓦电脑运行15至60秒,或1000瓦微波炉工作0.6至2秒。相比此前文献和媒体报道,新研究的数据低至1/4到1/20。

水资源方面,保守估计下,典型查询的冷却用水为0.0至0.067毫升,中位数约相当于1/100茶匙,甚至少于1滴。微软还提到,随着零用水数据中心设计推广,这一数字还有继续下降的空间。IT之家附上相关截图如下:

打开网易新闻 查看精彩图片

微软发布博文

微软指出规模越大,单位查询效率通常越高。大系统可同时处理更多请求,并在模型、调度、硬件多个层面叠加优化。就像大型航空公司更容易通过统一调度节省燃料,云平台也能把效率改进扩散到每一次推理。

在10亿次日查询场景下,基础耗电约0.7吉瓦时;若加入效率优化,可降至约0.3吉瓦时。即使10% 请求属于代码生成、多步推理等长任务,整体能耗仍可比基线下降一半以上。