ChatGPT 早已成为世界耗能大户:一天用掉超 50 万度电,相当于 1.7 万个美国家庭的用电量!随着 AI 计算需求的膨胀,还需要用水来冷却计算系统。研究称,微软用水量从 2021 年到 22 年飙升了 34%,ChatGPT 每处理 5-50 个提示就会消耗接近半升水。
DeepMind在AI能耗难题上的突破确实是一个重要的里程碑。他们开发的新算法,不仅大幅降低了AI模型的训练成本,还显著提升了其效能
论文地址:https://arxiv.org/pdf/2406.17711
算法优化:DeepMind通过改进神经网络的结构和训练过程,减少了计算资源的需求。例如,他们可能采用了更高效的网络架构,或者使用了更智能的参数更新策略,从而减少了训练所需的计算量。
硬件利用效率:除了算法本身,DeepMind还可能优化了硬件资源的利用效率。比如,他们可能开发了专门针对GPU或TPU等加速器的优化技术,使得同样的硬件可以执行更多的计算任务。
数据效率:DeepMind的新算法可能也提高了对数据的利用效率,这意味着可以用更少的数据达到同样的训练效果。这对于减少能耗和训练时间尤为重要,因为数据处理也是AI训练中的一个大头。
可持续性设计:考虑到环境影响,DeepMind可能在设计新算法时考虑了能效比,确保在提高性能的同时,尽可能减少能源消耗,这符合当前全球对于绿色科技的追求。
自动化与智能化:新算法可能还包含了自动化的元素,比如自动超参数调整、自适应学习率等,这些都可以进一步降低人为干预的成本,提高整体的训练效率。
版权声明:图片和内容来源互联网
热门跟贴