几年前,加州理工学院教授Anima Anandkumar决定开发首个开源AI天气模型。她与领域专家交流时,遭遇了不少质疑:天气是混沌的,物理模拟难度极高,相关技术已发展数十年,需要超级计算机支撑,数据也远远不够。
尽管外界疑虑重重,Anima还是坚持做了下去。不到一年,她的团队就开发出FourCastNet——一个能与最优秀物理模拟相媲美的预测模型。如今,得益于Anima及其后续工作,任何人用消费级GPU就能在短时间内准确预测天气。
被AI社区忽视的领域
在Latent.Space已发布的约十五期科学节目中,团队覆盖了原子、分子、材料、生物学和数学。Anima则是研究连续物理系统的先驱。天气、聚变、流体或热传导,都是极难建模的科学领域:它们规模庞大、混沌且本质上是多尺度的。这是AI社区有些忽视、但预计会快速增长的领域。
从Anima的工作中可以发现,这一AI分支与席卷其他领域的“规模扩展”思路并不合拍。数据不足是首要问题:许多领域的开源数据集只有数万到数十万个样本,远不能满足Transformer对数据的渴求。更棘手的是,物理模拟所需的分辨率会把上下文长度推到数千亿级别,单纯堆算力行不通。
但这并非天花板,只是路更慢:进展来自构建结构和归纳偏置。
“如果每个维度只有几百个网格点——工业级规模正是从这里起步——我们面对的就是数千亿甚至上万亿的上下文长度。所以别指望Transformer能处理这种规模,全世界的算力加起来也不够。”
数学底层:神经算子
为攻克这类系统,Anima开创了神经算子(Neural Operators)技术,这被认为是近十年AI领域最漂亮的理论进展之一。它允许将数据与物理定律结合,实现多尺度输入输出。研究者不再对网格建模,而是对跨多尺度演化的函数建模,从而把基于物理直觉的先验知识融入模型。
物理先验如何帮助AI建模?以全球天气预报为例:地球是个球体,精确建模需要正确的基函数——球谐函数(Spherical Harmonics)。在网格上运行天气模型很快就会发散,而换用符合问题自然结构的基函数,模型能稳定运行更久,从预测几天延伸到数月。Anima的傅里叶神经算子正是直接在频域中学习。
热门跟贴