白交 发自 凹非寺
量子位 | 公众号 QbitAI
KAN2.0。
此次与科学问题更深入地融合,可以轻松解出经典物理学研究。
比如发现拉格朗日量(用来描述整个物理系统动力状态的函数)
![](http://dingyue.ws.126.net/2024/0821/58ef22caj00sik31x002gd000u000jim.jpg)
除此之外,研究者还可以量身定制属于自己的KAN2.0,将专业知识作为辅助变量添加到输入当中去。
此前,KAN横空出世,一夜引爆科技圈。它以200万参数模型架构,直接复现DeepMind用30万参数的MLPs发现数学定理的研究。要知道,后者可是登上Nature封面的研究。
由于KAN性能太好,一度引来关于「能否替代掉Transformer的MLP层」的探讨,大家直呼:Yes We KAN!
MIT博士生刘子鸣再次为论文一作。
![](http://dingyue.ws.126.net/2024/0821/3e0dff32j00sik31x002ed000m600n8m.jpg)
业内学者们,纷纷赶来祝贺。
![](http://dingyue.ws.126.net/2024/0821/08093d5bj00sik31x000ld000m40056m.jpg)
![](http://dingyue.ws.126.net/2024/0821/019f795ej00sik31x0008d000fi002gm.jpg)
KAN2.0将AI与科学统一起来
AI+科学的一大挑战在于他们之间固有的不兼容性:当前AI主要基于连接主义,科学则依赖于符号主义。
此次新框架KAN2.0就主打将KANs同科学无缝协同,这种协同作用是双向的:科学到 KAN(将科学知识融入 KAN),KAN到科学(从KAN中提取科学见解)。
![](http://dingyue.ws.126.net/2024/0821/57909784j00sik31x001wd000rc00dim.jpg)
更具体来说,KAN2.0对科学发现主要有三个方面的作用,从简单粗略到逐渐精细复杂:
识别重要特征、揭示模块结构、发现符号公式。
在原始KAN基础上主要引入了这三个新功能。
1、MultKAN:带有乘法节点的 KAN。
![](http://dingyue.ws.126.net/2024/0821/01c3ade7j00sik31x002zd000u000oym.jpg)
2、kanpiler:将符号公式编译成 KAN的编译器。
![](http://dingyue.ws.126.net/2024/0821/e10fc232j00sik31x003cd000oe00wim.jpg)
3、树转化器,将 KAN2.0架构(或任何神经网络)转换为树状图。
![](http://dingyue.ws.126.net/2024/0821/337b7485j00sik31x0029d000ng00qum.jpg)
跟上一版本相比,KAN2.0的解释性更通用,比如像化学、生物学等这种很难用符号方程表示的,模块化结构和关键特征能够来描述。
比如,用户可以将模块化结构构建到KAN2.0中。
![](http://dingyue.ws.126.net/2024/0821/af80e40bj00sik31x001qd000p000g1m.jpg)
再通过KAN2.0同MLP神经元交换,就可以直接看到模块化结构。
![](http://dingyue.ws.126.net/2024/0821/6a66466cj00sik31x002qd000u000jom.jpg)
此外,团队探究了如何将先验知识融入KAN2.0。
![](http://dingyue.ws.126.net/2024/0821/ff6de989j00sik31x001cd000p000bym.jpg)
基于这些更新,团队展示了KAN2.0发现各种经典物理定律的能力。
比如发现二维谐振子的守恒量。
![](http://dingyue.ws.126.net/2024/0821/7e61d3a8j00sik31x000rd000nq009om.jpg)
利用MLP和KAN2.0重新发现史瓦西黑洞的隐藏对称性。
![](http://dingyue.ws.126.net/2024/0821/70335914j00sik31x001bd000ow0094m.jpg)
还有像通过与KAN2.0交互,发现构造定律。
![](http://dingyue.ws.126.net/2024/0821/edcfd59aj00sik31x002wd000ny00uwm.jpg)
接下来,团队有两个方向:一是将该框架应用于更大规模的问题;二是将其扩展到物理学以外的其他科学学科。
MIT华人一作
此次研究来自MIT、加州理工学院、MIT CSAIL等机构的五位研究者,共有三位华人。
![](http://dingyue.ws.126.net/2024/0821/1d222b73j00sik31x001gd000u000d8m.jpg)
相比于KAN初始版本,还有不少原班人马,其中MIT刘子鸣依然为一作。
![](http://dingyue.ws.126.net/2024/0821/541912dfj00sik31x001cd000u000dsm.jpg)
刘子鸣目前是MIT四年级博士生,Max Tegmark是他的导师,其研究兴趣在于人工智能与物理学的交叉领域,具体像AI科学家、物理学启发的深度学习、深度学习科学、机械可解释性等。
![](http://dingyue.ws.126.net/2024/0821/8628b1e9j00sik31x001jd000dc00clm.jpg)
由于KAN受到广泛的关注,作为核心作者,他在GitHub页面上特意注明,在设计KAN并编写代码的时候,考虑的是数学和物理示例(规模相当小!)因此没有考虑到效率而可重用性方面的优化。
对于专注机器学习的用户,他坦言,KAN可能还不是个可以开箱即用的简单插件(目前还不是)。
KAN和MLP不能互相取代,他们在某些情况下各有优势,在其他情况下也有局限性。
![](http://dingyue.ws.126.net/2024/0821/3e8cff24j00sik31x004rd000fw00u4m.jpg)
好了,感兴趣的小伙伴,可戳下方链接了解更多~
论文链接:
https://arxiv.org/abs/2408.10205
参考链接:
[1]https://github.com/KindXiaoming/pykan?tab=readme-ov-file
[2]https://kindxiaoming.github.io/
[3]https://x.com/ZimingLiu11/status/1825731703723405757
热门跟贴