来源:微算云平台

打开网易新闻 查看精彩图片

成果简介

准确和全面地表示晶体结构对于推进大规模晶体材料模拟中的机器学习至关重要。然而,有效地捕捉和利用晶体结构复杂的几何和拓扑特征仍然是大多数现有晶体性质预测方法面临的重大挑战。

中国科学技术大学吴宇恩教授、陈控副研究员,合肥工业大学毛瑜副研究员等人提出了MGT,一种多视图图转换器,它联合建模SE(3)不变标量表示和SO(3)等变方向表示,从而能够捕获晶体结构中的旋转平移不变性和旋转等变方向信息。受混合专家模型启发的路由模块是核心融合机制,它针对每项下游任务自适应地为各类互补型嵌入表征分配权重。通过多任务自监督预训练,与之前最先进的晶体性能基准模型相比,MGT的平均绝对误差降低了14%。

综合消融和可解释性分析证实,自监督预训练策略和混合专家模型激励路由都有助于模型的整体性能。在迁移学习场景中,包括晶体催化剂吸附能和混合钙钛矿带隙预测,MGT在现有基线的基础上实现了高达58%的性能改进,展示了强大的领域不可知可扩展性。总的来说,所有的结果都表明,MGT是一个有效的、可推广的晶体材料性质预测框架,具有加速新材料发现的巨大潜力。

相关工作以《Improving crystal material property prediction with multi-view geometric graph transformer》为题在《Nature Communications》上发表论文。

从Peer review文件上可以看到,该研究在投稿阶段时,审稿人曾对论文的核心创新点提出质疑。

例如,审稿人提出:该论文缺乏显著的创新性。仅依靠欧几里得距离来衡量晶体结构复杂的几何和拓扑特征显然不足。将其扩展到测地距离,并在三维空间内真正进行测量,是至关重要的方面。

另一位审稿人也提出:文章报道的这种结构并不像所宣称的那样新颖,此前已有类似结构的报道。此外,混合专家(MoE)在图神经网络(GNNs)中的应用已在多项研究中被报道,而本文设计的MoE模块并不完全符合MoE的标准(例如缺少独立的门控网络)。

打开网易新闻 查看精彩图片

面对上述质疑,作者前后也是花了26页PDF回应了审稿人提出的问题。

图文介绍

打开网易新闻 查看精彩图片

图1 MGT框架工作流程示意图

图1从数据、特征、预训练、微调全链路完整梳理MGT设计逻辑,清晰阐明“双视图特征+双策略预训练+自适应路由融合”三位一体的整体设计思路。预训练采用OQMD超大晶体数据集完成通用晶体几何特征萃取,微调采用Materials Project/JARVIS/催化/钙钛矿细分数据集做任务专属优化,预训练+微调两段式训练是提升小样本下游任务精度的关键设计;双视角几何特征定义如图1b所示,其中SE(3)不变特征:旋转、平移操作后数值不变的标量(键长、键角),适合刻画晶体热力学稳定性类物性(形成能);SO(3)等变特征:随空间旋转同步变换的矢量特征,适配依赖空间取向的力学参数(弹性模量、剪切模量);两类特征物理属性天然互补,构成MGT多视图建模的理论根基。

预训练方案如图1c所示:对SE(3)边/角特征、SO(3)边特征分别添加高斯噪声,降噪任务约束模型还原扰动噪声;对比学习拉近两种嵌入特征互信息,实现跨视图特征对齐。微调融合如图1d所示:摒弃固定拼接,依靠MoE路由动态加权双分支特征,也是MGT区别于过往双特征模型最核心的创新点。

打开网易新闻 查看精彩图片

图2 MGT架构,包括多个不同的模块

图2拆解MGT四大算子细节,从底层运算说明SE(3)不变、SO(3)等变特征如何提取与融合,为后文消融实验、可解释性结果提供结构依据。如图2a所示,依托晶格基矢、键角、边特征三要素构建注意力,针对晶体周期性晶格引入周期镜像原子角度信息,专门优化SE(3)分支边特征提取。聚合邻域节点与更新后的边特征,完成SE(3)分支最终节点表征输出(图2b)。基于球谐函数+张量积TP搭建,保证特征严格满足旋转等变,是SO(3)分支的核心结构(图2c)。最后,双专家支路分别对应SE(3)、SO(3)编码器输出,自注意力路由动态生成权重系数加权融合特征,实现任务驱动的动态特征配比,解决固定拼接无法适配多任务物性的痛点(图2d)。

打开网易新闻 查看精彩图片

图3 MGT在Materials Project和JARVIS数据集上的性能比较

图3从拟合可视化角度直观证明MGT在主流晶体物性预测任务上全面超越现有经典模型,量化指标佐证多视图架构与MoE融合的有效性。所有预测样本紧密贴合对角线,全部任务的R2>0.95,证明MGT拟合效果优异。对比CGCNN、ALIGNN、Matformer、PotNet、ComFormer等SOTA基线,MGT在9项任务中8项取得最优MAE,仅JARVIS总能量预测略低于ReGNet。

打开网易新闻 查看精彩图片

图4 不同训练策略下MGT的消融实验结果

定量拆解预训练、降噪、对比学习、MoE路由四大组件各自贡献。启用双任务预训练后形成能MAE由0.0174降至0.0165,预训练可显著降低预测误差。而降噪学习提升效果整体优于对比学习,降噪迫使模型抵抗几何扰动、强化晶体结构感知。二者联用性能最优,形成优势互补。替换MoE自适应加权为全连接特征拼接后,各任务MAE小幅上升,证实动态加权相比固定融合可以充分发挥两类特征互补优势。此外,即便移除预训练与MoE模块,原生双视图MGT架构性能仍优于现有基线,双视角几何建模本身就是性能提升的核心来源。

打开网易新闻 查看精彩图片

图5 材料项目和JARVIS数据集的形成能预测任务的可视化

从表征空间可视化+权重定量双维度解释MoE路由的内在作用机理,从物理可解释层面证明自适应权重符合晶体物性的内在物理规律。SE(3)、SO(3)单分支特征已能依据形成能实现基础样本聚类。经MoE路由加权融合后,不同能量区间晶体样本聚类边界大幅清晰、簇区分度显著提升。不同数据集/不同物性任务中,SE(3)与SO(3)贡献占比动态变化:形成能MP数据集SO(3)权重更高、JARVIS数据集SE(3)占优;弹性模量依赖SO(3)取向特征、热力学Ehull 能更依赖SE(3)不变标量特征,权重分配贴合材料物理机理。

打开网易新闻 查看精彩图片

图6 在Alloy-GMAE、FG-GMAE、OCD-GMAE和HOIP数据集上,MGT的性能对比

跳出传统晶体基准测试,在实际工业催化、光电材料场景验证其泛化能力,完成从基准指标优异到实际可用的论证闭环。对比AdsMT领域SOTA,三项数据集性能分别提升46.4%、57.8%、15.4%;GMAE是催化筛选关键描述符,结果证明MGT从可跨晶体向催化体系迁移。HOIP数据集相对基线提升25.7%,钙钛矿是光电核心材料,验证模型在有机-无机杂化晶体场景通用性。跨领域大幅提升证明:MGT学习到普适性晶体几何规律,并非过拟合基准数据集,模型域无关扩展性得到落地验证。

文献信息

Improving crystal material property prediction with multi-view geometric graph transformer,Nature Communications,2026.

https://www.nature.com/articles/s41467-026-73627-7

由于公众号改版,为防错过更多资源,给我们加个星标

说明:微算云平台,如需转载,请在开头注明来源。仅供学习交流分享使用,版权归原作者所有,文章只代表作者本人观点,不代表公众号立场。如有侵权,请联系我们(Hilib oy)删除,感谢支持!也欢迎有兴趣的朋友分享、投稿、申请转载、互开长白。

了解更多信息

↓↓↓欢迎点赞推荐