人工智能对我们帮助很大，但训练不足的人工智能（AI）模型会有风险。即使到了使用人工智能时，也不总是能很容易确定训练出了什么问题。
全球的材料研究科学家正在使用基于实验和理论数据训练的各种人工智能模型。目标是在创建和测试材料之前预测材料的性能。他们正在使用人工智能在实验试错所需最低时间内设计出更好的药物或工业化学品。
但是，他们怎么能相信人工智能模型提供的答案呢？这不仅仅是一个学术问题。这关系到数百万美元的投资，取决于人工智能模型的预测是否可靠。
美国能源部的太平洋西北国家实验室（PNNL）的一个研究小组开发了一种方法来确定称为神经网络潜力的人工智能模型的训练效果。此外，它可以识别预测何时超出其训练范围，以及在哪里需要更多的训练来改进——这一过程称为主动学习。由PNNL数据科学家Jenna Bilbrey Pope和Sutanay Choudhury领导的研究团队在《NPJ计算材料》上发表的一篇研究文章中描述了新的不确定性量化方法的工作原理。
该团队还将该方法作为其更大的存储库可扩展神经网络原子势（SNAP）的一部分在GitHub上公开，供任何想将其应用于自己工作的人使用。
“我们注意到，一些不确定性模型往往过于自信，即使预测的实际误差很高。”Bilbrey-Pope说。“这在大多数深度神经网络中都很常见。然而，用SNAP训练的模型给出了一个减轻这种过度自信的指标。理想情况下，你希望同时考虑预测不确定性和训练数据不确定性来评估你的整体模型性能。”
在人工智能模型训练中灌输信任，以加快发现速度
研究科学家希望利用人工智能的预测速度，但现在，速度和准确性之间存在权衡。人工智能模型可以在几秒钟内做出预测，而使用传统的计算密集型方法，超级计算机可能需要12个小时才能进行计算。然而，化学家和材料科学家仍然将人工智能视为一个黑匣子。
PNNL数据科学团队的不确定性测量提供了一种了解他们应该在多大程度上信任人工智能预测的方法。
Choudhury说：“人工智能应该能够准确地检测其知识边界。”“我们希望我们的人工智能模型有信心保证。我们希望能够做出这样的声明，比如‘根据您的要求，这一预测提供了85%的信心，表明催化剂a优于催化剂b。’”
在他们发表的研究中，研究人员选择用原子材料化学最先进的基础模型之一MACE来衡量他们的不确定性方法。研究人员计算了该模型在计算特定材料族的能量方面的训练程度。这些计算对于理解人工智能模型在多大程度上能够近似超级计算机上运行的时间和能源密集型方法非常重要。结果表明，可以计算出什么样的模拟，并确信答案是准确的。
研究人员补充说，这种对预测的信任和信心对于实现将人工智能工作流程融入日常实验室工作的潜力以及创建自主实验室至关重要，人工智能将成为值得信赖的实验室助理。
Choudhury说：“我们致力于将化学的任何神经网络潜力‘包装’到我们的框架中。”“然后在SNAP中，它们突然有了不确定性意识。”
除了Bilbrey和Choudhury，PNNL数据科学家Jeson S.Firoz和Mal Soon Lee也为这项研究做出了贡献。这项工作得到了“将百亿亿次计算化学转移到云计算环境和新兴硬件技术”（TEC4）项目的支持，该项目由美国能源部科学办公室和基础能源科学办公室资助。
热门跟贴