打开网易新闻 查看精彩图片

在谈论AI模型性能时,人们常常会看到一个关键词:“鲁棒性”。尤其是当某产品表示有鲁棒性优势或鲁棒性强时,用户更愿意投来关注的目光。

话说回来,到底什么是鲁棒性?它和人工智能产品有怎样千丝万缕的联系?与人们颇为关注的泛化能力又有怎样的关联?如何提升产品的鲁棒性?

如果你也好奇,下面不如跟着司普科技1号解说员小司一起来看看。

什么是鲁棒性?与AI有何联系?

什么是鲁棒性?与AI有何联系?

鲁棒性音译自英文“Robustness”,因为它常常表现为遇到异常或危险情况仍能保持系统的正常运行,所以也被视为一种抗故障或抗干扰的能力。

在大模型评估领域,鲁棒性(Robustness)一直被视为模型韧性、可信度评估的核心基准之一。当执行下游任务时,当模型对异常数据或噪声数据的抗干扰能力越强,说明鲁棒性越高,模型性能和泛化能力也相对更好。

反之,如果模型面对异常值或噪声的处理能力差,则说明鲁棒性低,适用性和可靠性较差。

清华大学领衔发布的MultiTrust评估基准将事实性(Truthfulness)、安全性(Safety)、鲁棒性(Robustness)、公平性(Fairness)、隐私保护(Privacy)视为五大可信评价维度。

目前,鲁棒性作为人工智能系统或大模型产品重要的稳定性、可靠性评估基准而被大众熟知。

不过鲁棒性除了适用于计算机科学领域,同时也是汽车驾驶、工业生产控制、电力、临床医学、工程建筑等多领域重要的抗干扰性和可靠性能力评估指标。

鲁棒性与泛化能力有何联系?

鲁棒性与泛化能力有何联系?

NeurIPS论文曾提到鲁棒性是泛化的基础,也有人认为鲁棒性是泛化的先决条件之一。

就涵义上来说,鲁棒性指模型或系统在应对外部干扰或异常时能继续稳定、正常运作的能力(简单来说,就是临危不乱),而泛化性则指向大模型在训练数据集之外的新数据、新场景、新领域中的预测和处理能力(简单来说,就是举一反三),两者在评估模型能力方面还是有一定的方向和性质的差异。

不过模型鲁棒性越高,在应对各种新任务新挑战时,抗干扰、降噪能力强,模型输出更真实可靠,而且发挥稳定,对于增强模型在新数据、新场景、新领域的适用性及处理能力的确是一大保障。

与此同时,也有人认为:模型的神经网络框架设计越精良,表现出来的泛化能力越好,实际的鲁棒性也会有所提升。就此来说,两者其实能有效互补。

但总的来说,鲁棒性和泛化能力都是衡量模型性能的重要指标,鲁棒性和泛化能力表现越好的大模型产品,在具体使用及场景落地时会显得更有优势。

如何提升鲁棒性?

如何提升鲁棒性?

既然鲁棒性在评估模型或人工智能系统性能时如此重要,那怎样才能加以提升和改进呢?

因为鲁棒性很大程度上体现为:

1.善于提前准备Plan B/C/D,以应对各种突发情况。

2.即使遇上异常情况,也能采取措施,尽量少受影响。

所以,很多人认为:通过数据增强,强化数据抗噪、抗异常值能力;进行对抗性训练,提高后期实战能力;组合集成模型,降低模型偏差与方差;强化迁移学习能力,提高模型在新任务新场景中的适用性,以及建立完备的故障处理和容错机制等,都是有效提升鲁棒性的方法策略。

虽然完全状态的鲁棒性过于理想化,不过随着人们为提高人工智能产品的鲁棒性而持续改进,无限接近人类水平的鲁棒性其实正在慢慢实现。

备注:本文原创,首发司普科技,有参考猿Java、百度百科、机器之心等,仅做分享。