一个网络把每个训练样本都答对了,听起来像成功。结果可能正相反。这里训练一个真实网络,在两个时刻停下来,用从未见过的数据做对比。

打开网易新闻 查看精彩图片

数据是平面上两类月牙形分布的点,共110个训练点。其中10个点的标签被故意翻转,这10个就是噪声,任何真实数据集都会有这类错误。为了评判网络,另外留出24个新点,网络从不在这上面训练,它们的标签是干净的。

一个神经元太简单

一个神经元只能画一条直线。训练3000步后,它留下19个训练错误,24个新点里答错3个。两条月牙互相卷绕,没有一条直线能把它们分开。这个模型没有记住任何东西,它只是跟不上形状。

大网络先学到真实形状

换成一个有三个隐藏层、每层128个神经元的网络,共33152个权重去拟合110个点,远超所需。用Adam训练2500步,中途观察它。

到第70步,它的分界线已经顺着两条月牙走。此时有9个训练错误,全部来自被翻转的标签。24个新点全部答对。在更大的检验集上,另外5000个新点,准确率达到98.6%。这是这次训练能达到的最好水平。

继续训练,它开始记住噪声

训练没有在第70步停下,梯度下降继续处理那最后9个点。要把它们答对,分界线必须绕着每一个点卷曲。

到第445步,训练错误清零,训练集上完美。到第628步,24个新点里有5个答错。到第2500步,同样的5000个点准确率降到85.0%。

网络没有忘掉月牙。它为每一个错误标签增加了一个细节,而这些细节在其他地方全是错的。这就是过拟合:网络把训练数据连同噪声一起记住了,并因此在新数据上表现更差。

看清它错在哪

5000个点直接显示了这一点。白色圆点是网络答错的点。第70步时约有70个,紧贴分界线。第2500步时约有750个,成片分布在它为错误标签绕出的弯道周围。

关于那24个点需要说明:这么小的样本本身有波动,选出的这一组其计数接近各模型的真实错误率,所以图看得清楚。5000个点才是诚实的度量。

真实网络也一样

月牙是玩具数据,再看一次真实训练。取1000张手写数字图像,网络有26432个权重,平均每张图约26个权重。训练200轮,不做任何防过拟合处理,在10000张从未训练过的图像上测量。

  • 训练准确率在第26轮达到100%并保持,训练损失降到0.0002。
  • 新图像上的损失在第14轮达到最低点0.42,之后升到0.81,而训练损失继续下降。

两条损失曲线告诉你它从何时开始:从第14轮起,训练越多,训练损失越小,新数据上的损失越大。

能带走什么

训练分数只说明网络对已经见过的数据拟合得有多好。权重足够多时,它可以把分数刷到完美,靠的是记忆,连错误标签一起记。所以完美的训练分数本身证明不了任何事,只有新数据能说明问题。

这也带出两个实际问题:怎样诚实地在新数据上度量,以及怎样阻止网络去记忆。这是这个系列接下来的话题。

  • 过拟合指网络在训练数据上越来越好,在新数据上越来越差。
  • 它发生在网络权重远超所需时,训练越久越严重。
  • 网络往往先学到真实规律,然后才去记忆噪声。
  • 完美的训练分数可能对应更差的网络:这里训练错误降到零,新数据准确率从98.6%跌到85.0%。
  • 永远在网络从未训练过的数据上度量。