过拟合

来自软件实验室
Tengxing讨论 | 贡献2017年1月9日 (一) 21:19的版本 (创建页面,内容为“在神经网络训练中,我们不断的训练,可以得到更符合预期的特征值。但是,训练过度,会产生一个什么效应呢,就是过拟合...”)

(差异) ←上一版本 | 最后版本 (差异) | 下一版本→ (差异)
跳转至: 导航搜索

在神经网络训练中,我们不断的训练,可以得到更符合预期的特征值。但是,训练过度,会产生一个什么效应呢,就是过拟合,英文好像叫overfitting.用人来做比喻,适当的自信很重要,但是自信过度就变成了自负,过拟合和自负差不多。 这样会造成很大的误差。 用一个图来理解:

过拟合.png

第一张到第二张为正常学习,再到第三张,显然已经弯曲了,不符合预期效果,因此,避免过拟合尤为重要。如何避免了? 我最先想到的是减少训练的次数,可能是训练次数过多,这是很容易想到的;再就是训练的数据量,增大数据量。但是这些都并不能从根本上解决这个问题。官方文单上提供了一个非常好的工具--dropout来解决这个问题。只需要给予它一个不被 drop 掉的百分比,就能很好地降低 overfitting。

下面说一下这个工具的基本使用: