当前位置: 主页 > 深度 >
直观感受深度学习中的正则化作用及其效果

在模型出现过拟合时再用正则化处理,而非一味的使用正则化,正如 Donald Knuth的曾说“过早的优化是万恶之源”

直观感受深度学习中的正则化作用及其效果

深度学习模型的优势和劣势-可以自由地近似任何功能,但是也可以自由地近似感兴趣的功能以外的任何其他功能

直觉化正则化

在机器学习中,正则化是一种用于规避高方差的方法,换句话说,学习模型的问题以重现数据,而不是问题的底层语义。以类似于人类的学习方式,该想法是构建作业问题以测试和积累知识,而不是简单地死记硬背:例如,识记乘法表而不是学习如何乘法。

这种现象在神经网络的学习中尤为普遍:具有强大的学习能力就很容易记住,而且我们的实践者有责任指导深度学习模型吸收我们的问题,而不是我们的数据。你们中的许多人过去曾经遇到过这些方法,并且可能已经对不同的正则化方法如何影响结果产生了自己的直觉。希望本文中的数字及其解释有助于您对应用正则化在模型参数影响方面的理解,并产生应用正则化的直觉。

在本文中,我将介绍L2和丢弃作为标准形式的正则化。

所有的图形和模型都是使用标准的科学Python堆栈制作,例如numpy,matplotlib,scipy,sklearn。文中神经网络模型是使用PyTorch构建的

开发复杂的函数

深度学习的核心原则之一是深度神经网络具有通用函数逼近拟合能力。神奇的是,无论是疾病传播,自动驾驶汽车,还是天文学等等,您所感兴趣的一切想法都可以通过自动学习模型抽象并表达。无论您感兴趣的问题是否可以表达为某种解析函数f,通过自动学习模型抽象并表达。无论您感兴趣的问题是否可以表达为某种解析函数f,通过训练设定机器学习模型条件,所用参数θ可以使模型近似训练函数f 。

我们将查看一些相对简单的数据进行解释:在理想情况下,如果一维的东西复杂复杂到原先曲线难以拟合,但并不到需要做出抽象函数的程度。因此,我将创建一个模拟周期信号的任意复杂函数,但还要添加一些离散项。

函数将以如下方程式实现:

直观感受深度学习中的正则化作用及其效果

其中A,B,C是从不同高斯分布中采样的随机数。每一个值的作用是在非常相似的函数之间加滞后,以便它们随机加在一起来生成非常不同的f值。我们会还将白噪声(高斯噪声)添加到数据中,以模拟实际收集的数据效果。

让我们随机可视化这些数据样本:在本文剩下部分,我们将通过小型神经网络重现此曲线。