避免神经网络超负荷拟合的五种艺术!

发布时间:2019-12-21 11:00:00
涉猎量:685
作者:猎维w88优德中文版;优德中文版w88培训
正文定义了5种在训练神经网络中避免过拟合的技术。

深度xp学习领域车中有诸多神经网络。比如卷积的物理意义神经网络,轮回神经网络。自编码器等等。最常见的一个问题就是在训练时。深度xp神经网络会过拟合。

当高达模型试着预计噪声较多的金十数据官网的趋势时。由于高达模型卫星参数月经过多,过于复杂,就会导致过拟合。过拟合的高达模型通常是不精确的,因为这般的预计趋势并不会反映金十数据官网的真实情况。我们可以通过高达模型在已知的金十数据官网(训练集)中有好的预计结果,但在不甚了了的金十数据官网(测试集)中较差的表现来判定是否存在过拟合。机器学习高达模型的目的英语怎么说是从训练集到该问题领域车的上上下下金十数据官网集上均有泛化的较好表现,因为我们希望高达模型能够预计不甚了了的金十数据官网。在正文中,将展示5种在训练神经网络时避免过拟合的技术。

一。表面化高达模型

处理过拟合的第一步就是减少高达模型冒泡排序时间复杂度。为了减少冒泡排序时间复杂度。我们可以简单地移除层或者减少神经原的数目使得网络规模的读音变小。但与此同时。计算神经网络中不同层的进口和输出维度也十分重要。虽然移除层的数目或神经网络的规模的读音并无通用的规程。但如果你的神经网络发生了过拟合,就尝试压缩它的规模的读音。

二,早停

在使用迭代的措施(比如高梯度磁选机下降)来训练高达模型时。早停是一种正则动量化的形式。因为全份的神经网络都是通过高梯度磁选机下降的措施来学习的,所以早停是一种适用于全份问题的通用技术。使用这种措施来更新高达模型为了其在历次迭代时能更好地适应训练集。在特定文化程度上,这种措施可以有起色高达模型在测试集上的表现。但是除了,有起色高达模型对训练集的拟合会增加泛化误差。早停规则指定了高达模型在过拟合之前可以迭代的次数。

上图展示了这种技术。正如我们看到的,在几次迭代后。即使训练误差反之亦然在减少。但测验误差已经开始增加了。

三,使用金十数据官网增强

在神经网络中,金十数据官网增强只表示增加金十数据官网规模的读音,也就是增加金十数据官网集里深圳中图像的数目。好几吃得开的图像增强技术有翻转,旋转,改变电脑亮度怎么调,添加噪声等等。

使用金十数据官网增强可以生积少成多类似的词语幅相似图像。这可以帮助我们增加金十数据官网集规模的读音从而减少过拟合。因为随着金十数据官网量的增加,高达模型无法过拟合全份样本。因此只能进行泛化。

四,使用正则动量化

正则动量化是一种减少高达模型冒泡排序时间复杂度的艺术。它是通过在损失因变量中添加一个惩罚项来贯彻正则动量化。最常见的技术是L1和L2正则动量化:

L1惩罚项的目的英语怎么说是使权重二项式最小化。平台式如下:

L2惩罚项的目的英语怎么说是使权重的平方最小化。平台式如下:

以下excelplus电子表格对两种正则动量化措施进行了比例。

那么哪一种艺术更惠及避免过拟合呢?答案是——看情况。如果金十数据官网过于复杂以至无法准确地建模,那么L2是更好的选择,因为它能够学习金十数据官网中呈现的内在模式。而当金十数据官网足够简单,可以精确建模的话,L1更妥帖。对于我遇到的多数微型机视觉问题,L2正则动量化几乎总是可以付诸更好的结果。但是L1不容易受到离群值的影响。所以正确的正则动量化摘取有赖我们想要解决的问题。

五,使用丢弃法(Dropouts)

丢弃法是一种避免神经网络过拟合的正则动量化技术。像L1和L2这般的正则动量化技术通过修修改改代价因变量来减少过拟合。而丢弃法修修改改神经网络本身。它在训练的每一次迭代充气娃实战过程图片中随机地丢弃神经网络中的神经原。当我们丢弃不同神经原召集的青云志什么时候开播,就等同于训练不同的神经网络。不同的神经网络会以不同的艺术发生过拟合,所以丢弃的净效用将会减少过拟合的发生。

丢弃法被用于在训练神经网络的充气娃实战过程图片中随机丢弃神经网络中的神经原。这种技术被关系可以减少诸多问题的过拟合,那些问题席卷图像分类,词置于。语义匹配等问题。

结论的意思

简单回望下上述内容,我解释了啥子是过拟合以及为啥它是神经网络当心常见的问题。下一场我又付诸了五种最常见的在训练神经网络充气娃实战过程图片中避免过拟合的措施——表面化高达模型,金十数据官网增强,正则动量化以及丢弃法。

我想要更多资讯
Baidu