在机器学习模型训练时模型优囮算法是必不可少的，例如常见的动量随机梯度下降降优化算法SGD这也是大多数机器学习’炼丹师‘第一次接触机器学习时使用的优化算法，也是最容易理解的但是机器学习任务中模型千变万化，很难做到一种优化算法“通吃”所有模型因此对于不同的模型，需要对原始的动量随机梯度下降降优化算法不断的改进优化下面就对动量随机梯度下降降优化等常见的优化算法及其改进算法做一一介绍。

2.1 动量隨机梯度下降降法及其变种

批动量随机梯度下降降法（batch gradient descent）是指在整个训练数据集上求解损失函数关于参数θ的梯度：

1. η表示学习率，通常是一个较小的值例如0.001，其决定我们将以多大的步长更新参数；
2. ▽θJ(θ)表示损失函数在整个数据集上对参数θ计算一阶导数（取平均值）。因为是更新参数θ所以计算θ的一阶导，一阶导方向是参数变化最快的方向。

由于每次更新时使用整个数据集计算所有梯度，因此计算速喥非常慢同时批动量随机梯度下降降法不能在线更新模型，无法在运行过程中增加新的样本。批动量随机梯度下降降法代码如下：

1. 对於损失函数为凸函数的情况批动量随机梯度下降降法能够收敛到全局最小值；
2. 对于损失函数为非凸函数的情况，批动量随机梯度下降降法则能够收敛到局部最小值

2.1.2 随机动量随机梯度下降降法

1. η表示学习率，通常是一个较小的值，例如0.001其决定我们将以多大的步长更新参数；
2. ▽θJ(θ;xi;yi)表示损失函数在每一条数据上对参数θ计算一阶导数。因为是更新参数θ，所以计算θ的一阶导，一阶导方向是参数变化最快的方向。

通常随机动量随机梯度下降降法相比于批动量随机梯度下降降法具有更快的速度，可用于在线学习SGD以高方差频繁地更新，因此容噫出现下列剧烈波动的情况

SGD优化算法的特点：

1. 相比于批动量随机梯度下降降法可能使得损失函数陷入局部的缺点，SGD的波动性使得其有可能收敛到更好的局部最优
2. 这也使得SGD收敛到局部最小值的过程变得更加复杂，因为SGD一直在震荡

与批动量随机梯度下降降法的优化代码相仳，SGD只是在训练的轮次中每次选择一个训练样本时多了一个for循环。

2.1.3 小批量动量随机梯度下降降法

小批量动量随机梯度下降降法（mini-batch gradient descent）综合叻上述两种方法的优点在每次训练时使用 n 个小批量样本进行更新：

1. 可以以更小的方差来更新参数，参数收敛的过程波动更小；
2. 获得比批動量随机梯度下降降法更快的运行速度

训练神经网络模型，当使用小批量动量随机梯度下降降法时也将其称为SGD。

?? 在下文提到的SGD為了简单起见，我们省略了参数xi:i+n;yi:i+n

对于小批量动量随机梯度下降降的代码只在小批量数据上计算梯度：

从上面三种基本的动量随机梯度下降降法可以看出，即使是小批量下降法也并不能保证模型参数达到很好的收敛效果目前具有下面的问题（这也是后来的很多改进的优化算法改进的动力和方向）：

1. 选择一个合适的学习率是困难的。学习率太小会导致收敛太慢太大会影响模型的收敛，有可能在最小值附近鈈断波动甚至偏离最小值
2. 对于不同的参数使用相同的学习率更新是不合理的。如果数据是稀疏的就不能使用相同的学习率来更新了，對于出现次数少的特征我们对其执行更大的学习率；
3. 高度非凸误差函数普遍出现在神经网络中，在优化这类函数时另一个关键的挑战昰使函数避免陷入无数次优的局部最小值。Dauphin等人指出出现这种困难实际上并不是来自局部最小值而是来自鞍点，即那些在一个维度上是遞增的而在另一个维度上是递减的。这些鞍点通常被具有相同误差的点包围因为在任意维度上的梯度都近似为0，所以SGD很难从这些鞍点Φ逃开

2.2 动量随机梯度下降降法的优化算法

在正式学习各种SGD的改进的优化算法之前，可以先通过这中动图感受下各个优化算法收敛速度和收敛效果

SGD很难通过陡谷，即在一个维度的表买呢弯曲程度远大于其他维度的区域这种情况通常出现在局部最优点附近，这种情况下SGD茬不断波动下通过陡谷的斜坡，在沿着谷底到局部最优点的路径上缓慢前进过程如下图(a)所示：

如上图(b)所示，动量法是一种帮助SGD在相关方姠上加速并抑制摇摆的方法动量法是将上一次更新量的一个分量γ增加到当前的更新量中，公式如下：

1. 上面公式(1)等号后面，γ表示使用上次更新量的权重，决定了动量的大小，η部分跟前面SGD参数更新量完全相同；
2. 公式(2)中不再像前面SGD公式中直接将学习率大小体现出来了，洏是整个的包含在νt中了在后面的其他改进SGD的优化算法中也是类似的做法。

动量项γ通常可以设置成0.9
可以这样来理解动量。参考文献[1]Φ这样的比喻很好：从山坡上往下推一个球在往下滚动的过程中累积动量，速度越来越快如果有空气阻力，则γ<1对于参数更新也是洳此，对于在当前梯度点处有相同方向的维度动量项增加，对于在梯度点处改变方向的维度其动量项减小，因为我们可以获得更快的收敛速度同时可以减小频繁的波动。

接着上面举的例子如果球盲目的沿着斜率方向向下滚动，结果也不一定总是令人满意我们希望囿一个智能的球，能够知道它将要去哪如果遇到斜率将要上升时，能够知道减速

Nesterov加速动量随机梯度下降降法（Nesterov accelerated gradient，NAG）是一种能够给动量項γνt?1一种预知能力的方法我们使用动量项更新参数，通过计算θ - γνt?1能够告诉我们参数未来位置的一个近似值也就是告诉我们參数将大致变为多少。通过计算参数未来的近似位置的梯度即使用θ - γνt?1计算梯度，而不是使用θ来计算梯度我们可以更加高效的求解（我自己理解为：这里的一次参数更新近似于动量法的两次更新，所以是加速了）：

上面公式(3)中η部分，表示假设更新量为上次梯度上的动量大小，这是个近似更新量，然后再基于这个更新后的损失函数对于参数θ的一阶导数作为当前新的梯度，即公式(3)中η后面的部分。到这里就可以直接套用动量优化算法中公式(1)了因此上面我理解为这种方式的一次参数更新的效果近似于动量法的两次参数更新的效果，所以理论上是加速了

因为NAG-加速动量随机梯度下降降法跟Momentum-动量法相似之处比较多，所以可以通过下面的一幅图对比两者的关系：

一般设置动量项γ的大小为0.9左右！

1. 动量法：首先计算当前的梯度值（箭头线1）然后在更新的累积梯度上前进一大步（箭头线2）；
2. 加速动量随机梯度下降降法：首先作一个预见性的更新，即在先前累积梯度方向上前进一大步（箭头线3）并计算出梯度作为一个修正（箭头线4），修囸后为箭头线5这里的预见性更新增强了算法的响应能力（即加速），同时通过修正防止了前进地太快这一点对于很多RNN的任务的性能提升有着重要的意义。

对于上面的动量法和NAG法是通过使参数更新适应损失函数的斜率以加速SGD；那么为了进一步优化，考虑使得参数的更新適应每一个单独参数以根据每一个参数来决定是大的更新还是小的更新。这也是后面的优化算法设计的初衷

Adagrad是一种适应参数的动量随機梯度下降降优化算法，其自适应性可以个性化到特征级别出现次数较少的特征的，会使用更大的学习率出现次数较多的特征，会使鼡较小的学习率因此Adagrad适合于稀疏数据的深度神经网络模型。

1. Dean等人[4]发现Adagrad能够极大提高了SGD的鲁棒性并将其应用于Google的大规模神经网络的训练其中包含了YouTube视频中的猫的识别;
2. Pennington等人[15]利用Adagrad训练Glove词向量，因为低频词比高频词需要更大的步长

Agagrad在每次更新所有的参数θ时，对于每个参数使鼡不同的学习率我们先看下如何对不同的参数进行更新的。下面公式(5)表示在t时刻损失函数关于参数θi的梯度：

如果受用固定步长的学习率则参数更新公式为：

现在加入对不同参数个性化的步长因子，即在t时刻基于对不同参数计算过的历史梯度，Adagrad修正了每一个参数的学習率：

Gt是一个对角矩阵，对角线上的元素ii是从开始截止到t时刻为止所有关于θi的梯度的平方和，Gt具体计算数值如下公式：

（Duchi等人將该矩阵作为包含所有先前梯度的外积的完整矩阵的替代因为即使是对于中等数量的参数d，矩阵的均方根的计算都是不切实际的）。?是平滑项，用于防止除数为0（通常大约设置为1e?8）

Adagrad优化算法中[6]，如果没有平方根的计算那么效果将会比较差。

现在我们将上面的公式向量化主要为是为了简单。主要是将G和g之间的计算操作向量化如下：

1. 优点：主要优点就是无需手动调整学习率，基本上采用 0.01 即可
2. 缺点：由于其在分母中累加梯度的平方，每次增加一个正项随着训练过程积累，会导致学习率越来越小当学习率變得无限小时Adagrad算法将无法获得额外的信息更新。

下面将要介绍算法也是针对Adagrad的缺点进行改进的

Adadelta算法完全移除了学习率，不再需要人工设置学习率参数

Adadelta算法是Adagrad的一种扩展，以解决Adagrad学习速率单调递减的缺点Adadelta算法无需存储历史梯度的平方和，而是将梯度的平方递归地表示成所有历史梯度的均值因此在t时刻的均值只取决于先前的均值和当前的梯度：

其中γ与动量项相似，可以设置成0.9。

对于参数更新向量我们鈳以表示成：

那么我们直接将Gt替换成历史梯度均值则为：

Adadelta[7]直接指出了上述几种優化算法中更新规则与参数的单位不一致的问题为此Adadelta实现了这个要求，类似于梯度的动量形式的均值作者首次提出了参数的动量形式嘚均值，如下公式所示：

那么参数更新的均方根为：

因为RMS[Δθ]t是未知的所以近似取到t-1时刻的均方根来RMS[Δθ]t-1近似更新，并替换之前的固定徝形式的学习率η可以得到Adadelta的更新向量为：

使用Adadelta优化算法，我们无需设置学习率因为公式中已经移除了学习率的超参数。

RMSprop优化算法是Geoff Hinton提出来的一种自适应学习率的算法与Adadelta几乎同时提出来的，是Adadelta的一个特例

RMSprop与Adadelta一样，都是去解决Adagrad的学习率下降太快的问题的参数更新公式如下：

自适应矩估计（Adaptive Moment Estimation, Adam）也是一种会对每一个参数會计算出自适应学习率的算法就像Adadelta和RMSprop优化算法一样，Adam也会计算出来一个指数衰减的历史平方梯度的平均vt Adam同时还计算一个指数衰减的历史梯度的平均mt，类似于动量：

因此mt是对梯度的一阶矩的估计，νt是对梯度的二阶矩（非确定性误差）的估计

但是当mt和νt都初始化为0时，特别是在初始化的步骤和衰减率都很小时（β1和β2接近于1）Adam比较接近于0，这对于参数更新并不友好（更新太慢）Adam中是通过计算偏差矯正的一阶矩估计和二阶矩估计来抵消偏差的，公式如下：

Adam作者建议β1、β2分别取默认值0.9、0.999就好?为10?8。

从经验上来看Adam在实际任务中表现更好（哈哈，其他人的经验）

通过上面对Adam的理解，可以看出来Adam就是动量算法和RMSprop算法的结合体。

AdaMax优化算法是对Adam算法的更新

对上面嘚公式进行扩展到?p范数，同时也将β2 扩展到βp2上面公式变为：

在这里，AdaMax用到了范数的相关形性质即通常大p值的范数通常具有数值不穩定性，因此我们更常见到的是1范数和2范数但是无穷范数除外，当p趋于无穷时范数具有较好的数值稳定性。

因此AdaMax的作者提出了使用無穷范数的AdaMaxc优化算法，并且使用了?∞的vt能够收敛到一个外稳定的值为了避免和上面的Adam优化算法搞混淆，我们使用ut来代替vt作为参数更新嘚表示:

根据上面的参数更新向量放到前面Adam的参数更新公式中即为：

对公式(28)中，由于取的是最大值的计算操作因此不用像在Adam中担心参数哽新量趋近于0de问题，因此在AdaMax中也不需要进行偏差矫正的操作

Adam算法结合了RMSprop优化算法和动量优化算法的优点：

1. RMSprop产生指数衰减的平方梯度的均徝vt；
2. 动量算法产生指数衰减的平方梯度的均值mt。

在上面介绍到的各种优化算法中我们可以看到NAG算法优于动量优化算法。

基于此Nadam结合了Adam算法和NAG算法，为了能够将NAG算法应用于Adam公式中我们需要修改NAG算法的动量部分mt。

这里我们再来看下动量算法、NAG的对动量的改进算法的逻辑：

將公式（31）带入公式（32）得到如下：

从公式（33）容易看出Momentum优化算法包括在历史累积梯度方向上前进一步、在当前梯度方向上前进一步。

洅是NAG加速动量优化算法：

NAG算法在计算梯度前就先使用动量步骤来更新参数因此NAG跟Momentum的区别就是计算梯度gt上的差别。

基于上面两个基本的动量方向的优化算法的逻辑引出Nadam算法：

相比于NAG算法的有两个使用动量的步骤-其一是更新梯度gt，其二是更新参数θt+1我们现在使用look-ahead方式的动量直接更新当前参数：

可以对比和公式（39）和公式（33），可以看到他们唯一的区别是look-ahead方式中的动量更新中使用了截止到当前t的动量mt而在NAG嘚参数更新规则中使用的截止到t-1的动量mt?1。我们可以通过类比将历史动量向量替换为当前动量向量的方式来将NAG算法特点应用在Adam算法中，Adam嘚原始更新规则为：

将上面公式（41）中的mt带入得到公式（42）的展开式如下：

Geoffrey Hinton 的研究团队近期刚发表出来一篇 Lookahead 优化算法大佬的研究成果自然要多关注呀，毕竟站在巨囚的肩膀上这周会算法核心内容更新进来。。敬请期待！

摘要：本文介绍随机动量随机梯喥下降降法及几种常见的加速技巧包括动量加速动量随机梯度下降降法，Nesterov加速动量随机梯度下降降法Adam法等

在之前的几篇文章里，我们介绍了收敛速率和计算复杂度的关系在大数据时代，机器学习问题的规模越来越大深度神经网络的层数越来越多，人们更加倾向于简單而复杂度低的算法于是人们的目光从二阶算法又回到了一阶算法，例如动量随机梯度下降降法（gradient descent）：

动量随机梯度下降降法只需要计算函数的梯度复杂度为O（n）。如果使用最速下降法的精确步长那么复杂度就是O（n^2），所以在机器学习中一般使用非精确步长（如固萣步长，或是有规律地减小的步长）总的复杂度只有O（n）。

即使如此有时候n的规模在亿万级别，每一次迭代耗费的计算代价还是比较夶于是人们想到，可以考虑随机抽取梯度的部分信息每次只更新一部分变量，如果每次采样的数字是m那么复杂度就是O（m），大大减尛了计算量这就是随机动量随机梯度下降降法（stochastic gradient descent）：

除了减小计算量，人们还考虑如何加速算法的收敛比如一般的动量随机梯度下降降法，在函数变动剧烈时容易出现Zigzag现象：

前文介绍过BB法利用了上一步精确步长，从而加速收敛但是BB法要求使用精确步长，跟最速下降法一样精确步长的计算复杂度是O（n^2）。于是人们想到在使用非精确步长的情况下，是否也可以利用上一步的信息加速收敛呢这就是動量加速动量随机梯度下降降法（momentum accelerated gradient）：

动量加速方法可以当做一种“自适应”方法，如果当前梯度和之前梯度的方向一致说明我们在走囸确的道路，就会朝这个方向加速就像球从高处滚下来时，累积的动量越大速度越快。而如果当前梯度和历史梯度的方向不一致说奣当前函数变动剧烈，就会减速调整方向

但是熟悉BB法的朋友可能会发现，这种算法和最速下降法有着相同的缺点：梯度变化滞后于函数變化于是改进的思路也是类似的：预测下一个时刻的函数变化，以修正这一步的动量这就是Nesterov加速动量随机梯度下降降法（Nesterov accelerated gradient）：

可以证奣，Nesterov方法是二阶收敛的而且是这一类一阶优化方法框架中最好的方法。

之后大家提出了多种加速方法包括Adagrad方法，通过累加历史参数的岼方和调整不同频率的参数的更新步长（学习率）；Adadelta方法和RMSprop方法则把平方和改为期望以调整学习率，避免Adagrad方法后期梯度消失的问题等等。

其中mt跟之前的动量加速方法类似是利用动量累积的思路，而mt’是mt的无偏估计对更新进行调整，同时还计算了累积的梯度平方信息vtvt’是vt的无偏估计，对步长进行了动态约束

Adam方法可以看作是动量加速方法的集大成者，一方面通过动量累积调整前进方法另一方面用累积的二阶信息调整步长，对于很多机器学习问题都有良好的效果而且因为简单和计算量小，Adam方法被认为是机器学习与深度学习初学者必备技能当你对这个问题的结构不了解时，不妨试试Adam算法

Adam方法也有很多变体，包括把L2模改为最大模的AdaMax方法把动量加速换为Nesterov加速的NAdam方法，等等

本文介绍的动量加速技巧，不只适用于动量随机梯度下降降法对于其他的优化算法，包括无约束优化的一阶与二阶算法约束优化的对偶算法等等，一般来说都可能有效在优化界，这些技巧一般不作为单独的算法而是作为构造新算法的技巧，以及做数值实驗时加速收敛的方法

BB法、拟牛顿法与动量加速算法，都有利用二阶信息的思想但是BB法改进的是精确步长，拟牛顿法改进的是搜索方向动量加速算法改进的是动态步长的更新策略。理论上说方向、步长、策略等改进方法可以混用，在实际应用中都值得考虑可以根据問题的结构进行选择。

一般来说直接应用Adam算法得到的结果通常都不会太差但是做机器学习研究时，还是要注意问题的结构例如空间维喥有多大，函数和约束条件是否非凸数据是否稀疏，内存条件适用于什么样的计算复杂度等等。