Python-Tensorflow-优化器

tensorflow中一共有如下几种optimizer：

tf.train.GradientDescentOptimizer：梯度下降法
tf.train.AdadeltaOptimizer
tf.train.AdagradOptimizer
tf.train.AdagradDAOptimizer
tf.train.MomentumOptimizer
tf.train.AdamOptimizer
tf.train.FtrlOptimizer
tf.train.ProximalGradientDescentOptimizer
tf.train.ProximalAdagradOptimizer
tf.train.RMSPropOptimizer

红色为常用

各种优化器对比：
标准梯度下降法：标准梯度下降先计算所有样本汇总误差，然后根据总误差来更新权值
随机梯度下降法：随机梯度下降随机抽取一个样本来计算误差，然后更新权值
批量梯度下降法：批量梯度下降算是一种折中的方案，从总样本中选取一个批次（比如一共有10000个样本，随机选取100个样本作为一个batch），然后计算这个batch的总误差，根据总误差来更新权值。

下图为一个梯度下降法的示意图：

W：要训练的参数? ? ?J（W）：代价函数

即代价函数对W求导

SGD:随机梯度下降法

Momentum：

NAG（Nesterov acclerated gradient）:

Adagrad:

基于随机梯度下降法。

观察公式，比如抽到的狗的照片越多，分母越大，学习率越小。

它很适合应用于数据稀疏的数据集

RMSprop:

RMS是均方根的缩写。（Root Mean Square）

Adadelta:

Adam:

更新参数的部分跟Adadelta和RMS类似。

1. （正因为有这些缺点才让这么多大神发展出了后续的各种算法）选择合适的learning rate比较困难 - 对所有的参数更新使用同样的learning rate。对于稀疏数据或者特征，有时我们可能想更新快一些对于不经常出现的特征，对于常出现的特征更新慢一些，这时候SGD就不太能满足要求了
2. SGD容易收敛到局部最优，并且在某些情况下可能被困在鞍点

1. 下降初期时，使用上一次参数更新，下降方向一致，乘上较大的能够进行很好的加速
2. 下降中后期时，在局部最小值来回震荡的时候，，使得更新幅度增大，跳出陷阱
3. 在梯度改变方向的时候，能够减少更新 总而言之，momentum项能够在相关方向加速SGD，抑制振荡，从而加快收敛

1. nesterov项在梯度更新时做一个校正，避免前进太快，同时提高灵敏度

1. 前期较小的时候， regularizer较大，能够放大梯度
2. 后期较大的时候，regularizer较小，能够约束梯度
3. 适合处理稀疏梯度

?

1. 由公式可以看出，仍依赖于人工设置一个全局学习率
2. 设置过大的话，会使regularizer过于敏感，对梯度的调节太大
3. 中后期，分母上梯度平方的累加将会越来越大，使，使得训练提前结束

1. 训练初中期，加速效果不错，很快
2. 训练后期，反复在局部最小值附近抖动

1. 其实RMSprop依然依赖于全局学习率
2. RMSprop算是Adagrad的一种发展，和Adadelta的变体，效果趋于二者之间
3. 适合处理非平稳目标 - 对于RNN效果很好

? ? ? Adam(Adaptive Moment Estimation)本质上是带有动量项的RMSprop，它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。Adam的优点主要在于经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳。

特点：

1. 结合了Adagrad善于处理稀疏梯度和RMSprop善于处理非平稳目标的优点

2. 对内存需求较小

3. 为不同的参数计算不同的自适应学习率

4. 也适用于大多非凸优化 - 适用于大数据集和高维空间

? ? ? ? ? ?对学习率有了更强的约束，同时对梯度的更新也有更直接的影响。一般而言，在想使用带动量的RMSprop，或者Adam的地方，大多可以使用Nadam取得更好的效果。

经验之谈：

• 对于稀疏数据，尽量使用学习率可自适应的优化方法，不用手动调节，而且最好采用默认值
• SGD通常训练时间更长，但是在好的初始化和学习率调度方案的情况下，结果更可靠
• 如果在意更快的收敛，并且需要训练较深较复杂的网络时，推荐使用学习率自适应的优化方法。
• Adadelta，RMSprop，Adam是比较相近的算法，在相似的情况下表现差不多。
• 在想使用带动量的RMSprop，或者Adam的地方，大多可以使用Nadam取得更好的效果

使用的代码基于交叉熵时的代码。

?

?