8.优化器，学习速率与反向传播算法

目录

1学习速率

2反向传播算法

3优化器

3.1SGD

3.2RMSprop

3.3Adam

4代码中实现

如果我们的loss值如下图变化，则说明我们设置的学习速率有问题

反向传播是在一个epoch中一个batch_size的第二个部分，神经网络的执行顺序如下

首先进行正向传播，随机出神经网络中的参数的初值，之后将得到的参数配合输入x得到预测值y，根据实际的y,得到loss

再进行反向传播，使用反向传播算法(其中会使用到loss值)得到梯度，之后再使用梯度下降算法得到若干偏导数构成的向量，然后通过这些向量改变参数值

反向传播算法详细的介绍可以看一下这个?反向传播算法（过程及公式推导）_结果灌灌灌灌的博客-CSDN博客

优化器中默认包含学习速率等参数，下面我们来看常用的优化器

有这些参数

• 超参数:需要人为定义的参数，如学习速率，神经元个数
• 鲁棒：不敏感(对结果影响不大)

我们用上一章的代码进行修改，只修改编译部分

现在我们使用的learning_rate算是一个比较大的值，我们在训练过程中会感觉到每个epoch会变快(训练时间也会根据计算机的cpu与gpu占用情况而变化，我此时开的进程比较多，训练时反而变慢了些)

我们之后再对模型进行评估

发现模型的效果不如之前的好(loss值比之前的大，acc比之前的小)