误差反向传播算法：

多层神经网络学习规则：在含有多个隐藏层的神经网络中，如何计算每层参数的梯度向量，进而调整参数，需要用到著名的误差反向传播算法。

人们花费了30年的时间才为单层神经网络增加了一层，为什么这么难，就是因为没有找到适合多层神经网络的学习规则，1986年反向传播算法被提出来后，神经网络又回到历史舞台。

在网络前向传播时，可以看到损失函数是权重的复合函数，靠近输入层的权重，复合层次越深，所以在求梯度时，越靠近前面的层，根据复合函数求导的链式规则，梯度计算表达式越繁琐(具体的推导公式有无数的参考文献，有兴趣的同学请自行查阅)。

反向传播算法是梯度下降法中重要的一环，负责在梯度下降的每次迭代中计算权重参数的梯度，提高神经网络的训练效果。反向传播法基于链式法则，合并了许多重复的运算，只需进行一次前向传播与一次反向传播，就可以计算所有参数的梯度。