学术界已经提出了多种深度学习模型，其中影响力较大的有以下几种1、卷积神经网络：该网络一般包含三种类型的层，分别是卷积层、下采样层及全连接层。通过卷积核与上一层输出进行卷积作为卷积层的输出，这样可以达到权值共享的目的；下采样是在卷积层的基础上，在一个固定区域中采样一个点，使得整个网络具有一定的缩放、平移及形变不变性。2、循环神经网络：该网络与传统前馈网络的区别在于，隐层的输入不仅包括输入层的数据，还包括前一时刻的隐层数据。这种结构的网络能有效处理序列数据，如自然语言处理。3、深度置信网络：该网络由若干层受限玻尔兹曼机及一个反向传播网络组成。

2006年Hinton提出深度学习后才被打破，深度神经网络的复兴存在多方面的原因其一，大规模的训练样本可以缓解过拟合问题；其二，网络模型的训练方法也有了显著的进步；其三，计算机硬件的飞速发展（如英伟达显卡的出现）使得训练效率能够以几倍、十几倍的幅度提升。此外，深度神经网络具有强大的特征学习能力，过去几十年中，手工设计特征一直占据着主导地位，特征的好坏直接影响到系统的性能。

早期的神经网络是一个浅层的学习模型（包含一个输入层、一个隐层及一个输出层），它有大量的参数，在训练集上有较好的表现，但实际应用时其识别率并没有比其他模型（如支持向量机、Boosting等）体现出明显的优势神经网络在训练时采用误差反向传播算法（BackPropagation，简称BP算法），使用梯度下降方法在训练过程中修正权重减少网络误差。在层次深的情况下性能变得很不理想，传播时容易出现所谓的梯度弥散GradientDiffusion或称之为梯度消失（VanishingGradientProblem），根源在于非凸目标代价函数导致求解陷入局部最优，且这种情况随着网络层数的增加而更加严重，即随着梯度的逐层不断消散导致其对网络权重调整的作用越来越小。所以只能转而处理浅层结构（通常小于等于3），从而限制了神经网络的大范围应用。

反向传播的问题梯度弥散：由于sigmod函数在趋于无限大时，梯度会逐渐消失，随着传播深度的增加（如7层以上），残差传播到底层时已经变得太小，梯度的幅度也会急剧减小，导致浅层神经元的权重更新非常缓慢，无法有效进行学习。深层模型也就变成了前几层几乎固定，只能调节后几层的浅层模型，形成梯度弥散（vanishinggradient）。局部最优：深层模型的每个神经元都是非线性变换，代价函数是高度非凸函数，与浅层模型的目标函数不同。所以采用梯度下降的方法容易陷入局部最优。解决方案逐层初始化：2006年，机器学习的大牛——GeoffreyHinton提出了逐层初始化的解决方案。梯度下降的效率批量梯度下降（BatchGradientDescent）：批量梯度下降中，每计算一次梯度，需要计算所有数据。优点是可以更准确的从正确的方向下降，缺点是训练缓慢，时间开销大。随机梯度下降（StochasticGradientDescent）：随机梯度下降，在每一轮迭代中，随机优化某一条训练数据的。其缺点是，数据的减少使其较难达到最优解，优点是速度有很大提升，且少量数据训练的模型效果的泛化能力更强，在新的数据上，效果不错。最小批量梯度下降（Mini-BatchGradientDescent）：实际使用中，现在更多的应用的是最小批量梯度下降，保证速度的同时，其结果也更接近最优解。

正向传播后，输入获得了一个对应的输出，将输出与输入的label相对比，计算误差值。误差值与各层参数相关，反向传播，将误差分摊到各层，修正各层参数，从而最小化误差值，优化模型参数。

样本由输入层传入第一层layer，经第一层每个节点计算，每个节点得到一个输出，其输出继续作为下一层的输入，向前传播，直到输出层输出预测的结果。初次正向传播会先初始化网络的权值，得到的输出值并不一定正确值。

循环神经网络（RecurrentNeuralNetworks，RNNs）与典型的前馈神经网络的最大区别在于网络中存在环形结构，隐藏层内部的神经元是互相连接的，可以存储网络的内部状态，其中包含序列输入的历史信息，实现了对时序动态行为的描述。下图所示为RNN示意图。

DenseNet是一种具有密集连接的卷积神经网络。在该网络中，任何两层之间都有直接的连接，也就是说，网络每一层的输入都是前面所有层输出的并集，而该层所学习的特征图也会被直接传给其后面所有层作为输入。

1、缺乏理论支持2、缺乏推理能力3、缺乏短时记忆能力4、多层前馈网络局限性表现在神经网络由于强大的表示能力,经常遭遇过拟合5、缺乏执行无监督学习的能力

1、概念提取可以由简单到复杂。深层是指神经网络包含很多隐含层。2、每一层中非线性处理单元的构成方式取决于要解决的问题；每一层中学习模式也可按需求灵活调整为有监督或者无监督学习，有利于调整学习策略，从而提高效率。3、学习无标签数据优势明显。