深度学习算法是一类基于生物学对人脑进一步认识，将神经-中枢-人脑的工作原理设计成一个不断迭代、不断抽象的过程，以便得到最优数据特征表示的机器学习算法；该算法从原始信号开始，先做低层抽象，然后逐渐向高层抽象迭代，由此组成深度学习算法的基本框架。一般来说，深度学习算法具有如下特点：1、使用链式结构非线性变换对数据进行多层抽象。2、以寻求更适合待解决的问题概念表示方法为目标。3、形成一类具有代表性的特征表示学习方法。

1.单层感知机模型仅对线性可分问题具有分类能力。多层感知机模型只允许调节一层连接权值。2.感知机模型采用阈值型函数作为激活函数，最终只有0/1或-1/1这样离散的输出，限制了感知机模型的分类能力。

1、非线性映射功能2、知识获取与表示3、联想记忆4、识别、聚类和分类（classifier）5、优化计算（优化决策）

神经网络由许多相互关联的概念化的人造神经元组成，它们之间传递相互数据，并且具有根据网络“经验”调整的相关权重。神经元具有激活阈值，如果通过其相关权重的组合和传递给他们的数据满足这个阈值的话，其将被激活；发射神经元的组合导致“学习”。1.一组处理单元2.激活3.输出函数4.互连模式5.传播规则6.激活规则7.学习规则8.系统工作环境9.正向传播（ForwardPropagation）10.成本函数（CostFunction）11.梯度下降（GradientDescent）12.学习率（LearningRate）13.反向传播（Backpropagation）14.丢弃（Dropout）15.数据增强（DataAugmentation）

1神经网络模型用于模拟人脑神经元的活动过程，其中包括对信息的加工、处理、存储、和搜索等过程。人工神经网络具有如下基本特点：(1)、高度的并行性(2)、高度的非线性全局作用(3)、联想记忆功能和良好的容错性(4)、良好的自适应、自学习功能(5)、知识的分布存储(6)、非凸性2.人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。因此，它在功能上具有某些智能特点：(1)、联想记忆(2)、分类与识别(3)、优化计算(4)、非线性映射

对于一个神经网络的学习算法，可以提出下列几项最基本的要求。1、准确性2、自适应性3、收敛性与收敛速度4、必须规定是有监督的学习还是无监督的（自组织）学习5、可推广性

1、自联想器首先重复提供一系列的模式样本，并使网络记住这些样本，然后给网络提供学习样本的部分信息，或提供与原来样本类似的样本信息，其目的是要“找出”原来的样本。2、模式分类器把要输入的刺激样本划分到一个固定的聚类集合中，其学习的目的是能正确对输入的刺激进行分类，在使用时输入的刺激少许变形时，仍能将其划分到正确的类别中。3、模式联想器给网络提供一系列的成对样本，网络学习可以记住样本对之间的对应关系，当提供样本对中的某一样本时，应能生成样本对中的另一样本。4、正则探测器系统要通过学习找到这些大量输入的统计显著特征，与模式分类不同这里没有预先划分的模式聚类，系统必须找到输出模式的显著特征，以形成相应的聚类关系。

1、有监督的学习有监督学习（有导师）算法要求同时给出输入和正确的输出，即事先已经能够确定的一个模型。2、无监督学习无监督学习（无导师）算法只需给出一组输入，网络能够逐渐演变到对输入的某种模式做出特定的反应，也即事先不给定标准样本，直接将网络“置于”环境之中，学习（训练）阶段与应用（工作）阶段成为一体3、强化学习强化学习（reinforcementlearning）介于上述两种情况之间，外部环境只给出评价（奖励或惩罚）而不是给出正确答案，学习系统通过强化那些受奖励的动作来改善自身的性能。强化学习算法并不是训练于一个固定的数据集上，它会和环境进行交互，所以学习系统和它的训练过程会有反馈回路

人工神经网络的工作过程主要分为两个阶段：第一阶段是学习期，对它进行训练，即让其学会它要做的事情，此时各个计算单元状态不变，学习过程就是各连接权上的权值不断调整的过程。学习结束，网络连接权值调整完毕，学习的知识就分布记忆（存储）在网络中的各个连接权上。第二阶段是工作期，此时各个连接权值固定，计算单元变化，以达到某种稳定状态。下面举例说明第一阶段学习期连接权调整过程。

在反馈网络中（FeedbackNNs）,输入信号决定反馈系统的初始状态，系统经过一系列状态转以后，逐渐收敛于平衡状态，这一状态就是反馈网络经计算后输出的结果。