1、其设计说明可以被重新应用到其他深度学习项目中。2、任意计算图的灵活配置。3、整合了各种编程方法的优势，最大限度地提高灵活性和效率。4、轻量、高效的内存，以及支持便携式的智能设备，如手机等。5、多GPU扩展和分布式的自动并行化设置。6、支持Python、R、C++和Julia。7、对云计算友好，直接兼容S3、HDFS和Azure。

TensorFlow是Google开源的一个深度学习框架。实现了本地和分布式两种接口机制。本地实现机制的client端、master端和worker均运行在同一个机器中；分布式实现机制它与本地实现的代码基本相同，但是client端、master端和worker进程一般运行在不同的机器中，所包含的不同任务由一个集群调度系统进行管理。具备如下优点：1.多样化部署；2.可被基于梯度的机器学习算法借鉴；3.灵活的Python接口；4.可映射到不同硬件平台；5.支持分布式训练。

在传统神经网络中，每一个网络层的参数是不共享的。而在RNNs中，每输入一步，每一层各自都共享参数U,V,W。因此RNNs中的每一步计算函数，只是输入值不同，因此极大地降低了网络中需要学习的参数；此处将RNN进行展开，这样变成了多层的网络。RNN的关键之处在于隐藏层，隐藏层具有记忆能力，能够记忆序列信息。

前面介绍RNN训练算法BPTT无法解决长时依赖问题(即当前的输出与前面很长的一段序列有关，一般超过十步就无能为力了)，因为BPTT会带来所谓的梯度消失或梯度爆炸问题(vanishing/explodinggradientproblem)，这导致训练时梯度不能在较长序列中一直传递下去，从而使RNN无法捕捉到长距离的影响。梯度爆炸更容易处理一些。因为梯度爆炸的时候，我们的程序会收到NaN错误。我们也可以设置一个梯度阈值，当梯度超过这个阈值的时候可以直接截取。梯度消失更难检测，而且也更难处理一些。一般有三种方法应对梯度消失问题：1、合理的初始化权重值。初始化权重，使每个神经元尽可能不要取极大或极小值，以躲开梯度消失的区域;2、使用ReLU代替sigmoid和tanh作为激活函数;3、使用其他结构的RNNs，比如长短时记忆网络（LTSM:LongShort-TermMemoryNeuralNetwork）

对于RNN是的训练和对传统的ANN训练一样。同样使用BP误差反向传播算法，不过有一点区别。如果将RNNs进行网络展开，那么参数W,U,V是共享的，而传统神经网络却不是的。并且在使用梯度下降算法中，每一步的输出不仅依赖当前步的网络，并且还以来前面若干步网络的状态。前馈网络的BP算法不能直接转移到RNN网络，因为误差的反馈是以节点之间的连接没有环状结构为前提的。在RNN中使用BPTT（BackPropagationThroughTime）训练算法它会沿着时间展开神经网络，重新指定网络中的连接来形成序列。它的基本原理和BP算法是一样的，也包含同样的三个步骤：1、前向计算每个神经元的输出值；2、反向计算每个神经元的误差项值，它是误差函数E对神经元j的加权输入的偏导数；3、计算每个权重的梯度，最后再用随机梯度下降算法更新权重。

RNN网络的隐含层节点之间是有连接的，隐含层的节点的输入不仅包括输入层还有上一时刻隐含层的输出。RNN和其他网络一样也包含输入层、隐含层和输出层。这些隐含层的连接是RNN最主要的特色。输入层节点和隐含层节点相互连接，隐含层输出到输出层，而隐含层不是节点之间没有相互影响，可以是上一个时间节点输出信息重新返回隐含层节点，还可以包含隐含层相邻节点相互连接，是一个动态的网络。生物神经网络都是一种循环网络，可以对序列式数据理解，因此RNN更加接近生物神经系统。

循环神经网络（Recurrentneuralnetworks,RNN)是用来处理序列数据的神经网络RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。隐藏层之间的节点不再无连接而是有连接的。RNN已经被在实践中证明对NLP是非常成功的。如词向量表达、语句合法性检查、词性标注等。

池化（Pooling)是卷积神经网络中一个重要的操作，它能够使特征减少，同时保持特征的局部不变性。常用的池化操作有：空间金字塔池化（SpatialPyramidPooling，SPP)、最大池化(MaxPooling)、平均池化（MeanPooling)、随机池化（StochasticPooling)等

传统卷积神经网络的卷积层采用线性滤波器与非线性激活函数，一种改进的方法在卷积层使用多层感知机模型作为微型神经网络，通过在输入图像中滑动微型神经网络来得到特征图，该方法能够增加神经网络的表示能力，被称为Networkinnetwork。

前向传播是指输入信号通过前一层中一个或多个网络层之间传递信号，然后在输出层得到输出的过程。反向传播算法是神经网络有监督学习中的一种常用方法，其目标是根据训练样本和期望输出来估计网络参数。