CNTK的5个主要特点：1、训练和测试多种神经网络的通用解决方案。2、用户使用一个简单的文本配置文件指定一个网络。3、尽可能无缝地把很多计算在一个GPU上进行。4、自动计算所需要的导数，网络是由许多简单的元素组成。5、通过添加少量的C++代码来实现必需块的扩展。

TensorFlow实现了本地和分布式两种接口机制。本地实现机制的client端、master端和worker均运行在同一个机器中；分布式实现机制它与本地实现的代码基本相同，但是client端、master端和worker进程一般运行在不同的机器中，所包含的不同任务由一个集群调度系统进行管理。具备如下优点：1.多样化部署；2.可被基于梯度的机器学习算法借鉴；3.灵活的Python接口；4.可映射到不同硬件平台；5.支持分布式训练。

循环神经网络和递归神经网络最大区别在于网络中存在环形结构，隐藏层内部的神经元是互相连接的，可以存储网络的内部状态，其中包含序列输入的历史信息，实现了对时序动态行为的描述。

深度置信网络是一种生成模型，和传统神经网络相似，网络中存在若干隐藏层，并且同一隐藏层内的神经元没有连接，隐藏层间的神经元全连接。最上面两层间为无向连接，其中包含标签神经元，称为联合记忆层。其他层间为有向连接，自上而下为生成模型，指定输出。自下而上则为判定模型，可以用作图像识别等任务。深度置信网络打破了深度神经网络难以训练的观点。

卷积神经网络特点有三个：1、局部感受区域：在卷积神经网络中，神经元只对视野中的某一区域产生响应，被称为局部感受区域。从大脑进行人脸识别的过程图可以看出，最底层是摄入的原始信息像素，往上逐渐组织形成一些边缘特征，再向上，边缘特征组合形成更有表现力的物体局部特征，如眼睛、耳朵等，到了最顶层，不同的高级特征组合起来，形成最终完整的人脸图像。2、权值共享：一个卷积层中的所有神经元均由同一个卷积核对不同区域数据响应而得到的，即共享同一个卷积核。局部连接的卷积核会对全部图像数据进行滑动扫描，使得卷积层训练参数的数量急剧减少，提高了网络的泛化能力。此外，权值共享意味着一个卷积层中的神经元均在检测同一种特征，与所处位置无关，所以，具有平移不变性。3、降采样：一般在卷积层后面会进行降采样操作，对卷积层提取的特征进行聚合统计。一般的做法是将前一层的局部区域值映射为单个数值，与卷积层不同的是，降采样区域一般不存在重叠现象。降采样简化了卷积层的输出信息，进一步减少了训练参数的数量，增强了网络的泛化能力。

多层网络的学习能力比单层感知机强得多，如果想要训练多层网络，误差逆传播（简称BP）是迄今为止最杰出的神经网络学习算法。BP是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。

一般的神经网络是层级结构，每层神经元与下一层神经元相互连接，同层神经元及跨层神经元之间相互无连接，每一层神经元的输出作为下一层神经元的输入，这种网络被称为前馈神经网络。最左边的一层（第一层）称为输入层，其中的神经元称为输入神经元。最右边的一层（最后一层）称为输出层，其中的神经元称为输出神经元。中间一层则被称为隐藏层，既不是输入层也不是输出层。本例讨论的是只有一个输出和一个隐藏层。但是，在实际中神经网络可以有多个输出和多个隐藏层。这种多层网络有时被称为多层感知器。多层神经网络中除了输入层，每个神经元都是一个多输入单输出信息处理单元。如图所示，它表示了一个多层神经网络，需要注意，网络中所有连接都有对应的权重和偏置。但是图中只标记了三个权重w1，w2，w3。

人类的大脑并不是一开始就能处理一些复杂的问题，而是由外界刺激决定了神经网络的生长，各种信息刺激了脑部发育，脑内的神经元之间不断重组，连接，形成更复杂的神经网络，使个体渐渐具有其他的活动能力。

生物神经元又叫神经细胞，是一个长突起的细胞，主要由细胞体、树突、轴突、突触构成。树突是神经元两端呈树枝状的突起，是接收其他神经元信息的入口。轴突是神经元中一个细长的突起，每个神经元只有一个。突触是两个神经元传递冲动相互接触的地方。与其他神经元的树突相连，当兴奋达到一定阈值时，突触前膜向突触间隙释放神经传递的化学物质，实现神经元之间的信息传递。人工神经网络中的神经元模仿了生物神经元的这一特性，利用激活函数将输入结果映射到一定范围内，若映射后的结果大于阈值，则神经元被激活。

深度学习探秘大脑的工作原理：大脑是人类活动的“信息处理中心”，支配着人类大多数的生命活动。大脑中存在着无数神经元，是大脑处理信息的基本单元。神经元之间相互连接，构成神经网络，不同区域的神经网络负责不同的功能，各区域相互协作，完成大脑的所有处理活动。当外界信息通过感官系统，传到大脑时，大脑对其做一个简单的模式分析和识别，再将其交给对应的处理区域。在学习过程中，大脑接收的信息越多，各个区域存储的模式以及模式之间的联系也就越多。如此积累下去，大脑逐渐理解模式分类的规则以及模式之间的联系，最终形成我们对世界各种事物的认知。