自然语言的概念：狭义地讲，利用计算机进行语言分析的研究是一门语言学与计算机科学的交叉学科，学术界称之为计算语言学，或者是自然语言处理，可以理解为语言学范畴+计算模型[1]。其中，语言学范畴是指由语言学家定义的语言学概念和标准，如词、词性、语法、语义角色、篇章结构等，自然语言处理的任务大多来源于此，但具体实现的计算模型或算法通常由计算机学家研制。一般来说，通用的自然语言处理总是与语言学领域的范畴直接相关联的，研究包括词干提取、分词、词性标注、命名实体识别、词义消歧、组块识别、句法分析、语义角色标注、篇章分析等。还有一些自然语言处理研究不与语言学范畴直接关联，而是面向文本处理应用的，比如机器翻译、信息抽取、情感分类、信息检索、问答系统等，这些面向应用的自然语言处理技术多少会依赖于前面所介绍的几类自然语言处理基础研究。

循环神经网络的应用机器翻译：机器翻译（MachineTranslation，简称MT）是采用电子计算机来进行自然语言之间翻译的一门新兴实验性学科，是将一种源语言语句变成意思相同的另一种源语言语句，如将英语语句变成同样意思的中文语句。机器翻译也是计算语言学的一个应用领域，它的研究是建立在语言学、数学和计算技术这三门学科的基础之上，语言学家提供适合于机器进行加工的词典和语法规则，数学家把语言学家提供的材料进行形式化和代码化，计算技术专家给机器翻译提供软件手段和硬件设备，缺少上述任何一方面，机器翻译就不能实现。机器翻译效果的好坏，也完全取决于上述三方面的共同努力。机器翻译与语言模型的关键区别在于，机器翻译需要将源语言语句序列输入后，才进行输出，即输出第一个单词时，便需要从完整的输入序列中进行获取第二个单词、依次进行。机器翻译如图所示。将整个句子输入循环神经网络后，这个时候最后一刻的输出就已经处理完了整个句子。

循环神经网络的应用语音识别：语音识别技术是一门交叉技术，近二十年来，语音识别技术取得显著进步，开始从实验室走向市场。人们预计，未来10年内，语音识别技术将进入工业、家电、通信、汽车电子、医疗、家庭服务、消费电子产品等各个领域。语音识别技术，也被称为自动语音识别，其目标是将人类的语音中的词汇内容转换为计算机可读的输入，要实现语音识别，其实现过程如图所示。语音识别方法主要是模式匹配法，其包括两个阶段，其一是训练阶段，用户将词汇表中的所有词依次说一遍，并且将其特征矢量作为模板存入模型库；其二是识别阶段，将输入语音的特征矢量依次与模型库中的每个模板进行相似度比较，将相似度最高者作为识别结果的输出。

循环神经网络的应用情感分析：情感分析（SentimentAnalysis），又称倾向性分析，意见抽取（OpinionExtraction），意见挖掘（OpinionMining），情感挖掘（SentimentMining），主观分析（SubjectivityAnalysis），它是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。情感分析最常用的做法就是在文中找到具有各种感情色彩属性的词，统计每个属性词的个数，哪个类多，这段话就属于哪个属性。但是这存在一个问题，例如don'tlike，一个属于否定，一个属于肯定，统计之后变成0了，而实际上应该是否定的态度。再有一种情况是，前面几句是否定，后面又是肯定，那整段到底是中立还是肯定呢，为了解决这样的问题，就需要考虑上下文的环境。

循环神经网络的基本工作原理：循环神经网络的工程原理或是工作过程其实就是循环神经网络的训练算法，一种基于时间的反向传播算法BPTT(BachPropagationThroughTime)。BPTT算法是针对循环层设计的训练算法，它的基本原理和反向传播BP（BackPropagation）算法是一样的，也包含同样的三个步骤。1、前向计算每个神经元的输出值；2、反向计算每个神经元的误差项值，它是误差函数E对神经元j的加权输入的偏导数；3、计算每个权重的梯度。

循环神经网络的模型结构：循环神经网络（RecurrentNeuralNetwork，RNN）是一种对序列数据建模的神经网络，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不在无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。RNN模型的连接如图所示。

tensorflow优缺点是什么：1、优点：•灵活性强：只要计算能表示为计算流图，都可以使用TF。•真正的可移植性：支持台式机、服务器（CPU、GPU均可）、嵌入式设备。•多语言支持：基于Python，也提供C++使用界面、Ipython交互界面。•可视化工具：TensorFlow提供一个强大的可视化工具，TensorBoard。•丰富的封装库支持：TFlearn、TF-Slim、Keras等。2、缺点：•学习成本高：代码实现方式多样，使用过于灵活，会增加使用者学习成本。

软件框架Caffe的优缺点：1、优点：•多语言：基于C++/CUDA，也支持命令行、Python和Matlab接口。•速度快：支持MKL、OpenBLAS、cuBLAS加速计算，也支持GPU加速。•易上手：功能模块化，例程多。•社区资源丰富：有各种衍生项目，如FasterR-CNN系列、CaffeForWindows等。2、缺点•主要支持CNN：暂不支持RNN，更适合做图像处理相关任务。•不够灵活：自定义新的层时比较麻烦。

动量(Momentum)法简介：模拟了物理中动量的意义，将梯度下降看作“小球下山”，将梯度理解为力，推动小球下降，小球的下降过程中具有速度，因此还具有动量。优点：主要解决了SGD中的鞍点问题。

深度学习中的正则化通俗解释：拟合：模型刚好可以拟合数据，是训练的理想状态。欠拟合：模型的拟合程度较低，没有学习到数据间的通用规律。过拟合：指分类器过度严格的拟合了数据，反而使其失去了泛化（generalization）能力。