神经网络控制的发展趋势：

1、MP模型的提出和人工神经网络的兴起：1943年，美国神经生理学家Warren Mcculloch和数学家Walter Pitts合写了一篇关于神经元如何工作的开拓性文章：“A Logical Calculus of Ideas Immanent in Nervous Activity”。

2、感知器模型和人工神经网络：1957年，计算机专家Frank Rosenblatt开始从事感知器的研究。1959年，两位电机工程师Bernard Widrow和Marcian Haff开发出一种叫作自适应线性单元（ADALINE）的网络模型。

3、反思期—神经网络的低潮：1969年，Marvin Minsky和Seymour Papert合著了一本书“Perception”，分析了当时的简单感知器，指出它有非常严重的局限性，甚至不能解决简单的“异或”问题，为Rosenblatt的感知器判了“死刑”。

4、人工神经网络的复苏：直到1984年，Hopfield设计研制了后来被人们称为Hopfield网的电路，较好地解决了TCP问题，找到了最佳解的近似解，引起了较大轰动。1985年，Hinton、Sejnowsky、Rumelhart等研究者在Hopfield网络中引入随机机制，提出了所谓的Bolziman机。1986年，Rumelhart等研究者独立地提出多层网络的学习算法—BP算法，较好地解决了多层网络的学习问题。

5、深度学习的出现：Hinton等人于2006年提出了深度学习的概念，2009年Hinton把深层神经网络介绍给做语音的学者们，然后2010年语音识别就产生了巨大突破。

接下来11年CNN又被应用在图像识别领域，取得的成绩令人瞩目。2015年LeCun、Bengio和Hinton三位大牛在Nature上刊发了一篇综述，题为Deep Learning，这标志着深度神经网络不仅在工业届获得成功，还真正被学术界所接受。2016、2017应该是深度学习全面爆发的两年。