一般的神经网络是层级结构,每层神经元与下一层神经元相互连接,同层神经元及跨层神经元之间相互无连接,每一层神经元的输出作为下一层神经元的输入,这种网络被称为前馈神经网络。
最左边的一层(第一层)称为输入层,其中的神经元称为输入神经元。最右边的一层(最后一层)称为输出层,其中的神经元称为输出神经元。中间一层则被称为隐藏层,既不是输入层也不是输出层。本例讨论的是只有一个输出和一个隐藏层。但是,在实际中神经网络可以有多个输出和多个隐藏层。这种多层网络有时被称为多层感知器。
多层神经网络中除了输入层,每个神经元都是一个多输入单输出信息处理单元。如图所示,它表示了一个多层神经网络,需要注意,网络中所有连接都有对应的权重和偏置。但是图中只标记了三个权重 w1,w2, w3 。