1. 人工神经网络的概念

人工神经网络（Artificial Neural Network，ANN）简称神经网络（Neural Network）或类神经网络，是一种模仿生物神经网络的结构和功能的数学模型，用于对函数进行估计或近似。

和其他机器学习一样，神经网络已被用于解决各种问题，例如机器视觉和语音识别，这些问题用传统的编程都是难以解决的。

2. 神经元的概念

在生物神经网络中，每个神经元与其他神经元相连，当它 “兴奋” 时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；如果某神经元的电位超过了 “阈值”，那么它就会被激活，即 “兴奋” 起来，并向其他神经元发送化学物质。

1943年，McCulloch 和 Pitts 将上述情形抽象为上图所示的简单模型，这就是一直沿用至今的 M-P 神经元模型。把许多这样的神经元按一定的层次结构连接起来，就得到了神经网络。

一个简单的神经元模型：

其中，

a1、a2 ... an 为各个输入的分量
w1、w2 ... wn为各个分量对应的权重
b 为偏置
f 为激活函数，常见的激活函数有 tanh、sigmoid、relu
t 为神经元的输出

使用数学公司拟表示：

$t=f(W^{T}A+b)$

由此可见，一个神经元的作用为就是：计算输入向量和权重向量的内积，经过一个非线性传递函数得到一个标量。

3. 单层神经网络

最基本的神经元网络形式，由有限个神经元构成，所有神经元的输入向量都是同一个向量，由于每个神经元都会产生一个标量结果，所以单层神经元输出的都是一个向量，向量的维数等于神经元的个数。

单层神经网络示意图：

4. 感知机

感知机由两层神经网络组成，输入层接收外界输入信号后传递给输出层（输出 +1 正例，-1 反例），输出层是 M-P 神经元。

感知机能把一个 n 维向量空间用一个超平面分割成两部分，给定一个输入向量，超平面可以判断出这个向量位于超平面的哪一边，得到输入时正类或者是反类，对应到 2 维空间就是一条直线把一个平面分为两个部分。

5. 多层神经网络

多层神经网络就是由单层神经网络进行叠加之后得到的，所以就形成了层的概念，常见的多层神经网络有如下结构：

1）输入层（Input layer），众多神经元（Neuron）接受大量非线形输入消息。输入的消息称为输入向量。

2）输出层（Output layer），消息在神经元链接中传输、分析、权衡，形成输出结果。输出的消息称为输出向量。

3）隐藏层（Hidden layer），简称 “隐层”，是输入层和输出层之间众多神经元和链接组成的各个层面。隐层可以有一层或多层。隐层的节点（神经元）数目不定，但数目越多神经网络的非线性越显著，从而神经网络的强健性（robustness）更显著。

4）全连接层，当前一层和前一层每个神经元相互链接，所谓的全连接层就是在前一层的基础上进行一次 Y=Wx+b 的变化（不考虑激活函数）。