神经网络简介

人工神经网络是在现代神经科学的基础上提出和发展起来的，旨在反映人脑结构及功能的一种抽象数学模型。自1943 年美国心理学家W. McCulloch 和数学家W. Pitts 提出形式神经元的抽象数学模型—MP 模型以来，人工神经网络理论技术经过了50 多年曲折的发展。特别是20 世纪80 年代，人工神经网络的研究取得了重大进展，有关的理论和方法已经发展成一门界于物理学、数学、计算机科学和神经生物学之间的交叉学科。它在模式识别，图像处理，智能控制，组合优化，金融预测与管理，通信，机器人以及专家系统等领域得到广泛的应用，提出了40 多种神经网络模型，其中比较著名的有感知机，Hopfield 网络，Boltzman 机，自适应共振理论及反向传播网络（BP）等。在这里我们仅讨论最基本的网络模型及其学习算法。

人工神经元模型

下图表示出了作为人工神经网络（artificial neural network，以下简称NN）的基本单元的神经元模型，它有三个基本要素：

（i）一组连接（对应于生物神经元的突触），连接强度由各连接上的权值表示，权值为正表示激活，为负表示抑制。
（ii）一个求和单元，用于求取各输入信号的加权和（线性组合）。
（iii）一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一定范围内（一般限制在(0,1)或(−1,1)之间）。

此外还有一个阈值 $\theta _{k}$ （或偏置 $b_{k}$ = − $\theta _{k}$ ）。

若把输入的维数增加一维，则可把阈值 $\theta _{k}$ （或偏置 $b_{k}$ = − $\theta _{k}$ ）包括进去

Matlab 中的激活（传递）函数如下表所示：

函数名	功能
purelin	线性传递函数
hardlim	硬限幅传递函数
hardlims	对称硬限幅传递函数
satlin	饱和线性传递函数
satlins	对称饱和线性传递函数
logsig	对数S 形传递函数
tansig	正切S 形传递函数
radbas	径向基传递函数
compet	竞争层传递函数

网络结构及工作方式

除单元特性外，网络的拓扑结构也是NN 的一个重要特性。从连接方式看NN 主要有两种。

前馈型网络

各神经元接受前一层的输入，并输出给下一层，没有反馈。结点分为两类，即输入单元和计算单元，每一计算单元可有任意个输入，但只有一个输出（它可耦合到任意多个其它结点作为其输入）。通常前馈网络可分为不同的层，第i层的输入只与第i −1层输出相连，输入和输出结点与外界相连，而其它中间层则称为隐层。

反馈型网络

所有结点都是计算单元，同时也可接受输入，并向外界输出。NN 的工作过程主要分为两个阶段：第一个阶段是学习期，此时各计算单元状态不变，各连线上的权值可通过学习来修改；第二阶段是工作期，此时各连接权固定，计算单元状态变化，以达到某种稳定状态。从作用效果看，前馈网络主要是函数映射，可用于模式识别和函数逼近。

反馈网络按对能量函数的极小点的利用来分类有两种：

第一类是能量函数的所有极小点都起作用，这一类主要用作各种联想存储器；

第二类只利用全局极小点，它主要用于求解最优化问题。

蠓虫分类问题与多层前馈网络

蠓虫分类问题

蠓虫分类问题可概括叙述如下：生物学家试图对两种蠓虫（Af 与Apf）进行鉴别，依据的资料是触角和翅膀的长度，已经测得了9 支Af 和6 支Apf 的数据如下：
Af: (1.24,1.27)，(1.36,1.74)，(1.38,1.64)，(1.38,1.82)，(1.38,1.90)，(1.40,1.70)，(1.48,1.82)，(1.54,1.82)，(1.56,2.08).
Apf: (1.14,1.82)，(1.18,1.96)，(1.20,1.86)，(1.26,2.00)，(1.28,2.00)，(1.30,1.96).
现在的问题是：
（i）根据如上资料，如何制定一种方法，正确地区分两类蠓虫。
（ii）对触角和翼长分别为(1.24,1.80)，(1.28,1.84)与(1.40,2.04)的3 个标本，用所得的方法加以识别。
（iii）设Af 是宝贵的传粉益虫，Apf 是某疾病的载体，是否应该修改分类方法。
如上的问题是有代表性的，它的特点是要求依据已知资料（9 支Af 的数据和6 支Apf 的数据）制定一种分类方法，类别是已经给定的（Af 或Apf）。今后，我们将9 支Af 及6 支Apf 的数据集合称之为学习样本。

多层前馈网络

为解决上述问题，考虑一个其结构如下图所示的人工神经网络，

图中最下面单元，即由•所示的一层称为输入层，用以输入已知测量值。在我们的例子中，它只需包括两个单元，一个用以输入触角长度，一个用以输入翅膀长度。中间一层称为处理层或隐单元层，单元个数适当选取，对于它的选取方法，有一些文献进行了讨论，但通过试验来决定，或许是最好的途径。在我们的例子中，取三个就足够了。最上面一层称为输出层，在我们的例子中只包含二个单元，用以输出与每一组输入数据相对应的分类信息．任何一个中间层单元接受所有输入单元传来的信号，并把处理后的结果传向每一个输出单元，供输出层再次加工，同层的神经元彼此不相联接，输入与输出单元之间也没有直接联接。这样，除了神经元的形式定义外，我们又给出了网络结构。有些文献将这样的网络称为两层前传网络，称为两层的理由是，只有中间层及输出层的单元才对信号进行处理；输入层的单元对输入数据没有任何加工，故不计算在层数之内。

下面利用上文所叙述的网络结构及方法，对蠓虫分类问题求解。编写 Matlab 程序如下：

clear
p1=[1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;
1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08];
p2=[1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.00
1.28,2.00;1.30,1.96];
p=[p1;p2]';
pr=minmax(p);
goal=[ones(1,9),zeros(1,6);zeros(1,9),ones(1,6)];
plot(p1(:,1),p1(:,2),'h',p2(:,1),p2(:,2),'o')
net=newff(pr,[3,2],{'logsig','logsig'});
net.trainParam.show = 10;
net.trainParam.lr = 0.05;
net.trainParam.goal = 1e-10;
net.trainParam.epochs = 50000;
net = train(net,p,goal);
x=[1.24 1.80;1.28 1.84;1.40 2.04]';
y0=sim(net,p)
y=sim(net,x)

BP神经网络的应用场景

模式识别

模式识别通常是指对表征事物或现象的各种形式的(数值的、文字的和逻辑关系的)信息进行处理和分析，以便确定他们属于哪种类别。

函数逼近

对于一些表达式过于复杂的函数，或者是难以表达的函数，我们可以利用神经网络来无限逼近他们，对他们进行模拟。

预测

先利用一些已知的数据对网络进行训练，然后再利用这个训练好的网络来对新来的数据进行预测。相比于传统的方法来说，神经网络提高了准确度，并且只需要较少的数据。

数据压缩

数字图像压缩实际上是以较少的比特数有损或者无损的来表示原来像素矩阵的一种图像处理技术,实际上就是减少图像数据中的时间冗余,空间冗余,频谱冗余等等作为目的,从而同过减少上述的一种或者多种冗余的信息而达到更加高效的存储与传输数据.图像的压缩系统其实无论采用什么样的具体的架构或者技术方法,基本的过程都是一致的,主要还是可以概述为编码,量化,解码这三个部分。从理论上讲,编解码问题其实就可以归结为映射与优化的问题,从神经网络的方面来看无非就是实现了从输入到输出的一个非线性的映射关系,并且衡量性能的标准可以从并行处理能力是否高效,容错率是否合适,以及是否具有鲁棒性.分析图像压缩的基本原理其实和上述的BP神经网络的原理一样。所以我们可以利用BP神经网络来解决图像压缩问题。