误差逆传播神经网络算法的改进

误差逆传播神经网络算法的改进

吕智斌甄德如

关键词：神经网络人工神经网络BP网络

0引言

二十世纪是科学技术大发展的世纪，是人类文明的新篇章。经过近半个世纪的努力探索，一门崭新的向人类自身大脑学习的新学科——人工神经网络（ArtificialNeuralNetwork，ANN），已经诞生并正在茁壮成长。它是当今世界关注的高科技热点，并开始显示出美好的广阔的应用前景，人们普遍认为它将使电子科学和信息科学产生革命性的变革。

1BP网络算法描述

设含有n个节点的任意网络，各节点之特性为Sigmoid型。为简便起见，指定网络只有一个输出y，任一节点i的输出为Oi，并设有N个样本(xk，yk)(k=1，2，3，…，N)，对某一输入xk，网络输出为yk节点i的输出为Oik，节点j的输入为

netjk=

并将误差函数定义为

从上述BP算法可以看出，BP模型把一组样本的I/O问题变为一个非线性优化问题，它使用的是优化中最普通的梯度下降法。如果把神经网络的看成输入到输出的映射，则这个映射是一个高度非线性映射。设计一个神经网络专家系统重点在于模型的构成和学习算法的选择。一般来说，结构是根据所研究领域及要解决的问题确定的。通过对所研究问题的大量历史资料数据的分析及目前的神经网络理论发展水平，建立合适的模型，并针对所选的模型采用相应的学习算法，在网络学习过程中，不断地调整网络参数，直到输出结果满足要求。

2BP神经网络算法的学习规则与计算方法

BP网络不仅有输入层结点、输出层结点，而且有一层或多层隐含结点。输入信息先传播到隐含层结点上，经过各单元的特性为Sigmoid型的激活函数运算后，把隐含结点的输出信息传播到输出结点，最后给出输出结果，传播过程中，每一层神经元的状态只影响到下一层神经元网络。如果得不到实际输出，转入反向传播过程，将误差信号沿原来的连接线路返回，通过修改各层神经元的权值，逐次地向输入层传播去进行计算，再经过正向传播过程，这两个过程的反复运用，使得误差信号最小，网络学习过程就结束。

3BP网络的改进方案

为了克服BP神经网络的易陷入局部极小、收敛速度慢等缺点，利用非线性最小二乘法对其进行了改进。改进后的BP神经网络的收敛速度提高了1～2个数量级。人工神经网络模拟人的大脑活动，具有极强的非线形逼近、大规模并行处理、自训练学习、自组织和容错能力等优点，将神经网络理论应用于系统安全评价之中，能克服传统安全评价方法的一些缺陷，能快速、准确地得到安全评价结果。这将为企业安全生产管理与控制提供快捷和科学的决策信息，从而及时预测、控制事故，减少事故损失。

人工神经网络是由大量简单的基本元件-神经元相互联结，模拟人的大脑神经处理信息的方式，进行信息并行处理和非线形转换的复杂网络系统。人工神经网络处理信息是通过信息样本对神经网络的训练，使其具有人的大脑的记忆、辨识能力，完成各种信息处理功能。人工神经网络具有良好的自学习、自适应、联想记忆、并行处理和非线形转换的能力，避免了复杂数学推导，在样本缺损和参数漂移的情况下，仍能保证稳定的输出。人工神经网络这种模拟人脑智力的特性，受到学术界的高度重视和广泛研究，已经成功地应用于众多领域，如模式识别、图象处理、语音识别、智能控制、虚拟现实、优化计算、人工智能等领域。

按照网络的拓扑结构和运行方式，神经网络模型分为前馈多层式网络模型、反馈递归式网络模型、随机型网络模型等。目前在模式识别中应用成熟较多的模型是前馈多层式网络中的BP反向传播模型，其模型结构如图。

BP网络模型处理信息的基本原理是：输入信号Xi通过中间节点（隐层点）作用于输出节点，经过非线形变换，产生输出信号Yk，网络训练的每个样本包括输入向量X和期望输出量t，网络输出值Y与期望输出值t之间的偏差，通过调整输入节点与隐层节点的联接强度取值Wij和隐层节点与输出节点之间的联接强度Tjk以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对应的网络参数（权值和阈值），训练即告停止。此时经过训练的神经网络即能对类似样本的输入信息，自行处理输出误差最小的经过非线形转换的信息。

4小结

学习规则及过程：它以一种有教师示教的方式进行学习。首先由教师对每一种输入模式设定一个期望输出值。然后对网络输入实际的学习记忆模式，并由输入层经中间层向输出层传播(称为“模式顺传播”)。实际输出与期望输出的差即是误差。按照误差平方最小这一规则，由输出层往中间层逐层修正连接权值，此过程称为“误差逆传播”。随着“模式顺传播”和“误差逆传播”过程的交替反复进行。网络的实际输出逐渐向各自所对应的期望输出逼近，网络对输入模式的响应的正确率也不断上升。通过此学习过程，确定下来各层间的连接权值之后就可以工作了。从上述BP算法可以看出，BP模型把一组样本的I/O问题变为一个非线性优化问题，它使用的是优化中最普通的梯度下降法。如果把神经网络的看成输入到输出的映射，则这个映射是一个高度非线性映射。为了克服BP神经网络的易陷入局部极小、收敛速度慢等缺点，利用非线性最小二乘法对其进行了改进。