自组织神经网络的优化

自组织多项式神经网络的优化

摘要：由组数据处理方法（GMDH ）自动构建和训练的自组织多项式神经网络（SOPNN ）模型仅仅优化了

SOPNN 网络顶层节点的权值，该模型的主要缺点是只进行了模型权值的部分优化。为了估计经过改善所

获得模型能达到的近似精确度，粒子群优化（PSO ）已经被使用去优化所有多项式节点的权值。因为在计

算上PSO 模型通常是昂贵和耗时的，为此使用了一个更加有效的Levenberg-Marquardt （LM ）算法去优化

SOPNN 。由LM 算法优化后的SOPNN 模型性能上胜过了基于ANN 和SVM 的模型。本文的研究是基于时

间约束下热动力影响的液体流动测量的元模型。通过多层叠加震荡递推关系的学习，我们演示了优化后的

SOPNN 模型的显著特性。

关键词：多项式神经网络；GMDH ；LM 算法；粒子群优化

绪论

SOPNN 网络的构建是通过将低阶多项式与多层多项式结构相结合，在这个网络中，低阶

多项式的系数用以最小化近似误差，其值是通过多项式回归获得。GMDH 模型在数字计算机

上很容易执行，对于低复杂网络，可以获得合理的近似精度。因为GMDH 在多项式回归和模

型选择中使用的是独立的数据集，致其不支持过度拟合。当将其应用于非线性行为的实时补

偿时，GMDH 和其他常见的模型所采取的策略一样，其自组织特性会去除这个复杂结构模型

和参数。

往往是通过对单个参数的测量评价SOPNN 网络的性能，例如最小方差，其主要是最小

化了模型的近似误差而并非模型的复杂度。当建立具有时间约束性应用的模型时，其约束可

以被有效的嵌入到模型选择指标中。当考虑相对于复杂度的精度时，与多层感知器（MLP ）

比较，原SOPNN 模型的性能处于劣势。

由GMDH 算法优化的SOPNN 模型只是对模型权值的部分优化，因为GMDH 算法仅仅优

化了输出节点的权值。在多次训练迭代中，被多项式回归计算后的权值仍然不变。模型在被

遗传编程和反向传播（BP ）训练后,其精度和预测可以有很大的提高。但是BP 往往会在局部

最小值处卡住，所以本文提出了一种更加强大的优化方法去训练其权值。

粒子群优化算法（PSO ）是一种自然仿生算法，其通过模仿鸟群的飞行来优化模型的权

值。PSO 可以优化所有多项式节点的权值，在实验中用于估计原SOPNN 模型的近似能力。

因为PSO 模型在计算上是昂贵和费时的，之后，我们采用了一种更加复杂的LM 算法去优化

模型的权值。通过模拟，LM 算法的收敛速度数倍于SOPNN 模型。

1、GMDH 、PSO 、LM 算法

1.1、GMDH 算法

如下图所示是一个完全的2层前向3维系统，图中i p ,λ表示一个对应于λ层第i 个节点的

低阶低维多项式。

由于一阶或二阶二维多项式没有迅速增加所有多项式关的阶数，而且它们的处理速快，

所以我们这里采用一个二阶二维多项式。其表达式如下。

21622512423121i i i i i i i i i i i i i z z a z a z a z a z a a p λλλλλλλλλλλλλ+++++= )1(

式中1i z λ和2i z λ表示输入变量，6,...,1i i a a λλ表示通过多项式回归获得的相应的权值。

GMDH 算法假设了两个独立的数据集，一个是M 个样本的训练集，一个是N 个样本的

验证集。如下所示：

{}M i ti ti t y x D 1),(== )2(

(){}N i vi vi v y x D 1,== )3(

每一个样本都是由一个数据向量和相应的独立变量组成。),...,(,,1tik ti ti vi ti x x x R y R y =∈∈， k vi vik vi vi k ti R x x x x R x ∈=∈),,...,(,1，训练数据集用来修正系数，验证数据集用来证明多项式的近

似误差。为了求解系数6,...,1i i a a λλ，必须求解一个6个同时发生的线性方程集。如下所示：

()6

1210==??????????=-??∑k M m tm i tm ik p y a λλ )4( 式中M 是训练样本总数，tm y 是训练集第m 个独立变量值，tm i p λ表示λ层第i 个多项式相应于

数据集第m 个数据向量的值。图1中每层的可能节点总数通过以下迭代方程得出。

∑-=++-=1012

)1(λλλλλi i N N N N N 式中λk N ,...,1,0=是第λ层的节点总数。

1.2、SOPNN 权值的基本粒子群优化

给定一个n 维空间中的向量a ,N R a ∈，

N i ,...,2,1=,把SOPNN 多项式关系式),(a x p 看作是粒子，在空间中的位置由向量a 来定义。PSO 使非线性适应度函数最小化，其数学表达式:

[]2

1),()(∑=-=K k k k a x p y a e )5(

式中K 表示训练向量的总数，k x 表示第k 个m 维输入训练向量，)(k k x y y =是相应的训练值，a 表示一个N 维的向量，代表的是多项式),(a x p k 所有节点的系数。在PSO 优化初始，要对

每一个粒子的位置a 和速率v 通过以下式子进行初始化。

(7) ,...,1,,...,1,)12((6)

,...,1,,...,1,0

0N i K k L U s v N i K k L U r L a i i ki ki i i ki i ki ==-?-===-+= 式中00ki

ki v a 和分别表示第k 个粒子的初始位置和速率的第i 个分量。其中i U L i 和 分别表示搜索空间中第i 维的下界和上界。ki ki s r 和表示0到1之间的随机数。对于每一个粒子

k ，我们假定其最优位置k A 和最优适应度函数值k E 分别等于各自粒子的初始化位置和初始化

适应度函数值。指针指向拥有最优适应度值αE 的α粒子。粒子通过以下的迭代方程被操作控

制。

(9)

,...,1,...,1,,...,

1,...,1(8)

)()(11211N i K k v a a N i K k a A S c a A R c v w v j ki j ki j ki j ki i ki j ki ki ki j ki j ki ==+===-+-??+?=+++α 式中j ki

j ki a v 和分别表示第k 个粒子在第j 次迭代中的速率和位置的第i 个分量。w 代表迭代权值（0.8

1.3、SOPNN 权值的LM 优化

1.3.1、LM 算法对SOPNN 的调整

给出一个包含K 个样本的数据集，每一个样本都有一个N 维输入向量x 和一个独立变量

y 组成。该算法通过优化SOPNN 多项式关系p 的所有权值{}m a a ,...,1，从而最小化非线性适

应度函数。在每一次的迭代中LM 算法都计算了增量δ,{}m δδ,...,1估计了新的权值向量

δ+=a a ，等于{}m m m a a δδ++,...,1，从而减小了适应度函数值。新的多项式p 的计算如下所

示：

M M

k k k k a a x p a a x p a x p a x p δδδ???++???+≈+),(...),(),(),(11 )10( 通过把a 用δ+a 代替，（5）式中的适应度函数变成:

2111)),(...),(),(()(M M

k k k K k k a a x p a a x p a x p y a e δδδ???--???-

-=+∑= )11( 通过设定粒子相对于增量的倒数等于0，我们获得了一个针对m 个未知数),...,(1M δδ的一个M

维同时发生的线性方程。

M

j K k M M k k k k j k a a x p a a x p a x p y a a x p 11110)),(...),(),((),(==??????????=???????????--???--???∑δδ )12( 或者是向量形式

[])()(a P y J J J T T -=δ )13(

式中J 表示Jacobian 矩阵，在介绍一个非负的阻尼因数γ和对角矩阵J J T ，我们获得了LM 方程式。

()()

[])(a P y J J J d i a g J J T T T -=?+δγ )14( 1.3.2 粒子导数的计算

从图1可以看出每一层包含相应的节点数，第λ层的第i 个节点的特性通过相应的权值{}61,...,i i a a λλ来确定。多项式i p λ相对于它的顶层节点),(i n λ的权值的粒子导数相当于对相应的权值求偏导，例如12

1,1i i i i i z a p a p λλλλλ=??=??，多项式i p λ相对于任意层节点),(y x n 的权值的粒子导数通过下式求得xyj

xy xy i xyj i a p p p a p ?????=??λλ，式中xy p 是相对于节点),(y x n 的多项式，对应权值xyj a ，6,...,1=j 。注意

xy i p p ??λ是根据节点),(),(y x n i n 和λ所有关系的链规则计算得到。 粒子导数的链规则计算通过一个假设的SOPNN 例子说明，如图2所示。

图中的34p 可以通过以下连接的多项式关系计算得到：

)),,),,,((),),,,(),,,(((3425414321425231432141221122334a a x a x x p p a a x x p a x x p p p

式中的i p λ表示相对于顶层节点),(i n λ的多项式。i a λ表示第),(i n λ的节点的权值向量。对应于

相应的权值6,...,1,=j a ij λ。从图2中可知多项式34p 相对于多项式14p 顶层节点权值的导数为：6,...,1,)(141414252534142323341434=????????+?????=??j a p p p p p p p p p a p j

j 。 式中42561425425214

25253462334434223342,2x a p a a p p p a p a a p p ++=??++=??，式中j a 14表示对应多项式14p 顶层节点的第j 个权值。

2、时间约束应用下的SOPNN 和多层感知器模型

在某种情况下，基于第一原则的过程执行在实时性上可能是不可行的。在这种情况下，构建一种相应的元模型是合理的，为此可以使被给的计算复杂度的近似精度最大化。利用机械学习技术，为了从原始的高复杂模型获得一个元模型，我们必须从原始模型获得足够的训练和验证例子。SVM 和ANN 可以被有效的用于多维非线性适应度函数的近似。在测量和控制应用中，最大化被给的计算复杂性的近似精度常常是必须的。计算复杂度可以通过相应的执行时间得到测量。我们的模型是针对流量计算器量身定制的，这种计算器是基于执行单个的精确加，乘，除和指数运算的浮点子程序的低计算能微型计算机。在这部分我们将简洁的总结在低计算能系统中对SOPNN 和MLP 模型 中执行时间ET 的估计过程。

2.1、SOPNN 的计算复杂度

SOPNN 的执行时间ET 是通过多项式节点的总数和基本的低阶多项式的最大执行时间来定义的。SOPNN 的最大执行时间可以估计为

)(m ul m ul add add SO PNN T N T N N T ?+??= )15(

式中N 表示多项式节点的总数,mul N N add 和分别表示浮点加和浮点乘的总数，这些参数可以通过计算基本的多项式)1(得到。ms T add 50=和ms T mul 150=分别表示相应的浮点加和浮点乘的最大执行时间。如果用Horner 规则重新改写多项式)1(，那么其将变成具有5个浮点加和5个浮点乘的式子。

)()(25322614211i i i i i i i i i i i i z a a z z a z a a z a p λλλλλλλλλλλλ+++++= )16(

2.2 、MLP 的计算复杂度

我们训练由一个输出神经元和1-M 个隐层神经元构成的前向MLP ，每一个神经元都利用了S 型激励函数。MLP 结构如图3所示。对于一个由N 个输入神经元，一个输出神经元和1-M 个隐层神经元构成的MLP ，其计算流程的最大执行时间可以通过下式得出。

)())(1)(1(exp div add m ul add m lp T T T M T T N M T +++++-≤ )17(

式中div exp T T 和表示相应的浮点指数函数和浮点除的最大执行时间。上述浮点操作在流量计算

机中的值为s T s T div μμ430,3470exp ==。

3、流率误差补偿

我们调查了在不同的设备中，一种自然气体的JT 系数和等熵幂对流率测量准确性的综合效应。如图4说明了在一个管线中流动的一种自然气体通过带有拐角头的孔板的流率测量。在ISO-5167-2(2003)中详细说明了带有相应的迭代计算方案的流率方程。对自然气体的流率计算依靠多个参数，如下所示：

),,,,,,,(d D k p T P q q u u u u u u γρ?= )18(

式中u u u u k q ,,,γρ分别表示在上升气压u q 和温度u T 下的质量流率，密度，黏性和等熵幂。式中d ,和D p ?表示环绕孔板，管内直径和孔的不同压力。在上升气压和下降温度测量下，)18(式变为：

),,,,,,,(d D k p T P q q d d d u u d γρ?= )19(

式中d d d d k q ,,,γρ分别表示在上升气压u p 和下降气流温度d T 条件下的相应质量流率，密度，黏性和等熵幂。对于某种特定的自然气体和操作条件，流率d q 会和流率u q 不同，温度的下降引起JT 系数扩大，为了达到要求的测量精度，对相应的流率进行补偿是必不可少的。精确的流率补偿需要对气体的成分和流率进行复算，上述计算在低计算能嵌入系统中实时的补偿是不可能的。为了减少计算负担，我们把目光聚焦到一个低复杂度流率改正因子模型上，该模型可以直接补偿由下降流温度测量引起的流率误差。这个改正因子模型要足够的简单以求在实时性上是可行的，并且要有足够的准确度以确保达到所要求的测量精度。流率改正因子的计算式如下： d

u q q k = )20( 式中u q 表示在上升气流下的实际流率，d q 表示在下降气流下的流率。对于给定k 时，u q 可以

通过d u q k q ?=获得。通过比较未补偿的d q 和准确计算的u q ，可以获得相应的流率测量误差r E ，其表达式为：u u d r q q q E -=。我们取了一个流率改正因子的替代模型。相对于(20)式的流率改正因子，被给的替代模型sm K ，实际的流率u q 可以近似为d sm sm q K q ?=。相应的测量误差则变为 u u sm sm q q q E )(-= )21(

在由SOPNN 和MLP 改正后的模型有相等的计算复杂度，相应的近似误差被比较。注意自然气体的特性，如密度，等熵幂和速率，需要被计算，并且会在流量计算中的气体特征参数会涉及，如相对密度，组分的摩尔分数，高级热量值。在Maric 和Ivek 中详细介绍了流率误差的改正流程和改正因子模型中需要的输入参数（见表1）优化集的估计。

4、流率误差补偿模型

对于元模型的目的，精确的自然气体流率改正因子计算在软件中被完成，并在数字计算机中得以运行。训练数据集，验证数据集和测试数据集，每一个都由包含20000个改正因子的样本组成，它们是环绕应用空间（表1）的任意样本，并与Maric and Ivek 相一致。应用范围在表1中被显示。在我们的流动计算原型中，改动因子的替代模型的最大容许ET 和最大

的可接受的相对平方根误差分别被限制为30ms 和5%。

对于模型被给的最大ET ，通过（15）和（17）式可以计算出浮点操作的最大ET ，9个输入参数，SOPNN 节点和MLP 神经元的最大可接受数量。为了建立一个等价ET 不超过30ms 的模型，图3的MLP 在最大的ET 下被限制到5个神经元，由（17）可以估计得到ms T mlp 75.27≤，图5中SOPNN 模型的相应复杂度被限制为在最大ET 内的最多27个多项式节点，由（15）式可以估计得到ms T SOPNN 27≤。

获得模型的近似精度在流率改正因子应用下，被10个随机产生的测试数据集测试。每一个都有20000个样本组成，结果在图6中显示。表2中给出相对平方误差均方根（mean RRSE)和标准差（standarddeviation ）。

从10个独立的测试数据集获得的结果清晰的表明模型没有过拟合图6中的MLP-LP 和表2表示被LM 算法训练的具有4+1个神经元的前向MLP 。这个SOPNN 代表了具有27个节点的自组织模型（图5），该模型被一个在模型选择上使用以下复合测量的的GMDH 算法训练。

2020)()1()(exe exe w rrs rrs w CE T T c E E c E ?-+?=

其中模型近似误差0rrs rrs E E ≤执行时间ET ，0exe exe T T ≤，权值系数10≤≤w c 。SOPNN-PSO 和SOPNN-LM 代表分别被PSO 和LM 优化的模型。从图6和表2可以看出被LM 算法训练的MLP 模型（MLP-LM)未被优化的SOPNN 模型在RRSE 上有近33%的减少，两者有着近似的复杂度。被PSO 优化的SOPNN 模型是耗时的，而且流程在计算上是昂贵的，因为高维的搜索空间（27*6=162）需要大量的粒子和迭代。

这个搜索空间的上下界额外的使流程更加复杂化。为了解决这个问题优化被划分成几个时段，每一个都有2000个产生。在每一段的开始，边界被固定在了最优粒子位置的周围。最优粒子是通过先前的段用以下方法得到：)1(),1(μμ+=-=i i i i A U A L ，式中i A 表示在第i 维空间中最优粒子的位置，i i U L 和表示第i 维搜索空间的上界和下界。μ是一个正数，μ的变化范围为0.01到1.5。在这个特殊的应用中，我们获得了μ的最佳值为1.2。SOPNN-PSO 模型将SOPNN 的准确性提高了大约20%。因为PSO 非常的慢，LM 算法对SOPNN 权值的优化已经被实施，从而加速这个收敛。

SOPNN-LM 算法可以很快的收敛，它将SOPNN 的误差减少了将近4倍（73.3%），超越了所有其他的模型。和MLP-LM 相比，其获得了超过前者60%的精确性。在LM 算法每一次的循环中，阻尼因子都会被自动的调整以最大程度的减少RRSE ，使模型拟合可以迅速的达到它的最优权值。LM 算法优化对所有的层的影响已经被观察。图7说明了在对数范围内，每一层中8个最好的排列的模型，未被优化的SOP-NN 和被LM 优化的SOPNN 的平均误差. 结果显示，与GMDH 算法优化的原模型的特征所表现的近似性能相比，SOPNN 多项式关系

提供了更好的效果。通过模拟自然气体的多种热动力特性，如摩尔热容、声速等，我们已经获得了相似的结果。

由GMDH算法优化的模型，每一个多项式节点的权值，在被回归计算后，在整个测试学习的过程中都未改变。GMDH算法为了最大化模型的近似精度，把系统内部依赖嵌入到了模型结构中。为了获得这个效果，仅仅是表现为对顶层节点多项式权值的回归。

参考文献

Ceperic, V., Gielen, G., & Baric, A.(2012). Recurrent sparse support vector regression machines trained by active learning in the time-domain. Expert Systems with Applications, 39, 10933–10942.

Chapra, S. C., & Canale, R. P. (1998). Numerical methods for engineers (3rd ed.). New York: McGraw-Hill. Eberhart, R. C., & Kennedy, J. (1995). A new optimizer using particles swarm theory. In Proceedings of the sixth international symposium on micro machine and human science, Nagoya, Japan (pp. 39–43). Piscataway, NJ: IEEE Service Center.

Ferrari, S., & Stengel, R.F. (2005). Smooth function approximation using neural 756 networks. IEEE Transactions on Neural Networks, 16(1), 24–38.

Holzmann, G., & Hauser, H. (2010). Echo state networks with ?lter neurons and a delay & sum readout. Neural Networks, 23, 244–256.

ISO-20765-1. (2005). Natural gas–Calculation of thermodynamic properties–Part1: Gas phase properties for transmission and distribution applications, Ref. No. ISO-20765-1:2005.

ISO-5167-2. (2003). Measurement of ?uid ?ow by means of pressure differential devices inserted in circular-cross section conduits running full –Part 2: Ori?ce plates, Ref. No. ISO-5167-2:2003(E).

Ivakhnenko, A. G. (1971). Polynomial theory of complex systems. IEEE Transactions on Systems Man, and Cybernetics SMC, 1(4), 364–378.