基于改进粒子群优化的非线性最小二乘估计

收稿日期:20050518;修回日期:20050816。

基金项目:武汉理工大学校基金(X JJ2004113);U IRT 计划(A156,A157)资助课题

作者简介:高飞(1976),男,博士研究生,主要研究方向为最优化理论与方法,计算流体力学。E 2mail :gaofei @https://www.360docs.net/doc/3718650632.html,

基于改进粒子群优化的非线性最小二乘估计

高　飞,童恒庆

(武汉理工大学数学系,湖北武汉430070)

摘　要:针对测量数据处理中非线性模型参数估计理论广泛使用的传统牛顿类算法对初值的敏感性问题,

提出了一种求解非线性最小二乘估计的改进粒子群优化算法。该算法利用均匀设计方法在可行域内产生初始群体,无需未知参数θ的较好的近似作为迭代初值,而具有大范围收敛的性质;通过偏转、拉伸目标函数有效地抑制了粒子群优化算法易收敛到局部最优的缺陷。给出应用该方法到NL SE 的具体步骤,通过仿真实验证明该算法的有效性。

关键词:统计学;参数估计;粒子群优化算法;非线性最小二乘估计中图分类号:TP301 文献标识码:A

Nonlinear least squares estimation based on improved

particle sw arm optimization

G AO Fei ,TON G Heng 2qing

(Dept.of Mathematics ,W uhan U niv.of Technology ,W uhan 430070,China )

Abstract :To investigate the sensitivity of the traditional Newton methods widely used in the theory of nonlinear least squares estimation (NLSE )in geodesic data processing to the initial point ,an improved particle swarm optimiza 2tion (PSO )algorithm is proposed.It generates the initial population in feasible field by uniform design method ,so it has the property of convergence in large scale without better approximation of the unknown parameter θas iterative ini 2tial point.It restrains PSO ’s local convergence limitation efficiently by deflection and stretching of objective function.Finally the detailled steps of the proposed method for NLSE are given ,and experiments done show the improved tech 2nique ’s effectiveness.

K ey w ords :statistics ;parameter estimation ;particle swarm optimization ;nonlinear least squares estimation

0　引　言

始于20世纪60年代的关于非线性模型参数估计理论的研究,直到1980年以后,Bates 和Watts 引入曲率度量以后,才得到较快的发展。对于一些复杂的非线性模型,传统的方法如:直接搜索法、复合形法、梯度法、变尺度法等往往只对某一类特定问题有效,且对模型的限制比较多,如可导、单峰等特性。要在测量数据处理中广泛使用非线性模型参数估计理论,必须进行大量深入细致的工作,寻找通用有效的算法[1-2]。随研究的深入,我们发现群集智能研究的新进展粒子群优化(particle swarm optimization ,PSO )算法有其独特的优势[3-6],采用该算法的非线性最小二乘估计(nonlinear least squares es 2timation ,NLSE )问题能得到非常好的计算结果。

PSO 由Eberhart 和K ennedy 于1995年提出,起源于对

一个简化社会模型的仿真,和人工生命理论以及鸟类或鱼类的群集现象有十分明显的联系;作为一种高效并行优化方法,已经得到了众多学者的重视和研究,可用于求解大量非线性、不可微和多峰值的复杂优化问题;而且其程序实现简洁,需要调整的参数少,发展很快,已应用于多个科学和工程领域[3-4]。同时,鉴于PSO 收敛性能的局限,很多学者都致力于提高PSO 算法的性能[5-6]。

本文尝试探讨非线性最小二乘估计的相关理论,采用均匀设计方法设计群体[7]、偏转目标函数[8]以改善PSO 的收敛性能,在此基础上采用PSO 的求解非线性最小二乘估计问题,数值算例进一步说明了本文的主要结果。

1　非线性最小二乘估计

已知{(X i ,Y i ),i =1,…,n}是模型的一组观测值,假

第28卷　第5期系统工程与电子技术

Vol.28　No.52006年5月

Systems Engineering and Electronics May 2006　

文章编号:10012506X (2006)0520775204

定主要误差出现在变量Y的观测上,曲线拟合就是用数学分析的方法从观测数据中求得模型的最佳表达式。

设观测值Y

i 的偏差δY

i

=Y i-f(X i,θ),i=1,…,n,偏

差向量V=(δY1,…,δY n)T,记f i(θ)=f(X i,θ),f(θ)= (f1(θ),…,f n(θ))T,Y=(Y1,…,Y n)T,最小二乘法假定偏差独立服从同一正态分布,用最小二乘估计^θ=arg min V T V估计未知参数θ。设观测值的权矩阵为n×n的对称正定矩阵P,则未知参数θ的非线性最小二乘估计为^θ=arg min V T PV又因为

V T PV=(δY1,…,δY n)P(δY1,…,δY n)T=

(f(θ)-Y)T P(f(θ)-Y)=

(f(θ))T P(f(θ)-2Y)+Y T P Y

且Y T P Y是常数,从而min(f(θ))T P(f(θ)-2Y)等价于min V T PV,所以θ的非线性最小二乘估计为^θ=arg min (f(θ))T P(f(θ)-2Y)。

用此方法确定的模型的可靠程度与观测值Y

i 的偏差δ

i

的大小有密切联系。而且最小二乘法中常用的方法如:直接搜索法、梯度法、变尺度法、G auss2Newton法等虽具有收敛速度快的优点,但往往只对某些特定问题有效,存在计算复杂、预处理量大、不易收敛、对迭代初值敏感性大的缺点[1-2,8]。

2　粒子群优化算法及改进

在分析PSO理论基础、实现方式的基础上,结合在计算数学中的一些常用手段,从初始点集的选取和目标函数的处理两个方面对PSO进行改进。

2.1　粒子群优化算法

PSO是一种相对较新的基于群体的演化计算方法(EA),根据对环境的适应度将群体中的个体移动到好的区域;将每个个体看作D维搜索空间中的一个没有体积的微粒(点),所有的粒子都有一个由被优化的函数决定的适应值,主要特点为:(1)每一粒子都被赋予了初始随机速度并在解空间中流动;(2)个体具有记忆功能;(3)个体的进化主要是它本身的飞行经验以及同伴的飞行经验进行动态调整,通过迭代找到最优解[5-6]。

设k时刻,第i个微粒(i=1,…,M)表示为X

i

(k)= (x i,1(k),…,x i,D(k)),它经历过的最好位置记为p best=P i (k)=(p i,1(k),…,p i,D(k));在群体所有微粒经历过的当前最好位置的索引号表示为g best=Q g(k)=((q g,1(k),…, q g,D(k));微粒i的速度用V i(k)=(v i,1(k),…,v i,D(k))表示。设w为惯性权重,c1认知加速常数,c2为社会加速常数,rand(a,b)产生在[a,b]范围内变化的随机数,χ∈(0,1]为收缩因子,速度V i(t)被一个最大速度V M限制:

如果当前对微粒的加速导致它在某维的速度v

i,d ≤V M

d

,

则v

i,d

:=V M d[3-4];X i(t)的第d维(1≤d≤D)根据如下方程[3]变化

Tp i,d(k)=rand(0,c1)×[p i,d(k)-x i,d(k)]

Tq i,d(k)=rand(0,c2)×[q g,d(k)-x i,d(k)]

v i,d(k+1)=χ[w×v i,d(k)+Tp i,d(k)+Tq i,d(k)] x i,d(k+1)=x i,d(k)+v i,d(k+1)

按上述思想的PSO是全局版的,虽然收敛快,但有时

会陷入局部最优。而局部版PSO通过保持多个吸引子来避免早熟,对每一个粒子X

i

:把所有粒子按序号排成一圈, X i两侧的各l个粒子和X i组成的共2×l+1个粒子的集

合称为X

i

的环状邻域N

i

,从N i中选出最好的,标记为l best=L i(t)=(l i,1(t),…,l i,D(t)),设c3为邻域加速常数,

其他参数与全局版PSO相同;X

i

(t)的第d维(1≤d≤D)根据如下方程[5]变化

Tl i,d(k)=rand(0,c3)×[l i,d(k)-x i,d(k)]

tem p=w?v i,d(k)+Tp i,d(k)+Tq i,d(k)+Tl i,d(k) v i,d(k+1)=χ?tem p

x i,d(k+1)=x i,d(k)+v i,d(k+1)

实验表明,局部版比全局版收敛慢,但不容易陷入局部最优[5-6]。

PSO的优势在于算法的简洁性,易于实现,参数调整少,无需梯度信息;是非线性连续优化问题、组合优化问题的有效优化工具,已经广泛应用于函数优化、神经网络训练、车间作业调度、等[3,6]。

2.2　改进策略

PSO与遗传算法(genetic algorithms,G A)的信息共享机制并不同的:G A的整个种群比较均匀的向最优区域移动;而在PSO中,只有g best(或l best)传递信息给其他粒子,更新过程是跟随当前最优解的单向过程。而且,PSO算法对种群大小不十分敏感。虽然在算法的早期,PSO收敛快,但若c2、V M等参数太大,粒子群可能错过最优解,造成不收敛;即使在收敛的情况下,由于粒子群趋于同一化,算法后期收敛速度明显变慢,同时算法收敛到一定精度时,无法继续优化;因此很多学者都致力于改进PSO算法,如:惯性权重法、压缩因子法、空间邻域法、社会趋同法、动态目标函数法、协同法、结合复杂系统的自组织临界性等[5-6]。

在反映目标函数在搜索空间中的性质这一点上随机分

布的初始群体不如均匀设计的方法产生的点集[7]。设u

ij

是均匀设计表U

n

(n N)中的元素,令a ij=(2u ij-1)/2n,j= 1,…,N,则集合P M={a k=(a k1,…,a kN),k=1,…,M}是[0,1]N中的均匀散布的M个点。图1是在[0,1]2用均匀

设计方法和随机产生30个点组成的点集{(x

i

,y j)}[7]。

图1　初始点集对比图

　?776

　?系统工程与电子技术第28卷　

从图1可以看出均匀设计的方法产生的点集所构成的初始群体比随机的初始群体更能从统计意义上反映出目标函数的特性。

若目标函数f (x )为多峰函数,演化计算在求解时往往易陷入局部极小点,引入偏转(Deflection )目标函数方法[8],以免算法再次收敛到相同极小解

F (X )=

∏

k

i =1

[tan h (λi

‖X -x 3

i ‖

)]-1f (X )式中:λi ∈

(0,1),x 3i (i =1,2,…,k )———已经找到的k 个极小解;亦可以引入拉伸(Stretching )目标函数方法[8],以

免算法再次收敛到相同极小解

G (x )=f (x )+δ1‖x -x 3i ‖

[1+sgn (f (x )-f (x 3

i ))]H (x )=H (x )+δ21+sgn (f (x )-f (x 3i ))

tanh [δ3(G (x )-G (x 3

i ))]

其中参数δ1,δ2,δ3>0,将H (X )作为新的目标函数。

图2是偏转、拉伸函数f (x )=cos x 在x =π附近函数的图像,从图中可以看出拉伸后的函数将不会在x =π附近取得极小值。

3　基于改进粒子群优化算法的非线性

最小二乘参数估计

PSO 是一种高效并行优化方法,能逐渐从大范围搜索得到未知参数θ的非线性最小二乘估计为^θ=arg min V T PV 或^θ=arg min (f (θ

))T

?P ?(f (θ)-2Y )的分布信息,过滤冗余信息;进而在小范围内搜索,得到^θ的具有较高精度的值;并且PSO 对函数的连续性、可导性均无特别要求,因此它能对传统数学方法难以求解的^θ给出启发性的结果;同时PSO 还能比较容易地找到较好的迭代初值,因此PSO 将是一个有价值的方法。

选取文献[1]的例子,已知非线性模型为L i =x i ?e i ?x

2,其中x 1,x 2的真值为x =(5.42013187,-0.25436189)[1],L i 的5个真值如表1所示。

表1　L i 的5个真值

i

12345

真值4.2028343.2589242.5270061.9594691.519394观测值4.203.252.521.951.51

图2　函数偏转、拉伸效果图

观测误差σ0=±

0.007883[1],观测方程为L i =x 1?e

i ?x 2

+Δi ,参数取值范围为x 1∈[5.1,5.6],x 2∈[-0.6,

-0.1]。利用Matlab7编程,算法独立运行50次,取M =40个微粒,迭代次数iter =100,取w ini =0.95,w end =0.2,设

t 为当前迭代次数,当前惯性权重w =w ini -w ini -w end

iter

×t ,

c 1=2,c 2=2,c 3=1,l =1,χ=0.9。

为了验证本文算法求得的x 1,x 2(取50次计算的平均值)和PSO 在非线性最小二乘估计中的优势,以所求估计值到真值的距离V T PV (特别的P 取单位矩阵)和‖X -x ‖2作为评价标准,与其他文献中的算法结果进行比较。

由表2可以看出,牛顿类算法、同伦算法的精度基本相同,遗传算法稍差,本文算法尽管在数量级上没有提升,但是从算法结果看,PSO 应用于非线性最小二乘问题,具有以下优点:

(1)具有大范围收敛的性质,即不需要较好的近似值作为搜索的起点,有效避免常规算法对初值的敏感性;

(2)具有稳定性,进行多次实验,PSO 仍能收敛到非常好的结果。

(3)在非线性最小二乘意义下,本文算法的计算结果是最优的。

表2　各种算法的计算结果比较

估计方法x 1

x 2

V T PV

‖X -x ‖2

线性近似[1] 5.394142-0.2502460.003265010171319120.0263牛顿法[1] 5.422745-0.2556727.20481335442393e -0060.0029信赖域法[1] 5.422738-0.2556717.20492467567511e -0060.0029拟牛顿法[1] 5.422745-0.2556727.20481335442393e -0060.0029高斯-牛顿法[1] 5.422745-0.2556727.20481335442393e -0060.0029最速下降法[1] 5.418092-0.255372 1.47989706295417e -0050.0029同伦算法[2] 5.422745-0.2556727.20481335442393e -0060.0029遗传算法[9]

5.419905-0.255497 1.00674939146303e -0050.00115827PSO

5.42274490241574

-0.255672090715456

7.20481032717554e -006

0.00292310

　第5期高飞等:基于改进粒子群优化的非线性最小二乘估计

　?777　?　

4　结　语

本文在分析讨论非线性最小二乘估计的相关理论和群集智能的新进展PSO的基础上,从初始种群的产生、目标函数处理的角度改进PSO;从优化角度求解非线性最小二乘估计问题。数值计算表明,本文算法具有很高的收敛可靠性以及较高的收敛速度和精度,具有良好的适应性,其设计策略对于解决实际问题有较好的借鉴意义。

参考文献:

[1]王新洲.非线性模型参数估计理论与应用[M].武汉:武汉大学

出版社,2002.

[2]张勤.非线性最小二乘理论及其在GPS定位中应用研究[D].武

汉:武汉大学,2002.

[3]Eberhart R C,Shi https://www.360docs.net/doc/3718650632.html,paring inertia weights and constriction

factors in particle swarm optimization[C]∥Proc.of the2000 Congress on Evol utionary Com putation.I EEE Service Center:

Piscataw ay,NJ,2000,84$88.

[4]Schutte J F,Reinbolt J A,Fregly B J,et al.Parallel global opti2

mization with the particle swarm algorithm[J].Int.J.N umer.

Meth.Engi n,2004,61:2296$2315.

[5]Parsopolos K E,Vrahatis M N.Recent approaches to global opti2

mization problems through particle swarm optimization[J].N at u2 ral Com puti ng,2002(1):235$306.

[6]谢晓锋,张文俊,杨之廉.微粒群算法综述[J].控制与决策,

2003,18(2):129$134.

[7]Ma C X.Uniform design based on centered L2discrepancy

U n(n s)[DB/OL].htt p://w w https://www.360docs.net/doc/3718650632.html,.hk/U ni2

f orm PS Osign/U n n^s.ht ml,1999,9.

[8]Magoulas G D,Vrahatis M N,Androulakis G S.On the alleviation

of local minima in back propagation[J].Nonli near A nal.Theory Meth,1997(30):4545$4550.

[9]田玉刚,王新洲,花向红.非线性最小二乘估计的遗传算法[J].

测绘工程,2004,13(4):6-8.

(上接第686页)

图3　信噪比为1dB时四分量辐射源信号时频分布投影图

图4　信噪比为-3dB时基于时频重排四

分量辐射源信号时频分布投影图

4　结束语

本文探讨了时频重排和其它时频分布分析方法用于多分量辐射源信号的分析比较。仿真结果表明,利用时频重排可以解决多分量交叉项的抑制和时频聚集性降低这一对矛盾,且具有一定的抗噪性能。通过时频重排获得多分量信号较为理想的时频分布图后,如何提取各分量的脉内特征信息,如线性调频信号各自的起始频率和调制斜率等,将是下一步重点要做的工作。参考文献:

[1]沙祥.脉内分析综述[J].现代电子,1998,65(4):1-8.

[2]金梁,殷勤业,姚敏立.瞬时频率和时频分布[J].电子科学学刊,

1998,20(5):597-603.

[3]K odera K,G endrin R,De Villedary C.Analysis of timevarying sig2

nals with small BT values[J].I EEE T rans.coust.,S peech, Signal Processi ng,1978,34:64-76.

[4]Auger F,Flandrin P.Improving the readability of timefrequency and

time2scale representations by the reassignment method[J].I EEE T rans.Signal Processi ng,1995,43:1068-1089.

[5]于凤芹,曹家麟.基于时频重排-霍夫变换的雷达回波信号检测.

现代雷达[J].2005,27(2):40-43.

[6]李勇,等.加权重排算法在多目标雷达信号分辩中的应用[J].电

子信息学报,2003,25(1):31-36.

[7]魏庆国,吴建华.非平稳信号时频分析的重排方法及其在语音信号

处理中的应用[J].南昌大学学报(理科版),2004,28(2):207-210.

[8]王国玉,汪连栋.雷达电子战系统数学仿真与评估[M].北京:国

防工业出版社,2004:1272128.

[9]张贤达.现代信号处理(第二版)[M].北京:国防工业出版社,

2002:349-456.

　?778

　?系统工程与电子技术第28卷