22线性模型的参数估计
线性回归分析与线性模型2
回归分析的基本问题是：如何从表1.1那样的数据出发找出（1.1）式中的函数f 使得（1.1）中的随机项e 在某种意义下最小？
函数f 的可选范围太广了，难以下手。如果预先假定f 是线性函数：
12011(,,,)p p p f x x x b b x b x =+++L L
（均可知），则模型（1.1）变成
01,,,p b b b L 011p p y b b x b x e =++++L
称之为线性回归模型。结合表1.1的数据可得如下关系式：
1011121211
20121222201122 p p p p n n n p np y b b x b x b x e y b b x b x b x e y b b x b x b x e =+++++=+++++=+++++L L M M L 2
n
M
) 称之为线性模型
线性回归分析的基本问题就是如何确定使得（1.4）中的e 在某种
意义下最小。
01,,,p b b b L 线性函数是极特殊的多元函数，但线性回归分析却是回归分析里最重要的组成部分。这是为什么呢？原因有二：①线性回归模型在数学上有成熟的处理方法，线性代数的工具可以发挥其强大的威力，这一点在本章中将充分表现出来。②实际当中不仅是经常遇到线性回归模型，而且许多非线性回归模型经过适当的变换可以化为线性回归模型。这一点现作如下解释。
例1.1 在彩色显影中，根据以往的经验，染料光学密度y 与析出银的光学密度x 之间有下面类型的关系
/(0B y Ae B ?∞≈>
其中A ，B 未知。这里y 与x 之间不是线性关系，但令1*ln ,*y y x x ==，则 *ln *y A B ≈?x
即与*y *x 有近似的线性关系。
一般地，一元多项式回归模型常可化为多元线性回归模型，如设
011p p y b b x b x e =++++L
则只要令(1,2,,j j )x x j p ==L ，就有
011,p p y b b x b x e =++++L
即多元线性回归模型。
例5.2 低钴定膨胀合金由铁、镍、钴、铜组成。在控制杂质含量及一定的工艺条件下，其膨胀特性被合金成分所确定。我国某课题组（1975年）的研究任务就是：确定合适的合金成分，使得钴的用量尽量少，但使得合金的膨胀系数与瓷封材料的膨胀系数相当（在5.5~8.0之间，单位：610?℃）
这就是一个控制问题，首先要建立回归关系式。设铜的百分含量为1x ，镍的百分含量减去30后记为2x ，钴的百分含量为3x ，记300500,αα为300℃及500℃时合金的膨胀系数，它们都是123,,x x x 的函数，要考虑到各种误差。
非线性模型参数估计的遗传算法
滨江学院 毕业论文（设计）题目非线性模型参数估计的遗传算法 院系大气与遥感系 专业测绘工程 学生姓名李兴宇 学号200923500** 指导教师王永弟 职称讲师 二Ｏ一三年五月二十日
- 目录- 摘要 (3) 关键词 (3) 1.引言 (3) 1.1 课题背景 (3) 1.2 国内外研究现状 (4) 1.3 研究的目的和意义 (4) 1.4 论文结构 (5) 2.遗传算法简介 (5) 2.1 遗传算法的起源 (5) 2.2 遗传算法的基本思想 (6) 2.2.1 遗传算法求最优解的一般步骤 (7) 2.2.2 用技术路线流程图形式表示遗传算法流程 (7) 2.3 遗传算法的基本原理及设计 (8) 2.3.1 适应度设计 (8) 2.3.2 遗传算子操作 (9) 3.遗传算法的应用实例 (9) 3.1 非线性模型参数估计 (10) 3.2 实例分析 (10) 4.结语 (12) 参考文献 (12) 英文题目 (14) - 1 -
- 2 - 致谢 (15)
非线性模型参数估计的遗传算法 李兴宇 南京信息工程大学滨江学院测绘工程专业，南京 210044 摘要：关于非线性模型计算中的参数估计是十分棘手的问题，为此常常将这样的问题转化成非线性优化问题解决，遗传算法作为一种具有强适应性的全局搜索方法而被频繁的应用于非线性系统参数估计的计算当中，本文介绍了遗传算法及其理论基础,阐述了遗传算法在非线性模型参数估计中的应用的起源和发展,引入实例说明了遗传算法在非线性模型参数估计的实际运用中的实现，并概述了基于遗传算法的非线性参数模型估计具体解算过程，将使用遗传算法得到的结果与其他算法的解算结果进行比较，结果表明：遗传算法是一种行之有效的搜索算法，能有效得到全局最优解，在今后的研究中值得推广。 关键词：遗传算法非线性模型参数估计应用 1.引言 1.1课题背景 当前科学技术的发展和研究已经进入了进入各个领域、多个学科互相交叉、互相渗透和互相影响的时代，生命科学的研究与工程科学的交叉、渗透和相互补充提高便是其中一个非常典型的例子，同时也表现出了近代科学技术发展的一个新的显著特点。遗传算法研究工作的蓬勃发展以及在各个领域的广泛应用正是体现了科学发展过程的的这一明显的特点和良好的趋势。 非线性科学是一门研究复杂现象的科学，涉及到社会科学、自然科学和工程技术等诸多领域，在测绘学的研究中，尤其是在测量平差模型的研究和计算过程中，大量引入的都是非线性函数方程模型，而对于非线性模型的解算，往往过程复杂。遗传算法的出现为研究工作提供了一种求解多模型、多目标、非线性等复杂系统的优化问题的通用方法和框架。 对于非线性系统的解算，传统上常用的方法是利用其中参数的近似值将非线性系统线性化，也就是线性近似，测绘学中通常称之为线性化，经过线性化之后，将其视为线性模型并利用线性模型的解算方法得到结果，这就很大程度的简化了解算步骤，减少了工作量，但同时会带来新的问题，运用这种传统方法得到的数据结果存在的误差较大、精度不足等问题。利用线性近似方法对非线性模型进行参数估计，精度往往取决于模型的非线性强度。 - 3 -
非线性回归分析
SPSS—非线性回归(模型表达式)案例解析 2011-11-16 10:56 由简单到复杂，人生有下坡就必有上坡，有低潮就必有高潮的迭起，随着SPSS 的深入学习，已经逐渐开始走向复杂，今天跟大家交流一下，SPSS非线性回归，希望大家能够指点一二！ 非线性回归过程是用来建立因变量与一组自变量之间的非线性关系，它不像线性模型那样有众多的假设条件，可以在自变量和因变量之间建立任何形式的模型非线性，能够通过变量转换成为线性模型——称之为本质线性模型，转换后的模型，用线性回归的方式处理转换后的模型，有的非线性模型并不能够通过变量转换为线性模型，我们称之为：本质非线性模型 还是以“销售量”和“广告费用”这个样本为例，进行研究，前面已经研究得出：“二次曲线模型”比“线性模型”能够更好的拟合“销售量随着广告费用的增加而呈现的趋势变化”，那么“二次曲线”会不会是最佳模型呢？ 答案是否定的，因为“非线性模型”能够更好的拟合“销售量随着广告费用的增加而呈现的变化趋势” 下面我们开始研究： 第一步：非线性模型那么多，我们应该选择“哪一个模型呢？” 1：绘制图形，根据图形的变化趋势结合自己的经验判断，选择合适的模型 点击“图形”—图表构建程序—进入如下所示界面：
点击确定按钮，得到如下结果：
放眼望去, 图形的变化趋势，其实是一条曲线，这条曲线更倾向于"S" 型曲线，我们来验证一下，看“二次曲线”和“S曲线”相比，两者哪一个的拟合度更高！ 点击“分析—回归—曲线估计——进入如下界面
在“模型”选项中，勾选”二次项“和”S" 两个模型，点击确定，得到如下结果： 通过“二次”和“S “ 两个模型的对比，可以看出S 模型的拟合度明显高于
常见非线性回归模型
常见非线性回归模型 1.简非线性模型简介 非线性回归模型在经济学研究中有着广泛的应用。有一些非线性回归模型可以通 过直接代换或间接代换转化为线性回归模型,但也有一些非线性回归模型却无 法通过代换转化为线性回归模型。 柯布—道格拉斯生产函数模型 y AKL 其中L和K分别是劳力投入和资金投入, y是产出。由于误差项是可加的, 从而也不能通过代换转化为线性回归模型。 对于联立方程模型,只要其中有一个方程是不能通过代换转化为线性,那么这个联立方程模型就是非线性的。 单方程非线性回归模型的一般形式为 y f(x1,x2, ,xk; 1, 2, , p) 2.可化为线性回归的曲线回归 在实际问题当中，有许多回归模型的被解释变量y与解释变量x之间的关系都不是线性的，其中一些回归模型通过对自变量或因变量的函数变换可以转化为
线性关系，利用线性回归求解未知参数，并作回归诊断。如下列模型。 （1）y 0 1e x （2）y 0 1x2x2p x p （3）y ae bx (4)y=alnx+b 对于（1）式，只需令x e x即可化为y对x是线性的形式y01x，需要指出的是，新引进的自变量只能依赖于原始变量，而不能与未知参数有关。 对于（2）式，可以令x1=x,x2=x2,?,x p=x p,于是得到y关于x1,x2,?, x p 的线性表达式y 0 1x12x2 pxp 对与（3）式，对等式两边同时去自然数对数，得lnylnabx ,令 y lny, 0 lna, 1 b，于是得到y关于x的一元线性回归模型： y 0 1x。 乘性误差项模型和加性误差项模型所得的结果有一定差异，其中乘性误差项模型认为yt本身是异方差的，而lnyt是等方差的。加性误差项模型认为yt是等 方差的。从统计性质看两者的差异，前者淡化了y t值大的项（近期数据）的作用， 强化了y t值小的项（早期数据）的作用，对早起数据拟合得效果较好，而后者则 对近期数据拟合得效果较好。 影响模型拟合效果的统计性质主要是异方差、自相关和共线性这三个方面。 异方差可以同构选择乘性误差项模型和加性误差项模型解决，必要时还可以使用 加权最小二乘。
非线性模型参数估计的EViews操作
非线性模型参数估计的EViews 操作 例3.5.2 建立中国城镇居民食品消费需求函数模型。根据需求理论，居民对食品的消费需求函数大致为: ()01,,f P P X Q =。 其中，Q 为居民对食品的需求量，X 为消费者的消费支出总额，P1为食品价格指数，P0为居民消费价格总指数。 表3.5.1 中国城镇居民消费支出及价格指数 单位：元 资料来源：《中国统计年鉴》（1990~2007） 估计双对数线性回归模型μββββ++++=031210n n n P L LnP X L Q L 对应的非线性模型： 3 21 1ββ βP P AX Q = 这里需要将等式右边的A 改写为0 e β。取0β，1β，2β，3β的初值均为1。
Eviews操作： 1、打开EViews，建立新的工作文档：File-New-Workfile，在Frequency选择Annual，在Start date输入“1985”，End date输入“2006”，确认OK。 2、输入样本数据：Object-New Object-Group，确认OK，输入样本数据。 图1 3、设置参数初始值：在命令窗口输入“param c(1) 1 c(2) 1 c(3) 1 c(4) 1”，回车确认。 4、非线性最小二乘法估计（NLS）：Proc-Make Equation，在NLS估计的方程中写入Q=EXP(C(1))*X^C(2)*P1^C(3)*P0^C(4)，方程必须写完整，不能写成Q C(1) X P1 P0。确定输出估计结果：
图2 NLS注意事项： 1).参数初始值: 如果参数估计值出现分母为0等情况将导致错误，解决办法是：手工设定参数的初始值及范围，比如生产函数中的c(2)肯定是介于0-1之间的数字。 eviews6.0中并没有start 的选项，只有iteration的次数和累进值得选择。只能通过param c(1) 0.5 c(2) 0.5来设置。 2).迭代及收敛 eviews用Gauss Seidel迭代法求参数的估计值。迭代停止的法则：基于回归函数或参数在每次迭代后的变化率，当待估参数的变化百分比的最大值小于事先给定的水平时，就会停止迭代。当迭代次数到了迭代的最大次数时也会停止，或者迭代过程中发生错误也会停止。
第7章 非线性模型参数估值
第7章 非线性模型参数估值 7.1 引言 数学模型是观测对象各影响因素相互关系的定量描述。在获得实验数据并做了整理之后，就要建立数学模型。这一工作在科学研究中有着十分重要的意义。 人们选用的模型函数可以是经验的，可以是半经验的，也可以是理论的。模型函数选定之后，需要对其中的参数进行估值并确定该估值的可靠程度。对于线性模型，待求参数可用线性最小二乘法求得，即用前一章中介绍的确定线性回归方程的方法。对于非线性模型，通常是通过线性化处理而化为线性模型，用线性最小二乘法求出新的参数，从而再还原为原参数。这种方法在处理经验模型时，简便易行，具有一定的实用价值。但要注意到，这样做是使变换后的新变量y '的残差平方和(即剩余平方和)最小，这并不能保证做到使原变量y 的残差平方和也达最小值。因此，得到的参数估计值就不一定是最佳的估计值。可见在求理论模型的参数时，这种线性化的方法尚有其不足之处。此外，还有些数学模型无法线性化，所以用线性化的方法是行不通的。为此，需要一种对非线性模型通用的(不管是经验模型还是理论模型，不管这个模型能否线性化)，能够得到参数最佳估计值的参数估计方法。 在工程中，特别是在化学工程中的数学模型大多是非线性、多变量的。设y ?为变量x 1，x 2，…，x p ，的函数，含有m 个参数b 1，b 2，…，b m ，则非线性模型的一般形式可表示为: =y ?f （x 1，x 2，…，x p ；b 1，b 2，…，b m ） (7.1) 或写为 ),(?b x f y = (7.2) 式中x 为p 维自变量向量，b 为m 维参数向量。 设给出n 组观测数据 x 1 ，x 2 ，… ，x n y 1 ，y 2 ，… ，y n 我们的目的是由此给出模型式(7.2)中的参数b 的最佳估计值。可以证明，这个最佳估计值就是最小二乘估计值。 按最小二乘法原理，b 应使Q 值为最小，即 ∑==-=n i i i y y Q 12min )?( 或写成 ∑==-=n i i i f y Q 1 2min )],([b x (7.3) 现在的问题是根据已知的数学模型和实验数据,求出使残差平方和最小,即 目标函数式(7.3)取极小值时的模型参数向量b 。这显然是一个最优化的数学问题,可以采用逐次逼近法求解。这种处理方法实质上是逐次线性化法或某种模式的搜索法。在下面各节中将介绍几个适用方法。
非线性模型参数估计方法步骤
EViews非线性模型参数估计方法步骤 1.新建EViews工作区，并将时间序列X、P1和P0导入到工作区； 2.设定参数的初始值全部为1，其方法是在工作区中其输入下列命令 并按回车键 param c(1) 1 c(2) 1 c(3) 1 c(4) 1 3.估计非线性模型参数，其方法是在工作区中其输入下列命令并按 回车键 nls q=exp(c(1))*x^c(2)*p1^c(3)*p0^c(4) 4.得到结果见table01（91页表3. 5.4结果）（案例一结束） Dependent Variable: Q Method: Least Squares Date: 03/29/15 Time: 21:44 Sample: 1985 2006 Included observations: 22 Convergence achieved after 9 iterations Q=EXP(C(1))*X^C(2)*P1^C(3)*P0^C(4) Coefficient Std. Error t-Statistic Prob. C(1) 5.567708 0.083537 66.64931 0.0000 C(2) 0.555715 0.029067 19.11874 0.0000 C(3) -0.190154 0.143823 -1.322146 0.2027 C(4) -0.394861 0.159291 -2.478866 0.0233 R-squared 0.983631 Mean dependent var 1830.000 Adjusted R-squared 0.980903 S.D. dependent var 365.1392 S.E. of regression 50.45954 Akaike info criterion 10.84319 Sum squared resid 45830.98 Schwarz criterion 11.04156 Log likelihood -115.2751 Hannan-Quinn criter. 10.88992 Durbin-Watson stat 0.672163 （92页表3.5.5结果）（案例二过程） 5.新建EViews工作区，并将时间序列X、P1和P0导入到工作区；
非线性系统模型参数估计的算法模型
非线性系统模型参数估计的算法模型 摘要：针对非线性系统模型的多样性，提出了适用于多种非 线性模型的基于粒子群优化算法的参数估计方法。计算结果表明，粒子群优化算法是非线性系统模型参数估计的有效工具。 关键词：粒子群优化算法；非线性系统；参数估计；优化abstract： aiming at the diversity of nonlinear system model, it is proposed in this article a parameter estimation method based on particle group optimization algorithm that is applicable to a variety of nonlinear models. the result shows that the particle group optimization algorithm for parameter estimation of nonlinear system model is an effective tool. key words： particle group optimization algorithm；nonlinear system； parameter estimation； optimization 0 引言 非线性系统广泛地存在于人们的生产生活中，但是，目前我们对非线性系统的认识还不够深入，不能像线性系统那样，把所涉及的模型全部规范化，从而使辩识方法也规范化。非线性模型的表达方式相对比较复杂，目前还很少有人研究各种表达方式是否存在等效关系，因此，暂时还没有找到对所有非线性模型都适用的参数模型估计方法[1]。如果能找到一种不依赖于非线性模型的表达方式的 参数估计方法，那么，也就找到了对一般非线性模型系统进行参数
一般非线性预测模型参数优化的数值方法
《预测》1997年第1期 ?理论与方法研究? 一般非线性预测模型参数优化的数值方法Ξ 金菊良 杨晓华 储开凤 郦建强 (河海大学 210098) (南京水文水资源所 210024) 摘 要 本文提出了处理一般非线性预测模型参数优化问题的一种通用数值方法——加速基 因算法。该法与其他常用方法的计算结果比 较,优化效果均好于传统方法。 关键词 基因算法 非线性预测模型 参数优化 1 引言 非线性预测模型参数优化(估计)的传统方法存在两方面的不足,一是对模型结构(如可线性化、可微)作了限定[1,2],二是方法受参数优化准则形式制约(如目标规划法、松驰算法)[3],而对实际预测环境、预测目标缺乏足够的考虑,致使其适用性不强,影响了实际预测效果。基于自然选择和自然基因机制的基因算法(Genetic A lgo rithm,简称GA)突破了对模型结构是否线性、连续、可微等各种限制,同时可不受优化准则形式、优化参数数目、约束条件等的束缚,直接在优化准则值的引导下进行全局自适应参数优化,简便实用,是目前处理参数优化问题的一种通用的数值方法。这种方法已引起工程界的广泛应用和研究[4,5]。 我们在应用GA时发现,GA对各种实际预测模型参数变化区间的大小变化的适应能力较差,计算量大,算法自身参数设置技术目前尚无明确准则指导。但利用优秀个体逐步调整模型参数变化区间,可形成一种称为加速基因算法(A ccelerati on Genetic A lgo rithm,简称A GA)的新方法。经大量数值试验和实际应用,表明A GA对GA有明显改进。下面给出A GA的原理、步骤、算法参数设置准则。 2 加速基因算法的原理、步骤及其参数设置 不失一般性,设一般非线性预测模型为p-1阶多项式,模型参数优化准则为极小化下式 f=6m i=1 c1+c2x i+…+c p x p-1i-y i q(1)式中,{c j}为p个待优化参数;{(x i,y i)}为m对自变量、因变量的观测数据;任意实常数q为1时即为最小一乘准则,为2时为最小二乘准则,等等,视实际预测要求而定。 加速基因算法包括如下8步。 步1:模型参数变化空间的离散和二进制编码。设编码长度为l,把模型每个参数的变化区间等分成2l-1个子区间,于是模型参数变化空间被离散成(2l)p个参数格网点。GA中称每个格网点为个体,它对应模型p个参数的一种可能取值状态,并用p个l二进制数表示。这样,模型p个参数的取值状态、格网点、p个二进制数建立了一一对应关系。算法的模型参数优化工作将主要对这些二进制数进行操作运算。 步2:初始父代个体群的随机生成。从上述(2l)p个格网点中均匀随机选取n个点作为初始父代个体群。 步3:父代个体的适应能力评价。把第i个个体代入式(1)得相应的优化准则值f i,f i越小则该个体的适应能力越强。 步4:父代个体的概率选择。把已有父代个体按优化准则值f i从小到大排序。称排序后最前面的几个个体为优秀个体(群)。构造与f i值成反比的函数p i且满足p i>0和p1+p2+…p n=1。从这些父代个体中以概率p i选择第i个个体,共选择两组各n个个体。 步5:父代个体的杂交。由上得到的两组个体两两配对成为n对双亲。将每对双亲的二进制数的任意一段值互换,得到两组子代个体。 步6:子代个体的变异。任取上步中的一组子代个体,将它们的二进制数的任意一段值依某概率(即变异率)进行翻转(原值为0的变为1,反之变为0)。 步7:进化迭代。由上步得到的n个子代个体作为新的父代,算法转入步3进入下一次进化过程,重新评价、选择、杂交和变异,如此循环往复,使优秀个体逼近最优点。 ? 9 4 ? Ξ收稿日期:1996-11-11
22线性模型的参数估计
线性回归分析与线性模型2 回归分析的基本问题是：如何从表1.1那样的数据出发找出（1.1）式中的函数f 使得（1.1）中的随机项e 在某种意义下最小？ 函数f 的可选范围太广了，难以下手。如果预先假定f 是线性函数： 12011(,,,)p p p f x x x b b x b x =+++L L （均可知），则模型（1.1）变成 01,,,p b b b L 011p p y b b x b x e =++++L 称之为线性回归模型。结合表1.1的数据可得如下关系式： 1011121211 20121222201122 p p p p n n n p np y b b x b x b x e y b b x b x b x e y b b x b x b x e =+++++=+++++=+++++L L M M L 2 n M ) 称之为线性模型 线性回归分析的基本问题就是如何确定使得（1.4）中的e 在某种 意义下最小。 01,,,p b b b L 线性函数是极特殊的多元函数，但线性回归分析却是回归分析里最重要的组成部分。这是为什么呢？原因有二：①线性回归模型在数学上有成熟的处理方法，线性代数的工具可以发挥其强大的威力，这一点在本章中将充分表现出来。②实际当中不仅是经常遇到线性回归模型，而且许多非线性回归模型经过适当的变换可以化为线性回归模型。这一点现作如下解释。 例1.1 在彩色显影中，根据以往的经验，染料光学密度y 与析出银的光学密度x 之间有下面类型的关系 /(0B y Ae B ?∞≈> 其中A ，B 未知。这里y 与x 之间不是线性关系，但令1*ln ,*y y x x ==，则 *ln *y A B ≈?x 即与*y *x 有近似的线性关系。 一般地，一元多项式回归模型常可化为多元线性回归模型，如设