非线性回归模型
非线性回归模型概述
非线性回归模型概述在统计学和机器学习领域中，回归分析是一种重要的数据建模技术，用于研究自变量和因变量之间的关系。
在实际问题中，很多情况下自变量和因变量之间的关系并不是简单的线性关系，而是呈现出复杂的非线性关系。
为了更准确地描述和预测这种非线性关系，非线性回归模型应运而生。
一、什么是非线性回归模型非线性回归模型是指自变量和因变量之间的关系不是线性的数学模型。
在非线性回归模型中，因变量的变化不是随着自变量的线性变化而变化，而是通过非线性函数的变化来描述二者之间的关系。
非线性回归模型可以更好地拟合实际数据，提高模型的预测准确性。
二、非线性回归模型的形式非线性回归模型的形式可以是各种各样的，常见的非线性回归模型包括多项式回归模型、指数回归模型、对数回归模型、幂函数回归模型、逻辑回归模型等。
这些非线性回归模型可以通过引入非线性函数来描述自变量和因变量之间的关系，从而更好地拟合数据。
1. 多项式回归模型多项式回归模型是一种常见的非线性回归模型，其形式为：$$y = \beta_0 + \beta_1x + \beta_2x^2 + \beta_3x^3 + ... +\beta_nx^n + \varepsilon$$其中，$y$为因变量，$x$为自变量，$\beta_0, \beta_1,\beta_2, ..., \beta_n$为回归系数，$n$为多项式的阶数，$\varepsilon$为误差。
2. 指数回归模型指数回归模型是描述因变量和自变量之间呈指数关系的非线性回归模型，其形式为：$$y = \beta_0 + \beta_1e^{\beta_2x} + \varepsilon$$其中，$y$为因变量，$x$为自变量，$\beta_0, \beta_1, \beta_2$为回归系数，$e$为自然对数的底，$\varepsilon$为误差。
3. 对数回归模型对数回归模型是描述因变量和自变量之间呈对数关系的非线性回归模型，其形式为：$$y = \beta_0 + \beta_1\ln(x) + \varepsilon$$其中，$y$为因变量，$x$为自变量，$\beta_0, \beta_1$为回归系数，$\ln$为自然对数，$\varepsilon$为误差。
06非线性回归模型
函数 的泰勒级数为：
f (x)
是x与x0之间的某个值
f (x)
f ( x0 )
f (x0 )( x x0 )
f
( x0 2!
)
(
x
x0
)2
第18页，共22页。
f
(n) ( x0 ) n!
(x
x0 )n
18
❖ 给定一般的非线性函数模型为 ：
Y f ( X1, X 2, , X k ;b1, b2, , bp ) v
►可以根据理论分析或过去的实际经验事先确定； ►不能根据理论或过去积累的经验确定时，根据实际资
料作散点图，从其分布形状选择适当的曲线来配合。
– 2、确定相关函数中的未知参数
►最小二乘法是确定未知参数最常用的方法。
❖ 选择合适的曲线类型不是一件轻而易举的工作，主要依靠专业知识 和经验，也可以通过计算剩余均方差来确定。
1.9378
1.9378 0.9898
0.045199 10 268.58 (51.0)2 1.9578
由于商品零售额增加，流通费用率呈下降趋势，两者之间为负相关关系，故相关系
数取负值-0.989 8，说明两者高度相关，用双曲线回归模型配合进行预测是可 靠的。
第五步，预测。
将2001年该商店零售额36.33万元代入模型，得2001年流通费用率为：
式(6.1.9)所示的模型。
❖ 对于这一类非线性模型，可采用一种借助于泰勒级 数展开式进行逐次线性逼近的估计方法。
17
第17页，共22页。
❖ 泰勒级数：
定理：设函数 f (在x) 点x0的某一邻域 U (内x0具) 有各阶导数，则 在该f (邻x)域内能展开成泰勒级数的充分必要条件是 泰勒公式
常见非线性回归模型
常见⾮线性回归模型常见⾮线性回归模型1.简⾮线性模型简介⾮线性回归模型在经济学研究中有着⼴泛的应⽤。
有⼀些⾮线性回归模型可以通过直接代换或间接代换转化为线性回归模型,但也有⼀些⾮线性回归模型却⽆法通过代换转化为线性回归模型。
柯布—道格拉斯⽣产函数模型εβα+=L AK y其中 L 和 K 分别是劳⼒投⼊和资⾦投⼊, y 是产出。
由于误差项是可加的, 从⽽也不能通过代换转化为线性回归模型。
对于联⽴⽅程模型, 只要其中有⼀个⽅程是不能通过代换转化为线性, 那么这个联⽴⽅程模型就是⾮线性的。
单⽅程⾮线性回归模型的⼀般形式为εβββ+=),,,;,,,(2121p k x x x f y ΛΛ2.可化为线性回归的曲线回归在实际问题当中，有许多回归模型的被解释变量y 与解释变量x 之间的关系都不是线性的，其中⼀些回归模型通过对⾃变量或因变量的函数变换可以转化为线性关系，利⽤线性回归求解未知参数，并作回归诊断。
如下列模型。
（1）εββ++=x e y 10（2）εββββ+++++=p p x x x y Λ2210（3）ε+=bx ae y(4)y=alnx+b对于（1）式，只需令x e x ='即可化为y 对x '是线性的形式εββ+'+=x y 10，需要指出的是，新引进的⾃变量只能依赖于原始变量，⽽不能与未知参数有关。
对于（2）式，可以令1x =x ,2x =2x ,…, p x =p x ,于是得到y 关于1x ,2x ,…, p x 的线性表达式εββββ+++++=p p x x x y Λ22110对与（3）式，对等式两边同时去⾃然数对数，得ε++=bx a y ln ln ,令 y y ln =',a ln 0=β,b =1β，于是得到y '关于x 的⼀元线性回归模型：εββ++='x y 10。
乘性误差项模型和加性误差项模型所得的结果有⼀定差异，其中乘性误差项模型认为t y 本⾝是异⽅差的，⽽t y ln 是等⽅差的。
课件：第4章 非线性回归模型
第四章 非线性回归模型
1
§4.1 非线性回归模型的类 型
一、非线性回归模型的特点
非线性回归模型的特点, 是与线性回归模型相比得到的特点
考虑标准线性回归模型: Y 0 1X1 2 X 2 k X k u
特点: (1)被解释变量是解释变量的线性函数 (2)被解释变量是回归系数的线性函数 非线性回归模型,则不满足以上两条之一, 或全部 或者说被解释变量是解释变量和回归系数的非线性函数 其一般形式为
根据最小二乘准则，使残差平方和e’e最小
寻找ˆ1
,
ˆ2
,,
ˆ
，使
p
minQ [Yi f ( X1i , X 2i ,, X ki; ˆ1, ˆ2,, ˆp )]2
18
（二）估计方法
1、求解方程组
Q
ˆ1
0
Q
ˆ2
...
Q
ˆk
0 0
问题： （1）偏导不一定好求 （2）方程组很难求解
19
• 将f在新的参数值附近展开，得到一个新的线性 模型，再次用OLS估计，…
• 直到收敛为止， i,l1 i,l (允许误差)
i,l
22
（3）实例
• 课本例3，非线性消费模型 C 0 1Y 2 u
取初始点（0，0 , 1，0 , 2，0）（1，1，1）
f (0 , 1, 2 ) 0 1Y 2
(3)估计： (4)图形：
（5）应用：X Y（Y变化弱）
12
4、指数函数（Y单ln)
(1)模型：Y Ae1X12 X 2 u
(2)线性化：lnY ln A 1X1 2 X 2 u 变量替换为: Y * 0 1X 12 X 2 u
(3)应用：X Y变化强
非线性回归分析的入门知识
非线性回归分析的入门知识在统计学和机器学习领域，回归分析是一种重要的数据分析方法，用于研究自变量和因变量之间的关系。
在实际问题中，很多情况下自变量和因变量之间的关系并不是简单的线性关系，而是呈现出一种复杂的非线性关系。
因此，非线性回归分析就应运而生，用于描述和预测这种非线性关系。
本文将介绍非线性回归分析的入门知识，包括非线性回归模型的基本概念、常见的非线性回归模型以及参数估计方法等内容。
一、非线性回归模型的基本概念在回归分析中，线性回归模型是最简单和最常用的模型之一，其数学表达式为：$$Y = \beta_0 + \beta_1X_1 + \beta_2X_2 + ... + \beta_pX_p +\varepsilon$$其中，$Y$表示因变量，$X_1, X_2, ..., X_p$表示自变量，$\beta_0, \beta_1, \beta_2, ..., \beta_p$表示模型的参数，$\varepsilon$表示误差项。
线性回归模型的关键特点是因变量$Y$与自变量$X$之间呈线性关系。
而非线性回归模型则允许因变量$Y$与自变量$X$之间呈现非线性关系，其数学表达式可以是各种形式的非线性函数，例如指数函数、对数函数、多项式函数等。
一般来说，非线性回归模型可以表示为：$$Y = f(X, \beta) + \varepsilon$$其中，$f(X, \beta)$表示非线性函数，$\beta$表示模型的参数。
非线性回归模型的关键在于确定合适的非线性函数形式$f(X,\beta)$以及估计参数$\beta$。
二、常见的非线性回归模型1. 多项式回归模型多项式回归模型是一种简单且常见的非线性回归模型，其形式为： $$Y = \beta_0 + \beta_1X + \beta_2X^2 + ... + \beta_nX^n +\varepsilon$$其中，$X^2, X^3, ..., X^n$表示自变量$X$的高次项，$\beta_0, \beta_1, \beta_2, ..., \beta_n$表示模型的参数。
非线性回归分析常见模型
非线性回归常见模型一．基本内容模型一xc e c y 21=，其中21,c c 为常数.将xc ec y 21=两边取对数，得x c c e c y xc 211ln )ln(ln 2+==，令21,ln ,ln c b c a y z ===，从而得到z 与x 的线性经验回归方程a bx z +=，用公式求即可，这样就建立了y 与x 非线性经验回归方程.模型二221c x c y +=，其中21,c c 为常数.令a c b c x t ===212,,，则变换后得到y 与t 的线性经验回归方程a bt y +=，用公式求即可，这样就建立了y 与x 非线性经验回归方程.模型三21c x c y +=，其中21,c c 为常数.a cbc x t ===21,,，则变换后得到y 与t 的线性经验回归方程a bt y +=，用公式求即可，这样就建立了y 与x 非线性经验回归方程.模型四反比例函数模型：1y a b x=+令xt 1=，则变换后得到y 与t 的线性经验回归方程a bt y +=，用公式求即可，这样就建立了y 与x 非线性经验回归方程.模型五三角函数模型：sin y a b x=+令x t sin =，则变换后得到y 与t 的线性经验回归方程a bt y +=，用公式求即可，这样就建立了y 与x 非线性经验回归方程.二．例题分析例1．用模型e kx y a =拟合一组数据组()(),1,2,,7i i x y i =⋅⋅⋅，其中1277x x x ++⋅⋅⋅+=；设ln z y =，得变换后的线性回归方程为ˆ4zx =+，则127y y y ⋅⋅⋅=（）A．70e B．70C．35e D．35【解析】因为1277x x x ++⋅⋅⋅+=，所以1x =，45z x =+=，即()127127ln ...ln ln ...ln 577y y y y y y +++==，所以35127e y y y ⋅⋅⋅=.故选：C例2．一只红铃虫产卵数y 和温度x 有关，现测得一组数据()(),1,2,,10i i x y i =⋅⋅⋅，可用模型21e c x y c =拟合，设ln z y =，其变换后的线性回归方程为4zbx =- ，若1210300x x x ++⋅⋅⋅+=，501210e y y y ⋅⋅⋅=，e 为自然常数，则12c c =________.【解析】21e c x y c =经过ln z y =变换后，得到21ln ln z y c x c ==+，根据题意1ln 4c =-，故41e c -=，又1210300x x x ++⋅⋅⋅+=，故30x =，5012101210e ln ln ln 50y y y y y y ⋅⋅⋅=⇒++⋅⋅⋅+=，故5z =，于是回归方程为4zbx =- 一定经过(30,5)，故ˆ3045b -=，解得ˆ0.3b =，即20.3c =，于是12c c =40.3e -.故答案为：40.3e -.该景点为了预测2023年的旅游人数，建立了模型①：由最小二乘法公式求得的数据如下表所示，并根据数据绘制了如图所示的散点图.。
计量经济学_詹姆斯斯托克_第8章_非线性的回归模型
Ln(TestScore) = 6.336 + 0.0554 ln(Incomei) (0.006) (0.0021)
假设 Income 从$10,000 增加到$11,000（或者 10%）。
则 TestScore 增加大约 0.0554 10% = 0.554%。
如果 TestScore = 650, 意味着测试成绩预计会增加
非线性的回归模型
非线性的回归函数
“非线性”的含义：
（1）非线性的函数 自变量与解释变量之间的非线性
函 数形式。
（2）非线性的回归 参数与随机项的非线性形式。
非线性的回归函数
一、多项式回归 二、对数回归 三、自变量的交互作用 四、其他非线性形式的回归 五*、非线性回归（参数非线性）
一、多项式回归
1、指数函数曲线
指数函数方程有两种形式：
yˆ aebx yˆ abx
y a＞0，b＞0
a＞0，b＜0
x
图11.1方yˆ 程 aebx 的图象
二、对数函数曲线
对数函数方程的一般表达式为：
yˆ a b ln x
y
b＞0
b＜0
x
图11.2 方程yˆ =a+blnx 的图象
（2）根据拟合程度的好坏来确定（如，利用spss 的相关功能） 在社会科学领域里，阶数不会太高！
一、多项式回归
形式： Y 0 1X 2 X 2 ...r X r u
（2）多项式的本质 泰勒展开
一、多项式回归
形式： Y 0 1X 2 X 2 ...r X r u
Y——收入； D1——性别（1——男；0——女） D2——学历（1——大学学历；0——没有）
非线性回归模型
4.赋值语句一般形式是u=表达式，例如u＝abs（y（sin(a1*x1)＋b2*cos(c+x2)））;用以指定确定性部分 是sin(a1*x1)＋b2*cos(c+x2),abs是绝对值函数.
为了估计未知参数的值．常用的方法是非 线性最小二乘法，有时也用非线性最小一乘法， 即LAD回归。非线性最小二乘法即选择合适的使 残差平方和最小从而估计的值。
由于是非线性形式出现，非线性最小二乘法 的解，一般没有线性情形那样的公式可用，只 能通过一个数学分支“最优化”的方法使SSE达 到极小。最优化的理论和方法非常丰富，有多 种方法使SSE达到极小。
X
ln ln Pr(Y 1) ＝ln 优势＝ln( odds)
1 Pr(Y 0) log it ( ) 0 1X1 p X p
优势＝
Pr(Y Pr(Y
1) 0)
exp( 0
1 X1
p
X
p
)
如果 Pr(Y 1)＝0.7，那么Pr(Y 0)＝0.3， 那么，事件发生Pr(Y 1)是事件不发生Pr(Y 0)比较 的0.7 / 0.3＝2.33倍。
NLIN应用举例
data bb; input x y wc; cards; 0.001 1.7834 0.032 0.01 1.6983 0.021 0.1 1.5536 0.016 1 1.1145 0.019 10 0.5734 0.023 100 0.2814 0.032 1000 0.1443 0.024 10000 0.0862 0.014 ; proc nlin data=bb method=newton; parms a=1.7 to 2 by 0.05
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
除了对高斯－牛顿法非线性回归可以利用最后一次线 性近似函数线性回归的 t检验以外，检验非线性模型参 数的显著性还有多种其他方法。 下面这个渐近F分布的统计量就是其中的一种方法，即 [ S (β R ) S (β)] / g F (g, n k ) S (β) /( n k ) 这个统计量分子、分母中β 的是未对非线性模型参数 施加约束时的参数估计， β 则是对模型的某些参数施 S (β) 和S (βR )分别是对应两 加 0假设约束后的参数估计， 种参数估计的残差平方和，g是0约束参数的数量。
二、非线性模型的参数估计
参数估计也是非线性回归分析的核心步骤。非线 性回归分析参数估计的方法也有多种，基本方法同 样是最小二乘参数估计和最大似然估计。 在此，主要了解非线性回归参数的最小二乘估计，
也称“非线性最小二乘估计”。
非线性最小二乘估计就是求符合如下残差平方和
S (β) [Y f (X , β)][Y f (X , β)] ˆ ( ˆ , , ˆ ) 达到极小的β 值，即为 β 1 p 。为了方便起见 ，将把上述最优化问题的目标函数S (β) 称为“最小二 乘函数”。
1.判决系数
判决系数不涉及参数估计量的分布性质，也不需要做以这些分 布性质为基础的假设检验，因此非线性导致的问题并不影响该 统计量在评价回归方程拟合度方面的作用，仍然是评价非线性 模型合理程度的基本指标，或者说最重要的基本指标之一。 它们在非线性回归分析中的使用方法仍然是与在线性回归分析中 相同的。
R2 1
2 ( Y Y ) i
2 ˆ u i
2.t检验和总体显著性 F检验
一般在线性回归分析中检验参数显著性的标准的检验 方法，以及用于评价线性回归总体显著性的F统计量， 在非线性回归中都会遇到困难。 2 因为我们无法利用回归残差得到误差项方差 的无偏 估计。即使非线性模型的误差项 ε 服从 0均值的正态 分布，非线性回归的参数估计量，以及残差： ˆ , , ˆ ) ei Yi f ( X1 i , , X K i ; 1 P 也不像在线性回归中的参数估计和回归残差那样服从 2 正态分布，因此残差平方和不服从 分布，参数估计 量不服从正态分布，所以标准的t检验和F检验都无法 应用。
NLLS非线性最小二乘法
Y e
i
i i
2 X i
2 X i
1e
2 2 X i
Y X e
方程
1 X i e
2 2 X i
NLLS 非线性最小二乘法要解决的问题是如何求解以上的
1.试错法或直接搜索法
Yi 1e
2 X i
ui
假定
, 1 0.45
2 i
2 0.01
（1）高斯－牛顿法
该方法是常用的非线性最优化迭代算法之一，其基本 思路是：非线性最小二乘估计的问题在于最小二乘函 数 S (β) 中的 f，也就是回归模型 Y f (X, β) ε 的趋势部分不是参数向量的线性函数，因此最优化问
题
1 , , p
ˆ )][Y f ( X , β ˆ )] min S ( β ) [ Y f ( X , β ˆ ˆ
Y与 X之间构成非线性关系，且该非线性显然无法通过 初等数学变换转化为线性模型。
此外，非线性模型的转换不仅涉及到趋势性部分，也 涉及随机误差部分，因此误差项的作用方式对于非线 性模型的转化是非常重要的。有些非线性关系就是因 为误差项是可加而不是可乘的，从而导致不能利用对 数变换进行转化。例如，若常见的柯布—道格拉斯生 产函数中的随机误差项是可加而不是可乘的，即：
需要新的求解方法。
当 f是连续可微时，可以在某组参数初始值处作一阶泰 勒级数展开，得到f的线性近似，把这个线性近似函数 代入最小二乘函数得到参数的二次函数，克服参数估 计计算的困难。 但一阶泰勒级数展开得到的近似函数与原函数是有差 异的，用上述级数展开近似的方法得到的参数估计也 有偏差，偏差程度与泰勒级数展开的初始值与参数真 实值的偏差相关。 提高参数估计准确程度的途径是改进泰勒级数展开的 初始值，方法是把已经得到的参数估计作为新的参数 初始值，重新进行泰勒级数展开和参数估计。这种方 法可以反复运用，直到得到比较理想的参数估计值。 这种计算非线性回归参数估计的迭代算法称为“高斯 －牛顿法”。
此外，虽然非线性回归参数估计没有线性回归参数估 计的性质，但由参数估计值构造的相似的t统计量在大 样本时，还是渐近服从 t分布的。 因此如果利用上述线性近似最后一次迭代得到的残差 标准差作为非线性回归误差项方差的近似，也能利用 该统计量进行参数的显著性检验，或者参数取特定值 得假设检验。
3.参数显著性的F检验
4.似然比检验
似然比检验与检验在本质上是另一种非线性模型参数 显著性检验。 似然比检验的统计量为 L(β R ) 2(ln L(β R ) ln L(β)) 2 ln L(β)
在非线性回归分析中，高斯－牛顿法实质上就是非线 性模型本身的反复线性化和线性回归，适用对象是不 能通过初等数学变换转化为线性模型，但具有连续可 微函数性质，可以利用一阶泰勒级数展开强制转换成 线性模型的非线性模型。
4.牛顿一拉夫森法
这种方法可以看作是高斯—牛顿法改进方法的非线性 回归迭代算法，称为牛顿—拉夫森法（newton－ raphson method）。 牛顿 —拉夫森法的基本思想也是利用泰勒级数展开近
很显然，如果施加0约束的参数本身对模型的影 响没有显著性，那么上述F统计量的数值会很小 ，如果这些施加0约束的参数对模型的影响是明 显的，那么该统计量的数值会较大，就会有显著 性。因此，我们可以通过检验该统计量的显著性 来判断模型参数的显著性。
虽然上述 F统计量与线性回归模型的F统计量形式是相 似的，但因为模型是非线性的，因此 S (βR ) 和 S (β) 2 并不服从 分布，该统计量并不严格服从F分布，只 是近似服从F分布。在样本容量较大时，该统计量的分 布与 F分布很接近。 我们可以利用F分布检验该统计量的显著性，但检验结 果论的准确程度会受到一定影响，运用时应该加以注 意。
似，通过迭代运算寻找最小二乘函数最优解的数值解 法。
不过牛顿 —拉夫森法不是对模型非线性函数f本身做线 性近似，而是直接对最小二乘函数最优化的一阶条件 做一阶泰勒级数展开近似。
牛顿 —拉夫森方法的缺点是迭代运算中需要 反复计算梯度向量，特别是海塞矩阵的逆矩 阵，因此计算工作量很大。 高斯－牛顿法、牛顿－拉夫森法和其他各种 非线性回归参数估计方法，都包含迭代搜索 过程。这些迭代搜索法并没有严格的优劣关 系
三、非线性回归评价和假设检验
非线性回归在得到参数估计值和回归方程以后，也必 须对回归结果和模型假设的正确性进行评价和判断。 评判非线性回归的基本思路也包括回归拟合度评价， 以及模型总体和参数显著性检验等。 非线性模型参数的显著性检验常常隐含模型非线性性
的检验。由于即使非线性回归模型的误差项有好的性 质，参数估计量也不具备BLUE估计等理想性质，因 此对非线回归的评价和检验，除了不涉及参数估计量 分布性质的决定系数以外，一般要麻烦一些，而且可 靠性较差。
实际上，非线性最小二乘估计引出了非线性优化的需要。其 实最大似然估计量的计算等也需要用到非线性优化分析。
ቤተ መጻሕፍቲ ባይዱ
例：
Yi 1e2 Xi ui
2 i
ˆ (Y 1e S ( ) u
2 X i 2
)
S ( ) 2 X i 2 X i 2 (Y 1e )(e ) 0 1 S ( ) 2 X i 2 X i 2 (Y 1e )( 1e X i ) 0 2
当模型只有一个待估计参数时，最小二乘函数是模型 唯一参数的一元函数；当待估计参数有多个时，则是 参数向量 β 的向量函数。
该最小化问题在形式上与线性回归分析的最小化问题是相似 的，不同在于回归函数 f是参数的非线性函数而不是线性函数 ，因此S (β)的正规方程组不再是线性方程组，一般无法通过解 析的方法求解，必须采用某种搜索或迭代运算的非线性优化 方法获得参数估计值。
0.01 X i 2
u (Y 0.45e
)
2 u i 0.3044
1 0.5 2 0.01
u
2 i
0.0073
2. 最陡爬坡法
最陡爬坡法是常用的非线性最优化数值方法 之一。 最陡爬坡法的基本思路是：从一个初始参数
值出发，在一个给定半径的圆周上找目标函 数最大（或最小）的一组参数值，然后再以 该组参数值为出发点重复上述搜索过程，直 至收敛。
Y AK L ε
则该模型就不能通过初等数学变换转化为线性模型。
建立非线性计量经济模型的方法与建立线性模型是 相似的，通常也是根据经济理论、实际经济问题， 以及相关的数据图形等建立初步模型，然后通过对 模型的分析、检验、判断和比较，选择、确定和完 善模型。 进行线性回归分析时，如果通过分析和检验发现存
我们知道线性回归模型分析的变量线性关系只是经济变 量关系中的特例，现实中的多数经济变量关系是非线性 的。当然非线性变量关系常常可以通过初等数学变换转 化为线性回归模型，然后再运用线性回归分析方法进行 分析，但仍然有不少非线性关系无法进行这种变换。 例如，若两个经济变量之间存在关系为：
Y X ε
有些方法可能收敛要好一些，收敛速度较快，但另一 些方法则计算量较小。有时候一种算法不收敛，而另 一种算法却能轻易找出最有解，甚至在理论上相当不 严密的方法有时候也可能相当有效，而且我们往往无 法知道一种方法之所以有效的实际原因，也很难事先 知道对于某个具体问题究竟哪种方法最有效。 因此在大多数情况下，尝试不同的迭代搜索方法通常 是有价值的。