第五章 非线性回归

五、迭代初值与停止规则
1.迭代初值
如果目标函数为凸函数，则至多有一个极小点， 且局部极小即是整体最小，迭代会收敛到最小 值，但初值的选择对迭代速度的影响相当大。
如果目标函数不是凸函数但有唯一极小点，迭 代也会有不错的效果。但如果目标函数有多于 一个的极小点，迭代可能收敛到局部极小点， 不能保证是整体最小点，则迭代那么初值的选 择就更加重要。
选择不同的步长λj可以调整迭代收敛速度。
三、牛顿-拉弗森法
最基本的迭代算法是牛顿-拉弗森法（NewtonRaphson Method）。牛顿-拉弗森法的基本思想 是利用泰勒级数展开近似，通过迭代运算寻找 NLS估计的数值解法。
具体算法是 1．给定参数初值 2．将残差平方和函数在附近展开成二阶泰勒级 数 3．迭代公式
格点搜索也是常用的最优化方法之一。但格点 搜索法通常用于单变量极值问题。
七、实例
考虑非线性消费函数
Yt X t ut
其中，解释变量为实际可支配收入，被解释变 量为实际消费。利用我国1978—2006年的年度 数据来估计此线性方程。
由于是迭代运算，首先要赋初值。对比凯恩斯
消费函数，我们设初值 ˆ 1 ，再利用OLS估
迭代算法的基本公式
β j1 β j j Δ j
其中，Δ j 为方向向量， j 为步长。
不同的极小化算法的区别主要体现在三个方面： 搜索方向的选择 搜索步长的确定 终止搜索的规则。
二、梯度法
定理5.1 设 S(β)在 β0 附近有连续的二价偏导
数，则 S(β0 ) min S(β) g(β0 ) 0 , H(β0 ) 为正定矩
1．扰动项零均值： E(ut ) 0,t 1, 2,..., n
2．无自相关性： E(uiul ) 0; i,l 1, 2,..., n; i l
3．同方差性： 数。
E(ut2 ) 2 , t 1, 2,..., n，其中为有限常
4．解释变量为非随机变量
5．函数性质：一般情况下，假设 f (xt ,β)为二阶连 续可微函数。
文献：Veal(1990)，Goffe、Ferrier和 Rogers(1994)，Dorsey和Mayer(1995)以及 Andrews(1997)。
五、迭代初值与停止规则
2．停止规则
理论上，非线性优化迭代运算的停止规则应该 是在梯度方向上等于0，也就是满足最优化的 一阶条件。但实际上通常做不到，因为有舍入 误差和迭代次数等条件限制。迭代算法一般以 某种收敛标准为迭代停止的信号。
f
(xt , β
β0
)
(β
β0
)
rt0
[
f
(xt
,
β0
)
f
(xt , β
β0
)
β0
]
f
(xt , β
β0
)
β
rt0
其中
f
(xt ,β0 ) β
f
(xt ,β0 )
1
,
f
(xt , β0 )
2
,...,
f
(xt , β0 )
m
Yt f (xt , β) ut
[
f
(xt
, β0
)
f
(xt ,β0 β
L(β, 2 )
n t 1
(2 2 )1/2 exp{ [Yt
f (xt
2 2
,
β)]2
}
对数似然函数
(2 2 )n/2
n
exp{
t 1
[Yt
f (xt
2 2
,
β )]2
}
ln L(β, 2 )
n ln(2 2 ) 1
2
2 2
n
[Yt
t 1
f (xt , β)]2
对数似然函数的一阶条件
不可线形化的非线性模型
CES生产函数模型
Yt
A(1Kt
2 Lt
)
1
vt
其中：Y =产出，K=资本，L=劳动 两边取对数，C-D生产函数模型可写成
ln Yt
ln
A
1
ln(
1Kt
2 Lt ) ut
其中，ut ln vt 。对于CES生产函数模型，两边取 对数也无法使其变成线性模型。
S.D. dependent var Akaike info criterion
Schwarz criterion
Prob. 0.0047 0.0479 0.0000 603.0886 344.8372 9.397655 9.539099
-133.2660 Durbin-Watson stat
0.471244
常用的拟牛顿法
1．戈德菲尔德-匡特方法
β j1 β j [H(β j ) I]1[g(β j )]
2．戴维森-弗莱彻-鲍威尔法（DFP法）
W j1 W j E j
3、高斯-牛顿法
β j1 [(Z j )' Z j ]1 (Z j )' Y j [(Z j )' Z j ]1 (Z j )'[Y f (X;β j ) Z jβ j ] [(Z j )' Z j ]1 (Z j )' Z jβ j [(Z j )' Z j ]1 (Z j )'[Y f (X; β j )] β j [(Ζ j )' Z j ]1 (Z j )'[Y f (X;β j )] β j [(Z j )' Z j ]1 (Z j )' e j βj Δj
阵
β
g(β)
S (β)
S (β) β
S (β)
1
S (β)
2
...
S(β)
m
H(β)
2
S
(β)
i
l
mm
如果β0 不是极小点，则可由 S(β) 在 β0 附近的一阶近似来改进
设微βj+，1=则βj+λjΔj，函数S（β）在βj附近连续可
S(β j1) S(β j ) jg(β j )Δ j
所以对参数而言，其本质上是非线性的 。
在 0附近，可以将CES生产函数展开成一阶
泰勒级数
即
ln Yt
ln
A 1 ln
Kt
2
ln
Lt
1 2
1 2 (ln(
Kt Lt
)) 2
ut
ln Yt
ln
A 1 ln
Kt
2 ln
Lt
3 (ln(
Kt Lt
)) 2
ut*
其中 u *等于扰动项与一阶泰勒展开余项之和 ，
ln L
β
1
2
n
[Yt
Coefficient -150.3549 1.146781 0.892887 0.994999 0.994615 25.30597 16650.20
Std. Error
t-Statistic
48.68883
-3.088078
0.552373 0.056771
2.076099 15.72795
Mean dependent var
第三节 模型估计：极大似然法
一、非线性回归模型的极大似然估计
假设：
（1）扰动项均值为0，方差齐性，不相关，服 从正态分布。
（2）解释变量非随机，为确定性变量
则
Yt ~ N ( f (xt , β), 2 )
p( yt )
(2 2 )1/2
exp{ [Yt
f (xt
2 2
,
β)]2
}
似然函数
β j1 β j H1 (β j )[g(β j )]
四、拟牛顿法
当海赛矩阵非正定时，或者计算困难，可 以采用替代矩阵。
一般的方法是采用下边的式子 β j1 β j j D1 (β j )[g(β j )]
其中 D(β j ) 为一个正定矩阵，用于在接近极 小值时对H(β j ) 进行近似。
)
β0
]
f
(xt ,β0 β
)
β
rt0
ut
令
Yt0
Yt
[
f
(xt ,β0 )
f
(xt ,β0 ) β0 ] β
z
0 t
f
(xt ,β0 ) β
Z10t
Z
0 2t
L
Z
0 mt
ut0 ut rt0
则
Yt0 zt0β ut0
1Z10t
2 Z20t
...
m
Z
0 mt
ut0
三、非线性回归模型的基本假定
3
1 2
1 2
二、线性化回归方法
我们将非线性模型写成
其中：
Yt f (xt , β) ut
xt ( X1t , X 2t ,..., X kt ) β (1, 2 ,..., m )
如果函数在参数向量 β 0附近连续可微，将函数
在 β 0附近进行一阶泰勒展开
f (xt ,β)
f (xt ,β0 )
迭代方向的选择通常在梯度方向，令
Δj=Wj（gj）′ （5 24）式中，gj=g（βj）为S（β）在βj
处其的作梯用度是行使向 目量 标， 函数Wj值为降一低个。负定矩阵，
则 S（βj+1）-S（βj）≈λjgjWj（gj）′（5 25）
若gj≠0，λj>0，则λjgjWj（gj）′<0，因而S（βj+1）S（βj）<0，因而迭代将导致函数值降低。其中，
(Yt f (xt , βˆ ))2
t
最小二乘法
S(βˆ ) min S(β)
min
t
(Yt f (xt , β))2
非线性最小二乘法的正规方程组
S (βˆ )
ˆ1
2
t
(Yt
f
(xt
, βˆ ))
f
(xt ,βˆ )
ˆ1
0
S(βˆ )
ˆ2
2
t
(Yt
f
(xt
, βˆ ))
计得初值：
ˆ 70.45 ˆ 0.46
经过迭代，得到NLS估计方程
Yt 150.35 1.15X t 0.89
EViews计算的回归结果
Y=C(1)+C(2)*X^C(3)
C(1) C(2) C(3) R-squared Adjusted R-squared S.E. of regression Sum squared resid Log likelihood
可线形化的非线性模型
科布—道格拉斯（C-D）生产函数
Yt AKt Lt vt
其中：Y =产出，K=资本，L=劳动 两边取对数，C-D生产函数模型可写成
ln Yt ln A ln Kt ln Lt ut
其中，ut ln vt 。相应的非线性模型变成参数的线 性模型，可以按线性模型来处理。
6．模型参数可识别
7．分布假定：非线性最小二乘不要求扰动项的 精确分布分布。在极大似然估计中，需要对扰 动项的分布做出假设，一般假设其服从正态分 布。
四、非线性最小二乘法（NLS）
令 Yˆt f (xt ,βˆ) et Yt Yˆt
残差平方和为 S(βˆ) et2
t
(Yt Yˆt )2 t
由于NLS估计一阶条件是关于参数的非线性方 程组，较难得到Βιβλιοθήκη Baidu析解，通常采用数值解法。
本节讨论光滑函数无约束极小化问题。 无约束极小化问题有很多种数值解法，其中迭
代法是一种非常有效的算法，许多其他算法也 可归结于迭代算法。
一、迭代算法
迭代算法由一系列迭代步骤构成，每次迭代从 参数的一个特定值开始，尝试找到更优的值。 迭代算法首先确定一个搜索方向，然后确定在 该方向上移动步长。完成一次移动后，检验当 前值是否充分接近的极小点。若是，则计算终 止，否则继续搜索，如此下去，直至按终止规 则停止。
ˆ eˆ3Xt 2
)]e ˆ3 X t
0
S (βˆ )
ˆ3
2
t
[Yt
(ˆ1
ˆ eˆ3Xt 2
)]ˆ2 X t eˆ3Xt
0
此方程组没有解析解
五、非线性最小二乘估计量的性质
1．一致性 2．渐近正态性 3．渐近有效性
第二节 模型估计：迭代法
非线性回归模型的一个标准问题是：如何求残 差平方和的最小值。对于参数相同的线性模型 与非线性模型，计算NLS估计要比OLS估计难 很多。
f
(xt ,βˆ )
ˆ2
0
M
S(βˆ )
ˆm
2
t
(Yt
f
(xt
, βˆ ))
f (xt ,βˆ )
ˆm
0
例5.1
一元非线性模型
Yt
1
e3Xt 2
ut
参数的NLS估计的一阶条件为
S (βˆ )
ˆ1
2
t
[Yt
(ˆ1
ˆ eˆ3Xt 2
)]
0
S (βˆ )
ˆ2
2
t
[Yt
(ˆ1
通常的标准有
（1）目标函数的改进小于给定的正数
（2）参数值的变化小于给定的正数
（3）梯度向量与零的距离小于给定的正数
（4）上述三个收敛原则不能完全令人满意，一 个原因是它们都与参数的量级有关。一个与量 级无关的停止规则是
•
g(β j )D1 (β j )[g(β j )]
六、其它优化算法
牛顿法和拟牛顿法需要计算导数（一阶偏导数 或二阶偏导数）。有些优化算法不需要计算导 数，而是仅利用目标函数值的信息，尝试寻找 最优解。对应牛顿法和拟牛顿法所采用的解析 方法，这类方法可以称为直接最优化方法。直 接最优化方法中常见的有坐标轮换法、转轴法、 方向加速法、步长加速法和降维法等。
第五章 非线性回归
第一节 非线性回归模型
一、非线性回归模型的含义
非线性模型的一般形式是 Yt f ( X1t , X 2t ,..., X kt ; 1, 2 ,..., m ) ut
其中f为非线性函数。 上式中解释变量的个数k与参数个数m不一定相 等，
这与线性模型不同。 有些模型看似非线性，但经过适当变换能变成线 性模型，可以按线性模型建模、估计与预测。