04-非线性回归模型的线性化

2016/3/29 13
参数的非线性是一个严重得多的问题，因为它不 能仅凭重定义来处理。可是，如果模型的右端由一 系列的Xβ 或eβ X项相乘，并且扰动项也是乘积形式 的，则该模型可通过两边取对数线性化。
例如，需求函数 Y X P v 其中，Y=对某商品的需求 X=收入 P=相对价格指数 ν =扰动项 可转换为： log Y log log X log P log v
0
f (xt , β0 ) 0 f (xt , β0 ) [ f ( xt , β ) β ] β rt0 ut β β
f (xt , β0 ) 0 Yt Yt [ f (xt , β ) β ] β
0 0
u t0 u t rt0
2016/3/29
f (xt , β0 ) z Z10t β
t
i l
2 t
2
2016/3/29
6
4.2、线性化方法
1、 被解释变量与解释变量之间不存在线性关系，与
未知参数之间存在线性关系的模型，其线性化的方法 为：变量替换法；然后利用OLS估计参数。 2、被解释变量与解释变量、未知参数之间不存在线性 关系，但可线性化的模型的线性化方法为：对数法和 变量替换法；然后利用OLS估计参数。 3、真正意义上的非线性模型，需要进行线性化处理。
此方程组没有解析解。如要估计参数可用前面 讲的迭代法。
2016/3/29 23
非线性最小二乘估计量的性质
1．一致性 2．渐近正态性 3．渐近有效性
2016/3/29
24
ˆ ˆ) log(a 1 ˆ ˆ b
2
ˆ e ) (a
ˆ 1
应当指出，在这种情况下，线性模型估计量
的性质（如 BLUE, 正态性等）只适用于变换后的参 ˆ 和 ˆ ，而不一定适用于原模型参数的估 数估计量 1 2 计量 a ˆ 。 ˆ和 b
2016/3/29 16
CES生产函数模型的线性化回归
2016/3/29 17
4.3 非线性化模型的处理
无论通过什么变换都不可能实现线性化，这样的模型称为非线性化模型。对 于非线性化模型，将其展开成泰勒级数之后，再利用迭代估计方法进行
估计。
4.3.1.泰勒级数展开式 若函数f(x)在含有点x0的某个开区间(a,b)内具有直到n+1阶导数 ，则当x在(a,b)内时， f(x)可以表示为(x-x0)的一个n阶多项式 与一个余项之和。 f ( x0 ) f ( x ) f ( x0 ) f ( x0 )( x- x0 ) ( x- x0 )2 2!
2016/3/29 8
容易推广到模型中存在多个解释变量的情形。例如，柯 布——道格拉斯生产函数形式。
2016/3/29 9
2016/3/29
10
2．半对数模型
在对经济变量的变动规律研究中，测定其增长率或衰减率是一个重要方面。 在回归分析中，我们可以用半对数模型来测度这些增长率。 模型形式：
2016/3/29
最小二乘法
t
ˆ ) min S (β) S (β

min (Yt f (xt , β))2

t
2016/3/29 21
非线性最小二乘法的正规方程组
ˆ) ˆ) S (β f (xt , β ˆ 0 ˆ 2 (Yt f (xt , β)) ˆ t 1 1 ˆ) ˆ) f (xt , β S (β ˆ 0 ˆ 2 (Yt f (xt , β)) ˆ 2 t 2 S (β ˆ) ˆ) f ( x , β t ˆ )) 2 (Yt f (xt , β 0 ˆ ˆ m t m
这里，变量非线性和参数非线性并存。
对此方程采用对数变换
logM=loga+blog(r-2) 令Y=logM, X=log(r-2), β 1= loga, β 2=b
则变换后的模型为：
2016/3/29
Yt=β 1+β 2Xt + ut
15
将OLS 法应用于此模型，可求得β 1 和β 2的估计 ˆ , ˆ ，从而可通过下列两式求出a和b估计值： 值 1 2
f (xt , β0 ) f ( xt , β) f ( xt , β ) (β β0 ) rt0 β
0 0 0 f ( x , β ) f ( x , β ) t t [ f (xt , β 0 ) β0 ] β rt0 β β
Yt f (xt , β) ut
2016/3/29 Y 0 1 X 1 2 X 2 ......
其特点是可以写成每一个解释变量和一个系数相乘的 形式。 线性模型的线性包含两重含义： （1）变量的线性 变量以其原型出现在模型之中，而不是以X2或 Xβ之类的函数形式出现在模型中。
CES生产函数模型
Yt A( 1 K t

2 Lt ) vt
1
其中：Y =产出，K=资本，L=劳动 两边取对数，C-D生产函数模型可写成
1 ln Yt ln A ln( 1 K t
2 Lt ) ut

ut ln vt 。对于CES生产函数模型，两边取 其中， 对数也无法使其变成线性模型。 所以对参数而言，其本质上是非线性的 。
表示什么意义呢？（思考）
11
3．倒数模型
形如：
的模型称为倒数模型，也称为双曲线函数。
就可将其模型化为标准的线性模型。
4．多项式模型
多项式回归模型在生产与成本函数这个领域中被广泛地使用。多
项式回归模型可表示为
2016/3/29
12
4.2.2、特别注意：
对于线性回归分析，只有第二种类型的线性才 是重要的，因为变量的非线性可通过适当的重新 定义来解决。例如，对于 X3 2 Y 1 X 1 2 X 2 3 ... X4 X3 2 只需定义 Z1 X 1 , Z 2 X 2 , Z 3 ... X4 该关系即可以重写为： Y 1Z1 2 Z 2 3 Z 3 ... 此方程的变量和参数都是线性的。
( 0) ( 0) (1) ( 0) (1) (1) ( 0)
2016/3/29
20
4.3.3、非线性最小二乘法（NLS）
ˆ) ˆ f (x , β 令 Y t t 残差平方和为
ˆ et Yt Y t
ˆ ) e2 S (β t
t
ˆ )2 (Yt Y t
t
ˆ )) 2 (Yt f ( xt , β
第四章
非线性回归模型的 线性化
2016/3/29
1
4.1、 变量间的线性关系
迄今为止，我们已解决了线性模型的估计问题。 但在实际问题中，变量间的关系并非总是线性关 系，经济变量间的非线性关系比比皆是。如大家 所熟悉的柯布-道格拉斯生产函数:
就是一例。
Q AK L
在这样一些非线性关系中，有些可以通过代数 变换变为线性关系处理，另一些则不能。 下面来讨论这个问题。
2016/3/29 14
用 X,Y,P 的数据，我们可得到 logY,logX 和 logP, 从 而可以用OLS法估计上式。
logX 的系数是 β 的估计值，经济含义是需求的收 入弹性， logP 的系数将是 γ 的估计值，即需求的价 格弹性。 又如：货币需求量与利率之间的关系
M = a(r - 2)b
2016/3/29 5
4.1.3、非线性回归模型的基本假定
1．扰动项零均值： E(u ) 0, t 1, 2,..., n 2．无自相关性： E(u u ) 0; i, l 1, 2,..., n; i l 3．同方差性： E(u ) , t 1, 2,..., n ，其中为有限常 数。 4．解释变量为非随机变量 5．函数性质：一般情况下，假设 f (xt , β)为二阶连 续可微函数。 6．模型参数可识别 7．分布假定：零均值、同方差。在极大似然估 计中，需要对扰动项的分布做出假设，一般假 设其服从正态分布。
f
n 1 n
( x0 ) ( x- x0 )n R n n!
n 1
0
2016/3/29
( ) f 其中 R ( x- x ) ( n )!
n 1
( x, x )
0
18
将非线性模型写成 Y f (x , β) u t t t 其中：x ( X , X ,..., X ) β (1 , 2 ,..., m ) t 1t 2t kt 如果函数在参数向量β 0 附近连续可微，将函数在 β 0 附近进 行一阶泰勒展开
下面以具体模型的形式来看线性化处理方法。
2016/3/29 7
4.2.1、线性化方法
在非线性回归模型中，有一些模型经过适当的变量变换
或函数变换就可以转化成线性回归模型，从而将非线性回
归模型的参数估计问题转化成线性回归模型的参数估计，
称这类模型为可线性化模型。在计量经济分析中经常使用 的可线性化模型有对数线性模型、半对数线性模型、倒数 线性模型、多项式线性模型、成长曲线模型等。 1．对数模型 模型形式：
有些模型看似非线性，但经过适当变换能变成线 性模型，可以按线性模型建模、估计与预测。
2016/3/29 4
在非线性模型 Y f ( X , X ,..., X ; , ,..., ) u t 1t 2t kt 1 2 m t 中，存在下面的三种情况： 1 、被解释变量与解释变量之间不存在线性关系， 但被解释变量与未知参数存在线性关系，例如经济 学中总成本与产量之间的关系就是如此； 2 、被解释变量与解释变量、未知参数之间都不 存在线性关系，但是可以通过适当的变换，变成线 性的关系，例如C-D生产函数就是如此； 3 、被解释变量与解释变量、未知参数之间都不 存在线性关系，而且也不能通过适当的变换，变成 线性关系，例如：