半参数回归模型及模拟实例分析_陈长生
半参数回归模型中误差方差估计之分布的非一致性收敛速度
n
n
gn∗ (t) = Unj (t)(Yj − Xjτ β)
Unk (t),
(2)
j=1
k=1
∗ n 20T0E1 6A 9 /t4 DW(170420200202e6) D6A/z218 DW7 RU
380
!%Z
27
4
Unj (t) = K
Tj − t hn
Rn,2(t) − (Tj − t)Rn,1(t) ,
0≤t≤1
0≤t≤1
1 I (ii) g(t) [0, 1] )) H 6]
(iii) f K(·) S R1 I ) T'+Dc] 9y$bu
(G 4 K(0) = 0, |u|γK(u) du < ∞, γ = 1, 2, · · ·,
νm =
" J$ < ν2 − ν12 > 0,
umK(u) du, m = 0, 1, 2.
> 27 > 2 8
"&
Vol. 27 No. 2
2004 5 5 .
ACTA MATHEMATICAE APPLICATAE SINICA
May, 2004
JL_WV]flcNRNUXi TKOShjg^ `Q ∗
pon
(
1 #'\ -; 100022)
<C Engle
[1]
mh|E@ =^ta ( ]sa/
pg
1/ (1) > YvU β 6 2 d IL ]sa/ k#98 g(t) ]
x q* ( x 3i v [3], g(t) ]xA k gn∗(t) = a, ,+ a g b (G
6.4 半参数模型解析
• 建议不作为课堂教学内容。
§6.4半参数计量经济学模型
一、半参数线性回归模型 二、半参数二元离散选择模型
说明
• 从模型设定的角度，在实际应用研究中，一部分解释变量 与被解释变量的关系是可以设定的，而一部分难于设定， 提出了半参数模型问题。 • 从技术角度，完全非参数模型估计的收敛速度随着解释变 量的增加而越来越慢，存在“维数诅咒 ” ，提出了半参 数模型问题。 • 半参数模型在应用研究，特别在微观经济等领域具有广泛 应用 。因为对于微观计量经济学模型，一般需要比较多 的解释变量。 • 半参数模型与微观计量经济学模型结合，是一个方向。本 节以半参数离散选择模型为例。
• 最小二乘核估计不能估计出非参数部分函数的导 数，在具体应用中具有较大的局限性。
• 最小二乘局部线性估计可以估计出非参数部分函 数的导数，该估计方法在实际应用中被广泛使用。 • 半参数线性模型的最小二乘局部线性估计分三步 进行估计。
• 第一步：先设β已知，基于以下模型，得到g(x)的 局部线性估计,同时也可以获得其导数的估计。
一、半参数线性回归模型
1、半参数回归模型
Yi βZi g (Xi ) i , i 1, 2,
Zi (Z1i , , Z d0i )
,n
X i ( X1i ,, X d1i )
• 模型的参数部分作为主要部分，把握被解释变量的大势走 向，适于外延预测；非参数部分，可以对被解释变量作局 部调整，使模型更好地拟合样本观测值。 • 模型没有常数项。如果有了常数项，则模型不可识别。 • 随机误差序列均值为零，与所有解释变量不相关。
(整理)第七章非参数回归模型与半参数回归模型
第七章 非参数回归模型与半参数回归模型第一节 非参数回归与权函数法一、非参数回归概念前面介绍的回归模型，无论是线性回归还是非线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。
参数回归的最大优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式一旦固定，就比较呆板，往往拟合效果较差。
另一类回归，非参数回归，则与参数回归正好相反。
它的回归函数形式是不确定的，其结果外延困难，但拟合效果却比较好。
设Y 是一维观测随机向量，X 是m 维随机自变量。
在第四章我们曾引进过条件期望作回归函数，即称g (X ) = E (Y |X ) （7.1.1）为Y 对X 的回归函数。
我们证明了这样的回归函数可使误差平方和最小，即22)]([min )]|([X L Y E X Y E Y E L-=-（7.1.2）这里L 是关于X 的一切函数类。
当然，如果限定L 是线性函数类，那么g (X )就是线性回归函数了。
细心的读者会在这里立即提出一个问题。
既然对拟合函数类L (X )没有任何限制，那么可以使误差平方和等于0。
实际上，你只要作一条折线(曲面)通过所有观测点(Y i ，X i )就可以了是的，对拟合函数类不作任何限制是完全没有意义的。
正象世界上没有绝对的自由一样，我们实际上从来就没有说放弃对L(X)的一切限制。
在下面要研究的具体非参数回归方法，不管是核函数法，最近邻法，样条法，小波法，实际都有参数选择问题(比如窗宽选择，平滑参数选择)。
所以我们知道，参数回归与非参数回归的区分是相对的。
用一个多项式去拟合(Y i ，X i )，属于参数回归；用多个低次多项式去分段拟合(Y i ，X i )，叫样条回归，属于非参数回归。
二、权函数方法非参数回归的基本方法有核函数法，最近邻函数法，样条函数法，小波函数法。
这些方法尽管起源不一样，数学形式相距甚远，但都可以视为关于Y i 的线性组合的某种权函数。
也就是说，回归函数g (X )的估计g n (X )总可以表为下述形式：∑==ni i i n Y X W X g 1)()(（7.1.3）其中｛W i (X )｝称为权函数。
时间序列资料预测的半参数回归模型
3.误差估计 3.误差估计
（1）大样本 当定义误差的总体方差σ2的估计为
1 2 ˆ σ = N ˆ% ( X ij − bi ) 2 ∑∑
i =1 j =1 n l
(5)
ˆ 2 为σ2的一个渐进正态估计。 则σ
（2）小样本 误差的总体方差σ2的估计为
n l 1 2 ˆ%) 2 ˆ σ = ∑∑ ( X ij − bi N − l − 1 i =1 j =1
2.把(3)式代入(2)后b的最小二乘估计 2.
作变换
% = i − n +1, X ij = X ij − X j , i 2 % X ij % X ij i ∑ ∑i ij ˆ = ij b = % %2 i l∑i ∑
i i
则
(4)
ˆ 由文献Leabharlann 知, N (b − b) (N=nl为样本含量)收敛于 ˆ 一个0均值的正态分布,且 g ( j ) 也收敛于 g ( j )
季节性时间序列资料预测的 半参数回归模型
一般的半参数回归模型是指:
Y = β ′ X + g (T ) + ε
(1)
其中(X,T)∈Rp×R1为随机向量或设计点列, T 的支撑集为有界闭集,β为P×1的未知参数 向量, g(·)是定义于一有界闭集上的未知函数,ε 为随机误差,E(ε)=0,E(ε2)=σ2(未知), 且ε与(X,T)相互独立。
对季节性时间序列资料 X ij (i=1,2…,n;j =1,2…,l),其中 为年份长度 为季节长度。 其中n为年份长度 为季节长度。 其中 为年份长度,l为季节长度 根据时间序列资料的加法原理有如下半参数回 归模型 X ij = bi + g ( j ) + ε ij (2) 其中b为模型参数 主要反应时间序列在年度 其中 为模型参数,主要反应时间序列在年度 为模型参数 上的增长趋势。 为未知函数,主要反应时 上的增长趋势。g(j)为未知函数 主要反应时 为未知函数 2 间序列在季节上的效应, 间序列在季节上的效应 E (ε ij ) = 0, E (ε ij ) = σ 2 相互独立。显然模型中不应包含常数项, 且 ε ij 相互独立。显然模型中不应包含常数项 因为常数项可包含在季节效应中。 因为常数项可包含在季节效应中。
第七章非参数回归模型与半参数回归模型
第七章 非参数回归模型与半参数回归模型第一节 非参数回归与权函数法一、非参数回归概念前面介绍的回归模型，无论是线性回归还是非线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。
参数回归的最大优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式一旦固定，就比较呆板，往往拟合效果较差。
另一类回归，非参数回归，则与参数回归正好相反。
它的回归函数形式是不确定的，其结果外延困难，但拟合效果却比较好。
设Y 是一维观测随机向量，X 是m 维随机自变量。
在第四章我们曾引进过条件期望作回归函数，即称g (X ) = E (Y |X ) （7.1.1）为Y 对X 的回归函数。
我们证明了这样的回归函数可使误差平方和最小，即22)]([min )]|([X L Y E X Y E Y E L-=-（7.1.2）这里L 是关于X 的一切函数类。
当然，如果限定L 是线性函数类，那么g (X )就是线性回归函数了。
细心的读者会在这里立即提出一个问题。
既然对拟合函数类L (X )没有任何限制，那么可以使误差平方和等于0。
实际上，你只要作一条折线(曲面)通过所有观测点(Y i ，X i )就可以了是的，对拟合函数类不作任何限制是完全没有意义的。
正象世界上没有绝对的自由一样，我们实际上从来就没有说放弃对L(X)的一切限制。
在下面要研究的具体非参数回归方法，不管是核函数法，最近邻法，样条法，小波法，实际都有参数选择问题(比如窗宽选择，平滑参数选择)。
所以我们知道，参数回归与非参数回归的区分是相对的。
用一个多项式去拟合(Y i ，X i )，属于参数回归；用多个低次多项式去分段拟合(Y i ，X i )，叫样条回归，属于非参数回归。
二、权函数方法非参数回归的基本方法有核函数法，最近邻函数法，样条函数法，小波函数法。
这些方法尽管起源不一样，数学形式相距甚远，但都可以视为关于Y i 的线性组合的某种权函数。
也就是说，回归函数g (X )的估计g n (X )总可以表为下述形式：∑==ni i i n Y X W X g 1)()(（7.1.3）其中｛W i (X )｝称为权函数。
有结构变化的半参数回归模型
有结构变化的半参数回归模型
王成勇;艾春荣;王少平
【期刊名称】《应用概率统计》
【年(卷),期】2010(26)5
【摘要】结合半参数回归模型和含未知变点的结构变化模型提出一个新的模型--
有结构变化的半参数回归模型,给出了新模型的有关参数β,β*,γ,k的加权最小二乘
估计和f(t)的核估计,证明了参数β,β*,γ的估计的√n-相合性,强相合性,讨论了模型
的检验等问题,并进一步通过随机模拟验证了新模型的优越性.
【总页数】14页(P501-514)
【作者】王成勇;艾春荣;王少平
【作者单位】襄樊学院数学与计算机科学学院,襄樊,441053;上海财经大学统计与
管理学院,上海,200433;华中科技大学经济学院,武汉,430074
【正文语种】中文
【中图分类】O212.7
【相关文献】
1.纳米填料/橡胶体系在贮存中的结构形态变化Ⅱ.结构变化的影响因素及其对性能
的影响 [J], 林桂;吴友平;张秀娟;钱燕超;贾清秀;张立群
2.焦化过程半焦孔隙结构时空变化规律的实验研究——孔结构的分形特征及其变化[J], 付志新;郭占成
3.看利通区人口年龄结构的十年变化——年龄结构十年变化透视利通区“人口红利” [J], 马桂芳;
4.弱误差结构下非参数,半参数回归模型 [J], 胡舒合; 梅门昌
5.有结构变化的半参数回归模型及其级数估计 [J], 王成勇;艾春荣
因版权原因，仅展示原文概要，查看原文内容请购买。
半参数回归断点回归
半参数回归断点回归半参数回归是一种常用的统计方法，用于研究自变量对因变量的影响。
而断点回归则是半参数回归的一种特殊形式，用于揭示自变量对因变量的影响在某一阈值点处发生了显著变化的情况。
本文将介绍半参数回归和断点回归的基本原理、应用场景以及相关的统计分析方法。
一、半参数回归的基本原理半参数回归是一种非参数统计方法，不对自变量和因变量之间的函数关系做出任何假设。
它通过拟合局部的回归线来估计自变量对因变量的影响。
半参数回归可以应用于自变量和因变量之间的线性和非线性关系，具有较强的灵活性和适应性。
二、断点回归的基本原理断点回归是半参数回归的一种特殊形式，用于研究自变量对因变量的影响在某一阈值点处发生显著变化的情况。
断点回归将自变量分为两个区间，分别估计这两个区间内的回归系数，并通过比较两个区间的回归系数来判断是否存在断点。
如果存在断点，则说明自变量对因变量的影响在断点处发生了显著变化。
三、半参数回归和断点回归的应用场景半参数回归和断点回归可以应用于各种研究领域和实际问题。
例如，在经济学中，可以使用半参数回归和断点回归来研究收入对消费的影响是否存在阈值效应；在医学研究中，可以使用半参数回归和断点回归来研究药物剂量对疗效的影响是否存在阈值效应。
四、半参数回归和断点回归的统计分析方法在进行半参数回归和断点回归分析时，需要选择合适的估计方法和假设检验方法。
常用的估计方法包括局部加权回归、核密度估计和B样条回归等；常用的假设检验方法包括断点是否存在的检验和断点位置的检验等。
这些方法可以通过统计软件来实现，如R语言中的segmented包和np包。
总结：半参数回归和断点回归是一种常用的统计方法，可以用于研究自变量对因变量的影响以及是否存在阈值效应。
它们具有较强的灵活性和适应性，可以应用于各种研究领域和实际问题。
在进行半参数回归和断点回归分析时，需要选择合适的估计方法和假设检验方法。
通过合理地运用半参数回归和断点回归，我们可以更好地理解数据背后的规律和关系，为实际问题的解决提供科学的依据。
非参数回归模型及半参数回归模型
非参数回归模型及半参数回归模型非参数回归模型是一种可以适应任意数据分布的回归方法。
在非参数回归中，不对模型的具体形式进行假设，而是利用样本数据去估计未知的函数形式。
这个函数形式可以用其中一种核函数进行近似，通过核函数的变换，使得样本点在空间中有一定的波动，从而将研究对象与有关因素的关系表达出来。
常见的非参数回归模型有局部加权回归（LOESS）和核回归模型。
局部加权回归是一种常见的非参数回归方法。
它通过给样本中的每个点分配不同的权重来拟合回归曲线。
每个点的权重根据其距离目标点的远近来确定，越近的点权重越大，越远的点权重越小。
这种方法在回归分析中可以较好地处理非线性关系和异方差性问题。
核回归模型是另一种常见的非参数回归方法。
它基于核函数的变换，通过将样本点的权重表示为核函数在目标点的取值，来拟合回归曲线。
核函数通常具有对称性和非负性的特点，常用的核函数有高斯核、Epanechikov核和三角核等。
核回归模型在处理非线性关系和异方差性问题时也具有较好的性能。
相比之下，半参数回归模型是在非参数回归的基础上引入一些参数的回归模型。
它假设一些参数具有一定的形式，并利用样本数据进行估计。
半参数模型可以更好地描述数据之间的关系，同时也可以提供关于参数的统计推断。
半参数回归模型有很多不同的形式，其中一个常见的半参数回归模型是广义加性模型（GAM）。
广义加性模型是通过将各个变量的函数关系进行加总，构建整体的回归模型。
这些函数关系可以是线性的也可以是非线性的，可以是参数化的也可以是非参数化的。
广义加性模型在回归分析中可以同时考虑到线性和非线性关系，广泛应用于各个领域。
在实际应用中，选择使用非参数回归模型还是半参数回归模型需要根据具体情况来决定。
非参数回归模型适用于对数据分布没有先验假设，并且希望对数据进行较为灵活的建模的情况。
半参数回归模型适用于对一些参数有一定假设的情况，可以更好地描述数据之间的关系，并提供统计推断的信息。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
16 12.5233 4.4313 1.40592 70.742 36 13.7830 6.7970 0.10761 46.426
17 16.2130 9.0616 -7.86257 47.241 37 11.7396 6.5214 2.97025 44.074
19 12.7037 6.6083 4.72638 58.156 38 9.2977 5.9949 -4.85962 32.179
x2
ε
y
1 13.7573 9.0395 3.75143 117.821 21 13.2374 8.2352 -2.20841 38.275
2 15.0520 7.3279 1.14067 122.813 22 14.1714 6.0503 1.91203 55.233
3 8.6033 7.3862 0.23542 94.179 23 12.1480 5.0736 -5.52984 44.491
7 16.2680 6.4557 9.27355 114.115 27 14.0647 6.6078 2.63609 47.195
8 10.1680 5.2876 -3.75255 81.923 28 10.9326 6.8775 0.81989 32.828
9 13.2466 5.3008 0.40266 92.177 29 12.3795 6.8564 3.39402 40.131
模型#43;1 个解释变量 , 其 中 p 维向量 xi 和数量变量 t , 如果反应变量 y 线性相
关于解释变量 x , 则有以下模型
y i = x′iβ +g(t i)+εi
(1)
其中 β 为未知的 p 维回归系数向量 , g(t)为未知的光
滑函数(如光滑样条), x 为线性变量 , t 为样条变量 , ε
若用矩阵符号来表示 S w(β , g), 则
S w(β , g)=(Y -Xβ -Ng)′W (Y -X β -Ng)+
αg′K g
(3)
当 β 和 g 为以下分块矩阵方程的解时 , 上式取最
小值 。
X′WX X′WN N′WX N′WN +αK
β g
=
X′ N′WY
(4)
方程(4)是一个(p +q)元方程组 , 直接解方程组
4 8.6597 8.5354 -7.34831 75.51 24 11.0290 10.0753 3.65699 22.564
5 15.2607 4.0964 3.86252 127.148 25 10.8887 8.3597 3.08169 29.333
6 12.7431 7.4814 -3.43690 88.786 26 15.0140 5.5422 3.69035 57.719
需要计算广义交互有效 GCV(generalized cross -val i- 程序可得到一个样本模拟数据(表 1)。
dation)得分函数 。GCV 得分函数为
n
GC
V
∑ (α)=i(=11
w i (y i -n -1
-yi )2 t rA)2
(11)
表 1 模拟抽样数据列 表
t
x1
x2
ε
y
t
x1
将(7)代入(5), 化简得
＊国家自然科学基金资助项目(项目编号 39900126)
Chinese Journal of Health St at istics , December 2001 , V ol .18 , N o .6
· 339 ·
X′W(I -S )X β =X′W(I -S )Y
模拟实例分析
为说明半参数模型的拟合效果 , 本文用 SAS 程序 进行模拟抽 样实验 , 取 p =2 , n =60 , t 由 1 变 化到 60 , x 1 ～ N (12.66 , 2.572), x 2 ～ N (6.7 , 1.872), 误差 项 ε相 互 独立 且 服从 分 布 N (0.52), y =3.4 x1 5.2 x 2 +0.1(t -30)2 +30.2 +ε, 则用 SAS 模拟抽样
【关键词】 半参数回归 部分样条 曲线拟合 最小惩罚二乘
在医学科研数据统计分析过程中常常会遇到参数 回归模型的某些假定不能够完全满足的情形 , 如 :反应 变量与解释变量间的具体依存关系不明确 、反应变量 的分布不易判定等 。此时 , 参数回归模型难以进行拟 合处理 , 而非参数回归模型则能进行有效的分析 。 简 单的非参数回归模型研究的是反应变量 Y 与单一解 释变量 t 的依存关系 , 它能够解决医学与卫生研究工 作中的许多重要问题 , 但是 , 在实际工作中 , 有许多事 物或现象受多个变量的影响 , 因此 , 需要研究多个变量 间的相互关系 。 经典统计模型在研究受多个解释变量 影响的依存关系时常常采用多重回归 , 而多重回归的 更一般模型即为线性模型 :y i =x′i β +εi , 为了放宽该 线性模型中的某一个解释变量的线性假定 , 使模型在 假定方面具有较强的适应性 , 本文对半参数回归模型 进行了研究 。
42 13.6616 8.4751 -0.61364 46.365
43 14.8575 10.0036 -0.35908 45.238
44 11.3236 5.1932 -4.19473 57.101
45 13.0163 4.9998 -9.97231 60.984
46 11.2934 3.7157 0.90965 75.786
· 338 ·
中国卫生统计 2001 年 12 月第 18 卷第 6 期
半参数回归模型及模拟实例分析 ＊
第四军医大学卫生统计学教研室(710032) 陈长生 徐勇勇 夏结来
【提 要】 目的 放宽经典线性模型中的解释变量的线 性假定和 探讨半 参数回 归分析 模型 。 方法 利用 最小惩 罚 二乘原 理构造加权惩罚平方和 , 通过广义交互有效得 分函数 自动选 择光滑 参数值 , 用直 接法求 解方程 组 。 结果 用 SAS 程序实现了半参数回归分析 , 得到了回归 系数向量和样条函数的最小惩罚二乘估计 , 模拟实 例表明 , 半参数回 归模型较 传 统的线性模型有较强的适应性 。 结论 半参数回归模型是经典线性模型和非参数回归模型 的一个混 合体 , 可 作为回归 分 析的一种新技术得到广泛应用 。
13 11.1053 3.6854 -6.52679 71.167 33 7.2211 7.3388 4.36714 21.857
14 7.7996 6.2767 -1.49224 48.193 34 12.2964 7.3790 -0.13148 35.106
15 16.1694 6.3666 0.46688 75.036 35 7.5594 5.2159 6.15973 37.439
(8) 其中 trA =t rS +t r[ {X′W (I -S )X }-1 X′W (I -
这是广义最小二乘正规方程组 , 用来估计 β , 加权矩阵 S )2X ] 。
为非对角阵 W (I -S ), 解得 β 后 , 就可通过(7)求得 g 和 Ng , 因此 , 可得到光滑曲线 g(t )。
不方便 , 也很不实际 , 实际工作中 , 一般将方程(4)化为
以下形式
X′WXβ =X′W (Y -Ng)
(5)
(N′WN +αK )g =N′W (Y -X β)
(6)
求解时可采用不需迭代的直接法(di rect method)进行
求解 。
由(6)可得 :
Ng =S(Y -Xβ)
(7)
其中 S =N (N′WN +αK )-1 N′W , (Ng)i =g(t i )。
对于回归 系数向量 β 的估计值 , 可 进行假 设检
验 , β =(β1 , β2 , … , βp)′。 检验假设为 H0 :βi =0 , i =1 , 2 , …, p 备择假设为 H1 :βi ≠0 , α=0.05
检验统计量为
t=
βi C iiσ2
(9)
其中 Cii 表示(X′W(I -S )X )-1的对角线上第 i 个元
与(x , t )相互独立 , 且 E(ε)=0 , V(ε)=σ2(未知), 显
然 , xi 不含常数 1 , 常数项可以包含在 g(t )中 , 则以上
模型被称为半参数回归模型(semiparamet ric reg ression
model)。
半参数回归模型可通过惩罚最小二乘方法进行求
解 , β 和 g(t )的估计使得以下加权惩罚平方和最小
n
素 , σ2
=i∑=t1r({yIi
-yi)2 -A} , A
为帽子阵 。
A =S +(I -S)X {X′W (I -S)X }-1 X′W (I -
S)
(10)
当 H0 成立时 , t ～ tυ, υ=tr{I -A}。 在半参数回归模型中 , 对于光滑参数的自动选择
另外 , 半参数模型的误差自由度 EDF =tr{I -A}
=n
-tr A
,
均方差
MSE
n
=
i∑=1(yi t r{I
-y i)2 -A} ,
残差平方和
SSE
n
=∑(y i =1
i
-yi )2 ,
令
y
=
1 n
n
i
∑
=1
y
i
, 则拟合优度
R2
=1
- n SSE 。
i
∑(y
=1
i
-y)2
本文利用 6.11 版 SAS 软件的 IM L 模块进行编