方差分量的广义谱分解估计 - mathzjueducn
线性混合模型中方差分量的估计与QR分解

解, 但是由于它们具有的一些优良性质, 仍然得到了广泛应用, 5 见[. 】
N w o — a ho 算法是求方程( 根的一种算法, e tnR p sn 组) 在混合线性模型中可使用它来求解
似然 方程组 的根, wtn Ne o 算法 的特 点就 是在算法 的收敛域里, 算法 的收敛速度 很快. 但往
用设计阵的Q R分解, 以把 设计 阵变换成一 - 角矩阵.这样可 以降低 参与迭代运算 的矩阵 的阶数 , 可 k- 还 可 以减少 参与运 算的数据 量, 从而提高运算 的速 度. 本文讨 论 TQR分解在E M算法 中的应用 , 并用模 拟的方法验证 TQR分解 可 以极 大的提高运算 的速度. 本文 同时讨论 QR分解 在另外一种 估计方法, J ' IANOV  ̄ A估计中的应用. 关 键 词: QR分解, 极大似然估计, 限制极大似然估 计, EM算法, NOV A A估 计. 学 科 分 类 号 : O2 21 1 ..
维普资讯
应 用 概 率 统 计 年4 二十 四卷 第 二 期 2 0 第 0 8 月
Chn s o r a f p idPrb bl y ieeJ u n l o Ap l o a it e i
a d a i t c 12 . n St t s i s Vo . 4 No 2 Apr 2 0 .08
§ . 引 1
言
线性混合模 型是很 重要的一 种统计模型, 一 广泛应用 于生物 Байду номын сангаас 经济 、医药等领 域的数据
分析中, 比如pnl ae 模型, 多向分类随机效应模型等都是线性混合效应模型( 13) 见[ 】 _ .
线性混合模 型的一般形式为:
Y:
基于概化理论的方差分量变异量估计

and accelerated)方法进行方差分量置信区间估计。
Jackknife 方法, 也称“刀切法”, 是一种无放回
的再抽样方法。Brennan, Harris 和 Hanson (1987)研
究了用 Jackknife 方法估计方差分量及其变异量(包
括标准误及置信区间), 并将结果与 Traditional 及
等三种方法来估计基于概化理论的方差分量变异 量, 如标准误或置信区间等。Tong 和 Brennan(2006) 认为, 对方差分量变异量的估计也可以使用马尔可 夫链蒙特卡洛(Markov Chain Monte Carlo, MCMC) 方法。
Traditional 方 法 , 也 称 “ 传 统 法 ”, 是 通 过 ANOVA 技术来实现对方差分量及其变异量估计的 一种方法。GT 把数据产生的总变异分解成几个独 立的部分, 包括测量目标(经常是人)产生的变异、 测量侧面产生的变异以及它们的交互作用及残差 产生的变异, 根据这些变异可以估计出相应的方差 分量。Traditional 方法可用公式(1)估计方差分量的 标准误。对于方差分量的置信区间估计, Traditional 方法可使用 Satterthwaite 方法和 TBGJL 方法, 这两 种方法都属于传统法, 其原因在于这两种方法都要 求 数 据 服 从 正 态 分 布 (Othman, 1995, p.5)。 其 中 Satterthwaite 方法由 Satterthwaite 于 1946 年提出, 这种方法假定分数效应服从正态分布, 方差分量服 从某种自由度的χ2 分布, 根据此种分布的要求, 可 建立 100(1−α)%的置信区间。大量研究证明(Wiley, 2001; Othman, 1995), Satterthwaite 方法在大样本中 是一种较好的统计量置信区间估计方法, 但是在样 本较小或统计量为非线性相减模型时, 可能出现误 估置信区间的现象。针对 Satterthwaite 方法的不足, Ting, Burdick, Graybill, Jeyaratnam 和 Lu (1990)提 出了 TBGJL 方法。
方差-协方差分量估计

方差-协方差分量估计**协方差与方差部分量估计**在数据分析中,变量之间的关系可以通过协方差和方差部分量估计来衡量。
一般来说,两个变量之间的关系可以通过这两种技术来测量。
本文重点介绍协方差与方差部分量估计的内容。
协方差是一种用于多维空间的统计表示,它可以衡量两个变量之间的相关性。
它是一个以均值除以标准差作为边际估计量的统计量,它可以帮助我们估计两个变量的差异,即定性贴紧的相关系数。
如果协方差为正,则表明两个变量之间有正相关性,反之则表明有负相关性。
另一方面,方差分量估计是一种测量一个变量与另一个变量之间关系的技术,它可以帮助我们确定一个变量对另一个变量的影响。
方差分量估计可以测量变量的可变性,并提供另一变量的信息。
方差分量估计表明,两个变量之间相关性的程度,它表示一个变量中另一个变量的部分可变性。
总之,协方差与方差部分量估计都是通过测量两个变量之间相关性来衡量变量之间关系的有用工具。
其中,协方差可以衡量两个变量之间相关性的强弱,而方差分量估计可以衡量一个变量在另一个变量中所占的可变量。
尽管协方差与方差部分量估计有不同之处,但它们都是重要的数据分析工具,可以有效地测量变量之间的关系。
另外,根据结果,还有必要进行合理的解释,并研究变量之间的关系,以更好地理解数据分析的过程。
最后,可以总结的是,协方差与方差部分量估计可以有效地帮助我们衡量变量之间的关系,其中协方差可以衡量变量之间相关性的强弱,而方差分量估计可以衡量一个变量在另一个变量中所占部分可变量。
这些工具可以帮助我们对数据进行有效的分析,最终达到统计推断的目的。
第四章--方差分量线性回归模型

第四章 方差分量线性回归模型本章考虑的线性模型不仅有固定效应、随机误差,而且有随机效应。
我们先从随机效应角度理解回归概念,导出方差分量模型,然后研究模型三种主要解法。
最后本章介绍关于方差分量模型的两个前沿研究成果,是作者近期在《应用数学学报》与国际数学杂志《Communications in Statistics 》上发表的。
第一节 随机效应与方差分量模型一、随机效应回归模型前面所介绍的回归模型不仅都是线性的,而且自变量看作是固定效应。
我们从资料对npi i i X X Y 11},,{ 出发建立回归模型,过去一直是把Y 看作随机的,X 1,…,X p 看作非随机的。
但是实际上,自变量也经常是随机的,而并不是我们可以事先设计好的设计矩阵。
我们把自变量也是随机变量的回归模型称为随机效应回归模型。
究竟一个回归模型的自变量是随机的还是非随机的,要视具体情况而定。
比如一般情况下消费函数可写为)(0T X b C C(4.1.1)这里X 是居民收入,T 是税收,C 0是生存基本消费,b 是待估系数。
加上随机扰动项,就是一元线性回归模型)(0T X b C C(4.1.2)那么自变量到底是固定效应还是随机效应?那要看你采样情况。
如果你是按一定收入的家庭去调查他的消费,那是取设计矩阵,固定效应。
如果你是随机抽取一些家庭,不管他收入如何都登记他的收入与消费,那就是随机效应。
对于随机效应的回归模型,我们可以从条件期望的角度推导出与最小二乘法则等价的回归函数。
我们希望通过X 预测Y ,也就是要寻找一个函数),,()(1p X X M X M Y ,当X 的观察值为x 时,这个预测的误差平均起来应达到最小,即22)]([min )]([X L Y E X M Y E L(4.1.3)这里min 是对一切X 的可测函数L(X)取极小。
由于当)|()(X Y E X M(4.1.4)时,容易证明0)]()()][([ X L X M X M Y E(4.1.5)故当)|()(X Y E X M 时,222)]()([)]([)]([X L X M E X M Y E X L Y E(4.1.6)要使上式左边极小,只有取)|()()(X Y E X M X L 。
广义预测误差方差分解

广义预测误差方差分解
这个方法最初是用来解析某些统计学习方法中的预测误差的来源,并
将其分解成模型的偏差和模型的方差两个部分,这个分解考虑了模型对训
练数据的拟合程度(偏差)和对训练数据变化的敏感度(方差)两个方面。
GPED方法的应用不仅限于统计学习方法,也适用于其他一些领域,
比如金融风险管理、市场预测等。
通过对预测误差的广义分解,我们可以
更好地理解何种因素导致了预测误差的增加,并进一步改进相关的方法和
技术。
一类线性混合模型的广义估计方程方法应用

∑
∑
N -pi
=1 j=1
ciwu 和siwu 表示矩阵Ci 和SiSiT 第w 行第u 列
的元素 .
2
ε
m
然后通 过 方 程 (
3)、(
11)、(
12)进 行 迭 代,即
可求出模型未知参数估计值 .
2 实例分析
图 1 幼鼠平均体重与幼鼠只数的散点图
基于以上数据特征建立如下线性混合模型
本文研究的大鼠繁殖 数 据 可 在 文 献[
方法不假设响应变量的分布,回归参数的标准差较小,能 够 得 到 稳 健 的 估 计 结 果 .实 例 分 析 和 随 机 模 拟 结 果 表
明提出的方法是可行的 .
关键词:广义估计方程;线性混合模型;固定效应;方差分量
中图分类号:
O212.
2 文献标志码:
A
本文结合广义估计方程处理一类线性混合模
大体上相同,结 果 表 明 药 物 剂 量、幼 鼠 性 别、每 窝
每只母鼠的情 况 具 有 一 定 的 差 异,一 般 认 为
幼鼠只数对幼鼠的 体 重 有 明 显 影 响,这 些 情 况 与
为评估试验效应的指标 .
来自同一窝的幼 鼠 之 间 存 在 等 相 关 性,运 用 含 有
两个方差分量的线性混合模型来分析该数据是合
Jni
以看出该模型刻画了个体内部观测值之间的等相
关性,这与广义估 计 方 程 中 假 设 的 可 交 换 相 关 矩
阵是等价的 .在广 义 估 计 方 程 框 架 下 可 以 采 用 矩
估计和拟加权最小二乘等方法估计等相关矩阵下
的相关系数,并通 过 对 应 关 系 求 出 模 型 的 方 差 分
量 .令
方差分量的广义p-值检验

Absr c :A w r c d e o h ss o e ea ie v l ts o e tn a a c o o e t n ta t ne p o e ur n t e ba i f g n r l d P— aue e tfr t si g v r n e c mp n n s i z i
( usne aa ee) n i c rm t 的存 在 , 时难 以利用 传统 方法 ( 精确 的 F~检验 ) 对方差 分量做 出检验 . 服 a p r 有 如 来 克
这个 问题的办法 之一就 是延拓 检验统计 量 . [ ,] 别提 出 了广义 P一值 和广 义置信 区间 的概 念. 文 23分 事 实证 明 , 在多余 参数 出现的情况 下 , 广义 P一值 和广 义置 信区 间可 以获 得参数 的精确 检验 和置信 区 利用
c mp n n so a d m fe t n t d l.Th rc d r s we e e a ttssa d e s o c mp t n s . o o e t fr n o efc si wo mo es e p o e u e r x c e t n a y t o u e a d u e Ke r :ln a x d mo e ;g n r lz d P— au y wo ds i e rmi e d l e e aie v l e;g n r l e o fd n e r g o e e a i d c n e c e in;e a ttss z i x c e t
21 0 0年 3月
安 徽 大 学 学报 ( 自然科 学 版 )
Ju n l f n u U i r t N tr c n eE io ) o ra o h i n es y( a a S i c d i A v i u l e tn
线性混合效应模型中方差分量两种估计的比较

的关 系 ,以及给 出 了在均 方误 差下 广 义谱 分 解估 计 U 引 吾 优 于方差 分 析估计 的充 分条 件 .
近2 0年来 , 线性混合效应模型在生物、医学、 经济 、 金融 、 环境科学、 抽样调查 以及工程技术领
域得 到 了越来 越广 泛 的应用 .在文 献 中已经 提 出 了
k
其 中, Y是 n×1的观测 向量 , 和 分别 是 n×f , n×m设计 矩 阵.r ( )=P . 为f ×1 的未知 的 固定 效应 , 为 m ×1的随机 效应 . 设 —N( 0 , 2 1 ) ,
为 n×1 的 随机误 差 向量 , ~N( 0, , ) , 和 相
+ A i o r ; , A 0= 0 . ( =0 , 1 , 2 , …, k ) , 模型( 2 ) 都是
奇异型线 性模 型,由最小 二乘统 一理论 ,在模 型
( 2 ) 下, 很 容易 得到 的最优 线性 无偏估 计 =
义谱分解估计的相关知识 , 然后给 出了在一个条件
约束下的混合效应模 型, 本文称之为谱和线性混合 效应模型. 在第 3 节 中主要讨论 了在谱和线性混合 效应模型下的方差分析估计和广义谱分解估计之间
Y =X + , ~N( o , Mi ) , i=0, 1 , 2 , …, k . ( 2 )
互独立. ; ≥0 , >0 称为方差向量. 这是一类很
重 要 的模 型 ,它包 含 了一 些 很 重要 的统计 模 型 ,例
如单 向分类 随机效应 模 型 ,两 向分类 无 交 合效 应 的
分析估计是广义谱分 解估计的一种 ,并且考察 了在一 定条件下广义谱分解估计优 于方差分析估计的充分条件.
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
对方差分量的方差分析估计和谱分 解 估 计进 行 了比 较 & 给出了 两者 相等的 条件 ) 对此情形 &
P Q 在下文中 & 迹G 列 & 3 & & 3 & NJ < 8 N% N% 8 E N% N 和 N 分别表示给定矩阵 N 的转置矩阵 G O3 P 子空间 G 秩G 广义逆和 R4 广义逆 )记 T 表示到列子空间 O3 5 & 4 8 1 . 1 0 8 4 S 1 NJ N% NJ N% NAN3 上的正交投影阵 & PT V@ ) UNVW X @J N&
_ A* ^
a, A WP
则8 E 3 a %A $P [ \ ]a &
_ , _ A* 3 _ % d A e_ fQ g &g , & i a_ % & _ A, & * & b& ^ & _ _h U3 _
用 a_ 分别左乘模型 3 则得到 ^ 它们分别为 3 A, & * & " & b& % * F * % & Q*新模型 & _ ^
k 估计 & 记为 i _\ k i _ A
* d J 3 a_P T d & a_ e% l _
3 " \ m %
k 这时 l 下面我们基于 i A8 3 % P8 3 \ E a_ E a_ e% _ _ 给出方差分量的广义谱分解估计定义 ) 定义 n 满足条件 F C 若o 3 A, & * & b& % _ ^ _
" + * % . 2 在/ 的广义谱分解估计类中 (! & 最小值为 * ’ . # 1 # 方差最小 ( # $% " + * ’ . 2 在/ 最小值为 * + . ’ 的广义谱分解估计类中 ( # 1 # 方差最小 ( !& # $%
* + , b .
+ a + , + a a + %8 a ’ + a % , + a a + %8 a ’
" " 2 UV W 1 $+ / # #N M !& ! # $% + + + + & & ) & ) # # # # # + + B+ / B/ / , ’ ’ ! ! F # # # # $’ F # $’ F " "
* + , _ .
# $%
2 注意到 1 相互独立 ( 再依 * 式或引理 + 引理易证 3 $% ( ’ ( 6( . + 5 K . 5 ‘ ( # " #* "
3 _ % " " _*
3 " \ " %
这里 d A a_ 对任意 _ d & e_A a_ e& g @’ Q a_ ( & i !& ‘ ) 3 _ A, & * & " & b& _A a_ _A ! Q ‘ ,A , = * ? P 模型 3 由最小二乘统一理论 & 在模型3 ^ % & " F " %都 是 奇 异 线 性 模 型 & " F " %下 & e3 eJ a_ e% j 进一步 & 我们可以获得 i 的一个无偏 eJ a_ d为 e_ f的最优线性无偏估计 ) 3 _ A, & * & " & b& ^ % _
Y" 广义谱分解估计
" " 下面根据文献 = 思想给出模型 3 中方差分量 ! 和! 令 Z ? * F * % * 的广义谱分解估计的定义 )
因为 X 为对称阵 & 所以由文献 = 知 X 的谱分解惟一存在 ) 设矩阵 X 的谱分解为 A8 3 % \ * , ? [ E X
^
XA
a& ]‘
_ _ _ A* ^
2 LM 1 $L # #N !&
"
"
"
"
M
N
* + , O .
由不变估计的定义可以直接推出引理 + 5 + 3 + 引理 4 设 且 是 则 UV 5 P ( ( C T R非 奇 异 阵 ( * X . $+ * Q= >R* S C. R W Q Y Q Z W Y C.B X 3 S Y C Y S 证明参见文献 [ ’ ’ \ ]+ , 7 , 引理 4 5 ^
提出的一种称之为谱分解估计的参数估计新方法推广到随机效应设计阵为 & " # # " ( 任意矩阵的含两个方差分量的 线性 混 合 模型 % 给出 了方 差分 量的广义谱 分解 估计 方法 % 并证明了所得估计的一些统计性质 B 另外 % 还就广义谱分解估计类中某些特 得到了它们相等的充分必要条件 B 殊估计和对应的方差分析估计进行了比较 % 关键词 ) 线性混合模型 A 谱分解估计 A 方差分量 中图分类号 )C" ’ " ? ’ 文献标识码 ) ! 文章编号 ) ’ # # # , @ @ " @ & " # # $ ( # ’ , # # * + , # D
F’ 引
言
近" 线性混合效应模型 在 生 物 G 医学 G 经济 G 金融G 环 境科学 G 抽 样调 查及工 程技 #年来 % 术领域得到愈来愈广泛的应用 B 在文献中已经提出了多种估计方差分量的方法 B 例如方差
’ O@ P 分 析法 % 极大似然法 % 约束极大似然法 % 方法和经验 L 方法等 N % B最 1H IJ;K L 2 M 9 : 2 M 9 : $ P 近% 对于随机效应部分一般多向分类平衡数据模型的线性混合模型 % 王松桂和尹素菊 N 提出
高 校应 用数学学报 !辑 " # # $ % " # & ’ ( ) * + , * -
!. . / 012 3 4 0 5 0 6 4 7 8 9 : 9;8 7 < 0 = 9 > 0 !
方差分量的广义谱分解估计
史建红 ’ 王松桂 " %
山西临汾 # & ’ ?山西师范大学 数计学院 % @ ’ # # @ A 北京 ’ # # # " " ( " ?北京工业大学 应用数理学院 % 摘 要) 对 于 随 机 效 应 部 分 为 一 般 平 衡 多 向 分 类 的 线 性 混 合 模 型% 将王松桂
, ) & , : ) ;8 ) + * ! , ? " ( # &; 8 " &> " , & & < = $ $ & & ’( 9 & ’( & ’" 其中 8 乘子 / 分别关于 ) 并令所得微商等于零 * 得到 * * * 8 8 8 1 2 3 1 4 2 5 " ,为 0 & " , 求微商 * , B@ ) : & & ;8 + * & ’( * " * 7* % "; 8 , &’ ( 9 & %
定理 4 5 ; 分别记 a %$
!
# $%
F # a ’$ +( 1 #
"
!
# $’
F ) # # a +$ +( 1 #
"
!
# $’
+ F ) # # 令 +, 1 #
F * a a . * F * a ) . # +8 ) # ’ # % #8 a ’ * % . ’ . & & # $% ( ’ ( 6( " , # $ # $ + + ( + + ( 1 * a a . 1 * a a . # + %8 a ’ # + %8 a ’
2 + + + IF 1 / B) / . G ( # $’ ( + ( 6( " ( # # = * # ’ F # H 2 + + 1 G , % % = / F JF % + 再根据 G 的性质得
* + , K .
& # 2 + + F 1 & ) & , # # $ / #B / ’ # # ! ! ! # # $% # $% F # $% # $% + + + + 0 由上式及广义谱分解估计的定义得 0 /和 / ’ 分别为 / 和 / ’ 的无偏估计 3 引理 4 方差分量的广义谱分解估计是二次不变估计 5 4 3
3 " \ * %
这里 ‘ 它们的重数分别为 [ -‘ -b-‘ & & b& )对任意 * c_ c [ [ * " ^ 为 X 的所有非零特征值 & * " ^ 显然 & 定义 3 % A[ & A[ \ & 8 E a_ ^ a_为向特征值 ‘ _对应的特征子空间投影的正交投影阵 ) _ _ ][
# $% # $’ + 则称 0 / ’$ "
* + , 7 .
1 为 / 的广义谱分解估计 3 !&
2 ## + ’ # $%
’ ’ 若& 则* 成 立3若 & 则 $’ ( $% * $’ ( 6( . ( + 5 . $8 ( $ ( $% * $+ ( 6( . ( & # " & & # " % # % ’ # ) ) ’ ’ 成立 ( 故定义 + 不难证明 9 当" 方差分量的广义谱分 * + 5 7 . 5 ’和 + 5 +有意义 3 事实上 ( $’时 ( 方差分量的广义谱分解估计是一个估计类 3 解估计惟一 3 当 " :’时 ( + + + + 0 0 引理 4 5 ; /和 / ’ 分别为 / 和 / ’ 的无偏估计 3 + + + + + + 证 因为 < 且* 所以 =>* ( B/ . ( B/ . * 8E $* . * 8E ?@ /A C C D# / /A /B) D# D# ?. # D# ?. ’ ’ ’