实验优化设计-多元线性回归模型
(完整版)多元线性回归模型原理
研究在线性关系相关性条件下，两个或者两个以上自变量对一个因变量，为多元线性回归分析，表现这一数量关系的数学公式，称为多元线性回归模型。
多元线性回归模型是一元线性回归模型的扩展，其基本原理与一元线性回归模型类似，只是在计算上为复杂需借助计算机来完成。
计算公式如下：设随机y 与一般变量12,,k x x x 的线性回归模型为：01122k k y x x x ββββε=++++其中01,,k βββ是1k +个未知参数，0β称为回归常数，1,k ββ称为回归系数；y 称为被解释变量；12,,k x x x 是k 个可以精确可控制的一般变量，称为解释变量。
当1p =时，上式即为一元线性回归模型，2k ≥时，上式就叫做多元形多元回归模型。
ε是随机误差，与一元线性回归一样，通常假设2()0var()E εεσ⎧=⎨=⎩同样，多元线性总体回归方程为01122k k y x x x ββββ=++++系数1β表示在其他自变量不变的情况下，自变量1x 变动到一个单位时引起的因变量y 的平均单位。
其他回归系数的含义相似，从集合意义上来说，多元回归是多维空间上的一个平面。
多元线性样本回归方程为：01122ˆˆˆˆˆk ky x x x ββββ=++++多元线性回归方程中回归系数的估计同样可以采用最小二乘法。
由残差平方和:ˆ()0SSE y y∑=-= 根据微积分中求极小值得原理，可知残差平方和SSE 存在极小值。
欲使SSE 达到最小，SSE 对01,,k βββ的偏导数必须为零。
将SSE 对01,,k βββ求偏导数，并令其等于零，加以整理后可得到1k +各方程式：ˆ2()0i SSE y yβ∂=--=∂∑ 0ˆ2()0i SSE y y x β∂=--=∂∑通过求解这一方程组便可分别得到01,,k βββ的估计值0ˆβ，1ˆβ，···ˆkβ回归系数的估计值，当自变量个数较多时，计算十分复杂，必须依靠计算机独立完成。
多元线性回归
多元线性回归简介多元线性回归是一种统计分析方法，用于预测一个因变量与多个自变量之间的关系。
该方法适用于具有多个自变量和一个因变量之间的线性关系的数据集。
多元线性回归建立了一个多元线性模型，通过对多个自变量进行加权求和来预测因变量的值。
它基于最小二乘法，通过最小化预测值与实际观测值之间的差异来找到最佳拟合线。
在多元线性回归中，自变量可以是连续变量、二进制变量或分类变量。
因变量通常是连续的，可以预测数值型变量的值，也可以用于分类问题中。
数学原理多元线性回归的数学原理基于线性代数和统计学。
假设有n个自变量和一个因变量，可以将多元线性回归模型表示为：多元线性回归公式其中，y表示因变量的值，β0表示截距，β1, β2, …, βn表示自变量的系数，x1, x2, …, xn表示自变量的取值。
通过使用最小二乘法，可以最小化残差的平方和来计算最佳拟合线的系数。
残差是预测值与实际观测值之间的差异。
模型评估在构建多元线性回归模型后，需要对模型进行评估，以确定模型的效果和拟合优度。
常用的模型评估指标包括均方误差（Mean Squared Error, MSE）、决定系数（Coefficient of Determination, R2）和F统计量等。
•均方误差（MSE）是指预测值与实际观测值之间差异的平方和的均值。
MSE越接近于0，说明模型的预测效果越好。
•决定系数（R2）是指模型解释因变量变异性的比例。
R2的取值范围是0到1，越接近1表示模型对数据的解释能力越好。
•F统计量是用于比较两个模型之间的差异是否显著。
F统计量越大，说明模型的解释能力越好。
实例应用下面通过一个实例来说明多元线性回归的应用。
假设我们想要预测一个学生的学术成绩（因变量）与以下自变量之间的关系：学习时间、睡眠时间和饮食状况。
我们收集了100个学生的数据。
首先，我们需要对数据进行预处理，包括处理缺失值、异常值和标准化数据等。
然后，我们使用多元线性回归模型进行建模。
经典多元线性回归模型PPT课件
此即为多元线性总体回归模型。
称
g(X1, X 2 ,...,X k ) 0 1 X1 2 X 2 ... k X k
为多元线性总体回归函数。
3
第3页/共53页
计量经济学模型引入随机扰动项的原因：
反映影响被解释变量的未知因素； 代表数据观测误差； 反映影响被解释变量的个体因素；
• 同时，随着样本容量增加，参数估计量具有一致性。
28
第28页/共53页
1、线性性
βˆ (XX)1 XY CY
其中,C=(X’X)-1 X’ 为一仅与X有关的矩阵。
2、无偏性
E(βˆ ) E(( XX)1 XY) E(( XX)1 X(Xβ μ )) β (XX)1 E(Xμ ) β
记残差向量为
可以表示为
^
eY X
e1
e
e2
en
此时，多元线性样本回归模型：
Yi ˆ0 ˆ1 X1i ˆ2 X 2i ˆki X ki ei
可以表示为：
Y Xβˆ e
11
第11页/共53页
由上述正规方程组
^^
^
(Yi 0 1 X1i ... k X ki) 0
得多元线性样本回归函数：
^
^
^
^
g(X1, X 2 ,...,X k ) 0 1 X1 ... k X k
^^
^
定义残差： ei Yi (0 1 X1i ... k X ki )
称 Yi ˆ0 ˆ1 X1i ˆ2 X 2i ˆki X ki ei
为多元线性样本回归模型。 5 第5页/共53页
^
j
~
c N( , c ) 2
第5章多元线性回归模型PPT课件
在原假设H0成立的情况下，服从自由度为(k-1 , n-k)的F分布，并根据样本数据计算F值。
给定显著性水平，得到临界值F(k-1,n-k) 比较 F F(k-1,n-k) 或 FF(k-1,n-k) 来拒绝或接受原假设H0，以判定原模型总体上的 线性关系是否显著成立。
假定2 解释变量X是非随机变量，在重复抽样 中固定在给定水平。
假定3 随机误差项的条件期望为0 即： E(ui | X 2i , X 3i ) 0
第2页/共49页
假定4 随机误差项ui具有同方差性。
Var(ui X2i , X3i ) 2 假定5 随机误差项之间无自相关性/无序列 相关。
cov(ui ,uj ) o i j
第12页/共49页
总体方差的估计
ˆ 2 uˆi2 n3
• 残差平方和的自由度＝样本容量的大小－待估计的参数的个数
第13页/共49页
§5.3 多元线性回归模型的统计检验
一、拟合优度检验 （一）复判定系数R2的计算公式
R2 ESS TSS
yˆi2 ˆ2
yi2
yi x2i ˆ3
yi2
~
F(m, n
kUR
)
案例
第33页/共49页
案例分析
• 教材P250 1960-1982年美国子鸡需求的例子
• 思考问题：
1）如何根据经济理论预测回归系数的符号？
2）如何检验
？
H0 : 4 5 0
第34页/共49页
五、模型的参数稳定性检验－邹至庄检验
当利用时间序列数据进行回归时，因变量和 解释变量之间的关系可能会出现结构变动
多元线性回归的计算模型
多元线性回归的计算模型Y=β0+β1X1+β2X2+...+βnXn+ε其中，Y表示因变量，X1、X2、..、Xn表示自变量，β0、β1、β2、..、βn表示模型的回归系数，ε表示误差项。
为了估计模型参数，需要使用拟合准则，通常使用最小二乘法来拟合多元线性回归模型。
最小二乘法的目标是最小化残差平方和，即最小化观测值与预测值之间的差异。
计算多元线性回归模型的步骤如下：1.收集数据：收集因变量和自变量的数据，确保数据的质量和准确性。
2.确定模型：根据研究目的和领域知识，选择自变量和因变量之间的关系。
3.拟合模型：使用最小二乘法估计模型的回归系数。
通过求解正规方程组或优化算法，得到回归系数的估计值。
4.模型评估：通过拟合优度、均方根误差等指标评估模型的拟合程度和预测能力。
5.参数显著性检验：使用t检验或F检验检验模型的回归系数是否显著不为零。
6.模型解释和预测：根据模型的回归系数和预测值，解释因变量与自变量之间的关系，并进行预测。
在实际应用中，多元线性回归模型可以用于各种研究领域的预测和解释。
例如，在经济学中，可以使用多元线性回归模型来解释产品价格受供需关系、成本、市场竞争等因素的影响。
在医学研究中，可以使用多元线性回归模型来预测患者疾病风险受年龄、性别、生活方式等因素的影响。
为了提高多元线性回归模型的准确性和可靠性，在模型构建过程中需要关注数据的预处理、变量选择、非线性关系的建模等问题。
此外，还可以使用交叉验证、岭回归、Lasso回归等方法来优化模型的拟合和预测能力。
综上所述，多元线性回归是一种常用的统计模型，可以用于解释多个自变量与因变量之间的关系。
通过估计模型的回归系数，可以根据自变量的取值预测因变量的值，并进行因素的解释和分析。
在实际应用中，需要注意模型的评估和改进，以提高模型的拟合和预测能力。
多元线性回归模型：估计及t检验
多元线性回归：估计方法及回归系数显著性检验线性回归模型的基本假设:i ki k i i i u x x x y +++++=ββββΛ22110 i = 1 , 2 , … , n在普通最小二乘法中，为保证参数估计量具有良好的性质，通常对模型提出若干基本假设：1．解释变量间不完全相关；2．随机误差项具有0均值和同方差。
即:0)(=i u E , 2)(σ=i u Var i = 1 , 2 , … , n 3．不同时点的随机误差项互不相关（序列不相关），即0),(=-s i i u u Cov s ≠ 0, i = 1 , 2 , … , n4．随机误差项与解释变量之间互不相关。
即0),(=i ji u x Cov j = 1 , 2 , … , k , i = 1 , 2 , … , n5．随机误差项服从0均值、同方差的正态分布。
即i u ~ ),0(2σN i = 1 , 2 , … , n当模型满足假设1 ~ 4时，将回归模型称为“标准回归模型”，当模型满足假设1 ~ 5时，将回归模型称为“标准正态回归模型”。
如果实际模型满足不了这些假设，普通最小二乘法就不再适用，而要发展其他方法来估计模型。
广义（加权）最小二乘估计（generalized least squares ）当假设2和3不满足时，即随机扰动项存在异方差22)(ii i u E σ=，i = 1 , 2 , … , n ，且随机扰动项序列相关j i u u Cov ij j i ≠=,),(σ， i = 1 , 2 , … , n ，j=1 , 2 , … , n ，此时OLS 估计仍然是无偏且一致的，但不是有效估计。
线性回归的矩阵表示：y = X β + u （1）则上述两个条件等价为：Var(u )== ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛nn T T n n σσσσσσσσσ..............212222111211 ≠ σ 2 I 对于正定矩阵存在矩阵M ，使得 1''-=⇒=M ΩM I M M Ω。
多元线性回归模型及其参数估计多元线性回归的显著性PPT共48页
统计软件自动给出各回归系数的上下限
七、例2.1 年份 消费 收入 人口 已知某地区的相关数据如右表所示， 1994 9 13.1 48.2
试求该回归方程。 解：使用EviBˆ
整理得正规方程组
n
n
n
nˆ0 ˆ1 xi1 ˆk xik yi
n
i1 n
i1
i1
n
n
ˆ0
i1
xi1
ˆ1
i1
xi21
ˆk
i1
xi1xik
i1
xi1 yi
n
n
n
n
ˆ0 i1 xik ˆ1 i1 xikxi1 ˆk i1 xi2k i1 xik yi
多元线性回归模型及其参 数估计多元线性回归的显
著性
自信是向成功迈出的第一步
第二章 多重回归分析法
2.1 多元线性回归模型及其参数估计 2.2 多元线性回归的显著性检验 2.3 利用多元线性回归方程进行预测 2.4 解释变量的选择 2.5 多重共线性 2.6 预测实例
预测模型
y ˆ ˆ0 ˆ 1 x 1 i ˆ2 x 2 i ˆk x k i
R2 1SSE nk1 SST n1
其中n-k-1为残差平方和的自由度，n-1为总离差平方 和的自由度。显然，如果增加的解释变量没有解释能 力，则对残差平方和的减少没有多大帮助，却增加待 估参数的个数，从而使 R 2 有较大幅度的下降。
2.修正判定系数 R的计算
R21(1R2) n1 nk1
注： （1）如果k=0，则 R R2 （2）如果k>0，则 RR （3）R 2 有可能为负值。
(完整版)多元线性回归模型公式
二、多元线性回归模型在多要素的地理环境系统中，多个(多于两个）要素之间也存在着相互影响、相互关联的情况。
因此，多元地理回归模型更带有普遍性的意义。
（一）多元线性回归模型的建立假设某一因变量y 受k 个自变量k x x x ,...,,21的影响，其n 组观测值为（ka a a a x x x y ,...,,,21）,n a ,...,2,1=。
那么，多元线性回归模型的结构形式为：a ka k a a a x x x y εββββ+++++=...22110（3。
2。
11)式中:k βββ,...,1,0为待定参数； a ε为随机变量。
如果k b b b ,...,,10分别为k ββββ...,,,210的拟合值，则回归方程为ŷ=k k x b x b x b b ++++...22110（3。
2.12)式中:0b 为常数；k b b b ,...,,21称为偏回归系数。
偏回归系数i b （k i ,...,2,1=）的意义是，当其他自变量j x （i j ≠）都固定时,自变量i x 每变化一个单位而使因变量y 平均改变的数值。
根据最小二乘法原理，i β（k i ,...,2,1,0=）的估计值i b （k i ,...,2,1,0=）应该使()[]min (2)12211012→++++-=⎪⎭⎫⎝⎛-=∑∑==∧n a ka k a a a na a a xb x b x b b y y y Q （3。
2.13)有求极值的必要条件得⎪⎪⎩⎪⎪⎨⎧==⎪⎭⎫ ⎝⎛--=∂∂=⎪⎭⎫⎝⎛--=∂∂∑∑=∧=∧n a ja a a jn a a a k j x y y b Q y y b Q 110),...,2,1(0202（3.2.14） 将方程组(3。
2.14）式展开整理后得： ⎪⎪⎪⎪⎪⎩⎪⎪⎪⎪⎪⎨⎧=++++=++++=++++=++++∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑===================na a ka k n a ka n a ka a n a ka a n a ka n a aa k n a ka a n a a n a a a na a na aa k n a ka a n a a a n a a n a a na ak n a ka n a a n a a y x b x b x x b x x b x y x b x x b x b x x b x yx b x x b x x b x b x y b x b x b x nb 11221211101121221221121012111121211121011112121110)(...)()()(...)(...)()()()(...)()()()(...)()( （3.2。
第八章：多元线性回归模型-PPT精选文档
表示： 各变量 X值固定（即给定）时 Y的平均响 应（即均值）。
j也被称为偏回归系数，表示在其他解释变
量保持不变的情况下，X j每变化1个单位时，Y的 均值E(Y)的变化; 或者说j给出了X j的单位变化对Y均值的 “直接”或“净”（不含其他变量）影响。
用来估计总体回归函数的样本回归函数为：
§3.2 多元线性回归模型的估计
一、普通最小二乘估计
*二、最大或然估计(Maximum Likelihood) *三、矩估计（Moment Method)
四、参数估计量的性质
* 五样本容量问题
六、估计实例
说 明
（注：参数有两类：结构参数和分布参数，分布参数是 指随机误差项的均值和方差） 估计方法： 3大类方法：OLS、ML或者MM – – 在经典模型中多应用OLS 在非经典模型中多应用ML或者MM
ˆ ˆ ˆ ˆ ˆ Y X X X i 0 1 1 i 2 2 i ki ki
ˆ ˆ ˆ ˆ X X X e 其随机表示式: Y i 0 1 1 i 2 2 i ki ki i
ei称为残差或剩余项(residuals)，可看成是 总体回归模型中随机扰动项i的近似替代。
n
Q
ˆ ˆ ˆ ˆ ( Y ( X X X )) i 0 1 1 i 2 2 i k k i
i 1
n
2
• 于是得到关于待估参数估计值的正规方程组：
ˆ ˆ X ˆ X ˆ X ) SY S( 0 1 1i 2 2i k ki i ˆ ˆ X ˆ X ˆ X ) X SY X S( 0 1 1i 2 2i k ki 1i i 1i ˆ ˆ X ˆ X ˆ X ) X SY X S( 0 1 1i 2i 2i k ki 2i i 2i ˆ ˆ X ˆ X ˆ X ) X SY X S( 0 1 1i 2 2i k ki ki i ki
4第三章多元线性回归模型分析(二)PPT课件
ˆ
2
1 n
n
ei2
i1
这个估计量表面上好象是 2 的一个十分自然的估计量，
但是需要注意到，最小二乘残差并不是母体残差完整的
估计量，这是因为 ei yi xib i xi (b ) ，由于 是未知的，
因此这个估计量可能被扭曲了。
▪ 这说明，所猜想的方差估计量不行，而要寻 找2的无偏估计。
现在假设矩阵 D C (XX)1 X ，则有： Dy b0 b ，因此：
Var[ b0 | X] 2[(D (XX)1 X)][( D (XX)1 X)]
因为 CX I [D (XX)1 X]X ，则有： DX 0 ，因此有：
Var[ b0 | X] 2 (XX) 1 2 DD
其中：
tr(M) tr[In X(XX)1 X] tr(In ) tr[X(XX)1 X] n tr[XX(XX)1] n K
因此，
E[ee | X] (n K) 2
由此可知，上述猜想的方差的“自然估计”ˆ 2 是一个有偏估计，
虽然其偏异随着样本容量增加趋于零。根据上述期望的计算， 可以得到方差参数的无偏估计为：
量未解释的那部分离差的大小。
定理 残差平方和分解定理 对于包含常数项的线性回归模型而言，下述平方和分解公式成立：
SST SSR SSE
这说明整个“离差平方和”等于“回归平方和”加上“残差平方和”。
证明：根据矩阵 M0 的定义，则有： SST (M0y)(M0y) yM0y 其中 y Xb e ，代入得到：
假设X中包含常数项(所有列都是1)和一个回归变量x，
1
则
X
1 1
x1
x2
xn
n2
X X
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
二、方程的显著性检验(F检验)
方程的显著性检验，旨在对模型中被解释变 量与解释变量之间的线性关系在总体上是否显著 成立作出推断。
1、方程显著性的F检验
即检验模型
Yi=0+1X1i+2X2i+ +kXki+i
中的参数j是否显著不为0。
i=1,2, ,n
可提出如下原假设与备择假设： H0： 0=1=2= =k=0 H1： j不全为0
普通最小二乘估计具有： 线性性、无偏性、有效性。
-------也就是满足高斯-马尔柯夫定理
三、样本容量问题
⒈ 最小样本容量 所谓“最小样本容量”，即从最小二乘原理 和最大或然原理出发，欲得到参数估计量，不管 其质量如何，所要求的样本容量的下限。
样本最小容量必须不少于模型中解释变量 的数目（包括常数项）,即
R2 ESS1RSS TSS TSS
该统计量越接近于1，模型的拟合优度越高。 问题：在应用过程中发现，如果在模型中增
加一个解释变量， R2往往增大（Why?)
这就给人一个错觉：要使得模型拟合得好， 只要增加解释变量即可。—— 但是，现实情况 往往好坏无关，R2需调整。
*2、赤池信息准则和施瓦茨准则
为了比较所含解释变量个数不同的多元 回归模型的拟合优度，常用的标准还有:
赤池信息准则（Akaike information criterion, AIC）
AIC lnee2(k1) nn
施瓦茨准则（Schwarz criterion，SC）
AClneeklnn nn
这两准则均要求仅当所增加的解释变量能够 减少AIC值或AC值时才在原模型中增加该解释变 量。
F F(k,n-k-1) 或 F≤F(k,n-k-1) 来拒绝或接受原假设H0，以判定原方程总体上 的线性关系是否显著成立。
对于中国居民人均消费支出的例子：
一元模型：F=285.92
二元模型：F=2057.3 给定显著性水平 =0.05，查分布表，得到临界 值：
n ≥ k+1
2、满足基本要求的样本容量
• 从统计检验的角度： n-k≥8时, t分布较为稳定
• 一般经验认为: 当n≥30或者至少n≥3(k+1)时，才能说满足模
型估计的基本要求。
• 模型的良好性质只有在大样本下才能得到理
论上的证明
§3.3 多元线性回归模型的统计检验
一、拟合优度检验 二、方程的显著性检验(F检验) 三、变量的显著性检验（t检验） 四、参数的置信区间
Yi Yi X1i Yi X2i
(ˆ0 ˆ1X1i ˆ2X2i ˆkXki)Xki YiXki
解该（k+1）个方程组成的线性代数方程组，即
可得到(k+1) 个待估参数的估计值
$ j
,
j
0,1,2,,
k
。
⃟随机误差项的方差的无偏估计
可以证明，随机误差项的方差的无偏估
计量为：
二、参数估计量的性质
在满足基本假设的情况下，其结构参数的
调整的判定系数（adjusted coefficient of determination）
在样本容量一定的情况下，增加解释变量必 定使得自由度减少，所以调整的思路是:将残差平 方和与总离差平方和分别除以各自的自由度，以 剔除变量个数对拟合优度的影响:
R2 1RS/S(nk1) TS/S(n1)
其中：n-k-1为残差平方和的自由度，n-1为总 体平方和的自由度。
一、拟合优度检验
1、判定系数与调整的判定系数 总离差平方和的分解
则 TSS(Yi Y)2
(Y (i Yˆi)(Yˆi Y))2 (Yi Yˆi)22(Yi Yˆi)Y (ˆi Y)(Yˆi Y)2
由于: ( Y i Y ˆ )Y ˆ i( Y )e i( Y ˆ i Y )
ˆ 0e i ˆ 1e i X 1 i ˆ ke i X k Y i e i
• 对于随机抽取的n组观测值 ( Y i,X j) ii ,1 ,2 , ,n ,j 0 ,1 ,2 , k
如果样本函数的参数估计值已经得到，则有：
Y ˆ i ˆ 0 ˆ 1 X 1 i ˆ 2 X 2 i ˆ k X i Ki i=1,2…n
• 根据最 小二乘原 理，参数 估计值应
该是右列
=0
所以有：
T S ( Y i S Y ˆ i) 2 ( Y ˆ i Y ) 2 R E SS SS
注意：一个有趣的现象
Yi Y Yi Yˆi Yˆi Y Yi Y2 Yi Yˆi 2 Yˆi Y2 Yi Y2 Yi Yˆi 2 Yˆi Y2
判定系数
F检验的思想来自于总离差平方和的分解式： TSS=ESS+RSS
由 于 回 归 平 方 和 ESSyˆi2是 解 释 变 量 X的 联 合 体 对 被 解
释 变 量Y的 线 性 作 用 的 结 果 ， 考 虑 比 值
ES/R SSS yˆi2 ei2
如果这个比值较大，则X的联合体对Y的解 释程度高，可认为总体存在线性关系，反之总体 上可能不存在线性关系。
因此,可通过该比值的大小对总体线性关系 进行推断。
根据数理统计学中的知识，在原假设H0成 立的条件下，统计量 （注：这里的k是在回归元的个
数而不是变量的个数，要注意k的具体含义）
F ES/Sk RS/S(nk1)
服从自由度为(k , n-k-1)的F分布。
给定显著性水平，可得到临界值F(k,n-k1)，由样本求出统计量F的数值，通过
假设3，解释变量与随机项不相关
Co (X vji,i)0 j1,2 ,k
假设4，随机项满足正态分布
i ~N(0,2)
§3.2 多元线性回归模型的估计
一、普通最小二乘估计 二、参数估计量的性质 三、样本容量问题 四、估计实例
说明
估计方法：OLS（普通最小二乘法）
一、普通最小二乘估计
方程组的 解
ˆ 0
Q
0
ˆ 1
Q
0
ˆ 2
Q
0
ˆ k
Q
0
n
n
其
Q ei2 (Yi Yˆi)2
i1
i1
中n
2
(Y i(ˆ0ˆ1X 1iˆ2X 2i ˆkX k)i )
i 1
• 于是得到关于待估参数估计值的正规方程组：
((ˆˆ00(ˆ0ˆˆ11XX1ˆ1i1iX1ˆiˆ22iXXˆ222iiX2 i ˆˆkkXXˆkkkii))XXXki12)ii