(整理)数据分析总结

回归分析

1线性回归模型：

Y 为随机变量（可观测），受p-1个因素X1，X2，…X p-1的影响。随机误差ε的均值为0，方差δ2>0（即正态分布ε~N（0，δ2）），不可观测。

Y=Xβ+ε X为设计矩阵，且rank(X)=p；ε为误差项。

前提条件：ε的平方和尽量小：∑εi2=εTε=（Y-Xβ）T（Y-Xβ）偏导为0。

求得正规方程X T Xβ=X T Y

得到β的最小二乘估计值β^=(X T X)-1X T Y,易知E（β^）=β

拟合值Y^=Xβ^

残差向量e=Y-Y^=(I-H)Y

标准化残差（在0-1间取值）e i/

残差平方和e T e=εT(I-H) ε期望E（e T e）=δ2（n-p）

δ2的无偏估计δ^2= e T e/（n-p）

2线性回归方程的使用

2.1前提条件：

回归关系的显著性检验：

检验统计量F=MSR/MSE

F0≤Fα（p-1,n-p）,接受H0；则拒绝H0，认为y与x线性相关。其中α为显著性

水平，可以取0.8.

若检验P值，则P≤0.0001，线性相关。

2.2剔除对y影响小的X i

由Cov（β^）==δ2(X T X)-1

得S（β^）=δ^2(X T X)-1

t=k=0,1,…，p-1

其中为S（β^）在主对角线上的第k个元素的平方和。

若|t0|≤t a/2(n-p)，接受H0；否则拒绝，X i有交大影响。其中1-α为置信区间，一般取0.95.

2.3逐步回归法

用于一个个筛选自变量X i，直至得到所有对y有显著影响的X i。因为预报值的方差会随着自变量数目的增加而增大，且计算量大。

偏F检验统计量：F=A为现有自变量x集合

SSR(X k|A)=SSE(A)-SSE(A,X k) 为额外回归平方和，描述了引入一个X k到A中后，SSE

的相对减小量。

步骤：

1)先选取显著性水平αE（选取自变量），αD（剔除自变量）。（默认均为0.15）

2)假设每个X k自成一个A，分别计算它们的 k=1,2,…,P-1

找到最大的F，若F k1>FαE（1，n-1-1），(n后第一个1是A中元素个数)接受自

变量，对应X就是A中的第一个元素。

3)其余p-2个元素在现有A基础上计算）

找到最大值，若F k2>FαE（1，n-2-1），接受自变量。

判断是否剔除X k1:

）（即把X

k2放入A，看此时加入X k1时。F增大还是减小）。若≤FαD（1，n-2-1），则剔除X k1,否则保留。

4)接下来对其余p-3个元素计算，取最大值比较F k3>FαE（1，n-3-1），判

断是否接受X k3。

分别从A中取出X k1,X k2,计算F(2)，判断是否剔除X k1,X k2.

5)软件会自动标准化，转化成P值，可以直接与α比较

主成分分析

1原理

变量间有一定的相关性，即信息有重叠。主成分之间线性无关，没有重叠。原变量重新进行正交分解，分解到各个主成分上。这些主成分就是新的变量，它们互不相关，便于单独

分析每个变量对y 的影响。

设线性组合：Y =l T X l=(l ij )p*p

其中Y 为p 个主成分组成的向量，两位p 个常数向量组成的矩阵，X 为p 个原始变量组成的向量。

Y 构成主成分的条件是：Var(Y i ) = 达到最大(该值表示了Y 反映的X 的信息量，

离散程度越大，说明Y 随X 变化越剧烈，说明越能反映X)

Cov(Y i , Y j ) = =0 （说明Y i , Y j 不相关） i ≠j

i=1,2,….,p

2

总体主成分求法

2.1 求标准化的l (即 =1)

已知Σ是X 的协方差矩阵。

求得其特征值为λ1≥λ2≥…λp ≥0，对应的单位正交特征向量为e 1 ,e 2 ,…，e p

可证明：Var(Y i ) = =λi

=λi

Cov(Y i , Y j ) = =0 则Y i = i=1,2,….,p 即l=e

2.2 求标准化变量的主成分

由于X 的量纲不同，各变量的分散程度差异可能很大，用∑求主成分会优先照顾方差大的变量，这时主成分Y 的贡献率和和其与各X i 的相关系数都会有偏差。所以先将原始变量标准化，使其在0~1之间。 步骤：

1) 令

i=1,2,…,p

其中μi=E(X i ), =Var(X i )

2) 此时X *的协方差矩阵便是X 的相关矩阵ρ=（ρij ）p*p ,其中 ρij =E （ ）=Cov(X i , X j )/ 3) =( X * 4) 此时

=p

2.3

评估主成分

2.3.1 主成分的协方差矩阵和总方差：

Cov(Y )=Cov(P T X )=P T ∑P =Diag(λ1,……,λp ) 其中P =( e 1 ,e 2 ,…，e p )

=

即主成分分析是把p 个原始变量X 1，X 2,……X p 的总方差分解成p 个不相关变量Y 1,Y 2，……Yp 的方差之和。 2.3.2 评估参数：

贡献率：λ

λ

描述了第k 个主成分提取的信息占总信息的份额。

累计贡献率: λ

λ

前m 个Y 的贡献率之和。

通常选择m

Y i，X j的相关系数：ρYi，Xj ==λ

它给出了主成分Y i与原

λ

始变量X j的关联性的度量。

3样本主成分求法

在实际问题中，∑（或ρ）未知，需要通过样本估计。

样本协方差矩阵：S=（s ij）p*p= 作为对∑的估计。

R= （r ij）p*p =作为对ρ的估计。

标准化的=(，，……，)T i=1,2,……,n

因子分析

1原理

1.1适用范围

因子分析是主成分分析的推广，是多元分析中降维的一种方法。它研究相关矩阵ρ或协方差矩阵∑的内部依赖关系。

主成分分析是探索性因子分析，而因子分析是验证性因子分析。首先要构建模型，先确定公共因子，可通过参数估计确定。

1.2因子分析模型：

多个变量综合成少数因子，用因子表达原始变量（这点与主成分刚好相反，主成分是用原始变量表达主成分）。

x=AF+ε

其中，x=(x1,x2,…，x p)T 为原始变量；

F=(F1,F2,…,F m)T为公共因子；

A为一个m行p列的矩阵，为载荷矩阵，其中元素为因子载荷；

ε为变量x的特殊因子。

1.3正交因子模型：

X-μ=AF+ε

其中，X有：E(X)=μ,Cov(X)=∑

F满足：E（F）=0，Cov（F）=I m (即F的各分量方差为1，且互不相关)

ε与F互不相关，且满足：E（ε）=0，Cov（ε）=diag（，，）

易证：∑= Cov(X)=E[(X-μ)(X-μ)T]

=E[(AF+ε)( AF+ε)T]=A Cov(F)A T+Cov(ε)

=AA T+D

Cov(X,F)=[(X-E(X))(F-E(F))T]

=E[(X-μ)F T]=A E（FF T）+E(εF T)

=A （3-2）

2变量标准化（使得X*的协方差= X的相关矩阵R）

i=1,2,……，p

则有R=AA T+D

3参数评估

3.1因子载荷a ij

a ij=Cov(X i,F j)

对于标准化X*,a ij=ρij

反映X i与F j之间的相关性

3.2共同度

即载荷矩阵各行元素平方和

反映X i对所有公共因子F的共同依赖程度。当h2=1时，表示X i完全能够由公共因子线性组合表示。

3.3X i的方差δii

=i=1,2,……,p

ii

为公因子方差，剩余方差（由特殊因子εi产生）。

3.4公共因子的方差贡献

j=1,2,……,m

表示F j对各个变量X的方差贡献和，衡量F j的重要性。

4参数估计方法（因子分析步骤）

常用的有主成分法，主因子法，极大似然发。主成分法前面已经介绍过，不再赘述。

4.1主因子法

1)已知：特殊方差初始估计值（）2，算得（）2。

2)由2已知，R=AA T+D

则设R*=R-D= AA T 约相关矩阵

（）2就是R*主对角线上的元素。得到R*。

3)计算R*的特征值的单位正交特征向量。取前m个作为近似值。

则A=（）

4)令,则A和D*=diag（）为因子模型的一个解。

5)迭代主因子法：将当做初始估计值。

4.2正交旋转

目的：因为初步计算出的因子模型很难理解实际意义，旋转变换后，各因子载荷矩阵的每一列元素分散性增大。

聚类分析

1原理

1.1适用范围：

研究分类问题的多元数据分析方法。可以按样品聚类Q，也可以按变量聚类R。

1.2基本思想：

在样品之间定义距离，变量之间定义相似系数。距离或相似系数代表样品或变量之间的相似程度。按相似程度的大小，将样品归类。

判别分析是总体类型划分已知，聚类分析是总体类型不知道。

1.3参量定义:

1.3.1样品间距离

x i=(xi1,x i2,…,x ip)T可以看成p元空间里的一点。

1)欧氏距离

d（x i，x j）=

距离矩阵D=（d ij）p*p

2)方差加权距离

d（x i，x j）=

实际上就是先将数据标准化，再求欧氏距离

1.3.2变量间相似系数

1)相关系数

先求得x的协方差矩阵S。

则与相关系数

2)夹角余弦

与夹角余弦

e.g.如对于二态变量

1.3.3距离和相似系数的转化

C ij=1/(1+d ij)

2方法：谱系聚类法

2.1原理背景

1)适用于Q型聚类（样品聚类）。

原理是先将样品聚成小类，确定重心。再将小类聚成大类，确定新的距离。

2)类Gp的重心：

3)各类距离：最短距离D pq=min d ij

最长距离D pq=max d ij

类平均距离D pq=

重心距离两个类的重心G p和G q的距离

离差平方和距离（（

4)类间距离类推：已知Dp和Dq组成了Dr,Dk是不同于Dr的一个类。用D pk和D qk

表示出D rk。

最短距离D rk=min{D pk,D qk}

类平均距离Drk=n p/n r D pk+ n q/n r D qk

重心距离

离差平方和距离

2.2步骤

1)n个样品作为n类，计算两两间欧式距离，构成对称距离矩阵D(0)（主对角线

全为0）。

2)选择非0最小元素Dpq,将Gp和Gq合成一类Gr，计算Gr和其它各类的距离。

在矩阵D（0）中消去Gp和Gq所对应的行列，加入Gr对应的行列。得到新矩阵

D（1）。

3)重复上述步骤，直到n个样品聚为一类

卡方检验

1卡方检验的类型

1.1 四格表资料的卡方检验

四格表资料的卡方检验用于进行两个率或两个构成比的比较。

1）专用公式：

若四格表资料四个格子的频数分别为a，b，c，d，则四格表资料卡方检验的卡方值=(ad?bc)2 * n/(a+b)(c+d)(a+c)(b+d)，自由度v=(行数-1)(列数-1)

2)应用条件：

要求样本含量应大于40且每个格子中的理论频数不应小于5。当样本含量大于40但理论频数有小于5的情况时卡方值需要校正，当样本含量小于40时只能用确切概率法计算概率。

1.2 行X列表资料的卡方检验

行X列表资料的卡方检验用于多个率或多个构成比的比较。

1）专用公式：

r行c列表资料卡方检验的卡方值=

2)应用条件：

要求每个格子中的理论频数T均大于5或1

1.3 列联表资料的卡方检验

同一组对象，观察每一个个体对两种分类方法的表现，结果构成双向交叉排列的统计表就是列联表。

1）R*C 列联表的卡方检验：

R*C 列联表的卡方检验用于R*C列联表的相关分析，卡方值的计算和检验过程与行X 列表资料的卡方检验相同。

2）2*2列联表的卡方检验：

2*2列联表的卡方检验又称配对记数资料或配对四格表资料的卡方检验，根据卡方值计算公式的不同，可以达到不同的目的。当用一般四格表的卡方检验计算时，卡方值

=(ad-bc)2n/(a+b)(c+d)(a+c)(b+d)，此时用于进行配对四格表的相关分析，如考察两种检验方法的结果有无关系；当卡方值=( | b?c| ? 1)2/(b+c)时，此时卡方检验用来进行四格表的差异检验，如考察两种检验方法的检出率有无差别。

列联表卡方检验应用中的注意事项同R*C表的卡方检验相同。

2卡方检验应用实例

2.1 应用实例——适合度检验

实际执行多项式试验而得到的观察次数，与虚无假设的期望次数相比较，称为卡方适度检验，即在于检验二者接近的程度，利用样本数据以检验总体分布是否为某一特定分布的统计方法。这里以掷骰子为例介绍适度检验的方法。

【例1：】

(1)假设掷一骰子120次，各点数共出现次数为a，b为各点数出现的期望值120x1/6=20，建立工作表文件，如图1所示。

(2)设置零假设Ho：观察分布等于期望分布。

(3)计算卡方检验统计量，如图2所示。

D2=(B2-C2)^2/C2

D_8=SUM(D2:D7)

(4)确定自由度，(6-1)×(2-1)=5；选择显著水平α=0.05。

(5)利用Excel提供的CHIINV函数求临界值，在D9单元格中键入“=CHIINV(0.05，5)，，按回车键，得临界值11.07。

(6)比较临界值和统计量，11.07>2.3，即临界值大于统计量，故差异不显著，接受Ho。

2.2

2.3 应用实例2——独立性检验

卡方独立性检验是用来检验两个属性间是否独立。一个变量作为行，另一个变量作为列。下面一例便是介绍卡方独立性检验的方法。

【例2：】某机构欲了解现在性别与收入是否有关，他们随机抽样500人，询问对此的看法，结果分为“有关、无关、不好说，，三种答案，图3中县调查得到的数据。

下面是利用Excel解决此问题的步骤。

(1)零假设Ho：性别与收入无关。

(2)确定自由度为(3-1)×(2-1)=2，选择显著水平α=0.05。

(3)求解男女对收入与性别相关不同看法的期望次数，这里采用所在行列的合计值的乘机除以总计值来计算每一个期望值，如图4所示，在单元格B9中键入“=B5*E3/E5”，同理(第一个等于号理解为在单元格中键入)：

B10=“=B5*E4/E5”，

C9=“=C5*E3/E5”，

C10=“=C5*E4/E5”，

D9=“=D5*E3/E5”，

D10=“=D5*E4/E5”。

(4)利用卡方统计量计算公式计算统计量，在单元格B15中键入“=(B3-B9)^2/B9”，其余单元格依次类推，结果如图5所示。

(5)利用Excel提供的CHIINV函数计算显著水平为0.05，自由度为2卡方分布的临界值，在Excel单元格中键入“=CHIINV(0.05,2)”按回车键，得临界值为5.9915。

(6)比较统计量度和临界值，统计量21.4675大于临界值5.9915，故拒绝零假设。

2.4 应用实例3——统一性检验

检验两个或两个以上总体的某一特性分布，也就是各“类别”的比例是否统一或相近，一般称为卡方统一性检验或者卡方同质性检验。下面一例便是利用卡方统一性检验的例子。

【倒3：】某咨询公司想了解南京和北京的市民对最低生活保障的满意程度是否相同。他们从南京抽出600居民，北京抽取600居民，每个居民对满意程度(非常满意、满意、不满意、非常不满意)任选一种，且只能选一种。将统计结果键入Excel工作表中，如图6所示。

下面是利用Excel解决此问题的步骤。

(1)零假设H0：南京和北京居民对最低生活保障满意程度的比例相同。

(2)确定自由度为(4-1)×(2-1)=3，选择显著水平α=0.05。

(3)求解卡方检验的l临界值，在Excel单元格中键入“=CHIINV(0.05，3)”，按回车键得临界值为7.81。

(4)计算北京和南京不同满意程度的期望值，在单元格Bll和Cll中分别键入

“=$B$7*D3/$D$7”和“=$C$7*D3/$D$7”，选中B11：Cll，按住C11右下角填充控制点，填充至C14。

(5)计算卡方统计量，在单元格B19中键入“=(B3-B11)^2/Bll”，其余单元格依次类推，结果如图7所示。

(6)比较统计量和临界值，统计量1.3875小于临界值7.81，故接受零假设。

参考文献

1. ↑孙志刚,杨聪.Excel在经济与数理统计中的应用.中国电力出版社,2004年01月第1版.

附录：

1.一个向量的平方和S（X）=X T X=∑x i2

2.一个量的方差：Var（X）=∑[x i – E(X)]2

3.协方差矩阵：

∑=(δij)p*p=

Cov（β^）=

4.样本协方差矩阵：

S=（s ij）p*p=

5.X的相关矩阵：ρ=（ρij）p*p ,其中

ρij=E（）=Cov(X i , X j)/

6.

7.