第6章--因子分析
第6章--因子分析
第六章因子分析
一、填空题
1.因子分析常用的两种类型为和。
2.因子分析是将具有错综复杂关系的变量(或样品)综合为数量较少的几个因子,以再现_____________与____________之间的相互关系。
3.因子分析就是通过寻找众多变量的来简化变量中存在的复杂关系的一种方法。
4.因子分析是把每个原始变量分解成两个部分即、。
5.变量共同度是指因子载荷矩阵中_______________________。
6.公共因子方差与特殊因子方差之和为_______。
7.求解因子载荷矩阵常用的方法有和。
8.常用的因子旋转方法有和。
9.Spss中因子分析采用命令过程。
10.变量
X的方差由两部分组成,一部分为,另一部分为。
i
二、判断题
1.在因子分析中,因子载荷阵不是唯一的。
()
2.因子载荷阵经过正交旋转后,各变量的共性方差和各个因子的贡献都发生了变化。
()
3.因子分析和主成分分析的核心思想都是降维。
()
4.因子分析有两大类,R型因子分析和Q型因子分析;其中R型因子分析是从变量的相似矩阵出发,而Q型因子分析是从样品的相关矩阵出发。
()5.特殊因子与公共因子之间是相互独立的。
()
6.变量共同度是因子载荷矩阵列元素的平方和。
()
7.公共因子的方差贡献是衡量公共因子相对重要性指标。
()
8.对因子载荷阵进行旋转的目的是使结构简化。
()
三、简答题
1.因子分析的基本思想是什么,它与主成分分析有什么区别和联系?
2.因子模型的矩阵形式ε+=X UF ,其中:
()
()
()
u F
F ij m
p P
m
U F
⨯='
='
=εεε,,,,1
1
ΛΛ
请解释式中F 、
ε、U 的统计意义。
3.因子旋转的意义何在?如何进行最大方差因子旋转? 4.因子分析主要应用在哪几个方面? 四、计算题
4.假设某地固定资产投资率1x , 通货膨胀率2x 和失业率3x 的约相关矩阵为:
⎥⎥⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢
⎢⎢⎣⎡----=525
25
152********
51*
R 并且已知该相关矩阵的各特征根和相应的非零特征根的单位特征向量分别为: 9123.01=λ ()'-=657.0657.0369
.01α 0877.02=λ ()'-=261.0261
.0929.02α
03=λ
要求求解因子分析模型,计算各变量的共同度和各公共因子的方差贡献并解释它们的统计意义。
2.设变量x 1,x 2和x 3已标准化,其样本相关系数矩阵为:
⎥⎥
⎥⎦
⎤⎢⎢⎢⎣⎡=135.045.035.0163.045.063.01
R (1)对变量进行因子分析。
(2)取q=2进行正交因子旋转。
3.已知我国某年各地区的国有及非国有规模以上的工业企业经济效益资料,现做因子分析,结果如下,请说明每一个输出结果的含义及目的,并回答以下问题:
(1)什么是方差贡献率? 计算方差贡献率的目的何在?
(2)如何利用因子分析结果进行综合评价?结合本例写出计算综合评价结果的公式。
表1
表2
表3
表4
表5
五、操作题
1.10名初中男生身高、胸围、体重的数据资料如下:
身高x
1(cm) 胸围x
2
(cm) 体重x
3
(kg)
149.5 162.5 162.7 162.2 156.5 156.1 172.0 173.2 159.5 157.7 69.5
77.0
78.5
87.5
74.5
74.5
76.5
81.5
74.5
79.0
38.5
55.5
50.8
65.5
49.0
45.5
51.0
59.5
43.5
53.5
(2)分别计算各变量的公共因子方差和特殊因子方差,判断哪个因子能概括原始信息的大部分,为什么?
(3)写出方差最大正交旋转因子模型,并分析各因子的实际含义
(4)计算各个样本点的因子得分
2.对某市15个大中型工业企业进行经济效益分析,经研究确定,从有关经济效益指标中选取7个指标作分析,即固定资产产值率(X1),固定资产利税率(X2),资金利润率(X3),资金利税率(X4),流动资金周转天数(X5),销售收入利税率(X6)和全员劳动生产率(X7)。
数据资料如下:
企业及编号固定资产
率X1 固定资产
利税率
资金利润
率(X3)
资金利税
率(X4)
流动资金
周转天数
销售收入利
税率(X6)
全员劳动生
产率(X7)
第一、对数据资料进行主成分分析:
(1)前两个最大特征根为_____________、______________,其对应的特征向量为__________________________________,_____________________________。
(2)第一主成分的表达式为_________________________________________ ___,该主成分包含了原始信息的_______%,第二主成分的表达式为_________________________________________,该主成分的方差贡献率为_______。
(3)如果舍弃第二主成分,则哪个原始变量的损失信息最大:_______
(4)第一个主成分与第二个变量间的相关系数为_____________
(5)第一个主成分主要反映盈利能力,现对第一主成分计算得分为_________________________________________________________________,对得分进行排序(降序),各企业的得分排名顺序依次为:_________________ __________________________(依企业顺序写出排名)。
若利用第一、二主成分构造综合评价函数,则两主成分的权数分别为_________、_________。
第二、对原数据资料进行因子分析:
(6)利用主成分法求解因子载荷,现提取两个因子进行分析,因子模型表示为:
(7)前三个变量(X1,X2,X3)的公共因子方差为___________、_____________、____________,特殊因子方差为________、___________、_____________。
(8)对以上模型进行方差最大正交旋转,得出旋转后的因子载荷矩阵为:。
06 第六章 R-Q型因子分析
X = nW
于是有
(6.24)
F=
nWU
∧−1 2
=
nF R
∧−1 2
即
(6.24)
FR =
1
F
∧−1 2
n
(6.25)
其中各记号同前文一致。 现在用图 4-9 中汇水盆地的样本为例说明R-Q型因子分析的计算与应用。由样本中 25
个样品 6 个变量作R型因子分析后得因子负载矩阵A于表 5-2。它就是R-Q型因子分析中要求 的R型负载AR。表 5-2 对应的R型因子得分矩阵F列表 5-3,由(6.25)式可求得R-Q型因子分 析中要求的Q型的负载AQ=FR,所得结果列于表 6-1。
三、R-Q 型因子分析的图示
矩阵AR和AQ都是p列的,这意味着m维变量空间和n维样品空间样品都可用一p维因子空
3
间代替,因为p<<min(n,m),故原始空间维数约简了许多。 由于下面的关系成立
AR ARΤ = W ΤW
AQ AQΤ = WW Τ
可见,变量间关系完全保留在ARARΤ中,样品间关系完全保留在AQAQΤ中。
一、R-Q 型因子分析的相似性矩阵
我们考虑用相关系数作为变量间相似性的度量,用欧氏距离作为样品间的相似性度量,并
以此建立起变量间相似性矩阵与样品间相似性矩阵的联系。设原始数据矩阵为如下的形式:
Xn×m=(xij)n×m 其中xij为样品i变量j的观测值;并对数据作如下变换,即类似与标准化变换:
(6.1)
n
j =1
j =1
∑ (xij − x j )2
i =1
(6.8)
∑m
=
(xkj − xLj ) 2
n
= hkk + hLL − 2hkL
第六章 因子分析
因此:因子也是综合变量;因子具有更 明确的指标意义;具有不同意义的因子 便于揭示事物变化的内在结构;提取少 量重要因子可以达到降维和简化分析的 作用。
(二)因子分析的一般模型:
令因子为 F(factor),当我们研究 m 个因子对实 际问题的影响时可以建立因子模型,即
X i ai1F1 ai 2 F2 aim Fm + i 。 其中的 F 是对所有
(三)基本思想:
基于对因子的认识,因子分析的基本思想就是通过变 量(或样品)的相关系数矩阵(或相似系数矩阵)内 部结构的研究,找出能控制所有变量(或样品)的少 数几个随机变量去描述多个变量(或样品)之间的相 关(或)相似关系。在分解原始变量的基础上,从中 归纳出潜在的“类别”,相关性较强的变量归为一类, 不同类间变量的相关性则较低。从而实现因子分析的 两个目的:一简化分析,二将原变量分类,对公因子 的意义作出合理可信的解释。
而进行因子分析的起点就是因子模型,我们通 过估计因子模型中的参数即因子负荷和方差对 各因子的重要程度进行衡量,并利用因子负荷 矩阵所体现的各变量或样品之间的相关程度提 取出具有明确意义的公因子F,赋予其有实际 背景的解释进而给以命名,从而达到降维和分 类的目的。
三、因子分析的数学原理。
因R型因子分析应用广泛,故本章的解释均是 以R型因子分析为对象。 (一)正交因子模型: 因子分析的一般模型为:
X 1 a11F1 a12 F2 a1m Fm 1 X 2 a21F1 a22 F2 a2 m Fm 2 X p a p1F1 a p 2 F2 a pm Fm p
i
可将上式写成简单的矩阵形式
第六章 温度因子分析
不同生态系统生产力
化,形成与此相应的植物发育节律,称为物候。 • 植物发芽、生长、现蕾、开花、结实、落叶、 休
眠等生长发育阶段的开始和结束称为物候期。 • 植物物候具有稳定性,可以用来指导林业生产。
影响物候的因素
• 纬度、经度和海拔 • 霍普金斯通过研究发现: • 在北美洲温带,每向北移动纬度1度,或向
东移动经度5度,或海拔上升124m,植物 在春天和初夏 物候会延迟4天。这一规律称 为霍普金斯定律。 • 南京和北京,纬度相差6度,桃、李开花 间 差19天;但到4、5月间,两地物候相差9天。
二、关于温度的一些生态概念
• (一)三基点温度 • 最适温度:生物生长发育或生理活动得以
正常进行的温度范围。 • 最低温度和最高温度:植物生长发育和生
理活动的低温和高温限度。 • 合称为三基点温度。
• (二)积温: 积温既能说明某一地区的热 量条件,又能说明生物各生长发育阶段或 整个生长期所需要的热量条件。
• *昼夜变温与种子萌发
•
有一些植物的种子在变温下萌发良好。
低温有利于增加氧在细胞中的溶解度;提
高透性。
• 昼夜变温与生长发育 • 较低的夜温和适宜的昼温对植物生长、开花、结
实和物质的贮藏有利。 • 云南松林:1000m 3/ha。 • 波密云杉林:2000m 3/ha。 • (二)物候 • 季节明显地区,植物适应于气候条件的节律性 变
因子分析及对应分析
2012-12-13 2012-12-13
5 5
在满足以上假定的条件下,就有:
cov( X i , X j ) E (ai F gi )(a j F g j ) ai a j var F ai a j
于是,有
cov( X i , X j ) cov( X i , X k )
aj ak
2012-12-13 2012-12-13
6 6
因为 a i 是一个常数,与 gi 相互独立且 F 与 X i 的方差均被假定为1。 F 于是有 1 ai2 var( gi )
因此,常数a i 的意义就在于其平方表示了公共因子F 解释X i 的方 2 差的比例,因此被称之为因子载荷,而 a i 被称作共同度。 对Spearman的例子进行推广,假定每一门科目的考试成绩都受 到 m个公共因子的影响及一个特殊因子的影响,于是上式就变 成了如下因子分析模型的一般形式:
x* a 1 1 f 1 a 1 2 f 2 a 1 p f p c 1 g 1 1 * x 2 a 2 1 f 1 a 2 2 f 2 a 2 p f p c 2 g2 x* a f a f a f c g , m1 1 m2 2 m p p m m m where E ( f j ) 0 , D( f j ) 1, E ( g i ) 0 , D( g i ) 1
X i ai 1 F1 ai 2 F2 aim Fm gi
2012-12-13 2012-12-13
7 7
X 式中, i为标准化后的第 i 门科目的考试成绩,均值为0,方差为 1。F1 , F2 , , Fm 是彼此独立的公共因子,都满足均值为0,方差 为1。gi为特殊因子,与每一个公共因子均不相关且均值为0。 则ai 1 , ai 2 , , aim 为对第 i 门科目考试成绩的因子载荷。对该模型, 有: 2 2 2
第6章 主成分分析
第6章主成分分析与因子分析6.1主成分分析数学模型当存在若干个随机变量时,寻求它们的少量线性组合(即主成分),用以解释这些随机 变量,是很必要的。
首先我们看一个例子。
例6.1 为了调查学生的身材状况,可以测量他们的身高(X1)、体重(X2)、胸围(X3)和坐高(X4)。
可是用这4个指标表达学生身材状况不方便。
但若用 y1=3.6356x1+3.3242x2+2.4770x3+2.1650x4表示学生身体魁梧程度;用y2=-3.9739x1+1.3582x2+3.7323x3-1.5729x4表示学生胖瘦程度。
则这两个指标(Y1,Y2)很好概括了4个指标(X1-X4)。
例6.1中,学生不同,身高(X1)、体重(X2)、胸围(X3)和坐高(X4)不同;X1,X2,X3,X4是4维随机向量;Y1,Y2是他们的2个线性组合,Y1,Y2能很好表示X1,X2,X3,X4的特性。
类似的问题在许多地方出现:可观测的随机变量很多,需要选出所有所有随机变量的少数线性组合,使之尽可能刻划全部随机变量的特性,选出的线性组合就是诸多变量的主成分,又称为主分量。
寻求随机向量主成分,并加以解释,称为主成分分析,又称为主分量分析。
主成分分析的数学模型是:对于随机向量X ,想用它分量的线性组合X c '反映随机向 量X 的主要信息。
也即)'(X c D 应当最大。
但是c 的模可以无限增大,从而使)'(X c D 无限变大,这是我们不希望的;于是固定c 模的大小,而改变c 各分量的比例,使)'(X c D 最 大;通常取c 的模为1最方便。
定义6.1 设随机向量)',...(1p x x X =二阶矩存在,若常数向量1c ,在条件c =1下使)'(X c D 最大,则称X c Y '11=是X 的第一主成分或第一主分量。
由定义可见,1Y 尽可能多地反映原来p 个随机变量变化的信息。
第六章 因子分析
9
寻找基本结构
在多元统计中,经常遇到诸多变量之间存在强相关的问题,它 会对分析带来许多困难。通过因子分析,可以找出几个较少的有实
际意义的因子,反映出原来数据的基本结构。
例如:调查汽车配件的价格中,通过因子分析从 20 个指标中概 括出原材料供应商、配件厂商、新进入者、后市场零部件厂商、整 车厂和消费者6个基本指标。从而找出对企业配件价格起决定性作用 的几个指标。
本包含了原来变量的所有信息。
12
主成分分析的数学模型
13
主成分分析与因子分析公式上的区别
y1 a11 x1 a12 x2 a1 p x p
主成分分析
y2 a21 x1 a22 x2 a2 p x p y p a p1 x1 a p 2 x2 a pp x p
由于umn为随机向量X的相关矩阵的特征值对 应的特征向量的分量,特征向量之间彼此正交, 实际上从X到F的转换关系是可逆的,即:
x1 11 F1 21 F2 p1 Fp x2 12 F1 22 F2 p 2 Fp x F F F 1p 1 2p 2 pp p p
1、因子分析的核心:用较少的、相互独立的因 子反映原有变量的绝大部分信息。 因子分析的数学模型:设有p个变量,每个变量 的均值为0,标准差为1。将每个原有变量用k个 (k<p)因子f1,f2,…,fk 的线性组合表示,即
x1 a11 f1 a12 f 2 a1k f k 1 x2 a21 f1 a22 f 2 a2 k f k 2 x p a p1 f1 a p 2 f 2 a pk f k p
光学第六篇傅里叶变换光学简介
复杂波场: 分解为一系列平面波或球面波成分
波的类型和特性 波前相因子
波前相因子
方向角的余角
线性相因子
系数(cosx,cosy)或 (sin1,sin2)与平面 波的传播方向一一对应。
U2 U1
ik x2 y2
e 2fBiblioteka 凹透镜和凸透镜的情况相同,
只是焦距一个为负,一个为正。
相位型
例题:求薄透镜傍轴成像公式:
在傍轴条件下:U1 ( x,
y)
ik x2 y2
A1e 2s
ik x2 y2
透镜函数:tL (x, y) e 2 f
s
s’
ik x2 y2
ik x2 y2
U2 (x, y) tL (x, y)U1(x, y) e 2 f
二维 tP ( x, y) eik (n1() 1x+2 y)
例题:推导棱镜傍轴成像公式:
傍轴条件:
ik x2 y2
s
U1(x, y) A1e 2s
ik x2 y2 ik (n1) x
U2 (x, y) tP (x, y) U1(x, y) A1e 2s
(n1)s 2 x(n1)s 2 y2
第六章 傅里叶变换光学简介
第六章 傅里叶变换光学简介
1、衍射系统 波前变换 2、相位衍射元件 3、波前相因子分析法 4、余弦光栅的衍射场 5、傅里叶变换 6、超精细结构的衍射 隐失波 7、阿贝成像原理与空间滤波 8、光学信息处理列举 9、泽尼克的相衬法
惠更斯-菲涅耳原理 光波衍射
菲涅耳衍射 夫琅禾费衍射
二维波前 决定 三维波场
二维波前 决定 三维波场
Double-helix Point Spread Function (DH-PSF) DH-PSF transfer function obtained from the iterative obtimization procedure, and its GL modal plane decomposition, which forms a cloud around the GL modal plane line. The DH-PSF transfer function does not have any amplitude component, and consequently is not absorptive.
环境统计学环境因子分析ppt课件
环境多元线性回归分析
最小二乘法 SPSS求解
环境系统聚类分析 聚类要素的显数著据性处检理验 距离的计算环境应用
聚类分析常用方法
环境判别分析 距 Fis离he判r判别别法S环P法境SS应求用解
环境主成分分析Bayes主判成别分法分析概述 主成分分析计算原理
人工神经网络
主成分分析性质 SPSS求解和环境应用
表明,十项得分基本上可归结于他们的 短跑速度,爆发性臂力、爆发性腿力和耐力, 每一方面都称为一个因子。
20
因子模型
100米跑 a11短跑速度 a12爆发性臂力 a13爆发性腿力 a14耐力1 跳远 a21短跑速度 a22爆发性臂力 a23爆发性腿力 a24耐力2 铅球 a31短跑速度 a32爆发性臂力 a33爆发性腿力 a34耐力3
1500米
a 短跑速度 a 爆发性臂力 a 爆发性腿力 a 耐力 10,1
短1跑0,速2 度 11x1s 12 x2s 1,1100x,130s
10,4
10
爆发性臂力 21x1s 22 x2s x 2,10 10s
爆发性腿力 31x1s 32 x2s x 3,10 10s
主成分分析的一般目的:
国民经
消费资料 净增库存
人口
生产指数
外贸盈余
变量的降维
主成分的解释
国民经济指标
总收入F1 总收入变化率F2 经济发展趋势F3
17个变量
3个变量
15
主成分分析例子
样本 x1 x2
COD BOD 氨氮 SS 浊度 pH 色度
16
因子分析:潜在的假想变量和随机影响变量的线 性组合表示原始变量。
因子分析(factor analysis)也是一种降维、简化数据的 技术。它通过研究众多变量之间的内部依赖关系, 探求观测数据中的基本结构,并用少数几个“抽象” 的变量来表示其基本的数据结构。这几个抽象的变 量被称作“因子”,能反映原来众多变量的主要信 息。原始的变量是可观测的显在变量,而因子一般 是不可观测的潜在变量。
第六章 研究变量和研究工具(2017年出版护理研究第5版胡雁王志稳主编)
性的承诺等
【例】“病人满意度调查表”的指导语: 为促进医院的护理服务质量,我们将调查病人住院后对护理工作 的满意度。请您回忆住院以来的护理情况,并花 10分钟左右在符合您 想法的地方打钩(√)。本调查不记名,不影响你的任何治疗和护理, 您所提供的资料将作为医院提高护理质量的参考,并严格保密。谢谢 您的合作。
护理研究
第六章 研究变量和研究工具
四川大学华西护理学院 方进博 中南大学湘雅护理学院 李现红
学习目标
识记:
1.陈述变量、自变量、因变量、外变量的概念 2.陈述研究工具信度和效度的概念 3.陈述问卷编制的基本原则和方法 1.比较概念性定义与操作性定义的区别 2.描述研究工具信度和效度的常见类型
理解: 运用:
一、问卷编制的原则
目的明确 结构合理、逻辑性强 通俗易懂、适合应答者 问卷长度适宜 便于资料的校验、整理和统计
二、问卷编制的方法
(一)总体步骤
1. 明确问卷编制框架 2. 编写问卷条目 3. 条目筛选与排序 4. 设计答案形式 5. 编制指导语 6. 润饰文字 7. 专家效度评定 8. 问卷预试验
性
别:
□女
□男
□高中 □大学及以上 □丧偶
教育水平: 婚姻状况:
□小学及以下 □初中 □单身
□已婚
□离婚
二、问卷编制的方法
封闭式问题答案的设臵需遵循详尽和互斥的原则
【例】 你在化疗当天,呕吐了多少次? □ A 没有 □ C 3~4次 □ B 1~2次 □ D >4次
【例】请选择您的最高学历 □ A 小学 □ B 中学 □ C 大学
多元统计分析课后练习答案
第1章 多元正态分布1、在数据处理时,为什么通常要进行标准化处理数据的标准化是将数据按比例缩放,使之落入一个小的特定区间;在某些比较和评价的指标处理中经常会用到,去除数据的单位限制,将其转化为无量纲的纯数值,便于不同单位或量级的指标能够进行比较和加权;其中最典型的就是0-1标准化和Z 标准化;2、欧氏距离与马氏距离的优缺点是什么欧氏距离也称欧几里得度量、欧几里得度量,是一个通常采用的距离定义,它是在m 维空间中两个点之间的真实距离;在二维和三维空间中的欧氏距离的就是两点之间的距离;缺点:就大部分统计问题而言,欧氏距离是不能令人满意的;每个坐标对欧氏距离的贡献是同等的;当坐标表示测量值时,它们往往带有大小不等的随机波动,在这种情况下,合理的方法是对坐标加权,使变化较大的坐标比变化较小的坐标有较小的权系数,这就产生了各种距离;当各个分量为不同性质的量时,“距离”的大小与指标的单位有关;它将样品的不同属性之间的差别等同看待,这一点有时不能满足实际要求;没有考虑到总体变异对距离远近的影响;马氏距离表示数据的协方差距离;为两个服从同一分布并且其协方差矩阵为Σ的随机变量与的差异程度:如果协方差矩阵为单位矩阵,那么马氏距离就简化为欧氏距离,如果协方差矩阵为对角阵,则其也可称为正规化的欧氏距离;优点:它不受量纲的影响,两点之间的马氏距离与原始数据的测量单位无关;由标准化数据和中心化数据计算出的二点之间的马氏距离相同;马氏距离还可以排除变量之间的相关性的干扰;缺点:夸大了变化微小的变量的作用;受协方差矩阵不稳定的影响,马氏距离并不总是能顺利计算出;3、当变量X1和X2方向上的变差相等,且与互相独立时,采用欧氏距离与统计距离是否一致统计距离区别于欧式距离,此距离要依赖样本的方差和协方差,能够体现各变量在变差大小上的不同,以及优势存在的相关性,还要求距离与各变量所用的单位无关;如果各变量之间相互独立,即观测变量的协方差矩阵是对角矩阵, 则马氏距离就退化为用各个观测指标的标准差的倒数作为权数的加权欧氏距离;4、如果正态随机向量12(,,)p X X X X '=的协方差阵为对角阵,证明X 的分量是相互独立的随机变量;解: 因为12(,,)p X X X X '=的密度函数为 又由于21222p σσσ⎛⎫ ⎪ ⎪= ⎪ ⎪ ⎪⎝⎭Σ 则1(,...,)p f x x则其分量是相互独立;5.1y 和2y 是相互独立的随机变量,且1y ~)1,0(N ,2y ~)4,3(N ;(a )求21y 的分布;(b )如果⎥⎦⎤⎢⎣⎡-=2/)3(21y y y ,写出y y '关于1y 与2y 的表达式,并写出y y '的分布; (c )如果⎥⎦⎤⎢⎣⎡=21y y y 且y ~∑),(μN ,写出∑-'1y y 关于1y 与2y 的表达式,并写出∑-'1y y 的分布;解:a 由于1y ~)1,0(N ,所以1y ~)1(2χ; b 由于1y ~)1,0(N ,2y ~)4,3(N ;所以232-y ~)1,0(N ;故2221)23(-+='y y y y ,且y y '~)2(2χ第2章 均值向量和协方差阵的检验1、略2、试谈Wilks 统计量在多元方差分析中的重要意义;3、题目此略多元均值检验,从题意知道,容量为9的样本 ,总体协方差未知假设H0:0μμ= , H1:0μμ≠ n=9 p=5检验统计量/n-1)()(0102μμ-'-=-X S X n T 服从P,n-1的2T 分布 统计量2T 实际上是样本均值与已知总体均值之间的马氏距离再乘以nn-1,这个值越大,相等的可能性越小,备择假设成立时,2T 有变大的趋势,所以拒绝域选择2T 值较大的右侧部分,也可以转变为F 统计量零假设的拒绝区域 {n-p/n-1p}2T >,()p n p F α-1/102T >F5,45μ0= 2972 ’样本均值 ’样本均值-μ0’=协方差矩阵降维——因子分析——抽取Inter-Item Covariance Matrix人均GDP元三产比重%人均消费元人口增长%文盲半文盲%人均GDP元三产比重%人均消费元人口增长%文盲半文盲%协方差的逆矩阵计算:2T=9s^-1 ’F统计量=> 拒绝零假设,边缘及少数民族聚居区的社会经济发展水平与全国平均水平有显着差异;4、略第3章聚类分析1.、聚类分析的基本思想和功能是什么聚类分析的基本思想是研究的样品或指标之间存着程度不同的相似性,于是根据一批样品的多个观测指标,具体找出一些能够度量样品或指标之间的相似程度的统计量,以这些统计量作为划分类型的依据,把一些相似程度较大的样品聚合为一类,把另外一些彼此之间相似程度较大的样品又聚合为另外一类,直到把所有的样品聚合完毕,形成一个有小到大的分类系统,最后再把整个分类系统画成一张分群图,用它把所有样品间的亲疏关系表示出来;功能是把相似的研究对象归类;2、试述系统聚类法的原理和具体步骤;系统聚类是将每个样品分成若干类的方法,其基本思想是先将各个样品各看成一类,然后规定类与类之间的距离,选择距离最小的一对合并成新的一类,计算新类与其他类之间的距离,再将距离最近的两类合并,这样每次减少一类,直至所有的样品合为一类为止; 具体步骤:1、对数据进行变换处理;不是必须的,当数量级相差很大或指标变量具有不同单位时是必要的2、构造n个类,每个类只包含一个样本;3、计算n个样本两两间的距离ijd;4、合并距离最近的两类为一新类;5、计算新类与当前各类的距离,若类的个数等于1,转到6;否则回4;6、画聚类图;7、决定类的个数,从而得出分类结果;3、试述K-均值聚类的方法原理;K-均值法是一种非谱系聚类法,把每个样品聚集到其最近形心均值类中,它是把样品聚集成K个类的集合,类的个数k可以预先给定或者在聚类过程中确定,该方法应用于比系统聚类法大得多的数据组;步骤是把样品分为K个初始类,进行修改,逐个分派样品到期最近均值的类中通常采用标准化数据或非标准化数据计算欧氏距离重新计算接受新样品的类和失去样品的类的形心;重复这一步直到各类无元素进出;4、试述模糊聚类的思想方法;模糊聚类分析是根据客观事物间的特征、亲疏程度、相似性,通过建立模糊相似关系对客观事物进行聚类的分析方法,实质是根据研究对象本身的属性构造模糊矩阵,在此基础上根据一定的隶属度来确定其分类关系;基本思想是要把需要识别的事物与模板进行模糊比较,从而得到所属的类别;简单地说,模糊聚类事先不知道具体的分类类别,而模糊识别是在已知分类的情况下进行的;模糊聚类分析广泛应用在气象预报、地质、农业、林业等方面;它有两种基本方法:系统聚类法和逐步聚类法;该方法多用于定性变量的分类;5、略第4章判别分析1、应用判别分析应该具备什么样的条件答:判别分析最基本的要求是,分组类型在两组以上,每组案例的规模必须至少在一个以上,解释变量必须是可测量的,才能够计算其平均值和方差;对于判别分析有三个假设:1每一个判别变量不能是其他判别变量的线性组合;有时一个判别变量与另外的判别变量高度相关,或与其的线性组合高度相关,也就是多重共线性;2各组变量的协方差矩阵相等;判别分析最简单和最常用的的形式是采用现行判别函数,他们是判别变量的简单线性组合,在各组协方差矩阵相等的假设条件下,可以使用很简单的公式来计算判别函数和进行显着性检验;3各判别变量之间具有多元正态分布,即每个变量对于所有其他变量的固定值有正态分布,在这种条件下可以精确计算显着性检验值和分组归属的概率;2、试述贝叶斯判别法的思路;答:贝叶斯判别法的思路是先假定对研究的对象已有一定的认识,常用先验概率分布来描述这种认识,然后我们取得一个样本,用样本来修正已有的认识先验概率分布,得到后验概率分布,各种统计推断都通过后验概率分布来进行;将贝叶斯判别方法用于判别分析,就得到贝叶斯判别;3、试述费歇判别法的基本思想;答:费歇判别法的基本思想是将高维数据点投影到低维空间上来,然而利用方差分析的思想选出一个最优的投影方向;因此,严格的说费歇判别分析本身不是一种判别方法,只是利用费歇统计量进行数据预处理的方法,以使更有利于用判别分析方法解决问题;为了有利于判别,我们选择投影方向a应使投影后的k个一元总体能尽量分开同一总体中的样品的投影值尽量靠近;k要做到这一点,只要投影后的k个一元总体均值有显着差异,即可利用方差分析的方法使组间平方和尽可能的大;则选取投影方向a使Δa达极大即可;4、什么是逐步判别分析答:具有筛选变量能力的判别方法称为逐步判别分析法;逐步判别分析法就是先从所有因子中挑选一个具有最显着判别能力的因子,然后再挑选第二个因子,这因子是在第一因子的基础上具有最显着判别能力的因子,即第一个和第二个因子联合起来有显着判别能力的因子;接着挑选第三个因子,这因子是在第一、第二因子的基础上具有最显着判别能力的因子;由于因子之间的相互关系,当引进了新的因子之后,会使原来已引入的因子失去显着判别能力;因此,在引入第三个因子之后就要先检验已经引入的因子是否还具有显着判别能力,如果有就要剔除这个不显着的因子;接着再继续引入,直到再没有显着能力的因子可剔除为止,最后利用已选中的变量建立判别函数;5、简要叙述判别分析的步骤及流程答:1研究问题:选择对象,评估一个多元问题各组的差异,将观测个体归类,确定组与组之间的判别函数;2设计要点:选择解释变量,样本量的考虑,建立分析样本的保留样本;3假定:解释变量的正态性,线性关系,解释变量间不存在多重共线性,协方差阵相等;4估计判别函数:联立估计或逐步估计,判别函数的显着性;5使用分类矩阵评估预测的精度:确定最优临界得分,确定准则来评估判对比率,预测精确的统计显着性;6判别函数的解释:需要多少个函数;评价单个函数主要从判别权重、判别载荷、偏F值几个方面;评价两个以上的判别函数,分为评价判别的函数和评价合并的函数;7判别结果的验证:分开样本或交叉验证,刻画组间的差异;6、略第5章主成分分析1、主成分的基本思想是什么在对某一事物进行实证研究时,为更全面、准确地反映事物的特征及其发展规律,往往考虑与其有关的多个指标,在多元统计中也称为变量;一方避免遗漏重要信息而考虑尽可能多的指标看,另一方面考虑指标的增多,又难以避免信息重叠;希望涉及的变量少,而得到的信息量有较多;主成分的基本思想是研究如何通过原来的少数几个线性组合来解释原来变量绝大多数信息的一种多元统计方法;研究某一问题涉及的众多变量之间有一定的相关性,必然存在着支配作用的公共因素;通过对原始变量相关矩阵或协方差矩阵内部结构关系的研究,利用原始变量的线性组合形成几个无关的综合指标主成分来代替原来的指标;通常数学上的处理就是将原来P个指标作线性组合,作为新的综合指标;最经典的做法就是用F1选取的第一个线性组合,即第一个综合指标的方差来表达,即VarF1越大,表示F1包含的信息越多;因此在所有的线性组合中选取的F1应该是方差最大的,故称F1为第一主成分,如果第一主成分不足以代表原来P个指标的信息,再考虑选取F2即选第二个线性组合,为了有效地反映原来信息,F1已有的信息就不需要再出现在F2中,用数学语言表达就是要求CovF1,F2=0则称F2为第二主成分,依此类推可以构造出第三、第四······,第P个主成分;2、主成分在应用中的主要作用是什么作用:利用原始变量的线性组合形成几个综合指标主成分,在保留原始变量主要信息的前提下起到降维与简化问题的作用,使得在研究复杂问题时更容易抓住主要矛盾;通过主成分分析,可以从事物之间错综复杂的关系中找出一些主要成分,从而能有效利用大量数据进行定量分析,解释变量之间的内在关系,得到对事物特征及其发展规律的一些深层次的启发,把研究工作引向深入;主成分分析能降低所研究的数据空间的维数,有时可通过因子载荷aij的结论,弄清X变量间的某些关系,多维数据的一种图形表示方法,用主成分分析筛选变量,可以用较少的计算量来选择,获得选择最佳变量子集合的效果;3.由协方差阵出发和由相关阵出发求主成分有什么不同1由协方差阵出发设随即向量X=X1,X2,X3,……Xp’的协方差矩阵为Σ,1≥2≥……≥p为Σ的特征值,γ1,γ2,……γp为矩阵A各特征值对应的标准正交特征向量,则第i个主成分为Yi=γ1iX1+γ2iX2+……+γpiXp,i=1,2,……,p此时VARYi=i,COVYi,Yj=0,i≠j我们把X1,X2,X3,……Xp的协方差矩阵Σ的非零特征根1≥2≥……≥p>0向量对应的标准化特征向量γ1,γ2,……γp分别作为系数向量,Y1=γ1’X, Y2=γ2’X,……, Yp=γp’X分别称为随即向量X的第一主成分,第二主成分……第p主成分;Y的分量Y1,Y2,……,Yp依次是X的第一主成分、第二主成分……第p主成分的充分必要条件是:1Y=P’X,即P为p阶正交阵,2Y的分量之间互不相关,即DY=diag1,2,……,p,3Y的p个分量是按方差由大到小排列,即1≥2≥……≥p;2由相关阵出发对原始变量X进行标准化,Z=Σ^1/2^-1X-μ covZ=R原始变量的相关矩阵实际上就是对原始变量标准化后的协方差矩阵,因此,有相关矩阵求主成分的过程与主成分个数的确定准则实际上是与由协方差矩阵出发求主成分的过程与主成分个数的确定准则相一致的;λi,γi 分别表示相关阵R的特征根值与对应的标准正交特征向量,此时,求得的主成分与原始变量的关系式为:Yi=γi’Z=γi’Σ^1/2^-1X-μ在实际研究中,有时单个指标的方差对研究目的起关键作用,为了达到研究目的,此时用协方差矩阵进行主成分分析恰到好处;有些数据涉及到指标的不同度量尺度使指标方差之间不具有可比性,对于这类数据用协方差矩阵进行主成分分析也有不妥;相关系数矩阵计算主成分其优势效应仅体现在相关性大、相关指标数多的一类指标上;避免单个指标方差对主成分分析产生的负面影响,自然会想到把单个指标的方差从协方差矩阵中剥离,而相关系数矩阵恰好能达到此目的;4、略第6章因子分析1、因子分析与主成分分析有什么本质不同答:1因子分析把诸多变量看成由对每一个变量都有作用的一些公共因子和一些仅对某一个变量有作用的特殊因子线性组合而成,因此,我们的目的就是要从数据中探查能对变量起解释作用的公共因子和特殊因子,以及公共因子和特殊因子的线性组合;主成分分析则简单一些,它只是从空间生成的角度寻找能解释诸多变量绝大部分变异的几组彼此不相关的新变量2因子分析中,把变量表示成各因子的线性组合,而主成分分析中,把主成分表示成各变量的线性组合3主成分分析中不需要有一些专门假设,因子分析则需要一些假设,因子分析的假设包括:各个因子之间不相关,特殊因子之间不相关,公共因子和特殊因子之间不相关;4在因子分析中,提取主因子的方法不仅有主成分法,还有极大似然法等,基于这些不同算法得到的结果一般也不同;而主成分分析只能用主成分法提取;5主成分分析中,当给定的协方差矩阵或者相关矩阵的特征根唯一时,主成分一般是固定;而因子分析中,因子不是固定的,可以旋转得到不同的因子;6在因子分析中,因子个数需要分析者指定,结果随指定的因子数不同而不同;在主成分分析中,主成分的数量是一定的,一般有几个变量就有几个主成分; 7与主成分分析相比,由于因子分析可以使用旋转技术帮助解释因子,在解释方面更加有优势;而如果想把现有的变量变成少数几个新的变量新的变量几乎带有原来所有变量的信息来进行后续的分析,则可以使用主成分分析;2、因子载荷ij a 的统计定义是什么它在实际问题的分析中的作用是什么答:1因子载荷ij a 的统计定义:是原始变量i X 与公共因子j F 的协方差,i X 与j F ),...,2,1;,...,2,1(m j p i ==都是均值为0,方差为1的变量,因此ij a 同时也是i X 与j F 的相关系数;(2)记),,...,2,1(...222212m j a a a g pjj j j =+++=则2j g 表示的是公共因子j F 对于X 的每一分量),...,2,1(p i X i =所提供的方差的总和,称为公共因子j F 对原始变量X 的方贡献,它是衡量公共因子相对重要性的指标;2j g 越大,表明公共因子j F 对i X 的贡献越大,或者说对X的影响作用就越大;如果因子载荷矩阵对A 的所有的),...,2,1(2m j g j =都计算出来,并按大小排序,就可以依此提炼出最有影响的公共因子;3、略第7章 对应分析1、试述对应分析的思想方法及特点;思想:对应分析又称为相应分析,也称R —Q 分析;是因子分子基础发展起来的一种多元统计分析方法;它主要通过分析定性变量构成的列联表来揭示变量之间的关系;当我们对同一观测数据施加R 和Q 型因子分析,并分别保留两个公共因子,则是对应分析的初步;对应分析的基本思想是将一个联列表的行和列中各元素的比例结构以点的形式在较低维的空间中表示出来;它最大特点是能把众多的样品和众多的变量同时作到同一张图解上,将样品的大类及其属性在图上直观而又明了地表示出来,具有直观性;另外,它还省去了因子选择和因子轴旋转等复杂的数学运算及中间过程,可以从因子载荷图上对样品进行直观的分类,而且能够指示分类的主要参数主因子以及分类的依据,是一种直观、简单、方便的多元统计方法;特点:对应分析的基本思想是将一个联列表的行和列中各元素的比例结构以点的形式在较低维的空间中表示出来;它最大特点是能把众多的样品和众多的变量同时作到同一张图解上,将样品的大类及其属性在图上直观而又明了地表示出来,具有直观性;另外,它还省去了因子选择和因子轴旋转等复杂的数学运算及中间过程,可以从因子载荷图上对样品进行直观的分类,而且能够指示分类的主要参数主因子以及分类的依据,是一种直观、简单、方便的多元统计方法;2、试述对应分析中总惯量的意义;总惯量不仅反映了行剖面集定义的各点与其重心加权距离的总和,同时与2x 统计量仅相差一个常数,而2x 统计量反映了列联表横联与纵联的相关关系,因此总惯量也反映了两个属性变量各状态之间的相关关系;对应分析就是在对总惯量信息损失最小的前提下,简化数据结构以反映两属性变量之间的相关关系;3、略 第8章 典型相关分析1、试述典型相关分析的统计思想及该方法在研究实际问题中的作用;答: 典型相关分析是研究两组变量之间相关关系的一种多元统计方法;用于揭示两组变 量之间的内在联系;典型相关分析的目的是识别并量化两组变量之间的联系;将两z |Uz |V 组变量相 关关系的分析转化为一组变量的线性组合与另一组变量线性组合之间的相关关系;基本思想:1在每组变量中找出变量的线性组合,使得两组的线性组合之间具有最大的相关系数;即:X X 1, X 2, , , X p 、XX 1, X 2, , , X q 是两组相互关联的随机变量,分别在两组变量中选取若干有代表性的综合变量 U i 、Vi,使是原变量的线性组合;U i a 1X 1 a 2 X 2..... a P X P ≡ a ‘XV i b 1Y 1 b 2 Y 2 .... b q Y q ≡ b‘Y 在 D aX D bX 1 的条件下,使得 aX , bX 达到最大;2选取和最初挑选的这对线性组合不相关的线性组合,使其配对,并选取相关系数最大的一对;(3)如此继续下去,直到两组变量之间的相关性被提取完毕为此;其作用为:进行两组变量之间的相关性分析,用典型相关系数衡量两组变量之间的相关性;2、简述典型相关分析中冗余分析的内容及作用;答:典型型冗余分析的作用即分析每组变量提取出的典型变量所能解释的该组样本总方差的比 例,从而定量测度典型变量所包含的原始信息量;第一组变量样本的总方差为 t r R 11 p ,第二组变量样本的总方差为 t r R 22 q ;*A ˆz和*B ˆz 是样本典型相关系数矩阵,典型系数向量是矩阵的行向量, Z z z **A ˆU ˆ=,Z z z **B ˆV ˆ=前 r 对典型变量对样本总方差的贡献为则第一组样本方差由前 r 个典型变量解释的比例为:第二组样本方差由前 r 个典型变量解释的比例为:3、典型变量的解释有什么具体方法实际意义是什么答:主要使用三种方法:1典型权重标准相关系数:传统的解释典型函数的方法包括观察每个原始变量在它的典型变量中的典型权重,即标准化相关系数StandardizedCanonical Coefficients 的符号和大小;有较大的典型权重,则说明原始变量对它的典型变量的贡献较大,反之则相反;原始变量的典型权重有相反的符号说明变量之间存在一种反面关系,反之则有正面关系;但是这种解释遭到了很多批评;这些问题说明在解释典型相关的时候应慎用典型权重;(2)典型载荷结构系数:由于典型载荷逐步成为解释典型相关分析结果的基础;典型载荷分析,即典型结构分析Canonical Structure Analyse,是原始变量自变量或者因变量与它的典型变量间的简单线性相关系数;典型载荷反映原始变量与典型变量的共同方差,它的解释类似于因子载荷,就是每个原始变量对典型函数的相对贡献;(3)典型交叉载荷交叉结构系数:它的提出时作为典型载荷的替代,也属于典型结构分析;计算典型交叉载荷包括每个原始因变量与自变量典型变量直接相关,反之亦然;交叉载荷提供了一个更直接地测量因变量组与自变量组之间的关系的指标;实际意义:即使典型相关系数在统计上是显着的,典型根和冗余系数大小也是可接受的,研究者仍需对结果做大量的解释;这些解释包括研究典型函数中原始变量的相对重要性;4.、略。
