北京大学统计学经典课件第四章——变量间的关系

相关和回归分析
相关和回归分析
• 顾客对商品和服务的反映对于商家是至关重 要的,但是仅仅有满意顾客的比例是不够的, 商家希望了解什么是影响顾客观点的因素以 及这些因素是如何起作用的。 • 一般来说，统计可以根据目前所拥有的信息 （数据）建立人们所关心的变量和其他有关 变量的关系（称为模型）。 • 假如用Y表示感兴趣的变量，用X表示其他可 能有关的变量（可能是若干变量组成的向量 ）。则所需要的是建立一个函数关系Y=f(X) 。这里Y称为因变量或响应变量，而X称为自 变量或解释变量或协变量。 • 建立这种关系的过程就叫做回归。
定性变量间的关系
（关于某项政策调查所得结果:table7.sav）
观点：赞成
低收 入
男 女
观点：不赞成
低收 入 中等收 入 高收 入
中等收 入
高收 入
20 25
10 15
5 7
5 2
8 7
10 9
大致可以看出女性赞成的多， 低收入赞成的多
定性和定量变量间的混和关系
假想关于高等学校的数据的一些指标包括:在校生人数(S), 研究生比例(G), 教师人数(F), 职工人数(ST),SCI和SSCI文 章数目(P), SCI和SSCI文章引用数目(Q), 科研项目数(PR), 科研经费(B),总经费及招生范围(N)等
定量变量的线性回归分析
• 对例1中的两个变量的数据进行线性回归，就是 要找到一条直线来最好地代表散点图中的那些点。
y 0 1 x
S1 60 70 80 90
100
y 26.44 0.65 x
40 50 60 70 J3 80 90 100
40
50
检验问题等
• 对于系数1=0的检验 • 对于拟合的F检验 2(决定系数)及修正的R2. •R
2
(c)
2
(d)
1
y
0
y
-2 -1 0 x 1 2
-1
-2
0
-3
2
4
6
8
-2
-1
0 x
1
2
3
几种相关的度量
• Pearson相关系数,又叫相关系数或线性相关系数。 它一般用字母r表示. • Kendall t 相关系数(Kendall’s t)这里的度量原理 是把所有的样本点配对,看每一对中的x和y是否 都增加来判断总体模式. • Spearman 秩相关系数,它和Pearson相关系数定 义有些类似,只不过在定义中把点的坐标换成各 自样本的秩. • 它们各自都有以不相关为零假设的检验,即p-值 小则相关.但各自的相关含义不尽相同. • 现在再来看例1的数据(highschool.sav).关于初三 和高一成绩的相关系数的结果是Pearson相关系 数，Kendall t 和Spearman 秩相关系数分别为 0.795, 0.595和0.758。
变 量 间 的 关 系
直到现在我们所涉及的仅仅是 对一些互相没有关系的变量的 描述。但是现实世界的问题都 是相互联系的。不讨论变量之 间的关系，就无从谈起任何有 深度的应用；而没有应用，前 面讲过的那些基本概念就仅仅 是摆设而已。
变量间的关系
• 人们每时每刻都在关心事物之间的关系。 • 比如，职业种类和收入之间的关系、政府 投入和经济增长之间的关系、广告投入和 经济效益之间的关系、治疗手段和治愈率 之间的关系等等。 • 这些都是二元的关系。 • 还有更加复杂的诸多变量之间的相互关系， • 比如企业的固定资产、流动资产、预算分 配、管理模式、生产率、债务和利润等诸 因素的关系是不能用简单的一些二元关系 所描述的。
SPSS Syntax: UNIANOVA s1 BY income WITH j3 /METHOD = SSTYPE(3) /INTERCEPT = INCLUDE /CRITERIA = ALPHA(.05) /DESIGN = income j3 .
注意 • 这里进行的线性回归，仅仅是回归 的一种，也是历史最悠久的一种。 • 但是，任何模型都是某种近似； • 线性回归当然也不另外。 • 它被长期广泛深入地研究主要是因 为数学上相对简单。 • 它已经成为其他回归的一个基础。 • 总应该用批判的眼光看这些模型。
还有定性变量 • 该数据中，除了初三和高一的成绩 之外，还有一个定性变量 • 它是学生在高一时的家庭收入状况； 它有三个水平：低、中、高，分别 在数据中用1、2、3表示。
还有定性变量
下面是对三种收入对高一成绩和高一与初 三成绩差的盒形图
110 100
30
20
一 绩 初 成 之 高 成 与 三 绩 差
90 80 70 60
10
0
-10
50 40 30
N= 11 27 12 39 25
一 绩 高 成
-20
-30
N= 11 27 12
1
2
3
1
2
3
家庭 收入
家庭 收入
例2 这是200个不同年龄和性别的人对某项服务产品的认 可的数据(logi.sav). 年龄是连续变量,性别是有男和女 (分别用1和0表示)两个水平的定性变量,而(定性)变量 “观点”则为包含认可(用1表示)和不认可(用0表示)两个 水平的定性变量。
0 1 1
＝ 0 1 x 2 , 代表家庭收入的哑元＝2 时，
＝ 0 1 x 3 , 代表家庭收入的哑元＝3 时。
自变量中有定性变量的回归
• 现在只要估计0, 1,和1, 2, 3即可。 • 哑元的各个参数1, 2, 3本身只有相对意义，无法三个 都估计，只能够在有约束条件下才能够得到估计。 • 约束条件可以有很多选择，一种默认的条件是把一个参 数设为0，比如3=0，这样和它有相对意义的1 和2 就 可以估计出来了。 • 对于例1，对0, 1, 1, 2, 3的估计分别为28.708, 0.688, -11.066, -4.679, 0。这时的拟合直线有三条，对三种家 庭收入各有一条:
这是什么关系？
这是什么关系？
• 这个关系是否带有普遍性？也就是说，仅仅 这一个样本有这样的关系，还是对于其他企 业也有类似的规律。这里的数据还不足以回 答这个问题。可能需要考虑更多的变量和收 集更多的数据。一般来说，人们希望能够从 一些特殊的样本，得到普遍的结论，以利于 预测。 • 这个关系是不是因果关系？在本问题中，看 来有因果关系。这类似于一种试验；而试验 时是容易找到因果关系的。但是，一般来说， 变量之间有关系但绝不意味着存在因果关系。
从这个数据很难马上看到任何关系。但是从这个 数据可以得到许多有用的关系和结论。比如，可 以得到任何一个变量和其余变量之间的定量关系 或者多个变量之间的定量关系（因而可以建立模 型，进行预测和各种推断）；也可以利用其中一 些变量把各个高等学校分类；还可以把众多的变 量用少数几个变量代替以利于分析和理解；此外 这个数据可以作为高校排名的根据之一。所有这 些都是未来章节的内容。
0 1x
Logistic模型拟合结果
• 依靠计算机，很容易得到0和1的估计 分别为0.520和-0.069。拟合的模型为
p ln 0.520 0.069x 1 p
p 0.2 0.0 0.1 0.3
20
30
40 age
50
60
70
Logistic模型拟合结果
50名同学初三和高一成绩的散点图
100
90
80
70
60
一 绩 高 成
50
40 40 50
从这张图可以看出什么呢?
60 70 80 90 100 110
初三 成绩
问题是 • 怎么判断这两个变量是否相关? • 如何相关? • 相关的度量是什么? • 进一步的问题是能否以初三成绩为 自变量，高一成绩为因变量来建立 一个回归模型以描述这样的关系， 或用于预测。
Logistic 回归
• 例2是关于200个不同年龄,性别的人对某项 服务产品的观点(二元定性变量)的数据 (logi.sav). • 这里观点是因变量, 只有两个值;所以可以把 它看作成功概率为p的Bernoulli试验的结果. • 但是和单纯的Bernoulli试验不同，这里的概 率p为年龄和性别的函数. • 可以假定下面的(logistic回归)模型
再加上性别变量进行拟合,得到的0, 1和0, 1的 估计(同样事先确定为1=0)分别为1.722, -0.072, 1.778, 0.可以看出年龄影响对男女混和时(0.069) 差不多,而女性相对于男性认可的可能性大(01=1.778)。
y 28.708 0.688 x 11.066, （低收入家庭）， y 28.708 0.688 x 4. 679, （中等收入家庭）， y 28.708 0.688 x, （高收入家庭）。
SPSSS实现(hischool.sav)
• Analize－General linear model－Univariate， • 在Options中选择Parameter Estimates， • 再 在 主 对 话 框 中 把 因 变 量 （ s1 ） 选 入 Dependent Variable，把定量自变量(j3)选 入Covariate，把定量因变量（income）选 入Factor中。 • 然后再点击Model，在Specify Model中选 Custom， • 再把两个有关的自变量选入右边，再在下 面Building Term中选Main effect。 • Continue-OK，就得到结果了。输出的结 果有回归系数和一些检验结果。
p ln 0 1 x i , 这里i 0,1 代表女性和男性 1 p
Logistic 回归
• 为了循序渐近，先拟合没有性别作为 自变量（只有年龄x）的模型