第十二章相关及回归分析
第12章-多重线性回归分析

6 因变量总变异的分解
P
(X,Y)
Y
(Y Y) (Y Y)
(Y Y)
Y X
Y
Y
9
Y的总变异分解
Y Y Yˆ Y Y Yˆ
Y Y 2 Yˆ Y 2 Y Yˆ 2
总变异 SS总
回归平方和 剩余平方和
SS回
SS剩
10
Y的总变异分解
病程 (X2)
10.0 3.0 15.0 3.0 4.0 6.0 2.9 9.0 5.0 2.0 8.0 20.0
表 12-1 脂联素水平与相关因素的测量数据
空腹
回归模空型腹 ?
瘦素
脂联 BMI 病程 瘦素
脂联
(X3)
血糖 (X4)
素(Y)
(X1)
(X2)
(X3)
血糖 素(Y) (X4)
5.75 13.6 29.36 21.11 9.0 4.90 6.0 17.28
H 0: 1 2 3 4 0 ,即总体中各偏回归系数均为0; H 1:总体中各偏回归系数不为0或不全为0;
= 0.05。
2 计算检验统计量: 3 确定P值,作出推断结论。
拒绝H0,说明从整体上而言,用这四个自变量构成 的回归方程解释糖尿病患者体内脂联素的变化是有统 计学意义的。
的平方和 (Y Yˆ)2为最小。
只有一个自变量
两个自变量
例12-1 为了研究有关糖尿病患者体内脂联素水平的影响因 素,某医师测定30例患者的BMI、病程、瘦素、空腹血糖, 数据如表12-1所示。
BMI (X1)
24.22 24.22 19.03 23.39 19.49 24.38 19.03 21.11 23.32 24.34 23.82 22.86
社会统计学第十二章 相关和回归分析

自己志愿
快乐家庭 理想工作 增广见闻
总数
知心朋友志愿
快乐家 理想工 增广见
庭
作
闻
28
9
3
2
41
7
2
4
4
32
54
14
总数
40 50 10 100
两个边际分布:
r
F Xi fi1fi2 fij fir fij j1 c
F Yj f1jf2j fi j fcj fi j i 1
cr
F X 1F X 2 F X i F X c fijn i 1j 1
rc
F Y 1F Y 2 F Y j F Y r fi jn j 1i 1
条件频数表中各频数因基数不同不 便作直接比较,因此有必要将频数化成 相对频数,使基数标准化。这样,我们 就从频数分布的列联表得到了相对频数 分布的列联表(或称频率分布的列联表)。 下表是r×c相对频数分布列联表的一般 形式。
第十二章 相关与回归分析
第一节 相关关系及种类 第二节 定类变量的相关分析 第三节 定序变量的相关分析 第四节 定距变量的相关分析 第五节 回归分析
社会上,许多现象之间也都有相互联系,例如: 身高与体重、教育程度和收入、学业成就和家庭环境、 智商与父母智力等。在这些有关系的现象中,它们之 间联系的程度和性质也各不相同。
本书第十章提出了两总体的检验及估计的问题,这 意味着我们开始与双变量统计方法打交道了。双变量 统计与单变量统计最大的不同之处是,客观事物间的 关联性开始披露出来。这一章我们将把相关关系的讨 论深入下去,不仅要对相关关系的存在给出判断,更 要对相关关系的强度给出测量,同时要披露两变量间 的因果联系,其内容分为相关分析和回归分析这两个 大的方面。
第12章简单回归分析2

假设检验
例: 用上例资料检验脐带血TSH水平对母血TSH水 平的直线关系是否成立?
Ho:β=0 即母血TSH水平与脐带血TSH水平之间 无线性关系
H1:β≠0 即母血TSH水平与脐带血TSH水平之间有 线性关系
α =0.05
方差分析表
已知 υ1=1, υ2=8,查F界值表,得P<0.05,按 α=0.05水准拒绝Ho,接受H1,故可以认为脐带血 TSH水平与母血TSH水平之间有线性关系
残差(residual)或剩余值,即实测值Y与假定回
归线上的估计值 Y ˆ 的纵向距离 Y Yˆ。
求解a、b实际上就是“合理地”找到一条能最好
地代表数据点分布趋势的直线。
原则:最小二乘法(least sum of squares),即可 保证各实测点至直线的纵向距离的平方和最小。
最小二乘法
两部分构成,即:
(yy)(y ˆy)+(yy ˆ)
上式两端平方,然后对所有的n点求和,则有
(yy)2 [(y ˆy)+(yy ˆ)2 ]
离差平方和的分解
(三个平方和的关系)
1. 从图上看有
y y y y ˆ+ y ˆ y
2. 两端平方后求和有
n
求X,Y,l XX,lYY,l XY X 15.79 8 2.00,Y 249.01 8 31.13
lXX 47.0315.972 8 15.15 lYY 8468.78 249.012 8 718.03
lXY 594.4815.97249.01 8 97.39
另一次抽样研究 50岁年龄组舒张压得总体均数估
第十二章 线性回归分析

回归是回归分析中最基本、最简单的一种,
回归方程
一、直线回归方程的一般表达式为
ˆ a bX Y
(12 1)
ˆ Y 为各X处Y的总体均数的估计。
回归方程的应用
一、线性回归的主要用途 1.研究因素间的依存关系 自变量和应变 量之间是否存在线性关系,即研究一个或多个 自变量对应变量的作用,或者应变量依赖自变 量变化而变化的规律。
否存在实际意义。 3.两变量间存在直线关系时,不一定
表明彼此之间就存在因果关系。
4.建立回归方程后,须对回归系数
进行假设检验。
5. 使用回归方程进行估计与预测时,
一般只适用于原来的观测范围,即自变量
的取值范围,不能随意将范围扩大。
6. 在线性回归分析时,要注意远离
群体的极端值对回归效果的影响。
表12-1 12只大白鼠的进食量(g)与体重增加量(g)测量结果
序号 (1) 1 2 3 4 5 6 7 8 9 10 11 12 合计
X 进食量(g)
(2) 305.7 188.6 277.2 364.8 285.3 244.7 255.9 149.8 268.9 247.6 168.8 200.6 2957.9 (Σ X)
目前,“回归”已成为表示变量 之间某种数量依存关系的统计学术语, 并且衍生出“回归方程”“回归系数”
等统计学概念。如研究糖尿病人血糖
与其胰岛素水平的关系,研究儿童年 龄与体重的关系等。
两相关变量的散点图
一、直线回归的概念
目的:研究应变量Y对自变量X的数量依 存关系。
特点:统计关系。 X值和Y的均数的关系,
不同于一般数学上的X 和Y的函数 关系。
为了直观地说明两相关变量的线性 依存关系,用表12-1第(2)、(3)
12章多重线性回归与相关

一、自变量筛选的标准与原则
2.残差均方缩小与调整决定系数增大 MS残=SS残/(n-p-1) MS残缩小的准则可以看做是在SS残缩小准则的基础上 增加了(n-p-1)-1因子,该因子随模型中自变量个数 p的增加而增加,体现了对模型中自变量个数增加而 施加的“惩罚”。 调整决定系数Ra2越大越好,与MS残等价。
包含汽车流量、气温、气湿与风速这四个自变量的回
归方程可解释交通点空气NO浓度变异性的78.74%
2.复相关系数R (multiple correlation coefficient)
定义为确定系数的算术平方根,
R SS回 SS总
表示变量Y与k个自变量的线性相关的密切程度。 对本例R=0.8837,表示交通点空气NO浓度与汽车流量、
表12-5 空气中NO浓度与各自变量的相关系数与偏相关系数
自变量 车流X1 相关系数 0.80800 偏相关系数 0.6920 偏相关系数P值 0.0005
气温X2
气湿X3 风速X4
0.1724
0.2754 -0.67957
0.47670
-0.00218 -0.59275
0.0289
0.9925 0.0046
第十二章
第一节 第二节 第三节 第四节
多重线性回归与相关
多重线性回归的概念与统计描述 多重线性回归的假设检验 复相关系数与偏相关系数 自变量筛选
一、整体回归效应的假设检验(方差分析)
表12-2 检验回归方程整体意义的方差分析表
变异来源 回归模型
残差 总变异
SS
0.0639 6 0.0172 7 0.0812 3
风速
(X4) 2.00 2.40 3.00 1.00 2.80 1.45 1.50 1.50 0.90 0.65 1.83 2.00
(完整版)第十二章相关和回归分析练习试题

第十二章相关与回归分析一、填空1.如果两变量的相关系数为0,说明这两变量之间_____________。
2.相关关系按方向不同,可分为__________和__________。
3.相关关系按相关变量的多少,分为______和复相关。
4.在数量上表现为现象依存关系的两个变量,通常称为自变量和因变量。
自变量是作为(变化根据)的变量,因变量是随(自变量)的变化而发生相应变化的变量。
5.对于表现为因果关系的相关关系来说,自变量一般都是确定性变量,因变量则一般是(随机性)变量。
6.变量间的相关程度,可以用不知Y与X有关系时预测Y的全部误差E1,减去知道Y与X有关系时预测Y的联系误差E2,再将其化为比例来度量,这就是(削减误差比例)。
7.依据数理统计原理,在样本容量较大的情况下,可以作出以下两个假定:(1)实际观察值Y围绕每个估计值cY是服从();(2)分布中围绕每个可能的cY值的()是相同的。
7.已知:工资(元)倚劳动生产率(千元)的回归方程为xyc8010+=,因此,当劳动生产率每增长1千元,工资就平均增加 80 元。
8.根据资料,分析现象之间是否存在相关关系,其表现形式或类型如何,并对具有相关关系的现象之间数量变化的议案关系进行测定,即建立一个相关的数学表达式,称为(回归方程),并据以进行估计和预测。
这种分析方法,通常又称为(回归分析)。
9.积差系数r是(协方差)与X和Y的标准差的乘积之比。
二、单项选择1.欲以图形显示两变量X和Y的关系,最好创建(D )。
A 直方图 B 圆形图 C 柱形图 D 散点图2.在相关分析中,对两个变量的要求是( A )。
A 都是随机变量B 都不是随机变量C 其中一个是随机变量,一个是常数D 都是常数3. 相关关系的种类按其涉及变量多少可分为( )。
A. 正相关和负相关B. 单相关和复相关C. 线性相关和非线性相关D. 不相关、不完全相关、完全相关4.关于相关系数,下面不正确的描述是( B )。
第十二章 分层回归分析--Hierarchy Regression

分层回归其实是对两个或多个回归模型进行比较。
我们可以根据两个模型所解释的变异量的差异来比较所建立的两个模型。
一个模型解释了越多的变异,则它对数据的拟合就越好。
假如在其他条件相等的情况下,一个模型比另一个模型解释了更多的变异,则这个模型是一个更好的模型。
两个模型所解释的变异量之间的差异可以用统计显著性来估计和检验。
模型比较可以用来评估个体预测变量。
检验一个预测变量是否显著的方法是比较两个模型,其中第一个模型不包括这个预测变量,而第二个模型包括该变量。
假如该预测变量解释了显著的额外变异,那第二个模型就显著地解释了比第一个模型更多的变异。
这种观点简单而有力。
但是,要理解这种分析,你必须理解该预测变量所解释的独特变异和总体变异之间的差异。
一个预测变量所解释的总体变异是该预测变量和结果变量之间相关的平方。
它包括该预测变量和结果变量之间的所有关系。
预测变量的独特变异是指在控制了其他变量以后,预测变量对结果变量的影响。
这样,预测变量的独特变异依赖于其他预测变量。
在标准多重回归分析中,可以对独特变异进行检验,每个预测变量的回归系数大小依赖于模型中的其他预测变量。
在标准多重回归分析中,回归系数用来检验每个预测变量所解释的独特变异。
这个独特变异就是偏相关的平方(Squared semi-partial correlation)-sr2(偏确定系数)。
它表示了结果变量中由特定预测变量所单独解释的变异。
正如我们看到的,它依赖于模型中的其他变量。
假如预测变量之间存在重叠,那么它们共有的变异就会削弱独特变异。
预测变量的独特效应指的是去除重叠效应后该预测变量与结果变量的相关。
这样,某个预测变量的特定效应就依赖于模型中的其他预测变量。
标准多重回归的局限性在于不能将重叠(共同)变异归因于模型中的任何一个预测变量。
这就意味着模型中所有预测变量的偏决定系数之和要小于整个模型的决定系数(R2)。
总决定系数包括偏决定系数之和与共同变异。
第十二章 回归分析

回归分析
如果我们将存在相关的两个变量,一个作为自变 量,另一个作为因变量,并把两者之间不十分稳 定的、准确的关系,用数学方程式来表达,则可 利用该方程由自变量的值来估计、预测因变量的 估计值,这一过程称为回归分析。 相关表示两个变量之间的双向相互关系,回归表 示一个变量随另一个变量做不同程度变化的单向 关系。
• 线性回归的基本假设
– – – – 线性关系 正态分布 独立性假设 误差等分散性假设
• 回归方程的建立
– 步骤:1)作散点图;2)设直线方程;3)选定具体方 法,计算表达式中的a和b;4)将a和b代入表达式,得 到回归方程。 – 方法:1)平均数法;2)最小二乘法。 • 最小二乘法:在配置回归线时,回归系数b的确定原则是 使散布图上各点距回归线上相应点的纵向距离平方和为最 小,这种求b的方法即最小二乘法。
• 回归分析与相关分析的关系
– 理解: • 同属相关分析; • 对称设计与不对称设计。 – 回归系数与相关系数的关系 • 相关系数是两个回归系数的几何平均数。
第二节 一元线性回归方程的检验
• 估计误差的标准差
某一X值相对应的诸Y 值,是以Y的平均数YX 为中 ˆ 心呈正态分布的。而与某一X值相对应的回归值 Y 就是与该X值相对应的那些诸Y值的平均数YX的估 ˆ 计值。由 Y 估计YX 会有一定的误差。误差大小 与X值相对应的诸Y值分布范围有关,范围大,误 差大,估计的准确性、可靠性小,范围小,误差小, 估计的准确性、可靠性大。 ˆ 我们需要一个用来描述由Y 估计YX 时误差大小的 指标,即估计误差的标准差。平均数与标准差未知, 样本的无偏估计量为:
a YX Y bYX X
• 列回归方程式(见教材)
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
2020/8/11
6
第二节 定类变量的相关分析
本节内容: 1、列联表 2、削减误差比例 3、λ系数 4、τ系数
2020/8/11
7
1. 列联表
列联表,是按品质标志把两个变量的频数分布进 行交互分类,由于表内的每一个频数都需同时满足两个 变量的要求,所以列联表又称条件频数表。
例如,某区调查了357名选民,考察受教育程度与投 票行为之间的关系,将所得资料作成下表,便是一种关 于频数的列联表。
2020/8/11
5
4. 单相关和复相关 从变量的多少上看,单相关只涉及两个变量,亦称二元 相关;三个或三个以上变量之间的关系称为复相关,亦称多 元相关。 五、直线相关和曲线相关 从变量变化的形式上看,如果关系近似地表现为一条直 线,称为直线相关或线性相关;如果关系近似地表现为一条 曲线,则称为曲线相关或称为非线性相关。 由于数学手段的局限性,我们以学习线性相关为主。在 统计学中,通过分段处理线性相关也可以用于处理曲线相 关。
本书第十章提出了两总体的检验及估计的问题,这 意味着我们开始与双变量统计方法打交道了。双变量 统计与单变量统计最大的不同之处是,客观事物间的 关联性开始披露出来。这一章我们将把相关关系的讨 论深入下去,不仅要对相关关系的存在给出判断,更 要对相关关系的强度给出测量,同时要披露两变量间 的因果联系,其内容分为相关分析和回归分析这两个 大的方面。
第十二章 相关与回归分析
第一节 相关关系及种类 第二节 定类变量的相关分析 第三节 定序变量的相关分析 第四节 定距变量的相关分析 第五节 回归分析
2020/8/11
1
社会上,许多现象之间也都有相互联系,例如: 身高与体重、教育程度和收入、学业成就和家庭环境、 智商与父母智力等。在这些有关系的现象中,它们之 间联系的程度和性质也各不相同。
2020/8/11
2
第一节 变量之间的相互关系
1. 相关程度 完全相关,指变量之间为函数关系;完全不相关指变 量之间不存在任何依存关系,彼此独立。不完全相关介于 两者之间。不完全相关是本章讨论的重点。
由于数学手段上的局限性,统计学探讨的最多的是定 距—定距变量间能近似地表现为一条直线的线性相关。在
2020/8/11
4
3. 因果关系与对称关系 因果关系中两个变量有自变量(independent Variable)和因变量(dependent Variable)之分: (1)两个变量有共变关系; (2)因变量的变化是由自变量的变化引起的; (3)两个变量的产生和变化有明确的时间顺序,前者 称为自变量,后者称为因变量。 表现为对称关系的相关关系,互为根据,不能区分自 变量和因变量,或者说自变量和因变量可以根据研究目的 任意选定,例如身高和体重之间的关系。
32.1%(61/190)
100.0%
Fy n
(190)
FY n
81.0%(289/357) 19.0%(68/357)
100.0% (357)
从上表可知,受过大学以上教育的被调查者绝大多 数(占95.8%)是投票的,受教育程度在大学以下的被调 查者虽多数也参与投票(占67.9%),但后者参与投票的百 分比远小于前者;前者只有4.2%弃权,而后者则有32.1% 弃权。两相比较可知,受教育程度不同,参与投票的行 为不同,因此两个变量是相关的。
2020/8/11
8
2×2频数分布列联表的一般形式
习惯上把因变量Y放在表侧,把自变量X放在表头。 2×2列联表是最简单的交互分类表。 r×c列联表 r(row)、c(column)
2020/8/11
9
r×c频数分布列联表的一般形式
2020/8/11
10
自己志愿
快乐家庭 理想工作 增广见闻
2020/8/11
13
r×c相对频数分布列联表的一般形式
2020/8/11
14
在相对频数分布列联表中,各数据为各分类
出现的相对频数(或者频率)。将频数 f ij化成相对
频数 p ij 有两种做法:
①相对频数联合分布
p ij
f ij n
两个边际分布 F X i 或
FYj
n
n
②相对频数条件分布
p ij
统计中,对于线性相关,采用相关系数(记作r)这一指标 来量度相关关系程度或强度。就线性相关来说,当r =l 时,表示为完全相关;当r =0时,表现为无相关或零相 关;当0< r <1时,表现为不完全相关。
2020/8/11
3
2. 相关方向:正相关和负相关
所谓正相关关系是指一个变量的值增加时,另一变 量的值也增加。例如,受教育水平越高找到高薪水工作的 机会也越大。而负相关关系是指一个变量的值增加时,另 一变量的值却减少。例如,受教育水平越高,理想子女数 目越少。要强调的是,只有定序以上测量层次的变量才分 析相关方向,因为只有这些变量的值有高低或多少之分。 至于定类变量,由于变量的值并无大小、高低之分,故定 类变量与其他变量相关时就没有正负方向了。
f ij 或 FX i
p ij
f ij FYj
2020/8/11
15
r×c相对频数联合分布列联表
2020/8/11
16
控制X,Y相对频数条件分布列联表
2020/8/11
17
控制Y,X相对频数条件分布列联表
2020/8/11
18
[例A1]试把下表所示的频数分布列联表,转 化为自变量受到控制的相对频数条件分布列联 表,并加以相关分析。
i1j1
cr
F X1F X2 F Xi F Xc
fijn
i1j1
2020/8/11
12
条件频数表中各频数因基数不同不 便作直接比较,因此有必要将频数化成 相对频数,使基数标准化。这样,我们 就从频数分布的列联表得到了相对频数 分布的列联表(或称频率分布的列联表)。 下表是r×c相对频数分布列联表的一般形 式。
投票行为 Y
受教育程度X 大学以 大学以
FY
上
下
投票
160
129
289
弃权
7
61
68
合计:F X
167
190
357
2020/8/11
19
投票行为Y
投票 弃权
r
j 1
受教育程度X
大学以上
大学以下
95.8%(160/167) 4.2%(7/167)
100.0% (167))
67.9%(129/190)
总数
知心朋友志愿
快乐家 理想工 增广见
庭作闻Fra bibliotek总数28
9
3
40
2
41
7
50
2
4
4
10
32
54
14
100
2020/8/11
11
两个边际分布:
r
FXi fi1fi2 fij fir fij j1 c
F Yj f1jf2j fij fcj fij i1
cr
F X1F X2 F Xi F Xc
fijn