线性相关分析
线性相关分析和线性回归
相关关系从单变量从发，在一个样本数据中想知道某一指标在样本中的离散程度用方差（样本偏离均值的平均距离的平方数，也叫总变差）或者标准差（样本偏离均值的平均距离）表示。
两个变量的时候，这两个变量在样本中的离散程度用协方差（类比于方差）表示。
协方差表示的是总变差，描述的是两个变量的总体误差（总体误差的期望）。
协方差：协方差：cov(X,Y)=E[(X−E[X])(Y−E[Y])]数据点的协方差：2数据点的协方差：(x1−ux)(y1−uy)+(x2−ux)(y2−uy)2如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值时另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值（用上图公式表示的是每一个点与均值的误差值都是正数）；如果两个变量的变化趋势相反，即其中一个变量大于自身的期望值时另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值（用上图公式表示的是每一个点与均值的误差值都是负数）。
协方差为正值，表示两个变量正相关；协方差为负值，表示两个变量负相关；协方差为0则表示不相关(每一个点与均值的误差值有正有负）。
相关系数协方差的数值可以衡量两个变量的关系，在同一物理量纲之下有一定的作用，但同样的两个量采用不同的量纲使它们的协方差在数值上表现出很大的差异。
（举个向量的栗子，两个向量的夹角大小表示相关关系，但是两向量的长度不影响夹角的大小，协方差的计算类似于计算向量的距离，向量的距离也可以表示向量之间的关系，但是会受到向量长度的影响）。
因此，相关关系需要去掉量纲的影响，使用协方差同时除以X 和Y的标准差，这就是相关系数（皮尔逊相关系数）相关系数：相关系数r：cov(X,Y)σxσy相关系数r的取值范围是[-1,1]，正值表示正相关，负值表示负相关。
当相关系r>0.6时，可以认为两个变量之前强相关，0.3<=r<=0.6时，可以认为是中等相关，当r<0.3时认为弱相关，r=0时表示不相关。
线性回归与相关分析
线性回归与相关分析一、引言线性回归和相关分析是统计学中常用的两种数据分析方法。
线性回归用于建立两个或多个变量之间的线性关系，而相关分析则用于衡量变量之间的相关性。
本文将介绍线性回归和相关分析的基本原理、应用场景和计算方法。
二、线性回归线性回归是一种建立自变量和因变量之间线性关系的统计模型。
它的基本思想是通过找到最佳拟合直线来描述自变量与因变量之间的关系。
线性回归模型可以表示为：Y = β0 + β1X + ε，其中Y表示因变量，X表示自变量，β0和β1分别表示截距和斜率，ε表示误差项。
线性回归的目标是最小化观测值与模型预测值之间的差异，常用的优化方法是最小二乘法。
线性回归的应用场景非常广泛。
例如，我们可以利用线性回归来分析广告费用和销售额之间的关系，或者分析学生学习时间和考试成绩之间的关系。
线性回归还可以用于预测未来趋势。
通过建立一个合适的线性回归模型，我们可以根据历史数据来预测未来的销售额或者股票价格。
在计算线性回归模型时，我们首先需要收集相关的数据。
然后，可以使用统计软件或者编程语言如Python、R等来计算最佳拟合直线的参数。
通过计算截距和斜率，我们可以得到一个最佳拟合线，用于描述自变量和因变量之间的关系。
此外，我们还可以借助评价指标如R 平方来衡量模型的拟合程度。
三、相关分析相关分析是一种用于衡量两个变量之间相关性的统计方法。
它可以帮助我们判断变量之间的线性关系的强度和方向。
相关系数是表示相关性的一个指标，常用的相关系数有皮尔逊相关系数和斯皮尔曼相关系数。
皮尔逊相关系数适用于测量两个连续变量之间的线性关系，其取值范围在-1到1之间。
当相关系数接近1时，表示两个变量呈正相关，即随着一个变量增加，另一个变量也增加。
当相关系数接近-1时，表示两个变量呈负相关，即随着一个变量增加，另一个变量减小。
当相关系数接近0时，表示两个变量之间没有线性关系。
斯皮尔曼相关系数适用于测量两个有序变量之间的单调关系，其取值范围也在-1到1之间。
向量组的线性相关性分析
向量组线性相关性的性质
性质1、
1,2 , ,n
k11 k22
knn
仅有零解k1 = k2 = … = kn =0 ．
1,2 , ,n
, , , , , , 维向量组 1 2 n
，则向量组
1,,2,, ,n, 线性无关
低维线性无关 高维线性无关
所以向量组 1,
l ,l 1
,n 也线性相关
部分相关 整体相关， 整体无关 部分无关
例4 、
分析：
性质3、已知向量组 1,2 , 的线性组合，不妨假设
,n ，若其中至少有一个向量能表示成其余向量 kn 0n knn 0 有非零解
1 k202
则其次线性方程组
k2 2
kn n 即
仅有零解
1 0 0 1 k1 k2 0 0
0 0 0 0 kn 1 0
n维基本单位向量组线性无关
例 3：
性质2、考虑向量组1,
l ,l 1
,n(1 l n ) ，如果部分组 1, l
线性相关，则齐次线性方程组
k11 k22
kll 有非零解
因而，齐次线性方程组 也有非零解
k11
kll kl 1l 1
knn
n 的秩小于向量的个数 n ．
向量组线性无关性的判定定理 m维向量组 A： , , 1 2 如果 k11 k22
,n 线性无关
knn （零向量），则必有
k1 = k2 = … = kn =0 ． n 元齐次线性方程组 Ax = 0 只有零解． 矩阵A = 1 2 即：r(A)=n
线性相关分析
Z的95%可信区间为：
1.5334 ± 1.96 / 16 − 3 = (0.9898,2.0770)
总体相关系数ρ的95%可信区间为 ：
−1 e −1 e ~ 2×2.0770 = (0.76,0.97 ) 2×0.9898 +1 e +1 e
TX = ∑ (t − t ) / 12
3
TY = ∑ (t − t ) / 12
3
48
秩相关的含义
• 秩相关反映的是两变量的秩之间的相关， 并不反映两变量间的数值关系
例1 例2 例3 例4
X 1 2 3 4 5
Y 1 2 3 4 5
X 1 2 3
Y 1 4 9
X 1
Y 1
X 1 2
Y 1 10
2 1.1 3 1.2 4 1.3 5 1.4
r= Σ( X − X )(Y − Y ) Σ( X − X )
2
Σ(Y − Y )
2
=
l XY l XX lYY
(ΣX )(ΣY ) l XY = Σ( X − X )(Y − Y ) = ΣXY − n 2 ( ΣX ) 2 2 l XX = Σ( X − X ) = ΣX − n
lYY = ∑ (Y − Y ) 2 = ∑ Y 2 − (∑ Y )2 n
3 100 4 1000 5 10000
49
4 16 5 25
本章重点内容
一、相关系数r的意义 二、相关系数r的计算和总体相关系数 ρ的假设检验 三、线性回归与相关的区别与联系 四、Spearman秩相关系数的应用
线性相关判断方法总结
线性相关判断方法总结线性相关判断方法线性相关分析(Linear Correlation Analysis，简称LMA)是以判断两个变量之间是否具有相关性为目标的一种相关分析技术。
其基本思想是用一个已知的、连续的随机变量去估计另一个离散的、不相关的随机变量，因此，线性相关分析是一种统计技术。
线性相关分析的主要内容包括：单相关和回归、多相关和回归、一元线性回归、多元线性回归和非线性回归、回归预测、聚类分析等。
线性相关分析的基本步骤是：确定需要解决的问题，建立假设，构造模型，实证检验，做出决策。
为了解决实际问题，就必须从数据中提取信息，而获得信息的基础是了解各项指标的含义及其相互之间的关系。
对于离散型数据来说，可通过测定值与真实值的差异程度，找到它们之间的相关系数，进而判断两者之间的相关性质。
通常将数据用直线连接起来。
1、衡量相关系数值的高低。
一般情况下，若相关系数接近于1，表明这两个变量之间存在显著相关关系；如果相关系数小于1，则表明两个变量之间没有明显的相关关系。
如果在原始数据中发现变量X 和Y的关系，通常用“|”符号来表示两个变量之间的线性相关性质。
这样看来，变量X和Y之间有没有线性相关关系，只需判断它们是否相等或比较其相等的程度即可。
如果它们是相等的，则说明它们之间有线性相关关系。
2、观察两个变量在纵轴和横轴上是否成线性相关。
如果在纵轴上两个变量y与x的线性相关系数大于0.6，那么，我们称y与x线性相关；反之，如果在横轴上两个变量y与x的线性相关系数小于0.6，则我们称y与x线性相关性不好。
3、若要比较两个变量的相关性，还可以使用相关系数检验。
例如，将某厂的全部产品的销售收入按其产品的消耗定额比例折算为直线折算成百分数，然后与同类产品的销售收入作比较。
该厂的所有产品的累计销售收入与各种产品的累计销售收入的总和之间呈正比关系，即如果有n个产品，则累计销售收入是n×100，这就是说， n种产品的销售收入占全部产品的销售收入总和的份额为100%，即n种产品的销售收入的总和等于全部产品的销售收入。
线性相关
线性回归与线性相关的区别
⑴ 资料要求不同 回归
x为选定变量 ① y正态随机变量， 随 变 选定变 ----Ⅰ型回归
② x、y服从双变量正态分布---- Ⅱ型回归 相关
⑵ 应用 ：
回归: 由一个变量值推算另一个变量的数值，说明依存变化 的数量关系。 相关: 说明变量间数值上呈现的线性趋势的密切程度和方向。
与相关系数相关的指标
lxx = ∑ ( X i − X )
i =1 n 2
离均差平方和
n lxx 1 2 2 S = (Xi − X ) = ∑ n − 1 i =1 n −1
方差
lxy = ∑ ( X i − X )(Yi − Y )
i =1
n
差乘积和
Cov( X , Y ) =
∑(X
i =1
n
散点呈椭圆形分布， x、y同时增减 x、y同时增减---正相关 正相关 （positive correlation) ； x、y此增彼减---负相关 (negative correlation) 。 散点在 条直线上 散点在一条直线上，
0
0
0 < r <1
• • •• •
•
−1 < r < 0
•
•
•
条件：连续变量X和Y都随机变动、不分主 条件 连续变量X和Y都随机变动 不分主 次，且服从双变量正态分布。 线性相关----线性关系的方向与程度
线性相关的概念
• •• • • •• • • • • • • • • •• • • • •• • • • •
• ••• • • •• • • • • •• • •• • • • • • • • • •
•
••
统计学-线性相关分析
二、计算公式
样本相关系数 r 的计算公式为：
r ( X X )(Y Y ) l XY ( X X )2 (Y Y )2 l XX lYY
例13-2：
第三节 相关系数的假设检验
目的是推断总体相关系数 是否等于0 ？
检验统计量 t 的计算公式为：
tr
r 0 Sr
r ,v n2 1 r2 n2
零相关（r=0）
相关系数 r 的取值及两变量间相关关系的直观图示：
r=0
零相关（r=0）
相关系数 r 的取值及两变量间相关关系的直观图示：
r=0
零相关（r=0）
相关系数 r 的取值及两变量间相关关系的直观图示：
r=0
零相关（r=0）
第二节 线性相关系数
一、概念
相关系数又称pearson积差相关系数， 符号: 常用 r 表示样本相关系数，用 表示总体相 关系数。相关系数可用来说明具有直线关系 的两变量间相关的方向和密切程度。
第十二章 线性相关分析
第一节 线性相关的概念
一、散点图
例13-1 为研究中年女性体重指数和收缩压 之间的关系，随机测量了16名40岁以上女性 的体重指数和收缩压，见表13-1，试作分析。
编号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
合计
体重指数 X 2.86 3.41 3.62 3.20 2.79 2.96 3.84 4.01 3.75 3.96 3.36 3.62 3.91 4.12 3.33 3.76
4. 不能直接根据样本相关系数r绝对值的大小 来说明两事物间有无相关关系及相关的紧密方 向而需对总体相关系数作假设检验。
第六节 直线回归与直线相关的区别和联系
第4章 相关分析
完全正相关
-1.0
-0.5
0
+0.5
正相关程度增加
+1.0
r
负相关程度增加
相关系数的直观意义
结论：作为度量X 和Y 相关的一个数值，Σ (x − x)( y − y) 至少在符号上是对的（即Σ (x − x)( y − y) 的正与负表现了X 与y 相关的正与负）。而且， 当X 与Y 之间没有什么线性联系时，观测点将均匀 地散布在四个象限上，正项和负项抵消后Σ (x − x)( y − y) 将会是0。
单相关和复相关 正相关和负相关 线性相关和非线线相关 完全相关、完全不相关和不完全相关
当一个变量每增减1个单位，另 一相关变量按一个大致固定的 增(减)量变化时称为线性相关； 反之，相关变量不按固定增(减) 量变化时，则为非线性相关。 当变量之间的依存关系密切到近
乎于函数关系时，称为完全相关； 当变量之间不存在依存关系时， 就称为不相关或零相关； 大多数相关关系介于其间，称为 不完全相关。
返回
相关表
相关表是一种显示变量之间相关关系的统计表。 通常将两个变量的对应值平行排列，且其中某一变量按其取值大小顺序 排列，便可得到相关表。 如下表 某商店10名售货员的工龄和日工资的相关系表
工龄（年） 日工资（百元） 4 42 4 46 5 50 6 60 7 64 8 68 8 74 9 72 9 80 10 84
近似服从t (n 2).
Spearman等级相关系数 Spearman等级相关系数用来度量定序变量间的线性相 关关系。该系数的设计思想与Pearson简单相关系数完 全相同，仍然可依照式(4.1)计算，相应的指标特征也相 似。然而在计算Spearman等级相关系数时，由于数据 为非定距的，因此计算时并不直接采用原始数据(x，y)， 而是利用数据的秩，用两变量的秩(U, V)代替(x, y)代 人式(4.1)中，于是其中的x和y的取值范围被限制在1至 n之间．且式(4.1)可被简化为：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
二、秩相关（等级相关）
秩相关的适用条件及基本概念 秩相关系数 秩相关系数的显著性检验 进行秩相关分析的注意事项
1、秩相关的适用条件及基本概念
适用条件: 资料不服从双变量正态分布 总体分布型未知，一端或两端是不确定数值
秩相关是分析X与Y两变量等级间是否相关的
（如＜10岁，≥65岁）的资料； 原始数据用等级表示的资料
样误差的问题，故要推断总体中两变量间有 无线性相关关系，须做假设检验
数，k为有相同秩次的组数
TX = ∑ ( t i3 − t i ) / 12 ，ti 为第 i 组相同秩次的个
常用的方法有两种： 1.n≤50,直接查附表14，得到P值 2.
n>50用假设检验法，计算检验统计量，公 式为
1.将X、Y分别从小到大编秩，若观察值相
同，则取平均秩次。 2.差数d 3.算d2 4.带入公式计算
rs = 1 − n( n − 1)
2
6∑ d 2
= 1−
6 × 12.5 = 0.85 8(82 − 1)
秩相关系数为负，说明两变量间有负相关关系， 同样由样本算得的秩相关系数是否有统计学意 义，也应做检验
本章内容：
相关分析
南方医科大学生物统计学系
线性相关 秩相关
一、线性相关
线性相关的基本概念 线性相关系数 相关系数的显著性检验 进行线性相关分析的注意事项
1、线性相关的基本概念
线性相关(linear
correlation)又称简单相关 (simple correlation)，用于双变量正态分布 (bivariate normal distribution)资料。
6∑ d 2
患病率与饮用水中氟含量(mg/l)之间的关 系。随机观察8个地区氟骨症患病率与饮 用水中氟含量，试计算等级相关系数rs
式中，n表示样本量，d 表示X、Y秩次之差
表2 不同地区饮水中氟含量与氟骨症患病率 地区 水氟量X 秩次p 患病率Y (1) (2) (3) (5) 1 0.48 1 22.37 2 0.64 2 23.31 3 1.00 3 25.32 4 1.47 4 22.29 5 1.60 5 35.00 6 2.86 6 35.00 7 3.21 7 46.07 8 4.71 8 48.31 合计 — 36 — 秩次q (6) 2 3 4 1 5.5 5.5 7 8 78 d (7) -1 -1 -1 3 -0.5 -0.5 0 0 0 d2 (8)=(3).(6) 1 1 1 9 0.25 0.25 0 0 12.5
目的：研究
两个变量X,Y数量上的依存（或 相关） 关系。
特点：统计关系
为直观地判断两个变量之间的关系，可在直
角坐标系中把每对(Xi,Yi)值所代表的点绘出 来，形成散点图，如12名男青年身高与前臂 长资料绘制的散点图如下：
若一个变量X由小到大，另一个变量Y相应的
由小到大或由大到小，则两个变量的散点图 呈直线趋势，称这种现象为共变，这两个变 量之间有“相关关系” 男青年身高与前臂长散点呈直线趋势，即男 青年身材高，前臂亦长，说明男青年身高与 前臂长之间存在线性相关关系，称为直线相 关
线性相关的性质可由散点图直观说明。散点
图中的点的分布即线性相关的性质和相关之 间的密切程度，可分为以下几种情况： 1、正相关 2、负相关 3、无相关
2、线性相关系数
在分析两个变量X,Y之间关系时，常常要了解
X,Y之间有无相关关系，相关是否密切，是呈 现正相关还是负相关。 相关系数（correlation coefficient）又称 Pearson积差相关系数，就是说明具有直线关 系的两个变量间相关密切程度和相关方向的 统计量
样本相关系数的计算公式为
r=பைடு நூலகம்
∑ ( X − X )(Y − Y ) ∑ ( X − X ) ∑ (Y − Y )
2
计算相关系数的方法
2
=
l XY l XX lYY
∑ ( X − X ) =∑ X
2
2
−
( ∑ X )2 n
样本相关系数r没有测量单位，其特点为 ¾ -1≤ r ≤1 ¾ r>0为正相关,r<0为负相关 r 越接 ¾ r 越接近于1,说明相关性越好， 近于0,说明相关性越差.
3、相关系数的显著性检验
与前面讲的其它统计量一样，根据样本资料
解：
r=
∑(X − X) ∑(Y −Y)
2
∑(X − X)(Y −Y)
2
= 0.8012
计算出来的相关系数同样存在抽样误差。即 假设在一个X与Y无关的总体中做随机抽样， 由于抽样误差的影响，所得的样本相关系数 也常常不等于0. 因此要判断两个变量X与Y是否真的存在相关 关系，仍需根据做总体相关系数ρ是否为0的 假设检验
一种非参数方法 常用的秩相关方法是Spearman秩相关 与线性相关系数r一样，秩相关系数rs的数值 亦在-1至+1之间，数值为正表示正相关，数 值为负表示负相关
2、秩相关系数的计算
Spearman秩相关系数rs可由公式计算 例3：某医生做研究，了解人群中氟骨症
rs = 1 −
n( n2 − 1)
常用的方法有两种： 1.按自由度直接查附表13，得到P值 2.用假设检验法，计算检验统计量，公式为
tr =
sr =
r−0 , sr
1− r2 n−2
ν = n−2
例2：根据所得的r值检验男青年身高与前臂长之间 是否存在相关关系？ 方法一： ¾ 检验假设 H0：ρ=0，即身高与前臂长之间不存在相关关系 H1：ρ≠0，即身高与前臂长之间存在相关关系 α=0.05 ¾ 计算统计量 n=11，r=0.8012，ν=11-2=9 ¾ 结论：查附表13，得r>0.602,故按α=0.05的检验 水准拒绝H0 ，接受H1 ，认为男青年身高与前臂 长之间存在显著地正相关关系
例2：根据所得的r值检验男青年身高与前臂长之间 是否存在相关关系？ 方法二： ¾ 检验假设 H0：ρ=0，即身高与前臂长之间不存在相关关系 H1：ρ≠0，即身高与前臂长之间存在相关关系 α=0.05 ¾ 计算统计量 t=4.017，ν=11-2=9 ¾ 结论：查附表2，得t>2.262,故按α=0.05的检验水 准拒绝H0 ，接受H1 ，认为男青年身高与前臂长 之间存在显著地正相关关系. 结果与查r界值表一致
若资料中相同观察值的例数较多时，计算
3、秩相关系数的显著性检验
rs是由样本资料计算出得相关系数，亦存在抽
的结果偏差较大可由下面公式校正
rs' = ( n 3 − n) / 6 − (TX + TY ) − ∑ d 2 ( n 3 − n) / 6 − 2TX ( n 3 − n) / 6 − 2TY
tr =
sr =
r−0 , sr
1− r2 n−2
ν = n−2
例4：根据所得的rs 值检验饮水中氟含量与氟骨症患 病率之间是否存在相关关系？ 样本量较小，采用查表法 ¾ 检验假设 H0：ρ=0，即氟含量与氟骨症患病率之间不存在相 关关系 H1：ρ≠0，即氟含量与氟骨症患病率之间存在相关 关系 α=0.05 ¾ 查表 n=8，界值为0.738 ¾ 结论：得rs >0.738,故按α=0.05的检验水准拒绝H0 ， 接受H1 ，认为饮水中氟含量与氟骨症患病率之间存 在显著地正相关关系
依据公式计算出的相关系数仅是样本相关系
数，是总体相关系数的估计值，与总体相关 系数之间存在着抽样误差，要判断两个事物 之间有无相关及相关密切程度，必须做假设 检验 相关分析是用相关系数来描述两个变量间相 互关系的密切程度和方向，而两个事物之间 的关系既可能是依存因果关系，也可能仅是 相互伴随的数量关系。不可因为两事物间的 相关系数有统计学意义，就认为两者之间存 在着因果关系，要证明事物间确实存在因果 关系，必须凭借专业知识加以阐明
∑ (Y − Y )2 =∑ Y 2 −
( ∑ Y )2 n
( ∑ X )( ∑ Y ) n
∑ ( X − X )(Y − Y )=∑ XY −
例1：从男青年中随机抽取11名组成样本，分别测量 每个人的身高和前臂长(单位：cm)，试计算身高与 前臂长之间的相关系数
编号 1 2 3 4 5 6 7 8 9 10 11 合计 身高X 170 173 160 155 173 188 178 183 180 165 166 1891 前臂长Y 47 42 44 41 47 50 47 46 49 43 44 500
4、进行线性相关分析的注意事项
线性相关表示两个变量之间的相互关系是双
向的，分析两个变量之间到底有无相关关系 可首先绘制散点图，散点图呈现出直线趋势 时，再做分析 相关系数的计算只适用于两个变量都服从正 态分布的情形，如果资料不服从正态分布， 应先通过变量变换使之正态化，再根据变换 值计算相关系数