3.2独立性检验的基本思想及其初步应用

总计 7817 2148 9965
通过公式计算
9965(7775 49 42 2099 ） K 56.632 7817 2148 9874 91
2 2
独立性检验
已知在 H 0成立的情况下，
P( K 6.635) 0.01
2
即在 H 0成立的情况下，K2 大于6.635概率非常 小，近似为0.01 现在的K2=56.632的观测值远大于6.635
一:假设检验问题的原理
假设检验问题由两个互斥的假设构成，其中 一个叫做原假设，用H0表示；另一个叫做备择 假设，用H1表示. 例如，在前面的例子中，
原假设为： H0：面包分量足，
备择假设为 H1：面包分量不足.
这个假设检验问题可以表达为：
H0：面包分量足 ←→ H1：面包分量不足
二:求解假设检验问题
考虑假设检验问题： H0：面包分量足 ←→ H1：面包分量不足 求解思路：
1. 在H0成立的条件下，构造与H0矛盾的小概 率事件； 2. 如果样本使得这个小概率事件发生，就能 以一定把握断言H1成立；否则，断言没有 发现样本数据与H0相矛盾的证据.
三: 二个概念
1.分类变量 对于性别变量，取值为：男、女 这种变量的不同取“值”表示个体所属的不同 类别，这类变量称为分类变量 分类变量在现实生活中是大量存在的，如是否吸 烟，是否患肺癌，宗教信仰，国别，年龄，出生月 份等等.
例2. 为考察高中生性别与是否喜欢数学课程 之间的关系,在某城市的某校高中生中随机抽 取300名学生,得到如下列联表:
性别与喜欢数学课程列联表 喜欢数学课程 男 女 总计 37 35 72 a c 不喜欢数学课程 b d 85 143 228 总计 122 178 300
由表中数据计算得K 2 4.513 ,高中生的性别与是 否喜欢数学课程之间是否有关系?为什么? 解:P111
0
按照上述规则，把“两个分类变量之间有没关系”错误的判断 2 为“两个分类变量之间有关系”的概率为P( k ). K
0
在实际应用中，我们把 k k0解释为有(1 P( K 2 k )) 100% 的把握认为“两个分类变量之间有关系”；把 k0 解释为 k 不能以 P( K 2 k )) 100% 的把握认为“两个分类变量 (1 之间有关系”，或者样本观测数据没有提供“两个分类变量 之间有关系”的充分证据。
不患肺癌 比例
独立性检验
通过数据和图表分析，得到 结论是：吸烟与患肺癌有关
H0： 吸烟和患肺癌之间没有关系←→ H1： 吸烟和患肺癌之间有关系 结论的可靠 用 A 表示“不吸烟”， B 表示“不患肺癌” 则 H0： 吸烟和患肺癌之间没有关系 等价于 “吸烟”与“患肺癌”独立,即A与B独立
等价于 程度如何？
(3)根据随机变量K2的含义,可以通过评价该假设不合理的 程度,由实际计算出的,说明假设合理的程度为99%,即“两 个分类变量有关系”这一结论成立的可信度为约为99%.
怎样判断K2的观测值k是大还是小呢？
这仅需要确定一个正数 k0 ，当 k k 时就认为K2的观测 0 值 k大。此时相应于 k0 的判断规则为： 如果 k k0 ，就认为“两个分类变量之间有关系”；否则 就认为“两个分类变量之间没有关系”。 k ----临界值
判断 H 0是否成立的规则
如果 k 6.635 ，就判断 H 0 不成立，即认为吸烟与 患肺癌有关系；否则，就判断 H 0 成立，即认为吸烟 与患肺癌没有关系。
H0 在该规则下，把结论“H 0 成立”错判成“ P( 2 成立”的概率不会差过K 6.635) 0.01, 即有99%的把握认为 H 0不成立。
背景分析
条形图
柱形图
列联表
分类变量之间关系
独立性检验
例1. 在某医院,因为患心脏病而住院的665名男 性病人中,有214人秃顶,而另外772名不是因为 患心脏病而住院的男性病人中有175人秃顶.分 别利用图形和独立性检验方法判断是否有关? 你所得的结论在什么范围内有效?
600 500 400 300 200 100 0 秃顶 不秃顶 患其他病 患心脏病 患心脏病 患其他病
2 2
作为检验在多大程度上可以认为“两个 变量有关系”的标准 .
设有两个分类变量X和Y它们的值域分别为{x1, x2}和 {y1, y2}其样本频数列表(称为2×2列联表) 为
2×2列联表
2 （ad bc） n K2 (a b)(c d )(a c)(b d ) P(k2 ≥ m)
P ( AB) P ( A) P ( B)
吸烟与肺癌列联表 不患肺癌 a c a+c 患肺癌 b d b+d 总计 a+b c+d a+b+c+d
不吸烟 吸烟 总计
a+b a+c a P(A) , P(B) , P(AB) n n n 其中n = a + b + c + d
a c , a+b c+d
答：判断出错的概率为0.01。
9965(7775 49 42 2099)2 现在观测值k 56.632太大了， 7817 2148 9874 91 在H 0成立的情况下能够出现这样的观测值的概率不超过0.01， 因此我们有99%的把握认为H 0不成立，即有99%的把握认为“吸烟 与患肺癌有关系”。
不
独立性检验的定义
上面这种利用随机变量K2来确定在多大程度上 可以认为“两个分类变量有关系”的方法，称为两 个分类变量的独立性检验。
独立性检验的基本思想（类似反证法）
(1)假设结论不成立,即 H0 : “两个分类变量没有关系”. (2)在此假设下我们所构造的随机变量 K2 应该很小,如果由 观测数据计算得到K2的观测值k很大,则在一定可信程度上 说明 H 0 不成立.即在一定可信程度上认为“两个分类变量 有关系”；如果k的值很小，则说明由样本观测数据没有发现 反对 0 的充分证据。 H
不吸烟 吸烟 吸烟 不吸烟
2) 通过图形直观判断两个分类变量是否相关：
9000 8000 7000 6000 5000 4000 3000 2000 1000 0 不吸烟 吸烟 患肺癌 不患肺癌
二维条 形图
3)通过图形直观判断两个分类变量是否相关： 患肺癌 比例
患肺癌 不患肺癌
100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 不吸烟 吸烟
在H0成立的情况下，统计学家估算出如下的概率
即在H0 成立的情况下，K2 的值大于6.635的概率非常小，近似 于0.01。
P( K 2 6.635) 0.01.
（2）
也就是说，在H0成立的情况下，对随机变量K2进行多次观 测，观测值超过6.635的频率约为0.01。
思考
如果K 2 6.635，就断定H0不成立，这种判断出错的可能性有多大 ?
5)如果P(m>3.841)= 0.05表示有95%的把握认为”X与Y”有关系; 6)如果P(m>2.706)= 0.010表示有90%的把握认为”X与Y”有关系;
7)如果m≤2.706),就认为没有充分的证据显示”X与Y”有关系;
独立性检验
不吸烟 吸烟 总计
吸烟与肺癌列联表 不患肺癌 患肺癌 7775 42 2099 49 9874 91
x1 x2
总计
y1 a c a+c
y2 b d b+d
总计
a+b c+d a+b+c+d
1)如果P(m>10.828)= 0.001表示有99.9%的把握认为”X与Y”有关系; 适用观测数据a、 2)如果P(m>7.879)= 0.005表示有99.5%的把握认为”X与Y”有关系; b、c、d不小于5 3)如果P(m>6.635)= 0.01表示有99%的把握认为”X与Y”有关系; 4)如果P(m>5.024)= 0.025表示有97.5%的把握认为”X与Y”有关系;
ad bc
a a+b a+c × n n n
a c + d c a + b ,
独立性检验
ad bc 0.
ad - bc 越小，说明吸烟与患肺癌之间的关系越弱， ad - bc 越大，说明吸烟与患肺癌之间的关系越强
引入一个随机变量
（ad - bc） n K = (a + b)(c + d)(a + c)(b + d)
利用随机变量K2来确定在多大程度上可以 认为”两个分类变量有关系”的方法称为两个 分类变量的独立性检验.(为假设检验的特例)
列联表
为了调查吸烟是否对肺癌有影响，某肿瘤研究所 随机地调查了9965人，得到如下结果（单位：人）
不吸烟 吸烟
总计
吸烟与肺癌列联表 不患肺癌 患肺癌 7775 42
总计 7817 2148
独立性检验的基本思想 及初步应用
问题: 数学家庞加莱每天都从一家
面包店买一块1000g 的面包，并记 录下买回的面包的实际质量.一年后， 这位数学家发现，所记录数据的均 值为950g.于是庞加莱推断这家面包 店的面包分量不足. • 假设“面包分量足”，则一年购买面包的质量 数据的平均值应该不少于1000g ； • “这个平均值不大于950g”是一个与假设“面包 分量足”矛盾的小概率事件； • 这个小概率事件的发生使庞加莱得出推断结果.
91
在不吸烟者中患肺癌的比重是 0.54% 2.28% 在吸烟者中患肺癌的比重是 说明：吸烟者和不吸烟者患肺癌的可能性存在差异， 吸烟者患肺癌的可能性大
1)通过图形直观判断两个分类变量是否相关：