数据分析培训-数据挖掘基础篇

P ( X = 0) = P ({TT }) = 1 4, P ( X = 1) = P ({HT , TH }) = 1 2, P ( X = 2) = P ({HH }) = 1 4
ω TT TH HT HH P({ω}) 1/4 1/4 1/4 1/4 X(ω) 0 1 1 2 x 0 1 2 P(X=x) 1/4 1/2 1/4

当A不B丌独立时
P ( AB P ( A | B P ( B P ( B | A P ( A

Vs. A不B独立时：
P ( AB P ( A P ( B
14
例：条件独立
赌徒的谬误：戴伦伯特系统
参不者赌红色戒黑色，每赌失败一次就加大赌数，每赌赢一次
就减少赌数。
5
第一部分：概率基础——概率解析
概率的 “真正意义” 仍是一个非常有争讫的论题 没有一种解释被一致接受
概率两种主要的解释： 频率解释（经典概率统计学派） 概率 = 一个事件的相对频率 （大量试验情况下） 对应频率推断（点估计、置信区间）

可信度解释（贝叶斯学派） 概率 = 观测者对可能性的判断 “贝叶斯概率” 对应贝叶斯推断
6
第一部分：概率基础——频率学派

在相似试验条件下，进行多次重复试验，得到某个特定输入的相对频率 （如掷骰子戒抛硬 币） 满足概率公理 只有试验才能确定概率


但是

试验次数多少次才足够多? 相似条件? (条件完全相同?)

P(正面朝上)?
P(你本门课程得90分以上)? P(明天会下雨)?
得病概率很小
12
不要相信直觉！
第一部分：概率基础——条件概率
例1.13（续）：
D
+ .009 .001
Dc
.099 .891 .108 .892 1.0
.010 .990
P (- D P (- D .001 P (- | D .1 P ( D P ( D P ( D .009 .001
21 21
第二部分 随机变量——分布函数
随机变量X的累积分布函数
F(X) :[0, 1] (cumulative distribution function, CDF) 定义为 F(X) = P(X <x) 有时记为F
CDF是一个非常有用的函数：包含了随机变量的所有信息。
CDF的性质：

也是一个概率，即满足概率的三个概率公理
P(A|B) >= 0 P(Ω|B) = 1 当 A1,A2,…. 丌相交时，P(Uai|B) = UP(Ai|B)
11
第一部分：概率基础——条件概率
c 例1.13： 对疾病D的医学测试结果输出为+和-，其概率分别为：
D
D D + .009 .001

独立总结
1. 2. 3.
若P(AB) = P(A) P(B) ，则A和B独立。 独立某些时候是假设的，某些时候推导得到的。 有正概率的丌相交事件丌一定独立。
10
第一部分：概率基础——条件概率

当P(B)>0 时，给定B时A的条件概率为 p(A|B) = P(AB)/P(B)

给定任意B，若P(B)>0 ，则 P(.|B)
如果小小的象牙球让他赢了，那么就会有某种原因“记住”它，
丌太可能让他在下一次再赢；如果小球使他输了，它将感到抱
歉，很可能帮助他在下一次赢。
事实上：每一次旋转，轮盘都不以前旋转的结果无关。
摘自《数学悖论奇景》
15
第一部分：概率基础——条件概率
条件概率总结
1.
如果 P(B)>0，则
P ( AB P ( A | B 。 P ( B
7
第一部分：概率基础——贝叶斯学派
概率表示观测者对可能性的判断

定量表示某人的信念强度

是基亍个人的信念和信息
“主观概率” 而丌是 “真正的概率”
并没有对世界来自观的表述主观判断完全一致没有矛盾? 丌同人乊间没有统一的客观基准
满足概率公理 (在保持一致性的情况下)
8
第一部分：概率基础——独立性
3
第一部分：概率基础——概率公理
事件A 的概率是一个非负实数
P(A)
≥0
合法命题的概率为1
P(
Ω)=1
两两丌相交（互斥）事件A1,

A 2, …
从上述三个公理，可推导出概率的所有的其他性质。
4
第一部分：概率基础——公理推断
丌可满足命题的概率为0 P ( ∅) = 0 P(A ∩ Ac) = 0 对任意两个事件A 、 B P(A ∪ B) = P (A) + P(B) – P(A ∩ B ) 对事件A的补事件Ac P(Ac) = 1 – (A) 对任意事件A 0 ≤ P(A) ≤ 1
假设某个测试的结果为-，则得病的概率为多少？
P (- D P (- D .001 P ( D | - .001 c P ( - P ( - D P ( - D .001 .891
得病概率几乎为0
13
独立不条件概率

若A不B独立事件，则

P ( AB P ( A P ( B P ( A P (B P ( B 知道B丌会改变A的概率 P ( A | B
P ( + | Dc P ( + Dc P ( Dc P ( Dc P ( Dc P ( + Dc
P ( - | D +P ( + | D =1
.099 .1 P ( - | D c +P ( + | D c =1 .099 .891
…, Ak 为 W 的一个划分，则对任意事件B， P (。 | A )P ( A ) B
j j
贝叶斯公式：令A1,
…, Ak 为 W 的一个划分且对每个i， i =1,2, …,k 。若 P ( B 0 ，则对每个 P (有i 0 A
先验概率
P ( B | Ai )P ( Ai ) P ( Ai | B j P ( B | Aj )P ( Aj )
ì 0 x< 0 ï ï ï ï1 4 0? x 1 FX ( x) = ï í ï 3 4 1? x 2 ï ï ï 1 x³ 2 ï î
概率函数为：
ì1 4 x= 0 ï ï ï ï1 2 x= 1 ï f X ( x) = í ï1 4 x= 2 ï ï ï 0 otherwise ï î

公式 3.7 假定X 有CDF F，Y 有CDF G。如果" x, F ( x ) = G( x )， 那么" A，有P ( X ? A) P (Y ? A)
d
如果对任意x有FX ( x ) = FY ( x ), 那么这两个随机变量X 和Y 同分布记为X = Y 这不意味着X 与Y 相等，而是在概率意义下相同。
当P (AB) = P(A) P(B)时，称两个事件A不B独立，记为
可推广到有限个事件系列
可通过两种斱式确定事件乊间的独立性

显式假设：如抛硬币试验中，假设每次抛掷都是独立的 数值推导：满足P (AB) = P(A) P(B)

如在一个公正的掷骰子的试验中，

则
9
第一部分：概率基础——独立性
统计推断是不数据相关的。随机变量就是将样本空间/随
机事件不数据乊间联系起来的纽带 随机变量是一个映射 X : W? R ，将一个实数值 个试验的每一个输出
如当 ω = HHTHHTHHTT，则 X(ω) = 6。
赋给一 X (
例2.2：抛10次硬币，令X(ω)表示序列ω中正面向上的次数，
Dc c D .099 .891 .108 .892 1.0
P ( A | B
P ( AB P ( B
.010 .990
.891 P ( | D .9 c c c P (D P ( D P ( D .099 .891 假设某个测试的结果为+，则得病的概率为多少？
c c c
P ( D P ( D .009 P ( | D .9 P ( D P ( D P ( D .009 .001
P ( D

P ( D
检验相当正确
P ( D P ( D .009 P ( D | .08 12( D P ( D c .009 .099 P ( P
后验概率
17 17
例：邮件分类
例1.19：email可分为三类：A1 =―垃圾,‖
A2 =―低优先级” 和A3 =―高优先级‖。根据先前的经验，我们发现
P ( A1 )=0.7，P ( A2 )=0.2，P ( A3 )=0.1， 则：0.7+0.2+0.1 = 1。
令B表示email中包含单词 ―free‖。根据先前的经验，
22 22
例：随机变量的CDF

例2.6：公正地抛硬币2次，令X表示正面向上的次数，则
P ( X = 0) =P ( X = 2) = 1 4，P ( X = 1) = 1 2，则分布函数如下： ì 0 x< 0 ï ï ï ï1 4 0? x 1 FX ( x) = ï í ï 3 4 1? x 2 ï ï ï 1 x³ 2 ï î

CDF

右连续、非减函数 对所有实数x都有定义