贝叶斯网络与朴素贝叶斯方法

• 其中，P C ci 可由领域专家的经验获得， 而 P X x | C ci 和 P X x 的计算较为困 难。
2017/10/27
知识管理与数据分析实验室
21
三、朴素贝叶斯 贝叶斯分类器
• 贝叶斯网络分类器进行分类的两个阶段
• 贝叶斯网络分类器的学习 阶段一 • （结构学习和CPT学习） • 贝叶斯网络分类器的推理 阶段二 • （计算类节点的条件概率，对数据进行分类）
2017/10/27 知识管理与数据分析实验室 9
二、贝叶斯网络 引言
• 贝叶斯网络由Judea Pearl于1988年提出， 最初主要用于处理人工智能中的不确定信 息。 • 随后，逐步成为处理不确定性信息技术的 主流，并在文本分类、字母识别、经济预 测、医疗诊断、工业控制等领域得到了广 泛的应用。目前，贝叶斯网络是不确定知 识表达和推理领域最有效的理论模型之一。
P X i | A
2017/10/27
P A | Xi P Xi
P A| X P X
k 1 k k
知识管理与数据分析实验室 5
n
一、贝叶斯法则 算例
全垄断市场条件下，只有一家企业M提供产品和服务。企 业K考虑是否进入该市场。同时，企业M为阻止K进入该 市场采取了相应的投资行为，而K能否进入该市场完全取 决于M为阻止其进入所花费的成本大小。 假设K并不知道原垄断者M是属于高阻挠成本类型还是低 阻挠成本类型，但能确定，如果M属于高阻挠成本类型， K进入市场时M进行阻挠的概率是20%；如果M属于低阻 挠成本类型，K进入市场时M进行阻挠的概率是100%。 现设K认为M属于高阻挠成本企业的概率为70%，而在K 进入市场后，M确实进行了商业阻挠。试以企业K的角度， 判断企业M为高阻挠成本类型的概率。
P X x | C ci P( X xk | C ci ) 朴素贝叶斯简化
i 1
2017/10/27
知识管理与数据分析实验室
13
二、贝叶斯网络 定义
A
P 1
P X 1 | 1
C B
P X 2 | 1
• 这是一个最简单的包含3个节点的贝叶斯网络。其 中，P 1 是节点A的概率分布(先验概率)，P X1 | 1 与 P X 2 | 1 为节点B，C的概率分布（后验概率）
P C ci | X x Max P C c1 | X x ,..., P C cm | X x
2017/10/27 知识管理与数据分析实验室 20
三、朴素贝叶斯 贝叶斯分类器
• 由贝叶斯公式可以得到：
P X x | C ci P C ci P C ci | X x P X x
• 即,根据实际市场的运作情况，企业K可判 断企业M为高阻挠成本类型的概率为0.32， 换句话说，企业M更可能属于低阻挠成本类 型。
8
2017/10/27
知识管理与数据分析实验室
二、贝叶斯网络 引言
• 贝叶斯网络又称为信度网络，是基于概率 推理的图形化网络。它是贝叶斯法则的扩 展，而贝叶斯公式则是这个概率网络的基 础。 • 贝叶斯网络适用于表达和分析不确定性和 概率性事件，应用于有条件地依赖多种控 制因素的决策过程，可以从不完全、不精 确或不确定的知识或信息中做出推理。
2017/10/27 知识管理与数据分析实验室 17
二、贝叶斯网络 研究前景
• 贝叶斯网络与马尔科夫链
• 此外，针对其计算精度低、收敛速度较慢的不足，随 机拟MCMC方法也具有一定的优越性。 • 不过，该算法存在的收敛速度慢和收敛性判断困难等 问题仍未能得到有效解决。因此，如何更有效地将 MCMC方法用于贝叶斯网络的结构学习与推理学习成 为近年来重要的研究方向之一。
– 如果你看到一个人总是做一些好事，那这个人 就越可能是一个好人。
• 数学语言表达就是：支持某项属性的事件 发生得越多，则该属性成立的可能性就愈 大
– 贝叶斯法则
2017/10/27 知识管理与数据分析实验室 3
一、贝叶斯法则 起源
• 贝叶斯法则来源于英国数学家 贝叶斯（Thomas Bayes）在 1763年发表的著作《论有关 机遇问题的求解》。
A
A 0.8
B 0.1
C 0.05
D 0.05
B
C D 2017/10/27
0.2
0.25 0.05
0.65
0.1 0.1 知识管理与数据分析实验室
0.1
0.60 12
二、贝叶斯网络 定义
• 数学定义：
– 贝叶斯网络B(D,P)，D表示一个有向无环图, P P X1 | 1 ,..., P X n | n 是条件概率分布的集 合，其中 i 是D中节点Xi的父节点集合。在一 个贝叶斯网络中，节点集合 X X1,, X n ，则 其联合概率分布P(X)是此贝叶斯网络中所有条 n 件分布的乘积：P X P X i | i
P X x P X x1 ,..., X xn P X xi
i
2017/10/27 知识管理与数据分析实验室 24
n
三、朴素贝叶斯 方法
P X x | C ci P C ci P C ci | X x 贝叶斯分类器 P X x
1 1
2017/10/27
知识管理与数据分析实验室
7
一、贝叶斯法则 算例
根据贝叶斯公式可计算：
P A | X1 P X1 0.2 0.7 P X 1 | A 0.32 P A | X1 P X1 P A | X 2 P X 2 0.2 0.7 1 0.3
2017/10/27 知识管理与数据分析实验室
A
C
B
11
二、贝叶斯网络 定义
• 一个节点与节点之间的条件概率表 （Conditional Probability Table, CPT）。 如果节点没有任何父节点，则该节点概率 为其先验概率。否则，该节点概率为其在 父节点条件下的后验概率。
目标类型
实际类型
2017/10/27
知识管理与数据分析实验室
23
三、朴素贝叶斯 引入
• 朴素贝叶斯（Naïve Bayes）算法是贝叶斯分类 器中研究较多，使用较广的一种，在许多场合， 朴素贝叶斯的分类算法可以与决策树和神经网络 分类算法相媲美。 • 朴素贝叶斯分类器的基础：假设一个指定类别中 各个属性的取值是相互独立的，即在给定目标值 的情况下，观察到联合的 X x1 ,..., X xn 的概 率正好是对每个单独属性的概率乘积。
6
2017/10/27
知识管理与数据分析实验室
一、贝叶斯法则 算例
• 利用贝叶斯公式建模：
– 前提条件：设M是高阻挠成本类型为X1,低阻挠 成本类型为X2； – 结果：M对K进行阻挠为A; – 所求概率即为在已知结果 A的情况下，推断条 件为X 的后验概率 P X1 | A; – 已知 P A | X1 为0.2，P A | X 2 为1，P(X ) 为0.7，P(X2)为0.3。
两个阶段的时间复杂度均取决于特征值间的依赖程度
2017/10/27 知识管理与数据分析实验室 22
三、朴素贝叶斯 贝叶斯分类器
• 根据对特征值间不同关联程度的假设，可 以得出各种贝叶斯分类器，其中较典型、 研究较深入的贝叶斯分类器主要有四种， 分别是：
– NB（ Naïve Bayes ） – TAN（ Tree Augmented Naïve-Bayes ） – BAN （BN Augmented Naïve-Bayes ） – GBN（Global Bayesian Networks）
2017/10/27 知识管理与数据分析实验室 14
二、贝叶斯网络 研究前景
• 贝叶斯网络的特性：
– 贝叶斯网络本身是一种不定性因果关联模型，它将多 元知识图解可视化，贴切的蕴含了网络节点变量之间 的因果关系及条件相关关系； – 贝叶斯网络具有强大的不确定性问题的处理能力，它 用条件概率表达各个信息要素之间的相关关系，能在 有限的、不完整的、不确定的信息条件下进行知识学 习和推理； – 贝叶斯网络能有效的进行多源信息表达与融合，可将 故障诊断与维修决策相关的各种信息纳入到网络结构 中，并按节点的方式统一进行处理与信息融合。
2017/10/27
知识管理与数据分析实验室
18
三、朴素贝叶斯 引言
• 贝叶斯网络与朴素贝叶斯
贝叶斯法则 数 学 基 础
2017/10/27
贝叶斯网络 模 型 朴素贝叶斯 具体方法
知识管理与数据分析实验室 19
三、朴素贝叶斯 贝叶斯分类器
• 贝叶斯分类器是用于分类的贝叶斯网络。 该网络中通常包含类节点C，其取值来自类 集合C1, C2 ,, Cm ；还包含一组节点 X X1,, X n ，表示用于进行分类的特征属 性。对于贝叶斯网络分类器，若某一待分 类的样本D，其分类特征值为 x x1,, xn ， 则样本D属于类别Ci的概率 ， 应满足：
2017/10/27 知识管理与数据分析实验室 10
二、贝叶斯网络 定义
• 符号B(D,G)表示一个贝叶斯网络， 包括两个部分：
– 一个有向无环图（Directed Acyclic Graph, DAG）。它由代 表变量的节点及连接这些节点的有 向边构成。其中，节点代表随机变 量，可以是任何问题的抽象，如： 测试值、观测现象、意见征询等； 节点间的有向边代表了节点间的互 相关系（由父节点指向其后代节 点）。
贝叶斯法则最初是一种用于概率论基础理论 的归纳推理方法，但随后被一些统计学学者 发展为一种系统的统计推断方法，运用到统 计决策、统计推断、统计估算等诸多领域。