第七章贝叶斯网络教程文件
合集下载
第7章-贝叶斯分类算法讲课教案
练一练
用朴素贝叶斯网络对以下保险销售客户数据进行分析：
（1）求条件概率P（性别/是），P（婚姻状态/是），P（ 是否有房/是）, P（性别/否），P （婚姻状态/否），P（ 是否有房/否）。
（2）根据（1）中的条件概率，使用朴素贝叶斯方法预测一客户（性别=女，婚姻状态=已 婚，是否有房=无房）是否会购买此保险。
P(ak | Ci ) g(ak , Ci , Ci )
1 2 Ci
(ak Ci )
e 2
2 Ci
【例7.3】对于第6章表6.1的训练样本集S，所有属性为离散属性。 n=2（描述属性个数），特征向量为A={a1，a2}，描述属性为A1和 A2（假设A1和A2之间相互独立）。类别属性为C，m=2（类别个 数），C1=False，C2=True。对应的贝叶斯网如图7.7所示。求 P(A1|C)和P(A2|C)。
P(C1)=P(购买计算机='是')=9/14=0.64 P(C2)=P(购买计算机='否')=5/14=0.36
（3）计算后验概率P(ai|Ci)，先计算P(年龄='≤30'|购买计算机 ='是')和P(年龄='≤30'|购买计算机='否')。将训练数据集S按 “购买计算机”和“年龄”属性排序后的统计结果如表7.4所 示。则：
n
P(a1, a2 ,...,an ) P(ai | parent( Ai )) i1
其中，parent(Ai)表示Ai的父结点，P(ai|parent(Ai))对应条件概率表中关于Ai 结点的一个入口。若Ai没有父结点，则P(ai|parent(Ai))等于P(ai)。
【例7.2】有X、Y和Z三个二元随机变量（取值只有0、1两种情况），假设X、Y之 间是独立的，它们对应的条件概率表如表7.1所示。若已知条件概率P(X=1)=0.3， P(Y=1)=0.6，P(Z=1)=0.7，求P(X=0，Y=0|Z＝0)的后验概率。
贝叶斯网络
(40-9)
贝叶斯网络中的独立关系
•利用变量间的条件独立关系可以将联合概率分布分解成多个复杂度较低的 概率分布，从而降低模型复杂度，提高推理效率。 •例如：由链规则可以把联合概率分布P(A, B, E, J, M)改写为： 独立参数：1+2+4+8+16=31
– E与B相互独立， 即P(E|B)=P(E) – 给定A时，J与B和E相互独立， 即P(J|B, E, A)=P(J|A) – 给定A时，M与J、B和E都相互独立，即P(M|J, A, B, E)=P(M|A)
– 条件独立 – 因果影响独立 – 环境独立
(40-11)
贝叶斯网络中的独立关系
(一)条件独立
•贝叶斯网络的网络结构表达节点间的条件独立关系。 •三种局部结构
– 顺连 (serial connection) – 分连(diverging connection) – 汇连(converging connection)
(40-15)
贝叶斯网络中的独立关系
(四)环境独立(context independence)
•环境独立是指在特定环境下才成立的条件独立关系。 •一个环境是一组变量及其取值的组合。设环境中涉及变量的集合用 C表示， C的一种取值用c表示，则C=c表示一个环境。 •定义5.8 设X，Y，Z，C是4个两两交空的变量集合，如果 P(X, Y, Z, C=c)>0 且 P(X|Y, Z, C=c)= P(X| Z, C=c) 则称X, Y在环境C=c下关于Z条件独立。若Z为空，则称X, Y在环境C=c下 环境独立。
得到联合概率边缘化分布：
再按照条件概率定义，得到
(40-8)
不确定性推理与联合概率分布
贝叶斯网络全解 共64页
意结点到B中任意结点的路径，若要求A，B条件独 立，则需要所有的路径都被阻断(blocked)，即满足 下列两个前提之一：
A和B的“head-to-tail型”和“tail-to-tail型”路径都通过C； A和B的“head-to-head型”路径不通过C以及C的子孙；
32
有向分离的举例
每个结点在给定其直接前驱时，条件独立于其非后继。
稍后详细解释此结论
18
一个简单的贝叶斯网络
19
全连接贝叶斯网络
每一对结点之间都有边连接
20
一个“正常”的贝叶斯网络
有些边缺失 直观上：
x1和x2独立 x6和x7在x4给定的条件下独立
x1,x2,…x7的联合分布：
21
BN(G, Θ) G:有向无环图 G的结点：随机变量 G的边：结点间的有向依赖 Θ：所有条件概率分布的参数集合 结点X的条件概率：P(X|parent(X))
思考：需要多少参数才能确定上述网络呢？ 每个结点所需参数的个数：结点的parent数目是M，结点和 parent的可取值数目都是K：KM*(K-1) 为什么？ 考察结点的parent对该结点形成了多少种情况（条件分布）
贝叶斯网络(Bayesian Network)，又称有向无环图模 型(directed acyclic graphical model)，是一种概率图 模型，借由有向无环图(Directed Acyclic Graphs, DAG)中得知一组随机变量{X1,X2...Xn}及其n组条 件概率分布(Conditional Probability Distributions, CPD)的性质。
Gas和Radio是独立的吗？给定Battery呢？ Ignition呢？Starts呢？Moves呢？(答：IIIDD)
A和B的“head-to-tail型”和“tail-to-tail型”路径都通过C； A和B的“head-to-head型”路径不通过C以及C的子孙；
32
有向分离的举例
每个结点在给定其直接前驱时，条件独立于其非后继。
稍后详细解释此结论
18
一个简单的贝叶斯网络
19
全连接贝叶斯网络
每一对结点之间都有边连接
20
一个“正常”的贝叶斯网络
有些边缺失 直观上：
x1和x2独立 x6和x7在x4给定的条件下独立
x1,x2,…x7的联合分布：
21
BN(G, Θ) G:有向无环图 G的结点：随机变量 G的边：结点间的有向依赖 Θ：所有条件概率分布的参数集合 结点X的条件概率：P(X|parent(X))
思考：需要多少参数才能确定上述网络呢？ 每个结点所需参数的个数：结点的parent数目是M，结点和 parent的可取值数目都是K：KM*(K-1) 为什么？ 考察结点的parent对该结点形成了多少种情况（条件分布）
贝叶斯网络(Bayesian Network)，又称有向无环图模 型(directed acyclic graphical model)，是一种概率图 模型，借由有向无环图(Directed Acyclic Graphs, DAG)中得知一组随机变量{X1,X2...Xn}及其n组条 件概率分布(Conditional Probability Distributions, CPD)的性质。
Gas和Radio是独立的吗？给定Battery呢？ Ignition呢？Starts呢？Moves呢？(答：IIIDD)
第7章贝叶斯网络.ppt
计算已知参加晚会的情况下，第二天早晨呼吸有 酒精味的概率。
P(+SA)=P(+HO)P(+SA|+HO)+P(-HO)P(+SA|-HO)
计算已知参加晚会的情况下，头疼发生的概率。
2019/10/19
数据仓库与数据挖掘
15
7.4.2 贝叶斯网络的预测算法
输入：给定贝叶斯网络B（包括网络结构m个节点以及某些节点间的连线、原因 节点到中间节点的条件概率或联合条件概率），给定若干个原因节点发生与 否的事实向量F（或者称为证据向量）；给定待预测的某个节点t。
2019/10/19
数据仓库与数据挖掘
11
7.3.3 贝叶斯网络的3个主要议题
贝叶斯网络预测：从起因推测一个结果的理论， 也称为由顶向下的推理。目的是由原因推导出结 果。
贝叶斯网络诊断：从结果推测一个起因的推理， 也称为由底至上的推理。目的是在已知结果时， 找出产生该结果的原因。
贝叶斯网络学习：由先验的贝叶斯网络得到后验 贝叶斯网络的过程。
13
7.4.1 概率和条件概率数据
P(PT)
P(BT)
P(HO|PT)
PT=True
True False
0.200 0.800
0.001 0.999
True False
0.700 0.300
PT=False 0
1.000
左表给出了事件发生的概率：PT发生 的概率是0.2，不发生的概率是0.8
右表给出了事件发生的条件概率：PT 发生时，HO发生的概率是0.7
概率分布，并把节点n标记为已处理； （5）重复步骤（2）-（4）共m次。此时，节点t的概率分布就是它的发生/不发
概率图模型中的贝叶斯网络建模方法解析(七)
概率图模型中的贝叶斯网络建模方法解析概率图模型是用概率论的方法来描述随机变量之间的依赖关系的数学模型。
而在概率图模型中，贝叶斯网络是其中的一种重要模型，它能够描述随机变量之间的条件依赖关系，并且在许多实际问题中有着广泛的应用。
在本文中，我们将对贝叶斯网络的建模方法进行深入解析，包括网络结构的构建、参数的学习以及推断的方法等内容。
贝叶斯网络是一种有向无环图，它由节点和有向边组成，每个节点表示一个随机变量，有向边表示变量之间的依赖关系。
在贝叶斯网络中，节点的依赖关系是通过条件概率来描述的，每个节点的条件概率都是在给定其父节点条件下该节点的概率分布。
因此，贝叶斯网络可以很直观地表示变量之间的条件依赖关系，这也是它在实际问题中得到广泛应用的原因之一。
在构建贝叶斯网络时，首先需要确定网络的结构。
网络的结构可以通过领域知识、数据分析等方法来确定。
一般来说，如果已经有了一定的领域知识，可以通过专家的经验来确定网络的结构；如果没有足够的领域知识，可以通过数据分析的方法来确定网络的结构。
在确定网络结构后，接下来就是确定网络中每个节点的条件概率分布。
确定节点的条件概率分布是贝叶斯网络建模中的一个重要步骤。
在确定节点的条件概率分布时，可以利用领域知识、数据分析等方法来确定。
如果已经有了一定的领域知识，可以通过专家的经验来确定节点的条件概率分布；如果没有足够的领域知识，可以通过数据分析的方法来确定节点的条件概率分布。
在确定了网络的结构和节点的条件概率分布后，就可以对网络进行参数的学习。
参数的学习是指利用已有的数据来确定网络中每个节点的条件概率分布。
在参数的学习中，一般采用最大似然估计或者贝叶斯估计等方法来确定节点的条件概率分布。
最大似然估计是通过最大化数据的似然函数来确定参数，而贝叶斯估计是基于贝叶斯定理来确定参数。
在参数的学习中，需要考虑到数据的稀疏性、噪声等因素，以确保学到的参数能够较好地描述数据。
参数学习完成后，就可以利用贝叶斯网络进行推断。
贝叶斯网络培训课件
最大的参数值。
3. 预测和诊断
03
利用已训练好的贝叶斯网络模型，进行预测和诊断。如预测未
观测变量的取值，或诊断某一变量出现异常的原因。
贝叶斯网络中的参数学习
1. 最大似然估计（MLE ）
2. 贝叶斯方法
3. 结构学习和参数学习的 结合
4. 在线学习
通过最大化似然函数，估计网络中的参数 值。这种方法适用于数据量较大的情况。
扩展应用场景
挖掘贝叶斯网络在更多领域 的应用潜力，如自然语言处 理、计算机视觉等。
06
实验操作和实战演练
使用Python等语言进行贝叶斯网络的搭建和训练
环境搭建
介绍如何在Python环境中安 装和使用贝叶斯网络相关库 ，如pgmpy、NetworkX等 。
网络构建
详细演示如何使用代码构建 贝叶斯网络结构，包括节点 和边的定义、概率表的设置 等。
其他领域
贝叶斯网络可用于基因调控网络建模、疾 病诊断与治疗策略制定等领域，提升生物 医学研究的效率与准确性。
此外，贝叶斯网络还可应用于自然语言处 理、图像处理、社会科学研究等多个领域 。
02
贝叶斯网络的基础概念
节点与边
节点
贝叶斯网络中的节点代表随机变量，用图形表示为一个圆圈 。每个节点都代表一个特定的属性或事件，例如天气、疾病 等。
04
贝叶斯网络的实践应用与案例 解析
故障诊断
设备故障预测
利用贝叶斯网络建立设备 的故障模型，通过监测设 备的状态参数进行故障预 测。
可靠性分析
结合贝叶斯网络，对复杂 系统的可靠性进行分析， 找出可能的故障链和薄弱 环节。
故障诊断策略
采用贝叶斯推理，结合先 验知识和实时数据，对故 障进行快速准确的诊断。
西瓜书PPT 07贝叶斯分类器
半朴素贝叶斯分类器
为了降低贝叶斯公式中估计后验概率的困难，朴素贝叶斯分类器采用
的属性条件独立性假设；对属性条件独立假设记性一定程度的放松， 由此产生了一类称为“半朴素贝叶斯分类器” (semi-naïve Bayes classifiers)
半朴素贝叶斯分类器
为了降低贝叶斯公式中估计后验概率的困难，朴素贝叶斯分类器采用
对离散属性而言，令
表示 中在第 个属性上取值为 的样
本组成的集合，则条件概率
可估计为
对连续属性而言可考虑概率密度函数，假定
，其
中 和 分别是第 类样本在第 个属性上取值的均值和方差，
则有
朴素贝叶斯分类器
例子：用西瓜数据集3.0训练一个朴素贝叶斯分类器，对测试例
“测1”进行分类 (p151, 西瓜数据集 p84 表4.3)
贝叶斯网
贝叶斯网 (Bayesian network)亦称“信念网”(brief network)，
它借助有向无环图 (Directed Acyclic Graph, DAG)来刻画属性 间的依赖关系，并使用条件概率表 (Conditional Probability Table, CPT)来表述属性的联合概率分布。
此时条件风险
于是，最小化分类错误率的贝叶斯最有分类器为
即对每个样本 ，选择能使后验概率
最大的类别标记。
贝叶斯决策论
不难看出，使用贝叶斯判定准则来最小化决策风险，首先要获得后验
概率
。
然而，在现实中通常难以直接获得。机器学习所要实现的是基于有限
的训练样本尽可能准确地估计出后验概率
。
主要有两种策略：
计算任意两个属性之间的条件互信息 (conditional mutual information)
包含连续变量的贝叶斯网络
FF
F
FF
T
FT
F
FTTΒιβλιοθήκη TFFTFT
TT
F
TT
T
P(Fever) 0.0 0.9 0.8 0.98 0.4 0.94 0.88
0.988
P(~Fever) 1.0 0.1 0.2 0.02 = 0.2 X 0.1 0.6 0.06 = 0.6 X 0.1 0.12 = 0.6 X 0.2 0.012 = 0.6 X 0.2 X 0.1
P(Xi|Parents(Xi))，量化其父节点对该节点的影响
C. 贝叶斯网络的别名
信念网(Belief Network) 概率网络(Probability Network) 因果网络(Causal Network) 知识图(Knowledge Map) 图模型(Graphical Model)或概率图模型(PGM) 决策网络(Decision Network) 影响图(Influence Diagram)
贝叶斯网络中的条件独立关系：
给定父节点，一个节点与它的非后代节点是 条件独立的
给定一个节点的父节点、子节点以及子节点 的父节点——马尔可夫覆盖(Markov blanket)， 这个节点和网络中的所有其它节点是条件独 立的
“But his delight is in the law of the LORD, and on his law he meditates day and night.” From Psalms 1:2 NIV
贝叶斯网络的构造原则：
首先，添加“根本原因”节点 然后，加入受它们直接影响的变量 依次类推，直到叶节点，即对其它变量没有
直接因果影响的节点 两节点间的有向边的取舍原则：更高精度概
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(3) Vb和它的任何后继都不包含于 ，路径上的两条弧都以Vb开始。
这样，随机变量集合V上的一个贝叶斯网络唯一确定了一个V上的概率分 布
n
P(V) P(vi |Ui)
i1
Ui 是 vi 在 网 络 结 构中的父结点集
合
7
d分离
结论：给定证
据集ε，εd分
离Vi和Vj。
证据结点集ε
vi 证据结点，两 条 弧 都 以 Vb1 开始
vb1 vb2
证据结点，一
条 弧 以 Vb1 开 始，一条弧以
vj
vb3
Vb1结束
通过阻塞结点的条件独立
Vb3 及 其 任 一 后 继都不是证据
结点，两条弧
都以Vb3开始
8
7.1.3 贝叶斯网络的推理模式
利用建立的贝叶斯网络模型解决实际问题的过程称为贝叶斯网络推理。 在一次推理中，那些值已确定的变量构成的集合成为证据D ，需要求解 的变量集合称为假设X，一个推理问题就是求解给定证据条件下假设变 量的后验概率P(X|D)。
因果推理：从原因到结果，反映了网络中祖先结点对子孙结点的预 计支持 ； 诊断推理（或自底向上推理）是从结果到原因，它反映了网络中子 孙结点对祖先结点的回顾支持 ； 辩解：上述两种推理模式的结合 。
9
贝叶斯网络的推理模式
贝叶斯网络的推理算法可以分为两类：一类称为精确推理，即精确地 计算假设变量的后验概率；另一类称为近似推理，即在不影响推理正确 性的前提下，通过适当降低推理精度来达到提高计算效率的目的。 精确推理一般用于结构较简单的贝叶斯网络，而对于结点数量大、结 构复杂的贝叶斯网络常常采用近似推理。贝叶斯上的精确推理算法主要 有：基于分层假设的证据推理算法、基于单连通网络结构的消息传播方 法、用于多连通网络结构的联合树算法 (Join Tree algorithm)、条件割集法 (Cutset conditional methods)等。尽管贝叶斯网络以其坚实的概率理论基础 及其有效性而被认为是目前最好的不确定推理算法之一，但任意复杂结 构的贝叶斯网络推理计算是NP困难的。因此，对贝叶斯网络推理的研究 中心已转向了近似推理算法的研究。目前已提出了多种近似推理算法， 主要包含两类：一类是随机仿真法；另一类是解决网络某一方面的近似 计 算 法 ， 如 状 态 空 间 提 取 (State space abstraction) 、 弧 删 除 方 法 (Arc removal) 等。
因此，给定V ，如果vi条件独立于vj ，则同样有vj条件独立于vi 。这一结 果也可用于集合，即给定V ，如果Vi和Vj是条件独立的，那么
P (V i,V j|V ) P (V i|V )P (V j|V )
4
贝叶斯网络
条件独立性能用贝叶斯网络结构方便地表示，用贝叶斯网络表示的条件 独立能大量地节约概率推理计算。
10
贝叶斯网络的推理模式
贝叶斯网络是一种统一的概率推理结构，它为不确定知识条件下的推理提 供了一致连续的解决方法。一个贝叶斯网络包含了一组结点，这些结点代 表了一些随机变量，结点间使用弧进行连接，反映了结点间的相互关系。 在某些结点获得证据信息后，贝叶斯网络在结点间传播和融合这些信息， 每个结点被分配一个与概率定理一致的置信度，直到网络达到新的平衡。
贝叶斯推理是概率统计学中一种很重要的方法，贝叶斯网络是根 据贝叶斯推理建立的各个变量之间依赖关系的图形模型。为了进 行概率推理，需要给出一组随机变量的联合概率分布。
3
贝叶斯网络
定义(条件独立) 给定随机变量集合V、V’和随机变量vi，如果下式成立， 则称随机变量vi条件独立于变量集V ，记作：I(vi,V|V')
定义(贝叶斯网络)
给定随机变量集合V{v1,v2,..v.n,}，建立在该集合上的联合概率分布
P (V)P (v1,v2,.v .n.)可, 以表示为一个贝叶斯网络BG,P，其中： 网络结构G， G是一个有向无环图(DAG)，其结点为V，图中的结点为 随机变量，结点的状态对应于随机变量的值；A是图中弧（有向边）的集 合，表示了结点之间的条件（因果）依赖关系。
P (vi|V,V')P (vi|V') 给定集合V ，如果一个随机变量vi条件独立于另一个变量vj ，则有
P (vi |vj,V)P (vi |V)
根据条件概率的定义，有
组合上两式，得到
P (v i|v j,V )P (v j|V ) P (v i,v j|V )
P (v i,vj|V ) P (v i|V贝叶斯网络中，如果对于结点Vi和Vj之间的每个无向路径，在路径 上有某个结点Vb ，若它具有如下三个属性之一，就说结点Vi和Vj条件独 立于给定的结点集 。这三个属性是：
(1) vb ，且路径上的两条弧都以Vb开始。
(2) vb ，路径上的一条弧以Vb开始，另一个以Vb结束。
第七章贝叶斯网络
7.1 贝叶斯网络及其推理模式
7.1.1 贝叶斯网络 7.1.2 d分离 7.1.3 贝叶斯网络的推理模式
2
7.1.1 贝叶斯网络
贝叶斯网络也称为信念网、概率因果网，它是用来表示变量集合 的连续概率分布的图形模式，是人工智能、概率理论、图论、决 策理论相结合的产物。贝叶斯网络提供了一种自然地表示因果信 息的方法，用来发现数据间的潜在关系。作为一种知识表示和进 行概率推理的框架，贝叶斯网络在具有内在不确定性的推理和决 策问题中得到了广泛的应用，例如诊断和故障检测、概率专家系 统、交通管理、计算机视觉和数据挖掘等。
网络参数P， P为贝叶斯网络的条件概率表集合， P中的每一个元素代 表结点Vi的条件概率表（CPT），由概率的链规则有
n
P (V)P (v1,v2,.v .n.), P(vi |v1,v2,...v,i1)
i1
根结点的
非根结点与它们
概率
先导结点的条件
概率
5
贝叶斯网络
由上式可以看出，为了确定贝叶斯网络的联合概率分布，要求给 出如下先验概率：①所有根结点的概率；②所有非根结点与它们 先导结点的条件概率。对于n个离散二值随机变量，要确定它们 的联合概率分布，需要给出2n-1个条件概率值，当较大时，通过 各个条件概率来计算联合概率往往是难以处理的。因此，变量间 的条件独立性是很重要的。Pearl对贝叶斯网络中结点间的条件独 立性进行了研究，给出了d分离条件（d -separation condition）的 定义。在贝叶斯网络中，独立关系表现为结点间的d分离。同理， 其间没有d分离的结点是相互依赖的。
这样，随机变量集合V上的一个贝叶斯网络唯一确定了一个V上的概率分 布
n
P(V) P(vi |Ui)
i1
Ui 是 vi 在 网 络 结 构中的父结点集
合
7
d分离
结论：给定证
据集ε，εd分
离Vi和Vj。
证据结点集ε
vi 证据结点，两 条 弧 都 以 Vb1 开始
vb1 vb2
证据结点，一
条 弧 以 Vb1 开 始，一条弧以
vj
vb3
Vb1结束
通过阻塞结点的条件独立
Vb3 及 其 任 一 后 继都不是证据
结点，两条弧
都以Vb3开始
8
7.1.3 贝叶斯网络的推理模式
利用建立的贝叶斯网络模型解决实际问题的过程称为贝叶斯网络推理。 在一次推理中，那些值已确定的变量构成的集合成为证据D ，需要求解 的变量集合称为假设X，一个推理问题就是求解给定证据条件下假设变 量的后验概率P(X|D)。
因果推理：从原因到结果，反映了网络中祖先结点对子孙结点的预 计支持 ； 诊断推理（或自底向上推理）是从结果到原因，它反映了网络中子 孙结点对祖先结点的回顾支持 ； 辩解：上述两种推理模式的结合 。
9
贝叶斯网络的推理模式
贝叶斯网络的推理算法可以分为两类：一类称为精确推理，即精确地 计算假设变量的后验概率；另一类称为近似推理，即在不影响推理正确 性的前提下，通过适当降低推理精度来达到提高计算效率的目的。 精确推理一般用于结构较简单的贝叶斯网络，而对于结点数量大、结 构复杂的贝叶斯网络常常采用近似推理。贝叶斯上的精确推理算法主要 有：基于分层假设的证据推理算法、基于单连通网络结构的消息传播方 法、用于多连通网络结构的联合树算法 (Join Tree algorithm)、条件割集法 (Cutset conditional methods)等。尽管贝叶斯网络以其坚实的概率理论基础 及其有效性而被认为是目前最好的不确定推理算法之一，但任意复杂结 构的贝叶斯网络推理计算是NP困难的。因此，对贝叶斯网络推理的研究 中心已转向了近似推理算法的研究。目前已提出了多种近似推理算法， 主要包含两类：一类是随机仿真法；另一类是解决网络某一方面的近似 计 算 法 ， 如 状 态 空 间 提 取 (State space abstraction) 、 弧 删 除 方 法 (Arc removal) 等。
因此，给定V ，如果vi条件独立于vj ，则同样有vj条件独立于vi 。这一结 果也可用于集合，即给定V ，如果Vi和Vj是条件独立的，那么
P (V i,V j|V ) P (V i|V )P (V j|V )
4
贝叶斯网络
条件独立性能用贝叶斯网络结构方便地表示，用贝叶斯网络表示的条件 独立能大量地节约概率推理计算。
10
贝叶斯网络的推理模式
贝叶斯网络是一种统一的概率推理结构，它为不确定知识条件下的推理提 供了一致连续的解决方法。一个贝叶斯网络包含了一组结点，这些结点代 表了一些随机变量，结点间使用弧进行连接，反映了结点间的相互关系。 在某些结点获得证据信息后，贝叶斯网络在结点间传播和融合这些信息， 每个结点被分配一个与概率定理一致的置信度，直到网络达到新的平衡。
贝叶斯推理是概率统计学中一种很重要的方法，贝叶斯网络是根 据贝叶斯推理建立的各个变量之间依赖关系的图形模型。为了进 行概率推理，需要给出一组随机变量的联合概率分布。
3
贝叶斯网络
定义(条件独立) 给定随机变量集合V、V’和随机变量vi，如果下式成立， 则称随机变量vi条件独立于变量集V ，记作：I(vi,V|V')
定义(贝叶斯网络)
给定随机变量集合V{v1,v2,..v.n,}，建立在该集合上的联合概率分布
P (V)P (v1,v2,.v .n.)可, 以表示为一个贝叶斯网络BG,P，其中： 网络结构G， G是一个有向无环图(DAG)，其结点为V，图中的结点为 随机变量，结点的状态对应于随机变量的值；A是图中弧（有向边）的集 合，表示了结点之间的条件（因果）依赖关系。
P (vi|V,V')P (vi|V') 给定集合V ，如果一个随机变量vi条件独立于另一个变量vj ，则有
P (vi |vj,V)P (vi |V)
根据条件概率的定义，有
组合上两式，得到
P (v i|v j,V )P (v j|V ) P (v i,v j|V )
P (v i,vj|V ) P (v i|V贝叶斯网络中，如果对于结点Vi和Vj之间的每个无向路径，在路径 上有某个结点Vb ，若它具有如下三个属性之一，就说结点Vi和Vj条件独 立于给定的结点集 。这三个属性是：
(1) vb ，且路径上的两条弧都以Vb开始。
(2) vb ，路径上的一条弧以Vb开始，另一个以Vb结束。
第七章贝叶斯网络
7.1 贝叶斯网络及其推理模式
7.1.1 贝叶斯网络 7.1.2 d分离 7.1.3 贝叶斯网络的推理模式
2
7.1.1 贝叶斯网络
贝叶斯网络也称为信念网、概率因果网，它是用来表示变量集合 的连续概率分布的图形模式，是人工智能、概率理论、图论、决 策理论相结合的产物。贝叶斯网络提供了一种自然地表示因果信 息的方法，用来发现数据间的潜在关系。作为一种知识表示和进 行概率推理的框架，贝叶斯网络在具有内在不确定性的推理和决 策问题中得到了广泛的应用，例如诊断和故障检测、概率专家系 统、交通管理、计算机视觉和数据挖掘等。
网络参数P， P为贝叶斯网络的条件概率表集合， P中的每一个元素代 表结点Vi的条件概率表（CPT），由概率的链规则有
n
P (V)P (v1,v2,.v .n.), P(vi |v1,v2,...v,i1)
i1
根结点的
非根结点与它们
概率
先导结点的条件
概率
5
贝叶斯网络
由上式可以看出，为了确定贝叶斯网络的联合概率分布，要求给 出如下先验概率：①所有根结点的概率；②所有非根结点与它们 先导结点的条件概率。对于n个离散二值随机变量，要确定它们 的联合概率分布，需要给出2n-1个条件概率值，当较大时，通过 各个条件概率来计算联合概率往往是难以处理的。因此，变量间 的条件独立性是很重要的。Pearl对贝叶斯网络中结点间的条件独 立性进行了研究，给出了d分离条件（d -separation condition）的 定义。在贝叶斯网络中，独立关系表现为结点间的d分离。同理， 其间没有d分离的结点是相互依赖的。