贝叶斯网络和因果网络

31

网络模型与应用

网络图用于描述点与点之间的相互联系。贝叶斯网络是由节点（点）和有向边（箭头）组成，点表示随机变量，箭头表示变量之间的依赖关系。贝叶斯网络描述随机变量的联合概率模型和多变量之间的条件独立性。20世纪80年代贝叶斯网络应用于概率专家系统和医学诊断等方面。根据已知的症状，推断疾病的概率，即计算给定证据条件下的后验概率，称为贝叶斯网络。

在统计模型中，用无向图表示图模型，有向图表示贝叶斯网络，无向和有向混合图表示链图模型，统称为图模型。它们被用来描述变

贝叶斯网络和因果网络

关键词：贝叶斯网络 因果推断 统计图模型

耿　直

北京大学

量之间的相关关系和条件独立关系。将贝叶斯网络中有向边的箭头方向解释成因果关系，即由原因指向结果，这种带有因果解释的有向图称为因果网络[8,10]。因果网络用来描述变量之间的因果关系，广泛应用于因果机制的发现和因果推断中。已有很多关于图模型和因果网络的计算机软件应用于各行各业。

在生物学中，图模型用来描述基因-蛋白质-功能之间的调控关系。詹森（Jansen R.）等人在2003年提出了用贝叶斯网络预测蛋白质-蛋白质的交互作用的方法[7]；弗里德曼（Friedman N.）等在2004年讨论了贝叶斯网络在基因网络构建方面的应用[2]；萨持（Sachs K.）等人在2005年讨论了利用多种试验数据和因果网络

图1

细胞网络的图模型 (a) 各种贝叶斯网络[2]

32

方法应用于蛋白质调控网络的结构学习问题[9]（见图1）；爱丽斯（Ellis B.）提出了由试验数据学习因果网络的方法及其在蛋白质调控网络中的应用[1]

。图模型还应用于疾病的遗传分析、法院判案时的DNA （Deoxyribonucleic Acid ）鉴定、构建非平稳的基因调控过程。邹（Zou ，音译）将格兰治（Granger ）的因果方法和动态贝叶斯网络方法应用于生物芯片数据分析，对两种因果推断方法进行了比较[14]。

在图像处理中，图模型被用来描述像素之间的马尔可夫性。在模式识别中，图模型被用来描述分类变量与观察证据之间的相互关系。在语音识别中，图模型被用来描述信号与潜在真实字母之间的广义隐马氏模型。在心理学认知方面，图模型被用来描述心理和生理信号与认知之间的关系。在市场营销方面，因果网络被用来分析评价各种促销活动对于不同商品

销售的作用。2008年IEEE 计算智能世界大会（IEEE World Congress o n C o m p u t a t i o n a l Intelligence ，WCCI ）组织的第一次因果挑战研讨会上（Workshop ），提出了从数据中挖掘因果网络和基于因果网络预测的挑战问题1。2008年神经信息处理系统会议（N e u r a l Information Processing Systems ，NIPS ）组织的第二次因果挑战讨论会（Workshop ）上，提出

了利用纵向数据和时间序列数据进行动态因果

网络挖掘和局部因果网络挖掘的挑战问题2。

从数据构建网络结构

海克曼（Heckerman D.）介绍了贝叶斯网络的学习方法。大规模、高维变量的图模型结构学习和参数学习都是具有挑战性的难题[6]。从计算复杂性考虑，贝叶斯网络的结构学习是NP 困难问题；从统计推断功效方面考虑，高维稀疏数据的统计检验也变得很困难。最早的结构学习方法有IC 算法和PC 算法。 撒马蒂努斯（Tsamardinos I.）等人提出了贝叶斯网络结构学习的最大最小爬山法，用网络中搜索各个节点邻居的算法，再根据每个点的邻居情况构造整个网络[11]。谢（Xie ，音译）等人给出了递归分解一个大规模网络的结构学习为小规模局部网络结构学习的方法[12]。这个分解算法首

1

http://www.causality.inf.ethz.ch/challenge.php

2

http://www.causality.inf.ethz.ch/pot-luck.php

图1 细胞网络的图模型 (b) 数字描述了10个干预条件

[9]

先构造一个变量集合的无向图，并进行结构分解；每个分解后的无向图再构造局部无向图，再分解；递归进行，直到无向图不可分解为止；在不可分解的无向图里，即完全子图内进行有向图的结构学习；在递归的回代过程中，逐步合并有向子图，最终得到整个有向图。学习无向图的算法复杂度比较低，学习有向图的复杂度很高，该算法的中心思想是将整个有向图学习分解到不可分解的无向子图内执行。有些学者探讨了不完全数据情况下图模型的EM 算法、贝叶斯网络的分解学习算法、利用多个不完全观测数据库和条件独立性的先验知识进行网络结构学习的方法，以及链图模型的结构学习方法等。

构建因果网络可以采用贝叶斯网络结构学习的方法，根据观测数据来构建网络结构。但是，仅由观察性研究得到的数据不能完全确定所有因果方向，只能得到具有相同马尔可夫性质或相同条件独立性的因果网络的集合。这个集合可能由很多网络组成，不同网络中的相同节点对（例如，点a和点b）之间边的箭头方向也许不同。例如，在一个图中为a→b，在另一个图中为a←b。这个网络的集合可以用一个链图表示，链图中的有向边表示该集合中所有网络有一致的箭头方向，无向边表示网络之间存在不同的箭头方向。为了确定这个集合中哪一个网络是真正的因果网络，需要干预试验的数据。例如，如果干预变量a之后，变量b的分布发生了变化，那么就能确定为a→b。萨持等人讨论了利用多种试验数据进行因果网络结构学习的方法，用于蛋白质调控网络的构建。爱丽斯提出了由试验数据学习因果网络的随机模拟方法，也用于构建蛋白质调控网络。他们提出的方法，都是基于试验数据和观测数据的联合似然函数进行的结构学习，没有考虑如何有效地设计干预试验。何（He，音译）等人提出了两种因果网络的最佳干预试验设计方法[5]。一种是成批进行干预试验，一次干预若干个节点，使得干预后就能惟一确定因果网络。另一种是

每次干预一个节点，根据每次干预的结果，再

选择干预下一个节点，这是一种逐步干预试验

方法。这两种方法都希望能够以干预最少的节

点来确定所有变量之间的因果方向，即确定由

观察研究数据获得的网络集合中哪一个网络是

真正的因果网络。逐步干预方法利用了每次干

预结果的信息，因此比成批干预方法减少了节

点；但是，逐步干预方法需要组织多次干预试

验，付出的代价和时间不一定比成批干预方法

少。因果网络研究的另一个重要问题是，帮助

确定混杂因素和进行观察研究设计。给定一个

已知因果网络，确定在一个观察研究中应该观

测的变量集合，使所关心的因果作用可以由观

测数据来识别[3]。在科学研究中常常不仅限于

预测问题，还有兴趣探索多因素之间的因果机

制。例如，关心两个变量之间的因果作用是如

何产生的？两者间的作用有多大程度是这两者

之间直接产生的？有多少是通过其他因素间接

地产生的？给定因果网络中的一条路径，如何

判断该路径上的因果作用的可识别性，如何进

行试验和观察设计使得该因果路径的作用可识

别。在因果路径终点指标不可观测时，因果网

络可用于帮助确定替代指标的准则。

干预结果的预测方法

回归预测的方法经历了百年历史，至今

仍然是一种应用广泛、有效的预测方法。在使

用传统预测过程中，首先利用训练样本的数据

构建模型，然后根据构建的模型对新的个体或

对象进行预测，常常还根据预测模型提出干预

措施，以达到期待的目标。尽管近几年在数据

建模方面出现了很多新的有效方法，如逐步筛

选预测变量的方法、高维数据的变量选择和降

维的方法等，但是大部分的预测方法都是基于

相关性的方法。它们通过训练样本建立变量间

相关关系的模型。利用这种模型进行预测需要

33