Bayes网络推理结论的解释机制研究

计算机研究与发展ISSN 1000 1239/CN 11 1777/T PJournal of Computer Research and Development 42(9):1527~1532,2005收稿日期:2003-11-13;修回日期:2004-04-05基金项目:国家自然科学基金项目(60175011,60375011);安徽省自然科学基金项目(03042207);安徽省优秀青年科技基金项目(04042044)Bayes 网络推理结论的解释机制研究汪荣贵 张佑生 高 隽 彭青松(合肥工业大学计算机与信息学院 合肥 230009)(wangrgui@mail hf ah cn)Research on Explanation Function for Reason C onclusions with Bayesian NetworkWang Ronggui,Zhang Yousheng,Gao Jun,and Peng Qingsong(College of Comp uter and I nf or mation ,H ef ei Univer sity of T echnology ,H ef ei 230009)Abstract In this paper,an explanation function about Bayesian network is presented With it,evidences effect deg ree,direction and paths on reason conclusion can be ex plained Necessity factor and sufficiency factor are designed as a measure approach,to valuate evidences effect degree on posteriori distributions By the w ay of qualitatively analysis the character of netw ork structure,notes relative to reason conclusion are find out Based on those notes,and combined w ith the quantitatively analysis,sub chains w hich consist of effect paths are found out,too Those sub chains are valuated to create and explain the effect paths Ex per im ent results show the effectiveness of the ex plain functionKey words Bayesian network;posteriori distribution;1 normal;effect degree;effect direction;effect path摘 要提出一种关于Bayes 网络的解释机制,用于解释证据对推理结论的作用程度、方向及路径 引入必要性和充分性因子作为度量来评价证据对推理结论的作用程度;通过定性分析网络结构特点,找出与推理结论有关的节点,在此基础上,结合定量分析找出组成作用路径的子链,并分析这些子链对推理结论的作用,由此生成和解释证据对推理结论的作用路径 实验结果验证了方法的有效性关键词Bayes 网络;后验概率分布;1 范数;作用程度;作用方向;作用路径中图法分类号 T P1811 引 言Bayes 网络模型[1,2]的知识表示和推理算法基于联合概率分布,不能像MYCIN 等系统那样通过翻译推理链自动生成解释[3,4] Bayes 网络推理结论的解释机制的研究正在形成一个热点[5]Bayes 网络推理的解释方法研究的核心问题在于找到适当的方法评价证据对兴趣节点的后验概率分布的作用大小及路径[2,6] 文本提出一种称为删除法的技术来研究这个问题,在此基础上建立一种Bayes 网络推理的解释方法,实验结果验证了方法的有效性2 证据对结论的作用程度Bayes 网络推理就是在已知证据节点集合E 的取值状态下,算出网络中其余节点(非证据节点)X 的概率分布,即计算后验概率分布P (X |E ) 现在提出一种称为删除法的技术来分析证据对推理结论的作用程度,就是当考察网络结构中的某个(些)证据对推理结论的作用时,就将它(们)从证据集合中删除(即在Bayes 网络模型中将其看成非证据节点),然后计算推理结论的变化 对于Bayes 网络模型中某一特定的非证据节点X ,在证据集合为E 时的推理结论为后验概率分布P(X |E ) 考察E 中的某一证据L 对P (X |E )的作用 从E 中删除L ,得到的集合为E -L,相应的后验概率分布为P (X |E -L ) 使用向量差P (X |E )-P (X |E -L )的1 范数来度量两者间的差异,并记为M (P (X |E ),P (X |E-L)),即M (P (X |E ),P (X |E -L ))=|p i -q i |,(1)其中,P (X =x i |E )=p i ,P (X |E -L )=q i ,i =1,2,!,m ;m 是X 的状态数令 (L ,X )=M (P (X |E ),P (X |E -L))M (P (X |E ),P (X )), (L ,X )为L 对X 的必要性因子 它表示L 的必要性程度在证据集合E 中所占的比例 令 (L ,X )的阈值 =1 (|E |+1),|E |表示集合E 的基数 若 (L ,X )> ,则表明L 对推理结论P(X |E )具有显著的必要性图1是关于大学生学习成绩简化的Bayes 网络,称之为成绩网络 它由一个有向无环图和6个边际或条件概率矩阵组成 各变量的名称分别为智商(X 1)、努力程度(X 2)、应试能力(X 3)、知识掌握程度(X 4)、考试成绩(X 5)与作业成绩(X 6) 网络结构中蕴含的独立性及条件独立性有P (X 1,X 2)=P (X 1)P (X 2);P (X 3|X 1,X 2)=P (X 3|X 1);P (X 4|X 1,X 2,X 3)=P (X 4|X 1,X 2);P (X 5|X 1,X 2,X 3,X 4)=P (X 5|X 3,X 4);P (X 6|X 1,X 2,X 3,X 4,X 5)=P (X 6|X 4) 相应的知识表示为 P(X 1,X 2,X 3,X 4,X 5,X 6)=P (X 1)P (X 2)P (X 3|X 1)P(X 4|X 1,X 2)P(X 5|X 3,X 4)P (X 6|X 4)F ig 1 Bayesian networ ks for student sco re图1 学生学习成绩的Bay es 网络令证据集合E ={X 1=∀高#,X 2=∀勤奋#},需要解释的是X 5的后验概率分布P (X 5|E ) 若要考察E 中的证据∀X 2=勤奋#,对P (X 5|E )的作用,则取L =∀X 2=勤奋#,E -L ={X 1=∀高#} 计算结果(表1)表明,要取得优良的成绩,高智商和勤奋都很重要Table 1 The Necessity Factor of P(X 5|E )for L表1 L 对P (X 5|E)的必要性因子Probabilistic Distribution Probabilistic Distribution of X 5A B C D E 1 Normal Effect Factor(%)P (X 5|E )0 55290 28880 09340 04580 0191P (X 5)0 23980 22260 24720 21470 0756M (P (X 5|E ),P(X 5))0 5896P (X 5|E-L)0 37400 24750 17560 14350 0594M (P (X 5|E ),P(X 5|E-L))0 3014(L ,X 5)51 12表1中的 (L ,X 5)值表示如果不知道X 2的取值状态,对推理结论会造成多大的损失 若 (L ,X )值较大,则说明证据L 在证据集合E 中对形成推理结论P(X |E )的必要性较大,对P (X |E )的作用当然也较大 但是,若 (L ,X )值较小,则并不能由此断定L 对P (X |E )的作用较小 因为L 对推理结论的作用可能与证据集合中其他证据相重叠 如果在原有的证据集合中增加一条证据:作业成绩(X 6)=∀优#,即令证据集合E ={X 1=∀高#,X 2=∀勤奋#,X 6=∀优#},需要解释的是X 5的后验概率分布P (X 5|E ) 若要考察E 中的证据X 2=∀勤奋#对P(X 5|E )的作用,则取L =X 2为该证据,于是E-L={X 1=∀高#,X 6=∀优#} 得到计算结果如表2所示 可以看出,此时L 对X 5的必要性因子 (L ,X 5)较小 这说明X 2的取值状态未知(不知道是否∀勤奋#),对推理结论的作用较小 由于证据1528计算机研究与发展 2005,42(9)∀X6=优#对推理结论的作用与证据∀X2=勤奋#的作用相重叠, (L,X5)较小并不意味着证据∀X2=勤奋#单独对推理结论的作用不重要为消除重叠现象对解释的干扰,现在寻找L对推理结论P(X|E)的充分性程度 若将除L以外的所有证据节点看成非证据节点,则X的后验概率分布从P(X|E)变成P(X|L),相应的必要性因子为 (E-L,X),它度量了除L以外的所有证据E-L对形成推理结论的必要性程度 令(L,X)=1- (E-L,X),称(L,X)为L对X的充分性因子 从表2可以看出,L对X5的充分性因子(L,X5)较大,体现了学习中勤奋的重要性Table2 The Ef fect Factor of P(X5|E)for L 表2 L对P(X5|E)的作用因子Probabilistic DistributionProbabilistic Dis tribution of X5A B C D E1 Normal E ffect Factor(%)P(X5|E)0 57600 29410 08290 03320 0139P(X5)0 23980 22260 24720 21470 0756M(P(X5|E),P(X5))0 8152(L,X5)42 32 P(X5|E-L)0 53640 28490 10100 05480 0228M(P(X5|E),P(X5|E-L))0 0974 (L,X5)11 95 P(X5|L)0 36630 26860 18430 13470 0460M(P(X5|E),P(X5|L))0 4702 (E-L,X5)57 68可以根据表3所示的规则,使用 , (L,X)和(L,X)这3个数据,将证据分为关键证据、必要证据、重要证据、次要证据等4种类型 例如,若取阈值 =1 4,则根据表2、表3得到如下解释:证据集合{智商(X1)=∀高#,努力(X2)=∀勤奋#,作业成绩(X6)=∀优#}中,证据∀努力(X2)=勤奋#是重要证据 ∀努力(X2)=勤奋#与∀作业成绩(X6)=优#的对推理结论的作用有重叠现象 因为若没有证据∀作业成绩(X6)=优#,则∀努力(X2)=勤奋#就有显著的必要性 因此,对于证据集合{智商(X1)=∀高#,努力(X2)=∀勤奋#},∀努力(X2)=勤奋#是关键证据Table3 The Explanation Rule for the Effect Extent to the Inf erence Conclusion表3 对推理结论的作用程度的解释规则(L,X)(L,X)T he Effect Extent of L for X,i e the Effect Extent for the In feren ce Conclusion P(X|E)T ype > > L has important contributi on to inference conclusion,and this kind of contributi on can t be s ubstituted for other evi dences in EKey Evidence> < T hough L itself does not have much contribution to inference conclusion,it is important in E Because if th ere is no L,the contribution of other eviden ces i n E w ill decrease remarkably Necessity Evi dence< > L has important contribution to inference conclusion,w hile part of the contri bution overlap w ith the contributi on of other evidences in E Th en L could be substituted for other evidences in E Important Evi dence< < L i tself does not have much contri bution to inference conclusi on,and it could be substituted forother evidences in E T hen it is unimportant evidence in EM inor Evidence3 证据对结论的作用路径3 1 由P(X|E)生成的Bayes网络根据Bayes网络的结构特征与条件独立性之间的关系,推理结论P(X|E)一般只与网络中部分节点有关 找出证据对推理结论产生影响的路径,只需考察可能与计算P(X|E)有关的节点 对于规模较大的Bayes网络,删除网络中与计算P(X|E)无关的节点可以减少问题的复杂性 不难证明:如果节点N满足如下3个条件之一,那么它与计算P(X| E)无关:∃N不是X或X的某一先驱节点,也不是证据节点或某个证据节点的先驱节点;%N和X被E或E中的元素有向分割(d separation)[7,8];&连接N和X的每条路径中都存在与计算P(X|E)无关的节点删除网络结构中所有与计算P(X|E)无关的节点,就生成一个新的Bayes网络模型,本文称之为由P(X|E)生成的Bayes网络,该Bayes网络的网络结构就是简化后的网络结构,条件概率分布就是原Bayes网络模型中对应的条件概率分布3 2 生成作用路径现在要从由P(X|E)生成的Bayes网络结构中找出所有连接L和X的有向路径(有向链) 所谓1529汪荣贵等:Bayes网络推理结论的解释机制研究连接L和X的有向路径,就是指一些互异的节点{X1,X2,!,X K}组成的节点序列,且满足如下4个条件:∃序列的起点和终点分别对应于L和X,即X1=L,X K=X;%对于X i和X i+1,存在从X i到X i+1,或者从X i+1到X i的有向边;&{X1,X2,!, X K}中每个节点都与计算P(X|E)有关;∋不能含有异于L证据节点 本文设计了如下深度优先穷尽搜索算法,寻找连接L和X的有向路径对于单连通的网络结构,任意两个节点之间只有惟一的连接路径,可以通过分析路径中节点的概率分布的变化,直接生成对该路径的解释 对于多连通网络结构,可能有多个连接L和X的有向路径,它们对P(X|E)的作用程度不一定相同,作用路径间可能存在重叠 为此将连接路径适当分割为若干子链,定量分析每条子链对推理结论P(X|E)的作用程度,生成作用子链 具体的分割算法比较简单,不再赘述 要从这些可能的子链中找出L作用X的作用子链,则需要对这些子链做进一步的定量分析3 3 解释作用路径如果某条作用子链存在于每条连接L与X的有向路径,则该子链显然是L作用X的必经之路,称这种子链为关键子链 对于所有的非关键子链,可以使用删除法来分析它们对推理结论作用程度 如果要考察某条非关键子链对推理结论P(X|E)的作用,就从由P(X|E)生成的Bayes网络结构中删除该链两端点之间的部分,然后通过度量和分析P(X|E)的变化来生成对该链的解释 使用删除法分析子链对推理结论的作用需要处理好如下两个问题:∃从网络结构中删除子链两端点之间的部分,改变了网络结构,子链的某个端点在网络结构中的父节点数可能会减少,其条件概率分布会发生变化,此时如何计算新的条件概率分布;%从网络结构中删除子链,相当于增加了条件独立性假设,改变了知识库的结构,由此可能改变网络节点X的先验概率P(X),如何处理先验概率的这种变化设Bayes网络中某节点A有父节点B0,B1,!, B K,删除A的父节点B0,根据概率的归一性,有:P(A|B1,!,B K)=B0P(A,B0|B1,B2,!,B K)= B0P(B0|B1,B2,!,B K)P(A|B0,B1,B2,!,B K)(3) 可以按上式计算删除B0后的关于节点A的条件概率分布,其中P(A|B0,B1,B2,!,B K)就是删除B0前节点A的条件概率分布,P(B0|B1,B2, !,B K)可由Bay es网络所确定的联合概率分布计算:P(B0|B1,B2,!,B K)=P(B0,B1,B2,!,B K) P(B1,B2,!,B K)从由P(X|E)生成的Bayes网络模型中删除某条作用子链C两端点之间的部分,若端点父节点数发生变化,则可以根据式(3)算出新的条件概率分布,形成一个新的Bayes网络模型 根据该模型可以算出节点X的新的先验概率分布P*(X)和作为推理结论的后验概率分布P*(X|E),进一步算出基于该模型的L对X的充分性因子*(L,X)Table4 The Explanation Rule of Effect Path f or Evidence L to the Influence C onclusion表4 证据L对推理结论作用路径的解释规则d(L,X)M(P,P*)Color Explanati on T ype>!<∀Bulky Black T he effect of the changing for the know ledge database s tructure is not obvious,then difference d(L,X)is mai nly the probabilistic informationpropagated by the sub chain T hen this sub chain transfers mai n probabilistic informationBelong to main path>!>∀Black M(P,P*)being obvious,difference d(L,X)contains part effect ofthe changing of know ledge database structure H ow ever it could not assure the sub chain w i ll transfer mass informationBelong to main path<!<∀Bulky Gray T his sub chain will transfer minor probabilistic information Not belong to main path <!>∀Colorless T he effect of knowledge database changing is obvi ous,and d(L,X)isminor T his situati on i s peculiar使用P(X)与P*(X)之差的1 范数M(P(X), P*(X))度量两者的差异 令d(L,X)=(L,X) -*(L,X),根据如表4所示的解释和表示规则,就可以通过分别考察d(L,X)及M(P(X),P*(X))的大小,生成对作用子链C的解释,并着上相应的颜色 由颜色相同的子链组成的有向路径就是一条作用路径 该作用路径的类型由其颜色确定 表4中的阈值!和∀需要根据经验选取1530计算机研究与发展 2005,42(9)4 应用实例:解释ALAR M 模型的作用路径ALARM 模型是由Beinlich 等人构建的[9],用于监视麻醉状态下病人身体状况及相关医疗设备的工作状态 它有46条边37个节点,包括8个诊断节点(感兴趣的输出节点)、16个证据节点、13个中间节点,图2表示该模型的网络结构,本节用N j 表示图中第j 个节点 如每个节点的医学含义、取值状态、条件或先验概率分布等,可以从网页[10,11]中得到令L =∀N 13=0#,首先找出与计算P (X |E )有关的所有节点,组成由P (X |E )生成的Bayes 网络(如图3(a)所示);然后找出所有连接L 和X 的有向路径,共有3条:{N 13,N 36,N 24};{N 13,N 22,N 35,N 36,N 24};{N 13,N 23,N 35,N 36,N 24} 这些有向路径组成一个关于L 和X 的网络结构,如图3(b)所示;将图3(b )中网络结构分割成若干有向路径的子链,共有5条,它们是C 1={N 36,N 24};C 2={N 13,N 36};C 3={N 35,N 36};C 4={N 13,N 22,N 35};C 5={N 13,N 23,N 35} 节点N 23的概率分布几乎不变,满足命题2的条件,因此C 5不是作用子链 其余4条为所有可能的作用子链,C 1是关键子链;最后,分别计算作用子链C 2,C 3,C 4的(d (L ,X ),M (P (X ),P *(X )))值,计算结果分别为(48 82%,0 0213);(2 35%,0 0324);(2 12%,0 0532),根据表4生成对作用路径的解释,如图3(c)所示证据∀N 13=0#对节点N 24的作用路径有两条:{N 13,N 36,N 24}和{N 13,N 22,N 35,N 36,N 24} 其中{N 13,N 36,N 24}是主要作用路径,{N 13,N 22,N 35,N 36,N 24}是次要作用路径 证据N 13主要通过N 36来作用N 24,而节点N 22,N 35对N 24的作用不大 事实上,节点N 36表示输氧管道的通风状态,与节点N 24的因果关系显然十分密切F ig 3 Finding and Explaining the effect path (a)Nodes r elated to the computing process of P (X |E);(b)Dir ect path connecting L and X ;and (c)T he effect path of L to X图3 寻找并解释作用路径 (a)与计算P(X |E )有关的节点;(b)连接L 和X 的有向路径;(c)L 对X 的作用路径F ig 2 N etw ork structure of the AL ARM model图2 AL ARM 模型的网络结构1531汪荣贵等:Bayes 网络推理结论的解释机制研究5 总 结使用经典的概率理论处理不确定性信息和知识面临着两个主要困难[4]:∃计算量与概率模型的精度之间难以取舍;%概率理论基于公理系统,其推理方式与人的思维方式有较大差别,难以构建基于概率型智能系统的解释机制 因此,人们一般使用广义概率方法(如主观Bayes方法、确定性因子等)或其他的启发式方法(D S证据理论、模糊理论等),来解决智能信息处理中的不确定性信息和知识 Bayes 网络模型通过巧妙使用条件独立性克服了第1个困难[1],使得人们恢复了对经典的概率理论和方法的信心,导致近十几年来智能信息处理中经典的概率理论和方法的复兴 本文的研究表明,基于Bay es网络的智能信息系统可以构造有效的解释机制,解释证据对推理结论作用的程度及路径参考文献1J Pearl Probabilistic Reasoning i n Expert Systems:Netw orks of Plausible Inference San M ateo,CA:M organ Kaufmann,1988 2S L Lauritzen,D J Spiegelhalter Local computati ons with probabilities on graphical structures and their appli cati on to expert systems Journal of the Royal Statistical Society,Series B,1988, 50(2):157~2243C Elsaes s er,et al Explanation of probabi listic inference In: Proc Conf Un certainty in Artificial Intelligence Amsterdam, Holland:Elsevier Science Publishers,1989 319~3284G S hafer,J Pearl,eds Readings in Uncertain Reasoning San M ateo,CA:M organ Kaufmann,19905D M adigan,et al Graphical explanations in belief networks Journal of Computational and Graphic Statistics,1997,6(2): 1601~1816U Chajew ska,J Y Halpern Defining explanation in probabilis tic systems In:Proc 30th Conf Uncertai nty in Artificial Intelli gence San Francisco:M organ Kaufmann,1997 62~717D Geiger,et al D Separation:From th eorems to algori thms T he5th W orkshop on U ncertainty in Artificial Intelligence,Wind sor,Ontari o,19898D Geiger,T Verma,J Pearl Identifying independence in Bayesian netw orks Netw orks,1990,20(2):507~5349I A Bei nli ch,e t al T he ALARM monitoring system:A case study w ith tw o probabilis tic inference techniques for belief n et works In Proc the2n d European Conf Artificial Intelligence i n M edical Care Berlin:S pringer Verlag,1989 247~25610I A Beinlich A logical alarm reduction mechanism http:( ww netlib alarm.htm,2002 1011I A Beinlich A m edical diagnostic alarm message system http: (ww netlib ALARM.dnet,2002 10Wang Ronggui,born in1966 Received hisPh D deg ree in2004 His curr ent researchinter ests include intelligent information processing,know ledge engineer,Bay esian Network,imag e understanding汪荣贵,1966年生,博士,副教授,主要研究方向为智能信息处理、知识工程、Bay es网络、图像理解Zhang Yousheng,born in1941 He hasbeen professor and Ph. D.supervisor ofHefei U niversity of T echnology since1994His current r esearch interests include ar tificial intelligent and its applicat ion in imagerecog nit ion and understanding张佑生,1941年生,教授,博士生导师,主要研究方向为人工智能在图形和图像识别与理解中应用Gao Jun,born in1963 He has been professor and Ph. D.supervisor of Hefei U niv ersity of T echnolog y since2000 H i s current resear ch interests include image processing,pattern recognition,neural netw orks,intelligent information processing高隽,1963年生,教授,博士生导师,主要研究方向为图像处理、模式识别、神经网络理论及应用、光电信息处理、智能信息处理Peng Qingsong,born in1975 Received hisPh D.deg ree in2004 His curr ent researchinter ests include art ificial intelligent and itsapplicatio n in image reco gnition and understanding彭青松,1975年生,博士,主要研究方向为人工智能及其图像识别与理解中应用Research BackgroundBayesian networ k can be used to compute the uncertain information and knowledge T he joint probabilist ic distribution is used to r epresent the knowledge to enhance consistency and to improve the reasonability of the inference conclusion,and conditional indepen dence contained in graphical mo dels is used to decrease the complex ity of joint probabili stic distribution Ho wever the infer ence conclu sion of the Bayesian network i s t he form of posteriori pr obabilistic distr ibut ion,and what s serious is that it could not be ex plained di rectly by translating inference chain o r inference networ k So the ex planation mechanism of the Bay esian netw ork is a research topic t hat is w orthy of researching We have resear ched and r ealized a kind of explanation mechanism and have prov ided new solut ion to study on the ex planation mechanism of Bayesian network T he research is supported by the national science research foundation(No 60175011,No 60375011)1532计算机研究与发展 2005,42(9)。