基于贝叶斯网络的步态识别
邮局订阅号：８２－９４６３６０元／年
技术创新
人工智能
《ＰＬＣ技术应用２００例》
您的论文得到两院院士关注
基于贝叶斯网络的步态识别
ＨｕｍａｎｇａｉｔｒｅｃｏｇｎｉｔｉｏｎｂａｓｅｄｏｎＢａｙｅｓｉａｎｎｅｔｗｏｒｋｓ
（北京科技大学）张
磊刘冀伟
Ｚｈａｎｇ，ＬｅｉＬｉｕ，Ｊｉｗｅｉ
摘要：步态作为一种重要的生物特征由于其远距离身份识别能力而逐渐受到人们的重视。本文提出了一种基于贝叶斯网络的步态识别方法。首先应用背景差方法获得运动人体侧面二值图像，将侧面像分为七部分来提取特征，采用最大方差法对
训练集进行离散化，对各部分分别建立贝叶斯网络，最后利用“投票”
规则将网络推理结果进行组合。将该方法在Ｓｏｔｏｎ步态数据库上进行试验，取得了比较理想的识别效果。关键词：生物特征识别；步态识别；贝叶斯网络
中图分类号：ＴＰ３９１．４
文献标识码：ＡＡｂｓｔｒａｃｔ：Ｇａｉｔｈａｓｒｅｃｅｎｔｌｙｇａｉｎｅｄｍｏｒｅａｎｄｍｏｒｅａｔｔｅｎｔｉｏｎａｓａｎｉｍｐｏｒｔａｎｔｂｉｏｌｏｇｉｃｆｅａｔｕｒｅｆｏｒｉｔｓａｂｉｌｉｔｙｏｆｉｄｅｎｔｉｆｉｃａｔｉｏｎａｔｄｉｓｔａｎｃｅ．
ＴｈｉｓｐａｐｅｒｉｎｔｒｏｄｕｃｅｓａｈｕｍａｎｇａｉｔｒｅｃｏｇｎｉｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎＢａｙｅｓｉａｎｎｅｔｗｏｒｋｓ．Ｆｏｒｅａｃｈｋｅｙｆｒａｍｅ，ａｂａｃｋｇｒｏｕｎｄｓｕｂｔｒａｃｔｉｏｎｐｒｏｃｅｄｕｒｅｉｓｕｓｅｄｔｏｅｘｔｒａｃｔｍｏｖｉｎｇｓｉｌｈｏｕｅｔｔｅｏｆｔｈｅｗａｌｋｉｎｇｆｉｇｕｒｅｆｒｏｍｔｈｅｂａｃｋｇｒｏｕｎｄ．Ｅａｃｈｓｉｌｈｏｕｅｔｔｅｉｓｄｉｖｉｄｅｄｉｎｔｏｓｅｖｅｎｐａｒｔｓｔｏｅｘｔｒａｃｔｆｅａｔｕｒｅｓ．Ｔｈｅｔｒａｉｎｉｎｇｄａｔａｉｓｄｉｓｃｒｅｔｉｚｅｄｂｙｔｈｅｍｅｔｈｏｄｏｆｍａｘｉｍａｌｖａｒｉａｎｃｅｄａｔａｄｉｓｃｒｅｔｉｚａｔｉｏｎ．ＴｈｅＢａｙｅｓｉａｎｎｅｔｗｏｒｋｓａｒｅｓｅｔｆｏｒｅａｃｈｓｕｂ－ｒｅｇｉｏｎｏｆｔｈｅｓｉｌｈｏｕｅｔｔｅ．Ａｔｌａｓｔ，ｔｈｅｒｅｓｕｌｔｓｏｆｉｎｆｅｒｅｎｃｅａｒｅｃｏｍｂｉｎｅｄｗｉｔｈｖｏｔｉｎｇｒｕｌｅ．ＴｈｉｓｍｅｔｈｏｄｉｓｔｅｓｔｅｄｏｎｔｈｅＳｏｔｏｎｇａｉｔｄａｔａｂａｓｅ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓａｒｅｄｅｍｏｎｓｔｒａｔｅｄｔｈａｔｔｈｅｍｅｔｈｏｄｉｓｅｆｆｅｃｔｉｖｅ．Ｋｅｙｗｏｒｄｓ：ｂｉｏｍｅｔｒｉｃｓｒｅｃｏｇｎｉｔｉｏｎ，ｇａｉｔｒｅｃｏｇｎｉｔｉｏｎ，ｂａｙｅｓｉａｎｎｅｔｗｏｒｋｓ
文章编号：１００８－０５７０（２００６）０９－２－０２６３－０３
１前言
近年来在例如视频监视，智能交互等许多重要领域中对自动身份识别系统的需求显著增加，极大的促进了基于计算机视觉的远距离身份识别的研究。步态作为一种重要的生物特征由于其远距离身份识别能力而逐渐受到人们的重视。相对于指纹、虹膜等生物特征，步态还具有非入侵、难伪装等特点。
步态识别是指通过人走路方式来判断人的身份。虽然步态识别仍是生物特征识别中的新兴领域，但近年来已经涌现出了大量的研究成果。ＵＭＤ的ＣｈｉｒａｚＢｅｎＡｂｄｅｌｋａｄｅｒ等通过估计人体高度参数和步幅参数来进行识别。中科院的王亮等提出了基于Ｐｒｏｃｒｕｓｔｅｓ形状分析的识别方法。ＭＩＴ的ＬｉｌｙＬｅｅ采用七个椭圆描述人的侧面二值图像，采用椭圆参数和人体质心的高度作为特征，通过模板匹配方法进行步态识别。
贝叶斯网络是对不确定知识进行表达和推理的拓扑结构，广泛应用于人工智能、决策评估等领域。作为一种分类器，贝叶斯网络能清晰的表示上下层之间的依存关系，由于模仿了人的推理机制，贝叶斯网络能较好的表达知识的不确定性，并且能实现快速推理，因此本文提出了基于贝叶斯网络的步态识别方法。首先利用背景差获得人体侧面二值图像，以文献中的图像表示方法为基础，将其改进后用于特征提取。根据各特征间的独立关系建立贝叶斯网络，通过贝叶斯网络推理实现对步态的识别。
２步态特征提取
人体行走是一个周期运动，如果对周期中每个静态姿势提取特征，特征维数过高，训练数据有限，建模将会非常困难。考虑到步态周期中双足支撑期和单足支撑期姿态相对稳定，因此，取这两个姿态作为关键姿态。
运动人体侧面二值图像通过背景差的方法获得，侧面二值图像的宽度随时间呈周期变化，以宽度为标准获取关键帧，这种方法算法步骤少，效率高，虽然精度有限，但仍然可以满足后面工作的要求。
Ｌｅｅ提出了将人体侧面二值图像分为七部分并用椭圆来拟合的表示方法。本文以这种方法为基础，文献中的人体结构比例，采用如下方法将侧面像分成七个区域：取人体质心，质心上半部分１／３作头部部分，
２／３作躯干部分，
质心下半部分平均分成两份，除了头部部分，用通过质心的垂线把人体区域分成前后两部分，形成共７个区域，如图１ａ所示。
这７个区域分别用一椭圆来匹配，如图１ｂ。以椭圆参数构成子区域特征向量，这些参数包括：归一化后的质心（ｘ／ｈ，ｙ／ｈ），长短轴比例（ｌ），长轴方向（α）以及相对面积（ｎ／ａｒｅａ），即各子区域的特征向量为ｒｉ＝（ｘｉ／ｈ，ｙｉ／
ｈ，ｌｉ，αｉ，ｎｉ／ａｒｅａ），
ｉ＝１，２，．．．７，ｒｉ，与人体区域的质心相对高度张磊：硕士研究生
北京市“现代信息科学与网络技术”重点实验室资助项目（基金项目编号为：ＴＤＸＸ０５０３）
２６３－－
技
术创新
中文核心期刊《微计算机信息》（嵌入式与ＳＯＣ）２００６年第２２卷第９－２期
３６０元／年邮局订阅号：８２－９４６
《现场总线技术应用２００例》
人工智能
（ｈｉｇｈ）共同构成３６维特征向量Ｒ＝（ｒ１，ｒ２．．．，ｒ７，ｈｉｇｈ）。
图１分成七部分的人体侧面像，并且每部分用椭圆来匹配
３基于贝叶斯网络的步态识别
３．１数据离散化
为了减小数据量，提高网络效率，首先对训练数据集进行离散化。离散化的方法有多种，例如常用的等频率和等间距方法等，本文选用最大方差法。
设某一数值型数据有属性值Ｎ个，先将其按由小到大排序，然后将其离散化为个区间，每组分别有数
据ｎｉ个，即；
，则数据的组间方差为：
（１）
其中，，分别为第ｉ组的均值和总均值。
组间方差反映了划分的质量，最优的划分是组间方差取得最大值时的划分，这是最大方差法的基本思
想。首先按等频率方法将ｋ－１个分隔点初始化，分别
计算每组的均值ｘｉ，在此基础上计算组间方差，逐个调
整分隔点的位置，将其调整到邻域中组间方差最大的位置。重复调整分隔点，直到不再出现更大的组间方
差，最后的分隔点即为最优分隔点。
３．２建立贝叶斯网络
贝叶斯网络是一个带有概率注释的有向无环图
（ＤＡＧ），它允许设计者通过拓扑连接的方式指出变量
间相互依赖和相互独立关系，对于本文所选择的特征
有良好的适用性。一个正确表示的贝叶斯网络要求：当给定了父节点之后，每个节点都与其祖先节点条件独立。
考虑到采用的特征为各椭圆的参数，因此对７个
椭圆分别建立贝叶斯网络，再进行组合。取单足支撑
姿态下的人体质心的相对高度，分别与两关键姿态下
的ｒｉ构成新的子区域特征向量即，ｒｉ１、ｒｉ２分别为双足支撑期和单足支撑期的原子区域特征向量。设样本库中共有Ｍ个人，即有Ｍ个类别Ｈｍ，分别对应数据库中的一个人。我们的目的是根据贝叶斯网
络推理得到的概率对特征数据进行分类，并用类别标签ｋ表示。
设有椭圆类别变量Ｅｉ，ｉ＝１，２，．．．７，值为类别标签，表
示该椭圆属于某一个人，特征变量ＸｉｊＹｉｊＬｉｊＡｉｊＮｉｊＨ，
ｉ＝１，２，．．．７，ｊ＝１，２，分别对应于两关键姿态归一化后的椭
圆质心坐标、长短轴比例、长轴方向、相对面积以及单
足支撑姿态下人体质心的相对高度，值为各特征所对应的状态。
在所有特征中人体质心相对高度是对人体区域的整体描述，其余特征则是对人体局部区域特征的描述。我们认为描述同一椭圆的参数相互独立，当椭圆的类别标签确定后，人体质心相对高度与其余特征分别条件独立。因此，根据贝叶斯网络语义可以得到如图２所示贝叶斯网络结构。
下面为每一个变量指定局部条件概率。条件概率表可以使用专家知识或频率计数的方法获得。第二种方法直接使用从研究领域观测所得的数据，通过分析数据计算描述某些事件发生频率的可能性表，再将其归一化获得条件概率表。本文采用这种基于频率计数的方法。
图２本文所建立的贝叶斯网络结构３．３贝叶斯网络推理
当得到了某个观察步态序列，需要计算类别变量的后验概率，即进行贝叶斯网络的推理。贝叶斯网络中的推理可以分为精确推理和近似推理，由于本文所建立的贝叶斯网络结构比较简单，变量个数比较少，因此采用精确推理。首先，考虑单一姿态下的精确推理，根据概率计算的基本公式：
，由本文所采用的网络结构可以得到：
（２）
ｈ，ｘ，ｙ，ｌ，α，ｎ表示一组特定状态的特征。对的所有取值而言，的值是保持不变的，可看作是的一个归一化常数，因此将其表示为一个常数ε，即。
根据贝叶斯网络的链式法则：
（３）同时考虑完整的两个的姿态，上式可以改写为：
（４）
这也是本文所采用的推理公式。
３．４多分类器的组合 k i x á,,2,1, = n j ,,2,1 =
∑∑?=?===á?á?
????x N x n x x n S áá)( ∑==á??x n x 1 ∑∑===á
?
??x N x 1 ∑∑===á???x N x 1Ｈ
ＥＸ１Ｙ１Ｌ１Ａ１Ｎ１
Ｘ２Ｙ２Ｌ２Ａ２Ｎ２
),()()|(b a P b P b a P = ),,,,,(/),,,,,,(),,,,,|(n l y x h P n l y x h E P n l y x h E P ααα= ),,,,,(/1n l y x h P α ),,,,,|(n l y x h E P α ),,,,,,(),,,,,|(n l y x h C P n l y x h E P αεα= ∏==ááX parents x P x x P ))((),,( )
/()/()/()/()/()/()(),,,,,,,,,,|(áááááá
E n P E P E l P E y P E x P h E P h P n l y x n l y x h E P αεαα∏==２６４－
－
邮局订阅号：８２－９４６３６０元／年
技
术创新
人工智能
《ＰＬＣ技术应用２００例》
您的论文得到两院院士关注由于７个贝叶斯网络经过推理获得的７个类别标签ｋｉ难以保证相等，因此要将７个分类器进行组合，使对应于输入的特征向量有特定的类别标签ｋ输出。
对多分类器进行组合的一种简易方法就是投票表决，如多数票规则。由于本文采用的样本较少，并不适用需要大量样本训练的组合方法，因此采用“多数票”规则。
４试验结果
对于上述的方法，采用Ｓｏｔｏｎ步态数据库用于测试，取其中的１０个人的步态序列。每个人的步态序列取前半部分用于训练，后半部分用于测试。
选择将人体质心的相对高度离散化为３组，
其余特征离散化为４组。采用该方法对测试序列进行测试，为步态库中的每个人规定一个ＩＤ号，得到七个贝叶斯网络的识别结果如表１所示，其中“０”表示拒识。
表１识别结果
当进行分类器组合时，选择合适的阈值，若要求４
个以上的分类器输出结果一致，则可以全部识别正确，但要求５个以上分类器输出结果一致，则只有３０％的识别率。试验表明采用贝叶斯网络的方法对小规模数据库进行分类，如果选择合适的阈值，可以达到比较理想的效果。同时可以看出，个别网络识别效果不理想，下一步的工作将进行特征选择以改善识别效果，同时在较大的数据库上进行试验。
本文创新点：提出了一种步态识别的新方法。将贝叶斯网络运用到步态识别中，利用其对不确定性知识的表达和推理能力，实现人的身份识别，具有较好的识别效果。
参考文献：
［１］李彬，刘冀伟，韩鸿哲，李正熙．复杂背景下人体骨架的提取［Ｊ］．微计算机信息，２００４，７：４３－４４
［２］韩洪哲，王志良，刘冀伟，李正熙，陈峰军．基于线性判别分析和支持向量机的步态识别．模式识别与人工智能，２００５，１８（２）：１６０－１６４
［３］ＣｈｉｒａｚＢｅｎＡｂｄｅｌｋａｄｅｒ，ＲｏｓｓＣｕｔｌｅｒ，ＬａｒｒｙＤａｖｉｓ．ＰｅｒｓｏｎＩｄｅｎｔｉ－ｆｉｃａｔｉｏｎｕｓｉｎｇＡｕｔｏｍａｔｉｃＨｅｉｇｈｔａｎｄＳｔｒｉｄｅＥｓｔｉｍａｔｉｏｎ．ＩＥＥＥＩｎ－ｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，ＱｕéｂｅｃＣｉｔｙ，Ｃａｎａ－ｄａ，２００２，３７７－３８０
［４］ＷａｎｇＬｉａｎｇ，ＮｉｎｇＨｕａｚｈｏｎｇ，ＨｕＷｅｉＭｉｎｇ，ＴａｎＴｉｅＮｉｕ．Ｇａｉｔｒｅｃｏｇｎｉｔｉｏｎｂａｓｅｄｏｎｐｒｏｃｒｕｓｔｅｓｓｈａｐｅａｎａｌｙｓｉｓ．ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ（ＩＣＩＰ），Ｒｏｃｈｅｓｔｅｒ，ＮｅｗＹｏｒｋ，２００２，４３３－４３６
［５］ＬｉｌｙＬｅｅ．ＧａｉｔＡｎａｌｙｓｉｓｆｏｒＣｌａｓｓｉｆｉｃａｔｉｏｎ．Ｍａｓｓａｃｈｕｓｅｔｔｓｉｎｓｔｉｔｕｔｅｏｆｔｅｃｈｎｏｌｏｇｙａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅｌａｂｏｒａｔｏｒｙ，２００３
［６］雷杰，王明哲，孙德宝．基于贝叶斯网络的特征分类器．情报指挥控制系统与仿真技术，２００１，（９）：４１－４４
［７］ＨａｎＨｏｎｇＺｈｅ，ＷａｎｇＺｈｉＬｉａｎｇ，ＬｉｕＪｉＷｅｉ．ＡｄａｐｔｉｖｅＢａｃｋｇｒｏｕｎｄＭｏｄｅｌｉｎｇｗｉｔｈＳｈａｄｏｗＳｕｐｐｒｅｓｓｉｏｎ．ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＩｎｔｅｌｌｉｇｅｎｔＴｒａｎｓｐｏｒｔａｔｉｏｎＳｙｓｔｅｍ，２００３
［８］ＪａｎｇＨｅｅＹｏｏ，ＭａｒｋＮｉｘｏｎ，ＣｈｒｉｓＨａｒｒｉｓ．ＥｘｔｒａｃｔｉｎｇＨｕｍａｎＧａｉｔＳｉｇｎａｔｕｒｅｓｂｙＢｏｄｙＳｅｇｍｅｎｔＰｒｏｐｅｒｔｉｅｓ．ＰｒｏｃｅｅｄｉｎｇｓＰｒｏｃ．ＩＥＥＥＳｏｕｔｈｗｅｓｔＳｙｍｐｏｓｉｕｍｏｎＩｍａｇｅＡｎａｌｙｓｉｓａｎｄＩｎｔｅｒｐｒｅｔａｔｉｏｎ，２００２，３５－３９
［９］邸凯昌．空间数据发掘与知识发现．武昌：武汉大学出版社，２０００
［１０］ＡｍｉｔＳｉｎｇｈａｌ，ＪｉｅｂｏＬｕｏ，ＣｈｒｉｓｔｏｐｈｅｒＢｒｏｗｎ．ＡＭｕｌｔｉｌｅｖｅｌＢａｙｅｓｉａｎＮｅｔｗｏｒｋＡｐｐｒｏａｃｈｔｏＩｍａｇｅＳｅｎｓｏｒＦｕｓｉｏｎ．ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＴｈｉｒｄＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＩｎｆｏｒｍａｔｉｏｎＦｕｓｉｏｎ．２０００，９－１６
［１１］ＬｉａｎｇＷａｎｇ，ＴｉｅＮｉｕＴａｎ，ＷｅｉＭｉｎｇＨｕ，ＨｕａＺｈｏｎｇＮｉｎｇ．Ａｕ－ｔｏｍａｔｉｃＧａｉｔＲｅｃｏｇｎｉｔｉｏｎＢａｓｅｄｏｎＳｔａｔｉｓｔｉｃａｌＳｈａｐｅＡｎａｌｙｓｉｓ．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓＯｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ，２００３，１２（９）：１１２０－１１３１
作者简介：张磊（１９８１－），女，汉族，硕士研究生，研究方
向为图像处理与模式识别ｓｊｏｙｕｎｎｙ＠１２６．ｃｏｍ；刘冀伟（１９６４－），男，汉族，副教授，研究方向为图像处理与模式识别。
（１０００８３北京科技大学系统工程系）张磊刘冀伟（ＤｅｐａｒｔｍｅｎｔＯｆＳｙｓｔｅｍＥｎｇｉｎｅｅｒｉｎｇ，ＢｅｉｊｉｎｇＵｎｉ－ｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｃｈｉｎａ）Ｚｈａｎｇ，ＬｅｉＬｉｕ，Ｊｉｗｅｉ
通讯地址：（１０００８３北京科技大学信息工程学院１０２信箱）张磊
（收稿日期：２００６．１．１１）（修稿日期：２００６．２．１０）
（接２５９页）ｓｔｕｄｙｏｆｃｏｍｐｕｔｅｒｎｅｔｗｏｒｋ，ｃｕｒｒｅｎｔｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔ
ｉｎｃｌｕｄｅｃｏｍｐｕｔｅｒｎｅｔｗｏｒｋａｎｄＩＰｖ６ｎｅｔｗｏｒｋａｐｐｌｉｃａｔｉｏｎ
（４５３００３河南新乡河南科技学院计算机科学系）朱坤华（４５３００７河南新乡河南师范大学计算机与信息技术学院）朱国超
（ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＨｅｎａｎＩｎｓｔｉｔｕｔｅｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＸｉｎｘｉａｎｇＨｅｎａｎ４５３００３，Ｃｈｉｎａ）Ｚｈｕ，Ｋｕｎｈｕａ（ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒａｎｄＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙＨｅｎａｎＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｘｉｎｘｉａｎｇ，Ｈｅｎａｎ，４５３００２，Ｃｈｉｎａ）Ｚｈｕ，Ｇｕｏｃｈａｏ
通讯地址：（４５３００３河南省新乡市五一路河南科技学院计算机系）朱坤华
（收稿日期：２００６．１．３１）（修稿日期：２００６．２．２８）
２６５－－
如何使用贝叶斯网络工具箱
如何使用贝叶斯网络工具箱 2004-1-7版 翻译：By 斑斑（QQ：23920620） 联系方式：banban23920620@https://www.360docs.net/doc/a72920348.html, 安装 安装Matlab源码 安装C源码 有用的Matlab提示 创建你的第一个贝叶斯网络 手工创建一个模型 从一个文件加载一个模型 使用GUI创建一个模型 推断 处理边缘分布 处理联合分布 虚拟证据 最或然率解释 条件概率分布 列表（多项式）节点 Noisy-or节点 其它（噪音）确定性节点 Softmax（多项式 分对数）节点 神经网络节点 根节点 高斯节点 广义线性模型节点 分类 / 回归树节点 其它连续分布 CPD类型摘要 模型举例 高斯混合模型 PCA、ICA等 专家系统的混合 专家系统的分等级混合 QMR 条件高斯模型 其它混合模型
参数学习 从一个文件里加载数据 从完整的数据中进行最大似然参数估计 先验参数 从完整的数据中（连续）更新贝叶斯参数 数据缺失情况下的最大似然参数估计（EM算法） 参数类型 结构学习 穷举搜索 K2算法 爬山算法 MCMC 主动学习 结构上的EM算法 肉眼观察学习好的图形结构 基于约束的方法 推断函数 联合树 消元法 全局推断方法 快速打分 置信传播 采样（蒙特卡洛法） 推断函数摘要 影响图 / 制定决策 DBNs、HMMs、Kalman滤波器等等
安装 安装Matlab代码 1.下载FullBNT.zip文件。 2.解压文件。 3.编辑"FullBNT/BNT/add_BNT_to_path.m"让它包含正确的工作路径。 4.BNT_HOME = 'FullBNT的工作路径'; 5.打开Matlab。 6.运行BNT需要Matlab版本在V5.2以上。 7.转到BNT的文件夹例如在windows下，键入 8.>> cd C:\kpmurphy\matlab\FullBNT\BNT 9.键入"add_BNT_to_path"，执行这个命令。添加路径。添加所有的文件夹在Matlab的路 径下。 10.键入"test_BNT"，看看运行是否正常，这时可能产生一些数字和一些警告信息。（你可 以忽视它）但是没有错误信息。 11.仍有问题？你是否编辑了文件？仔细检查上面的步骤。
matlab神经网络工具箱简介
MATLAB软件中包含MATLAB神经网络工具箱，工具箱以人工神经网络为基础，只要根据自己需要调用相关函数，就可以完成网络设计、权值初始化、网络训练等，MATLAB神经网络工具箱包括的网络有感知器、线性网络、BP神经网络、径向基网络、自组织网络和回归网络，BP神经网络工具箱主要包括newff，sim和train三个神经网络函数各函数的解释如下：1 newff：：：：BP神经网络参数设置函数神经网络参数设置函数神经网络参数设置函数神经网络参数设置函数 函数功能：构建一个BP神经网络。 函数形式：net = newff(P,T,S,TF,BTF,BLF,PF,IPF,OPF,DDF) P：输入数据矩阵 T：输出数据矩阵 S：隐含层节点数 TF：节点传递函数，包括硬限幅传递函数hardlim，对称硬限幅传递函数hardlims，线性传递函数purelin，正切S型传递函数tansig，对数S型传递函数logsig BTF：训练函数，包括梯度下降BP算法训练函数traingd，动量反传的梯度下降BP算法训练函数traingdm，动态自适应学习率的梯度下降BP算法训练函数traingda，动量反传和动态自适应学习率的梯度下降BP算法训练函数traingdx，Levenberg_Marquardt 的BP算法训练函数trainlm BLF：网络学习函数，包括BP学习规则learngd，带动量项的BP学习规则learngdm PF：性能分析函数，包括均值绝对误差性能分析函数mae，均方差性能分析函数mse IPF：输入处理函数 OPF：输出处理函数 DDF：验证数据划分函数 一般在使用过程中设置前六个参数，后四个参数采用系统默认参数。 2 train：：：：BP神经网络训练函数神经网络训练函数神经网络训练函数神经网络训练函数函数功能：用训练数据训练BP神经网络。 函数形式：[net,tr] = train(NET,X,T,Pi,Ai) NET：待训练网络 X：输入数据矩阵 T：输出数据矩阵 Pi：初始化输入层条件 Ai：初始化输出层条件 net：训练好的网络 tr：训练过程记录 一般在使用过程中设置前三个参数，后两个参数采用系统默认参数。 3 sim：：：：BP神经网络预测函数神经网络预测函数神经网络预测函数神经网络预测函数 函数功能：用训练好的BP神经网络预测函数输出 函数形式：y=sim(net,x) net：训练好的网络 x：输入数据 y：网络预测数据 只要我们能够熟练掌握上述三个函数，就可以完整的编写一个BP神经网络预测或者分类的程序。
贝叶斯网络构建算法
3.1 贝叶斯网络构建算法 算法3.1：构建完全连接图算法 输入：样本数据D ；一组n 个变量V={V l ，V 2，…，V n }变量。 输出：一个完全连接图S 算法： 1、 连接任意两个节点，即连接边 L ij=1，i ≠j 。 2、 为任一节点V i 邻接点集合赋值，B i= V\{V i }。 算法3.2：构建最小无向图算法 输入：样本数据D ；一组n 个变量V={V l ，V 2，…，V n }变量。及算法3.1中得到的邻接点集B i ，连接边集 L ij 先验知识：节点V i ,V j 间连接边是否存在 变量说明：L 为连接边，|L|=n(n –1)/2为连接边的数量，B i 表示变量V i 的直接邻近集，|B i |表示与变量B i 相邻的变量数。(V i ⊥V j |Z)表示V i 和V j 在Z 条件下条件独立，设∧(X ，Y)表示变量X 和Y 的最小d-分离集。 输出：最小无向图S 1、根据先验知识，如果V i 和V j 不相连接，则L ij =0 . 2、对任一相连接边，即L ij ≠0，根据式（3-12）计算互信息I （V i ,V j ） ),(Y X I =))()(|),((y p x P y x p D =????? ?)()(),(log ),(Y p X p Y X p E y x P (3-12) if I （V i ,V j ）ε≤ then { L ij =0 //V i 和V j 不相连接 B i= V\{V j }, B j= V\{V i } //调整V i 和V j 邻接集 } else I ij = I （V i ,V j ） //节点V i 和V j 互信息值 3、对所有连接边，并按I ij 升序排序 4、如果连接边集L ij 不为空，那么按序选取连接边L ij ,否则 goto 10 if |B i |≥ |B j |，令Z= B i else Z= B j //为后面叙述方便，这里先假设|B i |≥ |B j | 5、逐一计算L ij 的一阶条件互信息I(V i ,V j |Z 1)，Z 1={Y k }, Y k ∈Z, if I(V i ,V j |Z 1)ε≤ then { L ij =0 //V i 和V j 关于Z 1条件独立 B i= V\{V j }, B j= V\{V i } //调整V i 和V j 邻接集 d ij = Z 1 //L ij 最小d 分离集为Z 1 goto 4
matlab工具箱的使用_Toolbox
神经网络工具箱的使用 本章主要介绍神经网络工具箱的使用,使用nntool可以使得原本用编程来创建神经网络变得容易，而且不容易出错。 1 神经网络的创建与训练 神经网络的创建主要分为以下四步： 1)在命令窗口键入nntool命令打开神经网络工具箱。如图1： 图 1 2)点击Import按钮两次，分别把输入向量和目标输出加入到对应的窗口（[Inputs]和[Targets]）中，有两种可供选择的加入对象（点击Import后可以看见），一种是把当前工作区中的某个矩阵加入，另一种是通过.mat文件读入。如图2和图3：
图 2 图 3 3)点击[New Network]按钮，填入各参数：（以最常用的带一个隐层的3层神经网络为例说明，下面没有列出的参数表示使用默认值就可以了，例如Network Type为默认的BP神经网络）；
i)Input Range——这个通过点击Get From Input下拉框选择你加入的输入向量便可自动完成，当然也可以自己手动添加。 ii) Training Function——最好使用TRAINSCG，即共轭梯度法，其好处是当训练不收敛时，它会自动停止训练，而且耗时较其他算法（TRAINLM，TRAINGD）少，也就是收敛很快（如果收敛的话），而且Train Parameters输入不多，也不用太多的技巧调整，一般指定迭代次数、结果显示频率和目标误差就可以了（详见下文）。 iii) Layer 1 Number of Neurons——隐层的神经元个数，这是需要经验慢慢尝试并调整的，大致上由输入向量的维数、样本的数量和输出层（Layer2）的神经元个数决定。一般来说，神经元越多，输出的数值与目标值越接近，但所花费的训练时间也越长，反之，神经元越少，输出值与目标值相差越大，但训练时间会相应地减少，这是由于神经元越多其算法越复杂造成的，所以需要自己慢慢尝试，找到一个合适的中间点。比如输入是3行5000列的0-9的随机整数矩阵，在一开始选择1000个神经元，虽然精度比较高，但是花费的训练时间较长，而且这样神经网络的结构与算法都非常复杂，不容易在实际应用中实现，尝试改为100个，再调整为50个，如果发现在50个以下时精度较差，则可最后定为50个神经元，等等。 iv)Layer 1 Transfer Function——一般用TANSIG（当然也可以LOGSIG），即表示隐层输出是[-1,1]之间的实数，与LOGSIG相比范围更大。 v) Layer 2 Number of Neurons——输出层的神经元个数，需要与输出的矩阵行数对应，比如设置为3，等等。 vi) Layer 2 Transfer Function——如果是模式识别的两类（或者多类）问题，一般用LOGSIG，即表示输出层的输出是[0,1]之间的实数；如果输出超过[0,1]则可选择PURELIN。如图4和图5。
比较简单的贝叶斯网络总结
贝叶斯网络 贝叶斯网络是一系列变量的联合概率分布的图形表示。 一般包含两个部分，一个就是贝叶斯网络结构图，这是一个有向无环图（DAG），其中图中的每个节点代表相应的变量，节点之间的连接关系代表了贝叶斯网络的条件独立语义。另一部分，就是节点和节点之间的条件概率表（CPT），也就是一系列的概率值。如果一个贝叶斯网络提供了足够的条件概率值，足以计算任何给定的联合概率，我们就称，它是可计算的，即可推理的。 3.5.1 贝叶斯网络基础 首先从一个具体的实例（医疗诊断的例子）来说明贝叶斯网络的构造。 假设： 命题S(moker)：该患者是一个吸烟者 命题C(oal Miner)：该患者是一个煤矿矿井工人 命题L(ung Cancer)：他患了肺癌 命题E(mphysema)：他患了肺气肿 命题S对命题L和命题E有因果影响，而C对E也有因果影响。 命题之间的关系可以描绘成如右图所示的因果关系网。 因此，贝叶斯网有时也叫因果网，因为可以将连接结点的弧认为是表达了直接的因果关系。 图3-5 贝叶斯网络的实例 图中表达了贝叶斯网的两个要素：其一为贝叶斯网的结构，也就是各节点的继承关系，其二就是条件概率表CPT。若一个贝叶斯网可计算，则这两个条件缺一不可。 贝叶斯网由一个有向无环图（DAG）及描述顶点之间的概率表组成。其中每个顶点对应一个随机变量。这个图表达了分布的一系列有条件独立属性：在给定了父亲节点的状态后，每个变量与它在图中的非继承节点在概率上是独立的。该图抓住了概率分布的定性结构，并被开发来做高效推理和决策。 贝叶斯网络能表示任意概率分布的同时，它们为这些能用简单结构表示的分布提供了可计算优势。 假设对于顶点xi，其双亲节点集为Pai，每个变量xi的条件概率P(xi|Pai)。则顶点集合X={x1,x2,…,xn}的联合概率分布可如下计算： 。 双亲结点。该结点得上一代结点。
神经网络工具箱操作
1. 打开MATLAB，在命令行输入nntool，将出现如下界面： 图1 神经网络工具箱主界面 其中最主要的分为6个部分：第1部分中显示的是系统的输入数据；第2部分是系统的期望输出；第3部分是网络的计算输出；第4部分是网络的误差，即2 和3之间的差异；第5部分呈现的是已经建立的神经网络实例；第6部分的两个按钮分别负责数据的导入和网络模型的建立。 2. 点击“Import”按钮，分别导入输入数据与目标输出数据（数据可从工作区导入，也可从文件导入）： 图2 导入输入数据集
图3 导入期望输出数据集 导入数据后主界面的情况如下： 图4 导入数据后的情况 重要说明：神经网络的数据是以列为基本单位的，即输入与输出数据的列数必须相同，否则将报错！如果原先数据是以行为单位组织的话，可以先在MATLAB 中实现转置然后再导入，即B = A’。
3.现在需要的数据已经有了，下一步就是建立一个神经网络模型对数据集进行学习。以下步骤以BP网络为例，首先点击“New”按钮，出现如下界面： 几个重要部分已在上图中框出：1处用于定义该神经网络的名称；2处用于选择神经网络的类型；3处用于选择网络的输入数据；4处用于确定网络的期望输出数据；5、6、7处分别对神经网络的主要机制函数进行设置；8处设置网络层数；9处用于选择各网络层（需要说明的是：第1层指的是隐含层而不是输入层），从而在10和11处可以对该层的神经元个数和传递函数进行设置；12处按钮可以用于查看当前所设置的神经网络的结构图（下附图）；点击13处按钮即可生成对应的神经网络模型。前面只是简单地介绍了各个部分的作用，具体参数应该如何设置就只有各位自行去学习相关的文献了，此处不再多言。
贝叶斯网络工具箱使用
matlab贝叶斯网络工具箱使用 2010-12-18 02:16:44| 分类：默认分类| 标签：bnet 节点叶斯matlab cpd |字号大中小订阅 生成上面的简单贝叶斯网络，需要设定以下几个指标：节点，有向边和CPT表。 给定节点序，则只需给定无向边，节点序自然给出方向。 以下是matlab命令： N = 4; %给出节点数 dag = false(N,N); %初始化邻接矩阵为全假，表示无边图C = 1; S = 2; R = 3; W = 4; %给出节点序 dag(C,[R,S])=true; %给出有向边C-R，C-S dag([R,S],W)=true; %给出有向边R-W，S-W discrete_nodes = 1:N; %给各节点标号 node_sizes = 2*ones(1,N); %设定每个节点只有两个值 bnet = mk_bnet(dag, node_sizes); %定义贝叶斯网络bnet %bnet结构定义之后，接下来需要设定其参数。 bnet.CPD{C} = tabular_CPD(bnet, C, [0.5 0.5]); bnet.CPD{R} = tabular_CPD(bnet, R, [0.8 0.2 0.2 0.8]); bnet.CPD{S} = tabular_CPD(bnet, S, [0.5 0.9 0.5 0.1]); bnet.CPD{W} = tabular_CPD(bnet, W, [1 0.1 0.1 0.01 0 0.9 0.9 0.99]); 至此完成了手工输入一个简单的贝叶斯网络的全过程。 要画结构图的话可以输入如下命令： G=bnet.dag; draw_graph(G); 得到：
贝叶斯网络
贝叶斯网络 一.简介 贝叶斯网络又称信度网络，是Bayes方法的扩展，目前不确定知识表达和推理领域最有效的理论模型之一。从1988年由Pearl提出后，已知成为近几年来研究的热点.。一个贝叶斯网络是一个有向无环图(Directed Acyclic Graph,DAG),由代表变量节点及连接这些节点有向边构成。节点代表随机变量，节点间的有向边代表了节点间的互相关系(由父节点指向其后代节点)，用条件概率进行表达关系强度，没有父节点的用先验概率进行信息表达。节点变量可以是任何问题的抽象，如：测试值，观测现象，意见征询等。适用于表达和分析不确定性和概率性的事件，应用于有条件地依赖多种控制因素的决策，可以从不完全、不精确或不确定的知识或信息中做出推理。 二. 贝叶斯网络建造 贝叶斯网络的建造是一个复杂的任务，需要知识工程师和领域专家的参与。在实际中可能是反复交叉进行而不断完善的。面向设备故障诊断应用的贝叶斯网络的建造所需要的信息来自多种渠道，如设备手册，生产过程，测试过程，维修资料以及专家经验等。首先将设备故障分为各个相互独立且完全包含的类别（各故障类别至少应该具有可以区分的界限），然后对各个故障类别分别建造贝叶斯网络模型，需要注意的是诊断模型只在发生故障时启动，因此无需对设备正常状态建模。通常设备故障由一个或几个原因造成的，这些原因又可能由一个或几个更低层次的原因造成。建立起网络的节点关系后，还需要进行概率估计。具体方法是假设在某故障原
因出现的情况下，估计该故障原因的各个节点的条件概率，这种局部化概率估计的方法可以大大提高效率。 三. 贝叶斯网络有如下特性 1. 贝叶斯网络本身是一种不定性因果关联模型。贝叶斯网络与其他决策模型不同，它本身是将多元知识图解可视化的一种概率知识表达与推理模型，更为贴切地蕴含了网络节点变量之间的因果关系及条件相关关系。 2. 贝叶斯网络具有强大的不确定性问题处理能力。贝叶斯网络用条件概率表达各个信息要素之间的相关关系，能在有限的，不完整的，不确定的信息条件下进行学习和推理。 3. 贝叶斯网络能有效地进行多源信息表达与融合。贝叶斯网络可将故障诊断与维修决策相关的各种信息纳入网络结构中，按节点的方式统一进行处理，能有效地按信息的相关关系进行融合。 目前对于贝叶斯网络推理研究中提出了多种近似推理算法，主要分为两大类：基于仿真方法和基于搜索的方法。在故障诊断领域里就我们水电仿真而言，往往故障概率很小，所以一般采用搜索推理算法较适合。就一个实例而言，首先要分析使用那种算法模型： a.)如果该实例节点信度网络是简单的有向图结构，它的节点数目少的情况下，采用贝叶斯网络的精确推理，它包含多树传播算法，团树传播算法，图约减算法，针对实例事件进行选择恰当的算法； b.)如果是该实例所画出节点图形结构复杂且节点数目多，我们可采用近似推理算法去研究，具体实施起来最好能把复杂庞大的网络进行化简，然后在与精确推理相结合来考虑。
不错的Matlab神经网络工具箱实用指南
Matlab的神经网络工具箱实用指南 文章摘要:第一章是神经网络的基本介绍，第二章包括了由工具箱指定的有关网络结构和符号的基本材料以及建立神经网络的一些基本函数，例如new、init、adapt和train。第三章以反向传播网络为例讲解了反向传播网络的原理和应用的基本过程。 第一章介绍 1．神经网络 神经网络是单个并行处理元素的集合，我们从生物学神经系统得到启发。在自然界，网络功能主要由神经节决定，我们可以通过改变连接点的权重来训练神经网络完成特定的功能。 一般的神经网络都是可调节的，或者说可训练的，这样一个特定的输入便可得到要求的输出。如下图所示。这里，网络根据输出和目标的比较而调整，直到网络输出和目标匹配。作为典型，许多输入/目标对应的方法已被用在有监督模式中来训练神经网络。 神经网络已经在各个领域中应用，以实现各种复杂的功能。这些领域包括：模式识别、鉴定、分类、语音、翻译和控制系统。 如今神经网络能够用来解决常规计算机和人难以解决的问题。我们主要通过这个工具箱来建立示范的神经网络系统，并应用到工程、金融和其他实际项目中去。 一般普遍使用有监督训练方法，但是也能够通过无监督的训练方法或者直接设计得到其他的神经网络。无监督网络可以被应用在数据组的辨别上。一些线形网络和Hopfield网络是直接设计的。总的来说，有各种各样的设计和学习方法来增强用户的选择。 神经网络领域已经有50年的历史了，但是实际的应用却是在最近15年里，如今神经网络仍快速发展着。因此，它显然不同与控制系统和最优化系统领域，它们的术语、数学理论和设计过程都已牢固的建立和应用了好多年。我们没有把神经网络工具箱仅看作一个能正常运行的建好的处理轮廓。我们宁愿希望它能成为一个有用的工业、教育和研究工具，一个能够帮助用户找到什么能够做什么不能做的工具，一个能够帮助发展和拓宽神经网络领域的工具。因为这个领域和它的材料是如此新，这个工具箱将给我们解释处理过程，讲述怎样运用它们，并且举例说明它们的成功和失败。我们相信要成功和满意的使用这个工具箱，对范例
贝叶斯网络结构学习及其应用研究_黄解军
收稿日期:2004-01-23。 项目来源:国家自然科学基金资助项目(60175022)。 第29卷第4期2004年4月武汉大学学报#信息科学版 Geomatics and Information Science of Wuhan U niversity V ol.29No.4Apr.2004 文章编号:1671-8860(2004)04-0315-04文献标识码:A 贝叶斯网络结构学习及其应用研究 黄解军1 万幼川1 潘和平 1 (1 武汉大学遥感信息工程学院,武汉市珞喻路129号,430079) 摘 要:阐述了贝叶斯网络结构学习的内容与方法,提出一种基于条件独立性(CI)测试的启发式算法。从完全潜在图出发,融入专家知识和先验常识,有效地减少网络结构的搜索空间,通过变量之间的CI 测试,将全连接无向图修剪成最优的潜在图,近似于有向无环图的无向版。通过汽车故障诊断实例,验证了该算法的可行性与有效性。 关键词:贝叶斯网络;结构学习;条件独立性;概率推理;图论中图法分类号:T P18;T P311 贝叶斯网络学习是贝叶斯网络的重要研究内容,也是贝叶斯网络构建中的关键环节,大体分为结构学习和参数学习两个部分。由于网络结构的空间分布随着变量的数目和每个变量的状态数量呈指数级增长,因此,结构学习是一个NP 难题。为了克服在构建网络结构中计算和搜索的复杂性,许多学者进行了大量的探索性工作[1~5]。至今虽然出现了许多成熟的学习算法,但由于网络结构空间的不连续性、结构搜索和参数学习的复杂性、数据的不完备性等特点,每种算法都存在一定的局限性。本文提出了一种新算法,不仅可以有效地减少网络结构的搜索空间,提高结构学习的效率,而且可避免收敛到次优网络模型的问题。 1 贝叶斯网络结构学习的基本理论 1.1 贝叶斯网络结构学习的内容 贝叶斯网络又称为信念网络、概率网络或因果网络[6] 。它主要由两部分构成:1有向无环图(directed acyclic graph,DAG),即网络结构,包括节点集和节点之间的有向边,每个节点代表一个变量,有向边代表变量之间的依赖关系;o反映变量之间关联性的局部概率分布集,即概率参数,通常称为条件概率表(conditional probability table,CPT),概率值表示变量之间的关联强度或置信度。贝叶斯网络结构是对变量之间的关系描 述,在具体问题领域,内部的变量关系形成相对稳定的结构和状态。这种结构的固有属性确保了结构学习的可行性,也为结构学习提供了基本思路。贝叶斯网络结构学习是一个网络优化的过程,其目标是寻找一种最简约的网络结构来表达数据集中变量之间的关系。对于一个给定问题,学习贝叶斯网络结构首先要定义变量及其构成,确定变量所有可能存在的状态或权植。同时,要考虑先验知识的融合、评估函数的选择和不完备数据的影响等因素。 1.2 贝叶斯网络结构学习的方法 近10年来,贝叶斯网络的学习理论和应用取得了较大的进展。目前,贝叶斯网络结构学习的方法通常分为两大类:1基于搜索与评分的方法,运用评分函数对网络模型进行评价。通常是给定一个初始结构(或空结构),逐步增加或删减连接边,改进网络模型,从而搜索和选择出一个与样本数据拟合得最好的结构。根据不同的评分准则,学习算法可分为基于贝叶斯方法的算法[3,7]、基于最大熵的算法[8]和基于最小描述长度的算法[1,2]。o基于依赖关系分析的方法,节点之间依赖关系的判断通过条件独立性(CI )测试来实现,文献[9,10]描述的算法属于该类算法。前者在DAG 复杂的情况下,学习效率更高,但不能得到一个最优的模型;后者在数据集的概率分布与DAG 同构的条件下,通常获得近似最优的模型[11],
JAVA贝叶斯网络算法
贝叶斯网络 提纲： 最近工作： B-COURSE工具学习 BNT研究与学习 BNT相关实验及结果 手动建立贝叶斯网及简单推理 参数学习 结构学习 下一步工作安排 最近工作： 1． B-COURSE 工具学习 B-COURSE是一个供教育者和研究者免费使用的web贝叶斯网络工具。主要分为依赖关系建模和分类器模型设计。输入自己的研究数据，就可以利用该工具在线建立模型，并依据建立好的模型进行简单推理。 B-COURSE要求数据格式是ASCII txt格式的离散数据，其中第一行是各种数据属性变量，其余各行则是采集的样本，属性变量值可以是字符串也可以是数据，属性变量之间用制表符分割，缺失属性变量值用空格代替。读入数据后，在进行结构学习前，可以手动的选择需
要考虑的数据属性！生成过程中，可以手动确定模型，确定好模型后，可以选择JAVA playgroud，看到一个java applet程序，可以手动输入相应证据，从而进行简单推理。 B-COURSE的详细使用介绍，可详见 [url]http://b-course.cs.helsinki.fi/obc/[/url]。 B-COURSE工具隐藏了数据处理，算法实现等技术难点，所以对初学者来说，容易上手。但是却不能够针对不同的应用进行自主编程，缺乏灵活性。 2．贝叶斯网工具箱BNT的研究与学习 基于matlab的贝叶斯网络工具箱BNT是kevin p.murphy基于matlab语言开发的关于贝叶斯网络学习的开源软件包，提供了许多贝叶斯网络学习的底层基础函数库，支持多种类型的节点（概率分布）、精确推理和近似推理、参数学习及结构学习、静态模型和动态模型。 贝叶斯网络表示：BNT中使用矩阵方式表示贝叶斯网络，即若节点i到j有一条弧，则对应矩阵中（i，j）值为1，否则为0。 结构学习算法函数：BNT中提供了较为丰富的结构学习函数，都有： 1. 学习树扩展贝叶斯网络结构的TANC算法learn_struct_tan(). 2. 数据完整条件下学习一般贝叶斯网络结构的K2算法 learn_struct_k2()、贪婪搜索GS（greedy search）算法
如何用MATLAB的神经网络工具箱实现三层BP网络
如何用MA TLAB的神经网络工具箱实现三层BP网络？ % 读入训练数据和测试数据 Input = []; Output = []; str = {'Test','Check'}; Data = textread([str{1},'.txt']); % 读训练数据 Input = Data(:,1:end-1); % 取数据表的前五列（主从成分） Output = Data(:,end); % 取数据表的最后一列（输出值） Data = textread([str{2},'.txt']); % 读测试数据 CheckIn = Data(:,1:end-1); % 取数据表的前五列（主从成分） CheckOut = Data(:,end); % 取数据表的最后一列（输出值） Input = Input'; Output = Output'; CheckIn = CheckIn'; CheckOut = CheckOut'; % 矩阵赚置 [Input,minp,maxp,Output,mint,maxt] = premnmx(Input,Output); % 标准化数据 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %%%% % 神经网络参数设置 %====可以修正处 Para.Goal = 0.0001; % 网络训练目标误差 Para.Epochs = 800; % 网络训练代数 Para.LearnRate = 0.1; % 网络学习速率 %==== Para.Show = 5; % 网络训练显示间隔 Para.InRange = repmat([-1 1],size(Input,1),1); % 网络的输入变量区间 Para.Neurons = [size(Input,1)*2+1 1]; % 网络后两层神经元配置
贝叶斯网络
贝叶斯网络 2007-12-27 15:13 贝叶斯网络 贝叶斯网络亦称信念网络(Belief Network)，于1985 年由Judea Pearl 首先提出。它是一种模拟人类推理过程中因果关系的不确定性处理模型，其网络拓朴结构是一个有向无环图(DAG)。它的节点用随机变量或命题来标识，认为有直接关系的命题或变量则用弧来连接。例如，假设结点E 直接影响到结点H，即E→H，则建立结点E 到结点H 的有向弧(E,H)，权值(即连接强度)用条件概率P(H/E)来表示，如图所示： 一般来说，有 n 个命题 x1,x2,,xn 之间相互关系的一般知识可用联合概率分布来描述。但是，这样处理使得问题过于复杂。Pearl 认为人类在推理过程中，知识并不是以联合概率分布形表现的，而是以变量之间的相关性和条件相关性表现的，即可以用条件概率表示。如 例如，对如图所示的 6 个节点的贝叶斯网络，有 一旦命题之间的相关性由有向弧表示，条件概率由弧的权值来表示，则命题之间静态结构关系的有关知识就表示出来了。当获取某个新的证据事实时，要对每个命题的可能取值加以综合考查，进而对每个结点定义一个信任度，记作 Bel(x)。可规定 Bel(x) = P(x=xi / D) 来表示当前所具有的所有事实和证据 D 条件下，命题 x 取值为 xi 的可信任程度，然后再基于 Bel 计算的证据和事实下各命题
的可信任程度。 团队作战目标选择 在 Robocode 中，特别在团队作战中。战场上同时存在很多机器人，在你附近的机器人有可能是队友，也有可能是敌人。如何从这些复杂的信息中选择目标机器人，是团队作战的一大问题，当然我们可以人工做一些简单的判断，但是战场的信息是变化的，人工假定的条件并不是都能成立，所以让机器人能自我选择，自我推理出最优目标才是可行之首。而贝叶斯网络在处理概率问题上面有很大的优势。首先，贝叶斯网络在联合概率方面有一个紧凑的表示法，这样比较容易根据一些事例搜索到可能的目标。另一方面，目标选择很容易通过贝叶斯网络建立起模型，而这种模型能依据每个输入变量直接影响到目标选择。 贝叶斯网络是一个具有概率分布的有向弧段（DAG）。它是由节点和有向弧段组成的。节点代表事件或变量，弧段代表节点之间的因果关系或概率关系，而弧段是有向的，不构成回路。下图所示为一个简单的贝叶斯网络模型。它有 5 个节 点和 5 个弧段组成。图中没有输入的 A1 节 点称为根节点，一段弧的起始节点称为其末节点的母节点，而后者称为前者的子节点。 简单的贝叶斯网络模型 贝叶斯网络能够利用简明的图形方式定性地表示事件之间复杂的因果关系或概率关系，在给定某些先验信息后，还可以定量地表示这些关系。网络的拓扑结构通常是根据具体的研究对象和问题来确定的。目前贝叶斯网络的研究热点之一就是如何通过学习自动确定和优化网络的拓扑结构。 变量 由上面贝叶斯网络模型要想得到理想的目标机器人，我们就必须知道需要哪些输入变量。如果想得到最好的结果，就要求我们在 Robocode 中每一个可知的数据块都要模拟为变量。但是如果这样做，在贝叶斯网络结束计算时，我们会得到一个很庞大的完整概率表，而维护如此庞大的概率表将会花费我们很多的系统资源和计算时间。所以在开始之前我们必须要选择最重要的变量输入。这样从比赛中得到的关于敌人的一些有用信息有可能不会出现在贝叶斯网络之内，比如速
神经网络工具箱
神经网络工具箱 版本6.0.4（R2010a版本）25-JAN-2010 图形用户界面的功能。 nctool - 神经网络分类的工具。 nftool - 神经网络拟合工具。 nprtool - 神经网络模式识别工具。 nntool - 神经网络工具箱的图形用户界面。 nntraintool - 神经网络训练工具。 视图- 查看一个神经网络。 分析功能。 混乱- 分类混淆矩阵。 errsurf - 单输入神经元的误差表面。 maxlinlr - 最大的学习率的线性层。 鹏- 受试者工作特征。 距离函数。 boxdist - 箱距离函数。 DIST - 欧氏距离权重函数。 mandist - 曼哈顿距离权重函数。 linkdist - 链路距离函数。 格式化数据。 combvec - 创建载体的所有组合。 con2seq - 转换并行向量连续载体。 同意- 创建并发偏载体。 dividevec - 创建载体的所有组合。 ind2vec - 转换指数为载体。 最小最大- 矩阵行范围。 nncopy - 复印基质或细胞阵列。 normc - 规格化矩阵的列。 normr - 规格化行的矩阵的。 pnormc - 矩阵的伪规格化列。 定量- 值离散化作为数量的倍数。 seq2con - 转换顺序向量并发载体。 vec2ind - 将矢量转换成指数。 初始化网络功能。 initlay - 层- 层网络初始化函数。 初始化层功能。
initnw - 阮层的Widrow初始化函数。 initwb - 从重量和- 偏置层初始化函数。 初始化的重量和偏见的功能。 initcon - 良心的偏见初始化函数。 initzero - 零重量/偏置初始化函数。 initsompc - 初始化SOM的权重与主要成分。 中点- 中点重初始化函数。 randnc - 归一列重初始化函数。 randnr - 归行重初始化函数。 兰特- 对称随机重量/偏置初始化函数。 学习功能。 learncon - 良心的偏见学习功能。 learngd - 梯度下降重量/偏置学习功能。 learngdm - 梯度下降W /气势重量/偏置学习功能。 learnh - 赫布重学习功能。 learnhd - 赫布衰变重学习功能。 learnis - 重量龄学习功能。 learnk - Kohonen的重量学习功能。 learnlv1 - LVQ1重学习功能。 learnlv2 - LVQ2重学习功能。 learnos - Outstar重学习功能。 learnsomb - 批自组织映射权重学习功能。 learnp - 感知重量/偏置学习功能。 learnpn - 归感知重量/偏置学习功能。 learnsom - 自组织映射权重学习功能。 learnwh - 的Widrow - 霍夫重量/偏置学习规则。 在线搜索功能。 srchbac - 回溯搜索。 srchbre - 布伦特的结合黄金分割/二次插值。 srchcha - Charalambous“三次插值。 srchgol - 黄金分割。 srchhyb - 混合二分/立方搜索。 净输入功能。 netprod - 产品净输入功能。 netsum - 求和净输入功能。 网络创造的功能。 网络- 创建一个自定义的神经网络。 NEWC - 创建一个有竞争力的层。 newcf - 创建级联转发传播网络。
贝叶斯网络的建造训练和特性
贝叶斯网络建造 贝叶斯网络的建造是一个复杂的任务，需要知识工程师和领域专家的参与。在实际中可能是反复交叉进行而不断完善的。面向设备故障诊断应用的贝叶斯网络的建造所需要的信息来自多种渠道，如设备手册，生产过程，测试过程，维修资料以及专家经验等。首先将设备故障分为各个相互独立且完全包含的类别（各故障类别至少应该具有可以区分的界限），然后对各个故障类别分别建造贝叶斯网络模型，需要注意的是诊断模型只在发生故障时启动，因此无需对设备正常状态建模。通常设备故障由一个或几个原因造成的，这些原因又可能由一个或几个更低层次的原因造成。建立起网络的节点关系后，还需要进行概率估计。具体方法是假设在某故障原因出现的情况下，估计该故障原因的各个节点的条件概率，这种局部化概率估计的方法可以大大提高效率。 贝叶斯网络训练 使用贝叶斯网络必须知道各个状态之间相关的概率。得到这些参数的过程叫做训练。和训练马尔可夫模型一样，训练贝叶斯网络要用一些已知的数据。比如在训练上面的网络，需要知道一些心血管疾病和吸烟、家族病史等有关的情况。相比马尔可夫链，贝叶斯网络的训练比较复杂，从理论上讲，它是一个NP-complete 问题，也就是说，对于现在的计算机是不可计算的。但是，对于某些应用，这个训练过程可以简化，并在计算上实现。 贝叶斯网络具有如下特性：
1。贝叶斯网络本身是一种不定性因果关联模型。贝叶斯网络与其他决策模型不同，它本身是将多元知识图解可视化的一种概率知识表达与推理模型，更为贴切地蕴含了网络节点变量之间的因果关系及条件相关关系。 2。贝叶斯网络具有强大的不确定性问题处理能力。贝叶斯网络用条件概率表达各个信息要素之间的相关关系，能在有限的，不完整的，不确定的信息条件下进行学习和推理。 3。贝叶斯网络能有效地进行多源信息表达与融合。贝叶斯网络可将故障诊断与维修决策相关的各种信息纳入网络结构中，按节点的方式统一进行处理，能有效地按信息的相关关系进行融合。 目前对于贝叶斯网络推理研究中提出了多种近似推理算法，主要分为两大类：基于仿真方法和基于搜索的方法。在故障诊断领域里就我们水电仿真而言，往往故障概率很小，所以一般采用搜索推理算法较适合。就一个实例而言，首先要分析使用那种算法模型： a.)如果该实例节点信度网络是简单的有向图结构，它的节点数目少的情况下，采用贝叶斯网络的精确推理，它包含多树传播算法，团树传播算法，图约减算法，针对实例事件进行选择恰当的算法； b.)如果是该实例所画出节点图形结构复杂且节点数目多，我们可采用近似推理算法去研究，具体实施起来最好能把复杂庞大的网络进行化简，然后在与精确推理相结合来考虑。 在日常生活中，人们往往进行常识推理，而这种推理通常是不准确的。例如，你看见一个头发潮湿的人走进来，你可能会认为外面下雨了，那你也许错了；如果你在公园里看到一男一女带着一个小孩，你可能会认为他们是一家人，你可能也犯了错误。在工程中，我们也同样需要进行科学合理的推理。但是，工程实际中的问题一般都比较复杂，而且存在着许多不确定性因素。这就给准确推理带来了很大的困难。很早以前，不确定性推理就是人工智能的一个重要研究领域。尽管许多人工智能领域的研究人员引入其它非概率原理，但是他们也认为在常识推理的基础上构建和使用概率方法也是可能的。为了提高推理的准确性，人们引入了概率理论。最早由Judea Pearl于1988年提出的贝叶斯网络(Bayesian Network)实质上就是一种基于概率的不确定性推理网络。它是用来表示变量集合连接概率的图形模型，提供了一种表示因果信息的方法。当时主要用于处理人工智能中的不确定性信息。随后它逐步成为了处理不确定性信息技术的主流，并且在计算机智能科学、工业控制、医疗诊断等领域的许多智能化系统中得到了重要的应用。 贝叶斯理论是处理不确定性信息的重要工具。作为一种基于概率的不确定性推理方法，贝叶斯网络在处理不确定信息的智能化系统中已得到了重要的应用，已成功地用于
贝叶斯网络结构学习总结
贝叶斯网络结构学习总结 一、 贝叶斯网络结构学习的原理 从数据中学习贝叶斯网络结构就是对给定的数据集，找到一个与数据集拟合最好的网络。 首先定义一个随机变量h S ，表示网络结构的不确定性，并赋予先验概率分布()h p S 。然后计算后验概率分布(|)h p S D 。根据Bayesian 定理有 (|)(,)/()()(|)/()h h h h p S D p S D p D p S p D S p D == 其中()p D 是一个与结构无关的正规化常数，(|)h p D S 是边界似然。 于是确定网络结构的后验分布只需要为每一个可能的结构计算数据的边界似然。在无约束多项分布、参数独立、采用Dirichlet 先验和数据完整的前提下，数据的边界似然正好等于每一个（i ，j ）对的边界似然的乘积，即 1 1 1 () ()(|)()() i i q r n ij ijk ijk h i j k ij ij ijk N p D S N ===Γ?Γ?+=Γ?+Γ?∏∏ ∏ 二、 贝叶斯网络完整数据集下结构学习方法 贝叶斯网络建模一般有三种方法：1）依靠专家建模；2）从数据中学习；3）从知识库中创建。在实际建模过程中常常综合运用这些方法，以专家知识为主导，以数据库和知识库为辅助手段，扬长避短，发挥各自优势，来保证建模的效率和准确性。但是，在不具备专家知识或知识库的前提下，从数据中学习贝叶斯网络模型结构的研究显得尤为重要。 常用的结构学习方法主要有两类，分别是基于依赖性测试的学习和基于搜索评分的学习。 第一类方法是基于依赖性测试的方法，它是在给定数据集D 中评估变量之间的条件独立性关系，构建网络结构。基于条件独立测试方法学习效率最好，典型的算法包括三阶段分析算法（TPDA ）。基于依赖性测试的方法比较直观，贴近贝叶斯网络的语义，把条件独立性测试和网络结构的搜索分离开，不足之处是对条件独立性测试产生的误差非常敏感。且在某些情况下条件独立性测试的次数相对于变量的数目成指数级增长。 第二类方法是基于评分搜索的方法，其原理是在所有节点的结构空间内按照一定的搜索策略及评分准则构建贝叶斯网络结构，这种算法虽然能够搜索到精确的网络结构，但是由于结构空间很大，从所有可能的网络结构空间搜索最佳的贝叶斯网络结构被证明为NP-hard 问题，所以一般需要使用启发式算法，代表性算法有K2算法等。基于搜索评分的方法是一种统计驱动的方法，试图在准确性、稀疏性、鲁棒性等多个因素之间找个平衡点。但由于搜索方法的先天弱点，导致用搜索评分的方法不一定能找到最好的结构，但是应用范围很广。 当观察到的数据足够充分且计算次数足够多时，基于搜索评分的方法和基于依赖性测试的方法都可以学到“正确”的网络结构。 此外，有人结合上述两种方法，提出了一些混合算法，这类算法首先利用独立性测试降
算法杂货铺——分类算法之贝叶斯网络(Bayesian networks)
算法杂货铺——分类算法之贝叶斯网络(Bayesian networks) 2010-09-18 22:50 by EricZhang(T2噬菌体), 2561 visits, 网摘, 收藏, 编辑 2.1、摘要 在上一篇文章中我们讨论了朴素贝叶斯分类。朴素贝叶斯分类有一个限制条件，就是特征属性必须有条件独立或基本独立（实际上在现实应用中几乎不可能做到完全独立）。当这个条件成立时，朴素贝叶斯分类法的准确率是最高的，但不幸的是，现实中各个特征属性间往往并不条件独立，而是具有较强的相关性，这样就限制了朴素贝叶斯分类的能力。这一篇文章中，我们接着上一篇文章的例子，讨论贝叶斯分类中更高级、应用范围更广的一种算法——贝叶斯网络（又称贝叶斯信念网络或信念网络）。 2.2、重新考虑上一篇的例子 上一篇文章我们使用朴素贝叶斯分类实现了SNS社区中不真实账号的检测。在那个解决方案中，我做了如下假设： i、真实账号比非真实账号平均具有更大的日志密度、各大的好友密度以及更多的使用真实头像。 ii、日志密度、好友密度和是否使用真实头像在账号真实性给定的条件下是独立的。 但是，上述第二条假设很可能并不成立。一般来说，好友密度除了与账号是否真实有关，还与是否有真实头像有关，因为真实的头像会吸引更多人加其为好友。因此，我们为了获取更准确的分类，可以将假设修改如下： i、真实账号比非真实账号平均具有更大的日志密度、各大的好友密度以及更多的使用真实头像。 ii、日志密度与好友密度、日志密度与是否使用真实头像在账号真实性给定的条件下是独立的。 iii、使用真实头像的用户比使用非真实头像的用户平均有更大的好友密度。