朴素贝叶斯分类matlab实现

实验二 朴素贝叶斯分类

一、实验目的

通过实验，加深对统计判决与概率密度估计基本思想、方法的认识，了解影响Bayes 分类器性能的因素，掌握基于Bayes 决策理论的随机模式分类的原理和方法。

二、实验内容

设计Bayes 决策理论的随机模式分类器，用matlab 实现。

三、方法手段

Bayes 分类器的基本思想是依据类的概率、概密，按照某种准则使分类结果从统计上讲是最佳的。换言之，根据类的概率、概密将模式空间划分成若干个子空间，在此基础上形成模式分类的判决规则。准则函数不同，所导出的判决规则就不同，分类结果也不同。使用哪种准则或方法应根据具体问题来确定。

四、Bayes 算法

朴素贝叶斯分类或简单贝叶斯分类的工作过程如下：

（1）每个数据样本用一个n 维特征向量{}12,,...n X x x x =表示，分别描述对n 个属性A 1,A 2,…A n 样本的n 个度量。

（2）假定有m 个类C 1,C 2,…C m 。给定一个未知的数据样本X （即没有类标号），分类法将预测X 属于具有最高后验概率（条件X 下）的类。即是说，朴素贝叶斯分类将未知的样本分配给类C i ，当且仅当

》

()(),1,i j P C X P C X j m j i >≤≤≠ （）

这样，最大化()i P C X 。其()i P C X 最大的类C i 称为最大后验假定。根据贝叶斯定理

()()()()

P X H P H P H X P X =

，

()()()

()

i i i P X C P C P C X P X =

（）

（3）由于P(X)对于所有类为常数，只需要()()i i P X C P C 最大即可。如果类的先验概率未知，则通常假定这些类是等概率的，即P(C 1)=P(C 2)=…=P(C m )。并据此只对()i P X 最大化。否则，最大化()()i i P X C P C 。注意，类的先验概率可以用()i i P C s s =计算其中 s i 是类C i 中的训练样本数，而s 是训练样本总数。

（4）给定具有许多属性的数据集，计算()i P X 的开销可能非常大。为降低计算

()i P X 的开销，可以做类条件独立的朴素假定。给定样本的类标号，假定属性值相互条件

独立，即在属性间，不存在依赖关系。这样，

()()1n

i k i k P X p x C ==∏ （）

概率()1i P X C ，()2i P X C ，…()n i P X C 可以由训练样本估值，其中

1）如果A k 是分类属性，则()k i ik i P X C s s =，其中s ik 是在属性A k 上具有值x k 的类C i

的样本数，而s i 是C i 中的训练样本数。

2）如果A k 是连续值属性，则通常假定该属性服从高斯分布，因而，

()(

)

2

2

2,,C

i

i i k i k C C x k C i P X C g x e

σμμσ⎛⎫- ⎪

⎝

⎭==

（）

》

其中，给定类C i 的训练样本属性A k 的值，(),,i i k C C g x μσ是属性A k 的高斯密度函数，而,i

i

C C μσ分别为平均值和标准差。

（5）为对未知样本X 分类，对每个类C i ，计算()()i i P X P C 。样本X 被指派到类C i ，当且仅当

()()()(),1,i i j j P X C P C P X C P C j m j i >≤≤≠

换言之，X 被指派到其()()i i P X P C 最大的类C i 。

号。训练数据在表中。数据样本用属性age，income，student和credit_rating描述。类标号属性buys_computer具有两个不同值（即（yes,no））。设C1对应于类buys_computer=“yes”，而C2对应于类buys_computer=“no”。我们希望分类的样本为

() X age income medium student yes credit rating fair

==≤===

"30","","",_""

我们需要最大化()()

P X C P C，i=1,2。每个类的先验概率P(C i)可以根据训练样本计算：

i i

P(buys_computer=”yes”)=9/14=

.

P(buys_computer=”no”)=5/14=

为计算()i

P X C，i=1,2，我们计算下面的条件概率：

P(age=”<30”|buys_computer=”yes”) =2/9=

P(age=”<30”|buys_computer=”no”) =3/5=

P(income=”medium”|buys_computer=”yes”) =4/9=

P(income=”medium”|buys_computer=”no”) =2/5=

P(student=”yes”|buys_computer=”yes”) =6/9=

P(student=”yes”|buys_computer=”no”) =1/5=

P(credit_rating=”fair”|buys_computer=”yes”) =6/9=

P(credit_rating=”fair”|buys_computer=”no”) =2/5=

使用以上概率，我们得到：

#

P(X|buys_computer=”yes”)=×××=

P(X|buys_computer=”no”)=×××=

P(X|buys_computer=”yes”)P(buys_computer=”yes”)=×=

P(X|buys_computer=”no”)P(buys_computer=”no”)=×=

因此，对于样本X，朴素贝叶斯分类预测buys_computer=”yes”。

五、实验结果

训练数据内容及格式如下：