Bayes分类器原理

贝叶斯分类器

一、朴素贝叶斯分类器原理

目标：

计算(|)j P C t 。注：t 是一个多维的文本向量

分析：

由于数据t 是一个新的数据，(|)j P C t 无法在训练数据集中统计出来。因此需要转换。根据概率论中的贝叶斯定理

(|)()(|)()

P B A P A P A B P B =

将(|)j P C t 的计算转换为： (|)()

(|)()j j j P t C P C P C t P t = （1）

其中，()j P C 表示类C j 在整个数据空间中的出现概率，可以在训练集中统计出来（即用C j 在训练数据集中出现的频率()j F C 来作为概率()j P C 。但(|)j P t C 和()P t 仍然不能统计出来。

首先，对于(|)j P t C ，它表示在类j C 中出现数据t 的概率。根据“属性独立性假设”，即对于属于类j C 的所有数据，它们个各属性出现某个值的概率是相互独立的。如，判断一个干部是否是“好干部”（分类）时，其属性“生活作风＝好”的概率（P(生活作风＝好|好干部)）与“工作态度＝好”的概率（P(工作态度＝好|好干部)）是独立的，没有潜在的相互关联。换句话说，一个好干部，其生活作风的好坏与其工作态度的好坏完全无关。我们知道这并不能反映真实的情况，因而说是一种“假设”。使用该假设来分类的方法称为“朴素贝叶斯分类”。

根据上述假设，类j C 中出现数据t 的概率等于其中出现t 中各属性值的概率的乘积。即： (|)(|)j k j k P t C P t C =∏

（2）

其中，k t 是数据t 的第k 个属性值。

其次，对于公式（1）中的()P t ，即数据t 在整个数据空间中出现的概率，等于它在各

分类中出现概率的总和，即：

()(|)

j

j

P t P t C

=∑（3）

其中，各(|)

j

P t C的计算就采用公式（2）。

这样，将（2）代入（1），并综合公式（3）后，我们得到：

(|)()

(|),

(|)

(|)(|)

j j

j

j

j

j k j

k

P t C P C

P C t

P t C

P t C P t C

?

=

?

?

?

?=

??

∑

∏

其中：

（4）

公式（4）就是我们最终用于判断数据t分类的方法。其依赖的条件是：从训练数据中

统计出(|)

k j

P t C和()

j

P C。

当我们用这种方法判断一个数据的分类时，用公式（4）计算它属于各分类的概率，再取其中概率最大的作为分类的结果。

改进的P(t | C j )的计算方法：

摒弃t(t1, t2 , t3,)中分量相互独立的假设，

P(t1, t2 , t3,| C j) = P(t1 | C j) * P(t2 | t1, C j) * P(t3| t1, t2 ,C j) 注意：

P(t3| t1, t2 ,C j)

=

)

t2

P(t1,

)

C

t3,

,

t2

P(t1,j

此结果的含义是在某类C j 中 在t 1 、t 2后t 1 、t 2、t 3出现的概率

主要思想：在大规模的语料（或整个门户网站的分类结果中）上寻找支持度和置信度均大于其各自的阈值的频繁项集（关键词组），从而进一步去确定这些频繁项集（关键词组）的概率，对于小于阈值的项集中的关键字认为则认为是相互独立的。

注：分析的结果中的每个频繁项集中的关键词不宜太多（这个可以通过阈值来限制）；分析的结果在一定时间内是比较稳定的而且是收敛的；分析结果可以形成多个“相关性词袋”。

‘相关性词袋’比‘近义词词袋’更接近人的思维也更接近客观实际同时不依赖于人的主观思维和大量的标注劳动，如：姚明，篮球 不同属于一个近义词词袋，但很有可能在同一个相关性词袋。克服了人标注的不完备性。

二、文本分类的具体方法

文本分类中，数据是指代表一篇文本的一个向量。向量的各维代表一个关键字的权重。 注意：权重可以通过TF/IDF 方法来确定

训练文本中，每个数据还附带一个文本的分类编码。对此我们有两个方面的工作：

（1） 分类器学习：即从训练数据集中统计(|)k j P t C 和()j P C ，并保存起来。（保存到一个数据文件中，可以再次加载）。在分类器的程序中，需要有表达和保存这些概率数据的变量或对象。

（2） 分类识别：从一个测试文档中读取其中的测试数据项，识别他们的分类，并

输出到一个文件中。

但文本分类有一个特殊情况：各属性的值不是标准值，不像“性别”这样的属性。因此在查找(|)k j P t C 时会遇到麻烦：新数据的k t 值可能在训练数据中从未出现过。这个问题的另一方面是：训练数据中各属性（分别对应一个关键词）的值太分散，几乎不可能出现某个关键词在多篇文章中的权重相同的情况。这样，(|)k j P t C 太多、太分散，没有统计上的意义。

这一问题的处理方法是：将各关键词的权重分段：即将权重的值域分成几个段，每段取其中数值的平均值作为其标准值。第一种方法是，直接对所有训练数据的属性值进行分段，如对第k 个属性，将其值域分为(0~0.1), (0.1~0.2), …, (0.9~1)，各段分别编号为0,1,…9。一

个数据的该属性值为0.19，则重设该属性值为它所处的分段编号，即1。

另一种方法同样进行分段，但分段后计算各段的平均值作为各段的标准值。根据具体数据相应属性的值与各分段标准值的接近程度，重新设置数据该属性的值。如对第k 个属性，将其值域分为(0~0.1), (0.1~0.2), …, (0.9~1)，假设(0.1~0.2)的平均值为0.15，(0.2~0.3)的平均值为0.22，而一个数据的该属性值为0.19，则该数据的该属性值与0.22更接近，应该重设为0.22。这就是我们要采用的方法。

下一个问题是，以什么作为分段标准？如果按平分值域的方法，则可能数据在值域各段中的分别非常不均匀，会造成在数据稀少的值域中失去统计意义。因此一个方法是，按照分布数据均匀为标准进行分段划分。假设有N 个数据，将属性值域分为M 段。对属性k ，将数据按k 属性的值排序，然后按N/M 个进行等分，计算各值域分段中的标准值。 i k

m i m k t v m ∈=∑ （5）

其中，m 表示一个分段，m 表示第k 个属性值在该段内的数据的总数。

每段内的数据的相应属性重设为该段的平均值。

分段的工作在在训练阶段进行。必须保留分段的结果：即各属性的各分段值域的标准值。在训练阶段，将所有训练数据的属性值替换为标准值后，再进行统计。而在识别阶段，将待识别数据的属性值同样替换为标准值后，再进行识别。

三、对象模型

根据我们要进行工作，其中包含：数据（项），数据集，属性，属性值，属性标准值，分类概率，分类属性概率等名词。

从实现上考虑：

（1）训练中的数据分段：根据数据的k 属性值，对所有数据进行排序。按数据个数均分的原则进行分段，并计算k 属性在各段的标准值，该值需要保留。

假设我们有数据项对象（CDataItem ）和数据集对象(CDataSet)，显然数据集对象负责该项工作。即，CDataSet 中应该包含一个方法：Segment(k, m)。其中k 表示对第k 个属性，m 表示总共分为m 个段。该方法产生的各段标准值也需要保留。由于这些标准值是针对各个属性的，因此应该定义一个属性对象来存储这些值。即需要一个CAttribute 对象。

此外，分段时需要的排序可以使用C++标准库中的sort 模板函数来实现。

（2）根据属性值域分段的标准值，更新数据项的属性值：对一个数据的第k 个属性，使用其属性值在K 属性对象（CAttribute 的一个对象）中查找它最接近的标准值，并用以替换原值。查找标准值的方法可以分配给CAttribute 对象：即需要一个Search 方法，返回找到的标准值（如果分段多，需要使用二分法查找以提高效率。可以利用C++标准库中的相应模板函数实现）。

（3）分类器本身应该作为一个类，即CBayesClassifier 。其中应该包含Train （dataset ）和Recognize(data)两个方法。前者用以根据dataset 进行训练，后者用以识别一个数据data 的分类。识别中需要各种概率：(|)k j P t C 和()j P C 。()j P C 可以用CBayesClassifier 的一个动态数值成员实现其存储，可以用C++的vector 类模板实现。(|)k j P t C 显然是一个二维

表：行列分别是类和属性。可以用一个二维数组的成员表示，也可以用两层的vector实现。