基于最小错误率的贝叶斯决策在手写英文字母分类识别中的应用_荆钟

第29卷第2期 辽宁工业大学学报(自然科学版) V ol.29, No.2

2009年 4 月 Journal of Liaoning University of Technology(Natural Science Edition) Apr.

2009

收稿日期：2008-09-04

作者简介：荆钟(1983-)，男，上海人，硕士生。

基于最小错误率的贝叶斯决策在手写

英文字母分类识别中的应用

荆 钟，何 明

（辽宁工业大学 电子与信息工程学院，辽宁 锦州 121001）

摘 要：统计决策理论是处理模式识别问题的基本理论之一，而贝叶斯决策理论方法又是统计模式识别中的一个基本方法，它可以有效地对大量数据进行分析，并生成相应的分类器，对于数据的分类识别有着重大的意义。把最小错误率的贝叶斯方法运用到手写英文字母的识别中，提高了分类的准确性和有效性。

关键词：贝叶斯理论；模式识别；统计决策；手写英文字母

中图分类号：TP391 文献标识码：B 文章编号：1674-3261(2009)02-0098-03

Bayes Decision for Minimum Errors Applied in Recognition

of Handwritten English Letters

JING Zhong, HE Ming

（Electron & Information Engineering College, Liaoning University of Technology, Jinzhou 121001, China ）

Key words: Bayesian theory; pattern recognition; statistical decision; handwritten English letter Abstract: The statistical decision-making theory was one of the basic theories for treating the problem on pattern recognition, however, the method of Bayesian Decision-making Theory was the basic one in pattern recognition, facing the massive data, which can be used to make effective analysis, and produce corresponding sorters, thus possessing important significance for the classification and recognition of the data. Bayes decision for minimum errors applied in recognition of handwritten English letters improved the exactitude and effiectiveness in classification.

模式识别是人类的一项基本智能。随着计算机的出现和人工智能的兴起，计算机模式识别在20世纪60年代迅速发展成为一门新学科。

1 统计模式识别的原理与方法

模式是通过对具体的个别事物进行观测所得到的具有时间和空间分布的信息；把模式所属的类别或同一类中模式的总体称为模式类(或简称为类)。而“模式识别”则是在某些一定量度或观测基础上把待识模式划分到各自的模式类中去。

有两种基本的模式识别方法，即统计模式识别方法和结构(句法)模式识别方法。统计模式识别是

对模式的统计分类方法，即结合统计概率论的贝叶斯决策系统进行模式识别的技术，又称为决策理论识别方法。利用模式与子模式分层结构的树状信息所完成的模式识别工作，就是结构模式识别或句法模式识别。与此相应的模式识别系统都是有两个过程(设计与实现)所组成。“设计”是指用一定数量的样本(训练集/学习集)进行分类器的设计。“实现”是指用所设计的分类器对待识别的样本进行分类决策。基于统计模式识别方法的系统主要由以下几个部分组成：信息获取、预处理、特征提取和选择、分类决策。

统计模式识别系统如图1所示。

DOI:10.15916/j.issn1674-3261.2009.02.012

第2期 荆钟等：基于最小错误率的贝叶斯决策在手写英文字母分类识别中的应用

99

图1 统计模式识别系统

统计模式识别的基本原理是：有相似性的样本在模式空间中互相接近，形成集合。其分析方法是根据模式所测得的特征向量

X i =(X i 1，X i 2，…，X id )T （i =1，2，…，n ） 式中：n 为样本点数，d 为样本特征数。将一个给定的模式归入c 个类中，然后根据模式之间的距离函数来判别分类统计模式识别的主要方法有：判别函数法，k 近邻分类法，非线性映射法，特征分析法，主因子分析法等。

2 基于最小错误率的贝叶斯决策方法

贝叶斯决策理论方法是统计模式识别中的一个基本方法，这种方法在对数据进行概率分析的基础上生成分类器(决策规则)，再应用生成的分类器对新数据依据概率方法进行分类。在运用贝叶斯理论的时候必须满足如下的基本条件:各类别总体的概率分布是已知的；被决策的分类数是一定的；有很多种标准用于衡量分类器设计的优劣，对于用贝叶斯决策而言，有基于最小错误率的贝叶斯决策，基于最小风险的贝叶斯决策，在限定一类错误率条件下使另一类错误率为最小的两类别决策、最小最大决策、序贯分类方法等。

贝叶斯公式：设D 1，D 2，…，D n 为样本空间S 的一个划分，如果P (D i )表示事件D i 发生的概率，且P (D i )＞0. 对于任一事件x ，P (x )＞0，则有

1

()()()

()()n

j j j i

i

i P D x P x D P D P x D P D ==∑

在模式分类问题中，人们往往希望尽量减少分类的错误，从这样的要求出发，利用概率论中的贝叶斯公式，就能得出使错误率为最小的分类规则，称之为基于最小错误率的贝叶斯决策。

对于两类情况

?={ω1，ω2}，x =[x 1，x 2，…，x d ]T

如果 1,2

()max ()i j i j P x P x x ωωω==?∈

对于多类情况

?={ω1，ω2，…，ωc }，x =[x 1，x 2，…，x d ]T

如果 ()(),1,2,,i j P x P x j c ωω>="

and i j i x ω≠?∈

对数形式为 ln ()ln ()i i P P ωω+=

1max{ln ()ln ()}i i j c

j P P x x ωωω+?∈≤≤

3 贝叶斯分类器的设计

分类器的设计主要有以下几方面的内容:首先应定义判别函数和分类决策面方程。对于C 类分类问题，按照分类决策规则可以把d 维特征空间分成c 个分类决策域，将划分分类决策域的边界称为分类决策面，在数学上用解析形式可以表示成分类决策面方程。用于表达分类决策规则的某些函数则称为判别函数。判别函数与决策面方程是密切相关的，且它们都有相应的分类决策规则所确定。对于手写英文字母的分类识别显然属于多类情况下的分类识别。

对于多类的情况，设

?={ω1，ω2，…，ωc }，x =[x 1，x 2，…，x d ]T 通常定义一组判别函数g i (x )，i =1，2，…，c 用于表示多类决策规则。如果它使g i (x )> g j (x ) 对于一切j ≠i 成立，则将x 归于ωi 类，根据上面的分类规则显然这里的g i (x )可定义为?(p (x |ω)p (ω))+h (x )，其中?( )为任一单调函数。

分类决策面方程。各决策域r i 被决策面所分割，这些决策面是特征空间中超曲面，相邻的两个决策域在决策面上其判别函数的值是相等的,如果r i 和r j 是相邻的，则分割它们的决策面方程应满足

()()i j g x g x = 分类器的设计。分类器可以看成是由硬件和软件组成的一个“机器”。它的功能是先计算出c 个判别函数，再从中选出对应于判别函数为最大值的类作为决策结果。如图2

所示。

图2 多类分类器

4 贝叶斯分类器的实现

贝叶斯分类器的设计方法属于监督学习法。监督学习方法用来对数据实现分类，分类规则通过训

100 辽宁工业大学学报(自然科学版) 第29卷

练获得。在监督学习识别方法中，为了能够对未知事物进行分类，必须输入一定数量的样品，构建训练集，而且这些样品的类别已知，提取这些样品的特征，利用训练集里每个样品所属的类别，由这些已知条件建立判别函数，构造一个分类器，然后对任何未知类别的模式，用该分类器判别其类别。本文对手写英文字母的分类识别设计了含有26个类别的手写字母样品库。手写字母样品通过直接手写或分割手写英文单词得到。

对待测样品进行特征提取，采用的是模板法，首先找到每个手写样品的起始位置，在此附近搜索该样品的宽度和高度；将每个样品的长度和宽度N 等份，构成一个N ×N 的均匀小区域；这N ×N 的小区域就是模板，对于每一小区域内的黑像素个数进行统计，除以该小区域的面积总数，即得特征值。这样做的好处是，针对同一形状、不同大小的样品得到的特征值相差不大，有能力对同一形状、不同大小的样品视为同类。N 值越大，模板也越大，特征越多，区分不同的物体能力越强，但同时计算量增加，运行等候的时间增长，所需样品库也要成倍增加。N 值过小，不利于不同物体间的区别。

多类情况下的最小错误率的贝叶斯决策的判别函数对数形式为

ln ()ln ()i i P P ωω+=

1max{ln ()ln ()}i i j c

j P P x x ωωω+?∈≤≤

因为样本空间服从正态分布，并且协方差矩阵U 1=U 2=…=U n =U 所以其判别函数可以简化为

T 1

1()()()2

i i i i h X X X U X X ???=???+

1

ln ()ln 2

i i P U ω?

实现步骤

(1)首先求出每一类手写英文字母的样品均值其中N i 为第i 类样品数目，n 为特征数目

T 121

1(,,,),i

N i i in i ij j X X x x x N

?

???

==

=∑"

0,1,2,,25i ="

(2)求出每一类样品的协方差矩阵U i ，并计算出其逆矩阵U i -1和行列式，l 为样品在每一类中的序号，j 和k 为特征值序号

111212122212i i i n i i i n i i i i

n n nn u u u u u u U u u u ??????=???????

?""###" 11()(),1i

N i j k jk

ij lk

i i u x x x x N ??==???∑ ,1,2,,j k n ="

(3)求出每一类的先验概率

(),0,1,2,25i i P N N i ω=="

(4)将各个数值带入判别函数

T 11

()()()2

i i i i h X X X U X X ???=???+

1

ln ()ln 2

i i P U ω?

判别函数最大值对应的类别就是手写英文字母所属的类别分类效果如图3所示。

图3 手写分类器

5 总 结

从理论上讲，依据贝叶斯理论所设计的分类器应该有最优的性能，如果所有的模式识别问题都可以这样来解决，那么模式识别问题就成了一个简单的计算问题，但是实际问题往往更复杂。贝叶斯决策理论要求两个前捉，一个是分类类别数目已知，一个是类条件概率密度和先验概率已知。前者很容易解决，但后者通常就不满足了。基于贝叶斯决策的分类器设计方法是在已知类条件概率密度的情况下讨论的，贝叶斯判别函数中的类条件概率密度是利用样本估计的，估计出来的类条件概率密度函数可能是线性函数，也可能是各种各样的非线性函数。这种设计判别函数的思路，在用样本估计之前，是不知道判别函数是线性函数还是别的什么函数的。而且，有时候受样本空间大小、维数等影响，类条件概率密度函数更难以确定。

因此在实际问题中，往往不去恢复类条件概率密度，而是换一种设计判别函数的思路，即设计判别函数时，首先确定判别函数为某种函数，比如为线性函数，然后利用样本集估计判别函数中的未知参数。如何估计这些未知参数，应针对不同的实际情况，提出不同的设计要求，使得所设计的分类器尽可能好地满足这些要求。这种设(下转第107页)

第2期 田丰：水利工程建设与保护生态环境可持续发展 107

革，努力理顺水资源的管理体制，把水资源的统一管理和监督、宏观调控等水行政管理与开发利用的具体活动区别开来，水行政主管部门要通过规划，计划取水许可和有偿使用等制度，综合运用法律、经济、行政、科技等手段，在水资源配备各个关键环节，对全社会涉水事务进行统一管理。

目前锦州市即将兴建的锦凌水库工程，在考虑到城市快速发展后的防洪问题、城市供水问题后，更应该考虑到水库兴建后对周边自然环境、生态环境和下游的安全问题。在工程建设中和建成后，对自然环境的保护与小凌河流域中下游生态环境的可持续发展，要做出具体的规划。既要保护下游人民群众生命财产的安全，也要保护库区周边地区生态自然环境的可持续发展。

5 结 语

在水利工程建设中既要做到百年大计，也必须

要做到保护保护生态环境的可持续发展。兴修水利

工程，是必要打破原有的生态平衡，使已经形成的

平衡状态受到干扰破坏。在设计和施工中只要遵循“因势利导，因地制宜”的原则，合理规划，周全设计，精心施工，加强科学管理，大多负面影响都可以得到缓解。水利工程能否带来环境效益，能否把对环境的负面影响降低到最低限度是衡量水利工程建设成败的重要指标之一。所以，要充分发展和应用现代科学技术，深入研究自然与生态的平衡机制，研究人类改变自然对生态近期和长远的影响，从而找出切实可行的解决办法。

参考文献：

[1] 毛文生. 生态环境影响评价概论[M]. 北京: 中国环境出

版社, 2003: 35-37.

[2] 陈长冰. 合理把握水利工程与生态环境和谐发展[J]. 改

革与探索, 2005(7): 26-27.

[3] 陆松生. 促进水利事业可持续发展的思考[J]. 江苏水利,

2005(6): 13-15. [4] 方红卫. 城市水环境和水生态建设[J]. 太原科技, 2004(6): 9-11. 责任编校：刘亚兵 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

公式的行距

孙 林 一般文字的排版通常都采用单倍行距，但每每遇到公式的时候行距往往会增大，如式(1)

3

11

()(1)()()i i i u k u k K k k w x ==?+∑

(1)

疏密不匀的行距很不美观。这里介绍两种调整

公式行距的方法。首先需要强调一点，公式应尽可

能写成独立公式，单占一行。这时可以把公式的行

距设为“最小值0磅”，如式(2)

3

11

()(1)()()i i i u k u k K k k w x ==?+∑

(2)

还有一种方法就是，把“格式”—“段落”中“如果定义了文档网格，则对齐网格”选项前方框

中的“√”去掉，即不选取该选项，而行距仍设为

单倍行距，这种方法得到的公式见式(3) 3

11

()(1)()()i i i u k u k K k k w x ==?+∑

(3)

文中公式尽量不用公式编辑器排，如必须使用

公式编辑器时，也可以采用上述两方法来对含公式的自然段进行处理。但是这样处理的结果有一个缺陷，即含公式的行行距正常了，而纯文字的行间距

却减小了。对此，也有两个解决办法。若公式的高

度与文字高度差不多时，可将该段行距设为“固定

值15.6磅”(正文为5号字时)；若公式较文字高出

许多，则将含公式之行前后打回车，把该行单独排成一段，然后参照独立公式的排法。~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

(上接第100页)

计要求，往往用某个特定的函数来表达，称之为准

则函数。实际上，设计贝叶斯分类器时，已经采用

了准则函数，所用的准则是错误率或风险。贝叶斯

分类器的错误率或风险是最小的，所以通常称之为

最优分类器，本文就是在估计出样本条件概率密度

服从正态分布的情况下而设计出的错误率最小的

最优分类器。 参考文献： [1] 边肇祺. 模式识别[M]. 北京: 清华大学出版社, 2001. [2] 张宏林, 蔡锐. Visual C++数字图像识别技术及工程实践[M]. 北京: 人民邮电出版社, 2003. [3] 冈萨雷斯. 数字图像处理[M]. 北京: 科学出版社, 2003. [4] 杨淑莹. 图像模式识别VC++技术实现[M]. 北京: 清华大学出版社, 2005. 责任编校：孙 林