树叶分类——数字图像处理在树叶识别中的应用

数字图像处理研究报告

数字图像处理在树叶识别中的应用

侯杰：土木系

侯晓鹏：林科院

苏东川：航院

张伟：精仪

指导教师：马慧敏教授

日期：2007.12.30

数字图像处理在树叶识别中的应用

一、课题意义及背景

1 课题背景

植物的识别与分类对于区分植物种类，探索植物间的亲缘关系，阐明植物系统的进化规律具有重要意义。因此植物分类学是植物科学乃至整个生命科学的基础学科。然而，由于学科发展和社会等原因，全世界范围内目前从事经典分类（即传统的形态分类）的人数急剧下降，且呈现出明显的老龄化趋势，后继乏人，分类学已经成为一个“濒危学科”(Buyck,1999)。这不仅对于植物分类学本身，而且对整个植物科学和国民经济的发展带来重大的不利影响。目前植物识别和分类主要由人工完成。然而地球上仅为人所知的有花植物就有大约25万种，面对如此庞大的植物世界，任何一个植物学家都不可能知道所有的物种和名称，这就给进一步的研究带来了困难。在信息化的今天，我们提出的一种解决方案是：建立计算机化的植物识别系统，即利用计算机及相关技术对植物进行识别和管理[1]。

2 课题意义[2-3]

（1）人工进行植物叶形的分类难度很大。这种传统的判别方法要求操作者具有丰富的分类学知识和长期的实践经验,才能开展工作。要做到准确和快速地识别手中的植物是非常困难。并且相应人才极为短缺。

（2）仅为人所知的有花植物就有大约25万种，面对如此庞大的植物世界，任何一个植物学家都不可能知道所有的物种和名称。建立植物识别系统和数据库十分必要。

（3）植物学研究人员在野外考察时, 时常需要获取植物叶片面积等参数。（4）叶子面积大小对植物的生长发育、作物产量以及栽培管理都具有十分重要的意义。

因此，基于计算机图像处理识别技术的树叶图像识别技术对于植物学，农业科学等都具有重大意义。

二、相关理论综述

1 图像预处理

（1）边缘检测[4]

图像的边缘是指图像局部亮度变化最显著的部分，即在灰度级上发生急剧变化的区域。从空域角度看，二维图像上的边缘相邻像素灰度从某一个值跳变到另一个差异较大的值。其灰度变化曲线呈现奇异信号波形：阶跃信号或屋脊形脉冲信号。

图像边缘信息是图像的重要特征，也是计算机视觉和图像识别的基础。对树叶的边缘进行检测是树叶识别的基础，从二维数字图像上可得到的所有树叶的特征都基于其轮廓信息的。因此对树叶边缘信息检测情况的好坏直接影响到最终的处理结果。

对于边缘的检测常常借助于空域微分算子进行，通过将其模板与图像卷积完成。两个具有不同灰度值的相邻区域之间总存在灰度边缘。灰度边缘是灰度值不连续（或突变）的结果，这种不连续常可利用求一阶和二阶导数方便地检测到。已有的边缘检测方法，主要有一次微分（Sobel 算子、Roberts 算子等）、二次微分（Laplace 算子等）和模板操作（Prewitt 算子、Kirsch 算子、Robinson 算子等）等。

Sobel 算子：Sobel 边缘算子的掩模模板是两个3×3的卷积核。Sobel 边缘

算子强调中心像素的4-邻域对其的影响，而削弱4个对角近邻像素对其作用。它是有方向性的，在水平方向和垂直方向上形成最强烈的边缘。

y x y x G G G G G +≈+=22

()()67043222a a a a a a G x ++-++=

()()45621022a a a a a a G y ++-++=

G x

G y

Roberts 算子：Robert 边缘算子是一种局部差分算子，采用两个2 ×2 的掩模模板对图像的边缘进行检测。 []y x G G j i G +=,

[][]1,1,++-=j i f j i f G x

[][]1,,1+-+=j i f j i f G y

G x G y

Prewitt 算子：Prewitt 算子与Sobel 算子的方程一样，只是常量c=1。

G x

G y

Gauss-Laplace算子：Laplace算子是二阶微分算子，具有各项同性，只需要一个卷积核进行计算即可。Laplace算子精度高，但是同时对噪声更敏感，因此在检测之前一般先进行平滑，把高斯平滑滤波器和Laplace锐化滤波器结合起来形成Gauss-Laplace算子。正因为如此，本文首选该算子预处理图像。常用的Gauss-Laplace算子是5×5模板，如下图所示。

Gauss-Laplace算子

（2）图像平滑

在对图像进行边缘检测以及后续的处理时，由于噪声的影响会使得处理结果不够准确。噪声点和周围像素点灰度值差异较大，空间频率比较高，因此可以利用空间滤波的方法抑制图像的高频分量，使噪声点的影响减小，即平滑处理。

图像平滑一般采用的方法有均值滤波和中值滤波两种。

均值滤波:对模板内的所有像素点的灰度值取均值或加权均值。

中值滤波: 对模板内的像素点的灰度值排序，取中间值作为返回值。

两种滤波方法各有特点。相较来说，中值滤波对图像的细节保存更好一些。同时，模板大小的选取对平滑的结果也有很大的影响，模板越大则处理后的图像越模糊，细节损失越多，对图像的边缘也有不利的影响。

综合图像的特点，边缘检测选用Gauss-Laplace算子作，图像平滑选用5×5平滑模板，中值滤波选用8×8模板。

（3）Otsu 最大类间方差法自适应图像分割[5]

最大类间方差法是由Otsu 在1978年提出的。它从一维灰度直方图角度出发，利用类别方差作为判据，选取使类间方差最大的灰度值作为最佳阈值。

最大类间方差阈值分割法的基本思路是将图像的直方图以某一灰度为阈值将图像分成两组并计算两组的方差，当被分成的两组之间的方差最大时，就以这个灰度值为阈值分割图像。

Otsu 最大类间方差法计算简单，速度快，稳定有效，我们采用此法对树叶图像进行阈值分割。Otsu 法求取图像最佳阀值g 的公式如下：

22001101

0001110011arg ()(())()(())()()()

()()()

()()()()

max t L i t t i L g w t u t u w t u t u ip i u t w t ip i u t w t u w t u t w t u t ≤≤-≤≤≤≤-??=-+-??===+∑

∑

式中：

()p i ： 灰度值为i 的频率；

0()w t ：目标部分比例；

1()w t ：背景部分比例；

0()u t ：目标均值； 1()u t ：背景均值；

u ： 总均值。

2 图像特征提取[3-4]

图像特征提取是影响图像识别效果的关键环节，需要充分考虑图像的尺度及特征的种类、稳定性和个数的选取。对于本课题，图像尺度最初取树叶最大高度对应300像素，认为图像可识别的特征长度是最大高度的1/100，即3个像素，

则像边界点采样频率为每3像素取1个。但通过试算得知，一般模版尺度也基本是3个像素，这样在前处理中的平滑运算会消除图像的一些边界特征，并且在图像缩放中，在图像边界局部也会产生2到3个像素级别的误差，即误差的级别与特征长度较近，容易引起特征提取错误，把局部误差毛刺提取成边界特征。另外，特征尺度主要与树叶周长直接相关，取其为最大高的固定百分比也是不合适的，应该直接与树叶周长相关，而不是最大高度，因为图像周长特性比最大高度要稳定的多，比如叶柄的直、曲对树叶周长影响很小，而对树叶最大高度影响较大。正因为最大高度不稳定，最后取消了第五个特征（最大高度/周长）对于识别的贡献，对于所有树叶该值均取为常数零。也就是说，如果图像特征不稳定，则增加特征个数对于识别效果是不利的，反之则有利。通过不断调试，图像总体尺度取树叶周长对应2000个像素，可识别的特征长度取为10，即总尺度的1/200。所提取得图像特征如下：

（1）roundness：归1化圆形度

2 4

C

A

评价树叶整体外形与圆形的近似程度，用于提取图像的“胖瘦”特性。（2）ratio_anl_Nside：拐点平均间距与周长比

描述树叶周边凹凸性的尺度，此值越小则表示树叶周边凹凸越尖锐。（3）Ninflexion：拐点数

理论上应为树叶周边凸包个数的两倍，实际由于最小特征尺度的选取和

边界毛刺误差，具体提取的拐点数会有一定的随机性。

（4）ave_sideEnergy：平均边界能量

取为边界上各采样点处转角平方和的平均，以能量的形式反映边界的复

杂程度。

（5）ratio_Hm_Nside：最大高度/周长

考虑到图像最大高度受叶柄的直、曲影响很大，其值很不稳定，因而会

降低树叶识别效果，不再提取其实际值，直接赋值为常量零。

3 图像识别——LVQ神经网络[6-8]

神经网络通过寻找输入/输出数据之间的关系，来实现特征提取和统计分来

等模式识别任务。经过几十年的发展，神经网络已经点定了在模式识别领域不可或缺的位置。在模式识别的应用中，单层感知器是能一致逼近线性连续函数空间的最简单的神经网络，但是它具有其固有的局限性，即对非线性样本空间不可分。BP网络是一种应用最为普遍的网络，其缺点在于采用了基于的梯度下降的非线性优化策略，有可能陷于局部最小问题，不能保证求出全局最小值。其他一些优化策略如遗传算法、模拟退火算法等，虽然可以求得全局最小，但是计算量很大，有时会出现效率问题。本论文尝试利用LVQ网络来实现模式识别，LVQ网络的优点是不需要将输入向量进行归一化、正交化，只需要直接计算输入向量与竞争层之间的距离，从而实现树叶图像的模式识别。

LVQ网络简介

学习矢量量化的英文全称是Learning Vector Quantization，简称为LVQ。LVQ 算法是在有教师状态下对竞争层进行训练的一种学习方法，它是从Kohonen竞争算法演化而来的。LVQ神经网络在模式识别和优化领域有这广泛的应用。

LVQ算法是对SOM算法的一种扩展，它的基本思想源于SOM算法，它对应的网络结构与SOM很相似，但并不像SOM网络那样存在某种特定的拓扑结构。LVQ算法是一种监督类型的聚类方法，该算法与SOM算法最大的区别在于提供给LVQ网络的每个训练例都有一个“标记”（label），该“标记”用于知名每个训练例所属的类别，在网络的训练过程中起到一定的监督作用。因此，LVQ 算法实际上是SOM算法基本思想在监督学习领域中的一种应用。

学习矢量量化(LVQ)神经网络是在监督状态下对竞争层进行训练的一种学习算法，允许对输入被分到哪一类进行指定，竞争层将自动学习对输入向量分类，同时LVQ算法建立的决策区是近似最优的，另外由于LVQ 网络结构的特殊性，使得能够通过训练来识别由几个不连接区域构成的类，同时能以较小的计算量处理大量输入数据。

Kohonen学习规则

Kohonen网络特征自动识别的聚类功能主要是通过以下两个简单的规则实现的[2]：

记所有输出神经元C组成的集合为Φ。神经元C与输入层神经元之问的连接权向量为W

(1)对于提供给网络的任一个输入向量ξ，确定相应的输出层获胜神经元s，

其中Φξ∈?-=r W min arg s r r

(2) 确定获胜神经元s 的一个领域N ，按照如下公式调整N ，范围内神经元的权向量：

N c ))old (W ()old (W )new (W c c c ∈?-+=ξα，该调整过程使得N 内神经元的权向量朝着输入向量ξ的方向靠拢。

随着学习的不断进行，学习速率α将不断减小，领域N 也将不断缩小。所有权向量将在输入向量空间相互分离，各自代表输入空间的一类模式，这就是Kohonen 网络特征自动识别的聚类功能。

LVQ 网络结构

LVQ 网络结构如图1所示。一个学习矢量量化（LVQ ）网络由三层神经元组成，即输入层、隐竞争层和输出层。

图1 LVQ 网络结构

该网络在输入层与隐竞争层之间为完全连接，而在隐竞争层与输出层之间为部分连接，每个输出神经元与隐竞争层神经元的不同组相连接。隐竞争层和输出神经元之间的连接权值固定为1。输入层和隐竞争层间的连接权值建立参考矢量的分量（对每个隐竞争层神经元指定一个参考矢量）。在网络训练的过程中，这些权值被修改。隐竞争层神经元和输出神经元都具有二进制输出值。与竞争网络

一样，LVQ 网络隐竞争层的每个神经元通过学习原型向量对输入空间的区域分类。LVQ 是通过直接计算距离的方法模拟LVQ 网络。直接计算距离的优点是向量不必规格化。这里用Euclidean 距离矩阵来选择和输入向量最近的权值向量。

在隐竞争层中，权值向量与输入向量最接近的神经元输出为1，而其他神经元的输出为0，竞争获胜的神经元表示一个子类而非一个类，这是它和竞争网络的区别；输出层将子类组合成一个类，一个类可能有几个不同的神经元(子类)组成。隐含层的神经元数量依赖于输入一输出间关系的复杂度并且它的数量对分类效果的影响比较大。隐含神经元的选择很大程度上依赖于输入模式的变化程度，一般是根据经验或仿真实验选择。

LVQ 网络的学习规则

LVQ 算法对应的网络结构如下：

包含n 个输入神经元，其输入向量为)x ,x ,x (X n 21 = X 所对应的类别记为

T 。

每个输出神经元j 都对应一个权向量)w ,w ,w (W nj j 2j 1j =，记所有输出神经

元j 构成的集合为Ω

Cj 为输出神经元j 所代表的类别，不同的输出神经元可以代表一个类别。

LVQ 网络期望通过对带有“标记”的训练例的学习能够正确预测提供给网络的测试例的分类。LVQ 网络的训练过程如下[2]：

(1) 初始化权向量Wj ，对于任意j ∈Ω，设置初始学习率)0(αα=

(2) 从训练集中选取一输入向量X ，找出与X 具有最小Euclidean 距离的权向量W k ，Ω∈?-=j W X argmin k j j

(3) 按如下规则调整神经元k 的权向量：

·如果k C T = (即输出神经元k 所代表的类别与输入模式一致)，则获胜的隐竞争层神经元沿着X 的方向移动，按照下式修正隐竞争层权值向量：

))old (W X ()old (W )new (W k k k -+=α

·如果k C T ≠(即输出神经元k 所代表的类别与输入模式不一致)，表示错误的隐竞争层神经元竞争获胜，则移动该神经元的权值远离X ，修改隐竞争层权值向量：

))old (W X ()old (W )new (W k k k --=α

(4)训练集中选取另外一个输入向量提供给LVQ网络．返回步骤（2）直到所有的向量都提供了一遍为止。

(5)减小学习率α，并且测试停止条件是否满足，如果满足则停止训练，否则返回步骤（2）。

由过程（3）中所采用的权向量调整策略可以看出．当被选中的输出神经元对应的类别和输入向量X所对应的类别一致时，将调整权向量使其向输入向量的方向靠拢．反之，调整权向量使其偏离输入向量。过程（5）中所指的停止条件一般为训练达到了固定的迭代次数或者学习率降至预设的最小值。

三、软件系统开发

本识别系统由三个模块组成：主控模块、Access数据库和Matlab引擎。

图2 系统模块构成

主控模块：是基于VC03实现的，协调控制整个系统，负责整个图像处理过程的算法实现，包括图像数据的预处理算法、特征提取算法、读写数据库信息及调用Matlab引擎实现神经网络训练和识别。

Access数据库[9]：是树叶特征的存放仓库。VC提供了MFC的DAO（Data Access Object）数据库类，封装了底层的API，从而大大简化了程序的开发。利用MFC的DAO类，用户可以编写独立于DBMS的应用程序。本系统使用DAO实现了对桌面数据库文件TreeLeaf.mdb的打开、数据读写等操作。数据库中只包含了一个数据表leaf，其字段除包含树叶特征信息外，还包含树叶标识（Name）、树叶类型（type）和识别结果（result）。Access数据库信息见图3。

图3 Access数据库信息

Matlab引擎[10-12]：Visual C++ 是当前主流的应用程序开发环境之一，开发环境强大，开发的程序执行速度快。但在科学计算方面函数库显得不够丰富、读取、显示数据图形不方便。 Matlab 是一款将数值分析、矩阵计算、信号处理和图形显示结合在一起，包含大量高度集成的函数可供调用，适合科学研究、工程设计等众多学科领域使用的一种简洁、高效的编程工具。不过由于 Matlab使用的是解释性语言，大大限制了它的执行速度和应用场合。基于 VC 和 Matlab混合编程是很多熟悉 VC++ 编程而又需要进行科学计算、数据仿真的科研人员常用的一种方式，其中最简单也最直接的方法就是调用 Matlab引擎。在VC03开发平台下，本系统实现了Matlab引擎的调用，具体步骤如下：

1）主控模块调出Access数据库中的树叶特征样本信息，进行组织整理；

2）启动Matlab引擎，按照Matlab语言格式写入训练/识别信息，调用Matlab 环境中的学习向量化神经网络LVQ，进行网络训练/识别；

3）对于网络训练，结束后要保存网络输出层对应的树叶类型字串，本系统采用中间文件的形式，保存在TypeInfo.txt文件中；对于网络识别，在读取Matlab网络输出层数据后，再根据此数据，在TypeInfo.txt文件中找到对应的类型字串，然后显示在主控界面上，并提示是否把识别结果存

入数据库。

系统运行基本界面如下：

图4 系统界面：文件操作

图5 系统界面：预处理

图6 系统界面：特征分析

四、系统使用

1 树叶图像获取

采集5种共计154片原始树叶，其中银杏32片，加杨48片，梧桐21片，大叶黄杨28片，针叶松25根。所有树叶图像均采自校内，拍摄条件如下：地点：敞亮室内；

光照：白天无日光灯，数码相机无闪光垂直拍摄；

像素：2048×1536；

背景：厚打印白纸铺于水平桌面，洁净玻璃压紧树叶。

2 预处理图像要求

ACDSee中对原始图像进行灰度变换，由彩图变为灰度图；矩形框截取树叶图像，统一等比调整图像长宽均在500-600像素之间，选取图像时保证树叶与边框间距不小于1/10对应边长，以便在扫除图像边框处噪声点时，不至于扫除树叶像素。

3 系统识别结果

由于所提取的树叶特征，除圆形度和平均边界能量外，其他特征稳定性很差，特别是树叶最大高度与周长比，因此，最终取消了该特征对于识别的贡献，将其赋值常数零。因而只提取了14片树叶的比较稳定的特征，其中加杨5片，银杏2片，大叶黄杨4片，梧桐3片，对于长条形针叶松叶无法提取特征，原因有待进一步研究。可能由于树叶特征不稳定，网络训练也不能达到理想精度，如图7 所示。树叶识别结果见表1，加杨识别效果相对最好，但可提取的效样本数量不多（5个），识别最差的是银杏，两片样本均不能识别，可能原因是银杏树叶顶部的细小褶皱程度和范围随机性很大，且叶柄较柔弱，易形成很多局部弯折，而这些因素直接影响特征2、3、4、5值的稳定性。银杏典型树叶如图8所示。

表1 树叶识别结果

图7 Matlab训练

(a) (b)

图8 典型银杏叶

4 系统不足及特色

综合以上分析可知，该系统在树叶特征的选取上存在不足，导致所提取树叶特征稳定性不好，从而限制了训练样本的数量和网络训练的精度，最终导致树叶识别效果不理想。此外，树叶最小特征尺度的选取也可能存在可以调节的余地。可能原因归结如下：

（1）所提取得树叶特征本身不稳定（主要原因）；

（2）树叶特征尺度选取不够合理(1/200)；

（3）神经网络模型隐竞争层单元数没进行大量试算确定（暂取为树叶类型数的平方）。

虽识别效果不理想，但该系统还是有自己的特色：

（1）在VC03中实现了数字图像处理的基本代码，特别是使用Otsu最大类间方差法实现了图像自适应阀值分割，效果显著；

（2）实现VC03+Access+Matlab的混合编程，形成了数字图像处理与识别的总体结构，并且系统功能合理且精简，对以后类似系统开发具有一

定的参考价值。

五、参考文献

[1]傅弘，池哲儒，常杰，傅承新．基于人工神经网络的叶脉信息提取——植物活体机器识

别研究[J].植物学通报, 2004, 21(4):429-436

[2]朱静，田兴军，陈彬，吕劲紫．植物叶形的计算机识别系统[J].植物学通报, 2005,

22(5):599-604

[3]王晓峰，黄德双，杜吉祥，张国军．叶片图像特征提取与识别技术的研究[J].计算机工

程与应用, 2003, 3:190-193

[4] 求是科技．Visual C＋＋数字图像处理典型算法及实现[M]．北京：人民邮电出版社，2006

[5] 陈莹．基于图像处理的火灾监测系统软件设计[J]．低压电器，2006,1:32-35．

[6]何术．SOM神经网络在树叶形状分类中的应用[J].电脑开发与应用,2004,17(2):23-24

[7] 飞思科技产品研发中心．神经网络理论与MA TLAB7实现[M]．北京：电子工业出版社，

2005

[8]张敏灵，陈兆乾，周志华．SOM算法、LVQ算法及其变体综述[J].计算机科学,

2002, 29(7):97-100

[9] 韩存兵．Visual C＋＋数据库编程实战[M]．北京：科学出版社，2004

[10]杨高波等．精通MATLAB7.0混合编程[M]．北京：电子工业出版社，2005

[11]周开利，康耀红．神经网络模型及其MATLAB仿真程序设计[M]．北京：清华大学出版

社，2005

[12] Vladimir B. Bajic, Allen Chong, Seng Hong Seah, and Vladimir Brusic．An intelligent system

for vertebrate promoter recognition [J]．Intelligent Systems, IEEE [see also IEEE Intelligent Systems and Their Applications]; V olume 17, Issue 4, Jul/Aug 2002 Page(s):64 - 70

[13] Futoshi Kobayasi, Daisuke Masumoto, Fumio Kojima．Sensor Selection Based on Furry Inference for Sensor Fusion [J]．2004 IEEE International Conference on Multi-sensor Fusion and Integration for intelligent Systems, Budapest Hungary, Sep 2004, Page(s):305 - 310

任务分工