Matlab在汽车牌照识别系统中的应用电气专业本科毕业设计

石家庄铁道大学毕业设计

Matlab在汽车牌照识别系统中的应用

Application of Matlab in the Car License Plate

Recognition

2011届电气与电子工程学院

专业电气工程及其自动化

学号 20071873

姓名

指导教师

完成日期2011年 6月 2日

毕业设计成绩单

毕业设计任务书

毕业设计开题报告

摘要

随着公路逐渐普及，我国的公路交通事业发展迅速。车辆牌照自动识别是计算机视觉与模式识别技术在智能交通领域的重要应用，是实现交通管理的重要环节之一，并极大提高了交通管理效率。

本文中汽车牌照自动识别整个处理过程分为预处理、边缘提取、车牌定位、字符分割、字符识别五大模块。对于已定位好的车牌，正确分割字符是实现字符识别的重要环节，其过程主要由以下3个部分组成：①正确地分割文字图像区域；②正确的分离单个文字；③正确识别单个字符。用Matlab软件编程来实现每一个部分,最后识别出汽车牌照并以文本的形式输出。其目的是识别车牌上的字符，用于车辆资料的管理及其安全保障。

关键词：汽车牌照自动识别图像预处理车牌定位字符分割字符识别

Abstract

With the increasing popularity of road, road transport in China has developed rapidly. Vehicle license plate recognition is an application of computer vision and pattern recognition technology, which has a strong impact on the filed of intelligent transportation. It is an important part to improve the transportation management that helps improving the traffic management efficiency greatly.

In this article, the vehicle license plates recognition is divided into preprocessing, edge detection, license plate localization, character segmentation and character recognition. Once positioned, the correct character segmentation becomes an important part for character recognition, which is mainly composed of the following three parts: ①split the area of the image and text correctly; ②separate each single word correctly; ③correctly identify a single character. Programming with Matlab software to implement every part, and finally identify the license plate and output the result in the form of text. The aim is to identify the characters on the license plate for vehicle information management and security.

Key words: vehicle license plates recognition preprocessing license plate localization character segmentation character recognition

目录

第1章绪论 (1)

1.1课题的研究背景及意义 (1)

1.2车牌识别主要技术及发展 (2)

1.3国内外研究现状 (3)

1.4设计方案及详细步骤 (4)

1.5论文主要内容 (5)

第2章车牌预处理与定位 (7)

2.1图像预处理 (7)

2.1.1图像预处理的意义与方法 (7)

2.1.2灰度变换 (8)

2.1.3图像增强 (9)

2.2汽车牌照的定位 (12)

2.3车牌定位流程及小结 (14)

第3章车牌字符分割与归一化 (16)

3.1车牌区域的分割 (16)

3.1.1牌照区域的分割 (16)

3.1.2车牌进一步处理 (18)

3.2字符分割与归一化 (20)

3.2.1字符分割 (20)

3.2.1字符归一化 (23)

3.3字符分割系统小结 (24)

第4章字符识别 (25)

4.1字符识别简介 (25)

4.2字符识别主要方法及流程图 (26)

4.3字符识别及Matlab程序实现 (27)

4.4结果分析 (29)

4.5关于利用BP神经网络的字符识别 (31)

4.5.1BP神经网络学习算法设计 (31)

4.5.2BP神经网络应用过程 (32)

4.5.3利用BP网络字符识别流程及程序总体框架 (32)

4.6本章小结 (33)

第5章总结与展望 (35)

5.1总结 (35)

5.2展望 (35)

参考文献 (37)

致谢 (38)

附录A外文资料翻译 (39)

A.1英文 (39)

A.2译文 (45)

第1章绪论

1.1 课题的研究背景及意义

近二三十年以来，随着全球经济的不断发展，人民生活水平的不断提高，私人拥有机动车辆的数量迅速增加，车辆普及成为了必然的趋势。城市交通拥堵、交通事故频发、交通环境恶化以及能源短缺等正成为当前世界各国面临的共同问题。然而仅仅依靠大力发展交通设施已不能解决此类问题。而且随着我国国民经济的高速发展，国内高速公路、城市道路、停车场建设越来越多，对交通控制、安全管理的要求也日益提高。因此，保持道路建设和现代化管理齐头并进，在发展交通设施的同时，大力发展现代智能交通系统已成为当前亟待解决的严重问题，而车辆牌照识别LPR(License Plate Recognition)技术作为智能交通的核心技术之一，起着举足轻重的作用，它在高速公路、城市道路和停车场等项目管理中占有无可取代的重要地位。

车牌识别技术(Vehicle License Plate Recognition，VLPR)是计算机视觉和模式识别技术在现代智能交通系统中的一项重要研究课题，是实现交通管理智能化的重要环节。它是以数字图像处理、模式识别、计算机视觉等技术为基础的智能识别系统。从研究范围来看，它跨越了数学、计算机科学、自动化技术以及电子信息工程技术等多个学科，特别是模式识别、计算机视觉、数字图像处理等多个专业的交叉点，而且与人工智能、神经网络、遗传算法、模糊逻辑、图像代数等多种理论密切相关。从研究方法来看，又与数学、计算机科学、物理学、神经生理学、电子学等许多的学科相互借鉴。它的发展可应用于生物医学、交通管理、遥感、通信、军事侦察、工业自动化等许多的领域。

同时LPR系统具有广泛的应用范围，它利用每一个汽车都有唯一的车牌号码，通过摄像机所拍摄的车辆图像进行车牌号码的识别。在不影响汽车状态的情况下，计算机自动完成车牌的识别，从而可降低交通管理工作复杂度。车辆牌照自动识别系统可安装于公路收费站、停车场、十字路口等交通关卡处。这些地方交通流量很大，人工干预处理较为困难，使用车辆牌照自动识别系统不仅大大提高了交通流量，同时也节省了大量的监管人力。车牌自动识别技术应用在交通流量控制指标的测量、车辆自动识别、高速公路上的事故自动测报、不停车检查、车辆定位、汽车防盗、稽查和追踪车辆等方面。在提高收费路桥的服务速度、缓解交通紧张状况等方面将会起到积极的作用。

另外，汽车牌照识别的方法还可以应用到其它检测和识别领域。所以汽车牌

照的识别问题已成为现代交通工程领域中研究的重点和热点问题之一。汽车牌照识别技术对智能交通系统的发展和交通事业的发展起着重要的推动作用，对车辆牌照字符识别算法的研究对于智能交通系统具有重要的理论意义和实用价值，更具有广阔的市场前景。

1.2 车牌识别主要技术及发展

当前车牌识别方法[1]主要有五种：

(1)IC卡识别技术；

IC卡是一种集微电子技术、通讯技术和计算机技术于一体的高科技产品，利用IC卡技术进行汽车牌照的识别，主要是指在每辆汽车上安装一个微型的电子信号接收和发射装置即IC卡，卡内存储了该车的车牌号码以及其他一些信息，当汽车通过设有车辆检测装置的路口时，IC卡系统将与路口的计算机系统进行对话，使之辨认出汽车的车牌号码以及其他有关内容，实现监督和管理。然而，尽管IC卡技术识别准确率高，运行可靠，但也存在一些不可避免的缺点，如其成本高，无法核对车、卡是否相符等。

(2)条形码识别技术；

此项技术由于识别速度快、可靠性高、采集信息量大、成本低等优点，被广泛应用于图书借阅管理、邮政管理等众多领域。但条形码识别技术对扫描器的要求很高，并且需要在全国范围内有统一的标准，这给近期短时间内推广造成了很大困难。

(3)传统模式识别技术；

传统模式识别技术一般包括模式匹配法[2]，统计特征法等。1990年A.S.Johnson等运用计算机视觉技术和图像处理技术实现了车辆牌照的自动识别系统。该系统分为图像分割、特征提取和模板构造、字符识别等三个部分。利用不同阈值对应的直方图不同，经过大量统计实验确定出车牌位置的图像直方图的阈值范围，从而根据特定阈值对应的直方图分割出车牌，再利用预先设置的标准字符模板匹配识别出字符。其主要缺点是准确率方面还有待突破，识别速度也有待提高。

(4)人工神经网络技术；

人工神经网络技术主要是运用BAM神经网络方法[3]完成车牌上的字符的自动识别，即由相同神经元构成的双向联想式单层网络，每一个字符模板对应着唯一一个BAM矩阵，通过与车牌上的字符比较，识别出正确的车牌号码。这种方法采用了生物神经网络的模型，因此它能较好的实现人类存储知识及处理信息的机能，使系统可以模拟人类思维，对需要处理和解决的问题进行记忆、联想、推

理，从而较好地解决了车牌识别中提出的因字符残缺而无法识别的问题。但是其缺点是无法解决识别系统存储容量和处理速度相矛盾的问题。

(5)基于图像处理的车牌识别技术。

基于图像处理的车牌识别技术的研究[4]在国外起步比较早，在美国、意大利、德国、以色列、新加坡等国家，现都已经有比较成熟的产品投入使用，如美国(AUTOSCOF)[2003系统]、以色列Hi-Tech公司的See/CarSystem系列、德国西门子公司ARTEM7S系统、新加坡Optasia公司的VLPRS系列。其中VLPRS产品主要适合新加坡的车牌，Hi-Tech公司的See/Carsystem有多种变形的产品来分别适应某一个国家的车牌。See/Carchinese系统可以对中国大陆的车牌进行识别，但都存在很大的缺陷，而且不能识别车牌中的汉字。

1.3 国内外研究现状

车牌识别技术自1988年以来，人们就对它进行了广泛的研究，目前国内外已经有众多的算法，一些实用的LPR技术也开始用于车流监控、出入控制、电子收费、移动稽查等场合。然而，无论是LPR算法还是LPR产品几乎都存在一定的局限性，都需要适应新的要求而不断完善，如现有系统几乎都无法有效解决复杂背景下的多车牌图像分割定位与有效识别的技术障碍，另外也很难适应全天候复杂环境及高速度的要求。

车牌字符识别实际上是依附在车牌上的印刷体文字的识别，能否正确识别不仅是文字识别技术的问题，还是考虑其载体——车牌区域的影响。车牌字符识别技术是文字识别技术与车牌图像自身因素协调兼顾的综合性技术。由于摄像机的性能、车牌的整洁度、光照条件、拍摄时的倾斜角度及车辆运动等因素的影响使牌照中的字符可能出现比较严重的模糊、歪斜、缺损或污迹干扰，这些都给字符识别带来了难度。尽管如此，我国依然有大量的学者从事车牌字符识别研究，文献给出了基于神经网络的车牌识别方法，对于解析度较高和图像比较清晰的车牌，这些方法能有效识别车牌中的字符，但对于较低解析度和较为模糊的车牌无能为力，因为这些方法只有在车牌中的每个字符被独立分割出来的前提下才能完成识别工作。而独立分割车牌取得字符，对较低解析度和较为模糊的车牌来说是非常困难的。车牌字符识别的研究在技术上已经取得了一定突破，然而离复杂多变的实际应用要求还有一定差距，许多新方法仅停留在理论和文章上或者限定在比较狭窄的约束范围内，并不能以产品的形式大范围投入使用。因而车牌字符识别的实用化研究仍然有很长的路要走。

目前的车牌识别方法主要是针对车辆自动缓停收费、停车场管理[5]等场合，所监视的区域一般只有单一车辆，背景也比较简单。而如今的许多实际应用场合，

监视区域比较复杂，现有的方法无法直接应用。比如在移动交警稽查、高速公路的监视与监控、城市交通要道的监视与监控，所监控的区域一般会同时出现多辆汽车，背景也比较复杂，有广告牌、树木、建筑物、斑马线以及各种背景文字等。

总之，国内目前还没有真正满足实际需求且价格符合国情的产品。许多新方法仅仅还停留在理论和文章上或者限定在狭窄的约束范围内，并不能以产品的形式大范围投入使用。因此，现代智能交通行业的飞速发展以及车辆识别系统应用范围的日益拓宽给车辆识别系统提出了更高的要求。

当然，车牌识别系统的具体应用发展也很迅猛，从原来的停车静止拍摄场景应用，如收费站、停车场等，发展到移动公路车辆稽查、违章自动报警、超载闯红灯等实时监控场合应用，增加神经网络自适应识别学习训练功能，对于系统响应的速度、网络化、智能化、识别成功率等实用化要求也越来越高。随着上述核心技术的研究发展，应用领域和功能等也获得大幅提高。

1.4 设计方案及详细步骤

总体设计方案如下：

车辆牌照识别整个系统主要是由车牌定位和字符识别两部分组成，其中车牌定位又可以分为图像预处理及边缘提取模块和牌照的定位及分割模块；字符识别可以分为字符分割与特征提取和单个字符识别两个模块。

为了用于牌照的分割和牌照字符的识别，原始图像应具有适当的亮度，较大的对比度和清晰可辨的牌照图像。但由于该系统的摄像部分工作于开放的户外环境，加之车辆牌照的整洁度、自然光照条件、拍摄时摄像机与牌照的距离和角度以及车辆行驶速度等因素的影响，牌照图像可能出现模糊、歪斜和缺损等严重缺陷，因此需要对原始图像进行识别前的预处理。

牌照的定位和分割是牌照识别系统的关键技术之一，其主要目的是在经图像预处理后的原始灰度图像中确定牌照的具体位置，并将包含牌照字符的一块子图像从整个图像中分割出来，供字符识别子系统识别之用，分割的准确与否直接关系到整个牌照字符识别系统的识别率。

由于拍摄时的光照条件、牌照的整洁程度的影响，和摄像机的焦距调整、镜头的光学畸变所产生的噪声都会不同程度地造成牌照字符的边界模糊、细节不清、笔划断开或粗细不均，加上牌照上的污斑等缺陷，致使字符提取困难，进而影响字符识别的准确性。因此，需要对字符在识别之前再进行一次针对性的处理。

车牌识别的最终目的就是对车牌上的文字进行识别。主要应用的为模板匹配方法。

图1-1 牌照识别系统原理图

该系统是计算机图像处理与字符识别技术在智能化交通管理系统中的应用，它主要由牌照图像的采集和预处理、牌照区域的定位和提取、牌照字符的分割和识别等几个部分组成，如图1-1 所示。其基本工作过程如下：

(1)当行驶的车辆经过时，触发埋设在固定位置的传感器，系统被唤醒处于工作状态；一旦连接摄像头光快门的光电传感器被触发，设置在车辆前方、后方和侧面的相机同时拍摄下车辆图像；

(2)由摄像机或CCD摄像头拍摄的含有车辆牌照的图像通视频卡输入计算

机进行预处理，图像预处理包括图像转换、图像增强、滤波和水平较正等；

(3)由检索模块进行牌照搜索与检测，定位并分割出包含牌照字符号码的矩形区域；

(4)对牌照字符进行二值化并分割出单个字符，经归一化后输入字符识别系统进行识别。

因为系统运行的过程中，主要进行的都是图像处理，在这个过程中要进行大量的数据处理，所以处理器和内存要求比较高，CPU要求主频在600HZ及以上，内存在128MB及以上。系统可以运行于Windows98、Windows2000或者Windows X P操作系统下，程序调试时使用Matlab。

1.5 论文主要内容

第1章绪论。主要介绍了课题研究的背景、意义、以及国内关于该课题的研究现状。车牌字符识别的流程图，设计方案及步骤。最后简单介绍了本文主要研究的问题和本设计所实现的功能与意义，介绍了本文的章节安排。

第2章车牌预处理与定位。该部分的主要功能是从拍摄到的图像中搜索、

定位并切分出牌照区域。提出本文中车牌定位的设计流程：包括车牌图像的预处理、基于形态学的车牌区域检测、车牌区域提取等。本文对于蓝底白字的车牌采用彩色图像定位的方法以及各个模块的实现。

第3章车牌字符分割及归一化。字符正确分割是字符识别的前提，本文中介绍了一些车牌字符分割的主要技术，包括字符图像的二值化、字符切割、归一化。该部分主要功能是对得到的车牌按照字符进行切割，并在程序中加入同态滤波功能，消除光照不均造成的一些干扰。

第4章字符识别。该部分介绍了字符识别的发展概况；车牌识别中字符识别的特点；车牌字符识别的实现以及对结果的分析。

第5章总结与展望。该部分对车牌字符识别的整个过程进行了总结，分析了智能交通的发展趋势。

第6章致谢。

第2章车牌预处理与定位

车牌定位是车牌字符识别的前提，是车牌识别系统的关键技术之一。车牌的定位算法通常先通过图像预处理转化为灰度图像再进行定位。其功能是从整个拍摄图像中找到并提取到准确的车牌区域，为以下的工作做好铺垫。

2.1 图像预处理

本论文采用基于彩色分量的定位方法，运用基于蓝色象素点统计特性的方法对车牌是蓝色的车牌进行定位，实验表明，用该方法实现的车牌定位准确率较高。流程图：

图2-1 预处理与边缘提取流程图

2.1.1图像预处理的意义与方法

为了准确识别车辆牌照，对于在灰度图像下进行定位处理的算法，预处理不仅是将彩色图像转化为灰度图像必要步骤，还可以通过对图像进行灰度变换，如灰度拉伸、去噪、滤波等处理来改善图像质量。经过处理后的车牌图像由原始的彩色图变成只包含亮度信息的灰度图，并且具有较强的对比度，对以后的图像处理、识别有很好的帮助。

本文中首先对采集到的彩色图像进行了灰度变换[6]，接着再对其进行进一步处理，进而得到较为理想的效果。

2.1.2 灰度变换

首先对采集到的图像进行灰度变换[7]，目的是加快处理速度，完成对灰度图像的定位。

根据三基色原理，世界上任何色彩都可以由红、绿、蓝（R ，G ，B ）三个单色按不同比例的混合来表示，如果红、绿、蓝（R ，G ，B ）三个信号分别由一个字节表示，则该图像颜色位数就达到24位真彩，也就是说在24位真彩的数字图像中每个像素点由3个字节来表示，各种单色都人为地从0～255分为256个级别，所以根据R ， G ， B 的不同即:

()()(),,,R i j G i j B i j ≠≠ (2-1)

24位真彩色图(ture-color image)含有25625625616777216??=种颜色。彩色图像包含着大量的颜色信息，不但在存储上开销很大，而且在处理上也会降低系统的执行速度，因此在对图像进行识别等处理中经常将彩色图像转变为灰度图像，以加快处理速度。

考虑到现有牌照的字符与背景的颜色搭配一般有蓝底白字、黄底黑字、白底红字、绿底白字和黑底白字等几种，利用不同的色彩通道就可以将区域与背景明显地区分出来。例如，对蓝底白字这种最常见的牌照，采用蓝色B 通道时牌照区域为一亮的矩形，而牌照字符在区域中并不呈现。因为蓝色(255，0，0)与白色(255，255，255)在B 通道中并无区分，而在G 、R 通道或是灰度图像中并无此便利。同理对白底黑字的牌照可用R 通道，绿底白字的牌照可以用G 通道就可以明显呈现出牌照区域的位置，便于后续处理。对于将彩色图像转换成灰度图像时，图像灰度值可由下面的公式计算：

0.1100.5880.3G B G R =++ (2-2)

3B G R G ++=

(2-3) 主要程序如下：

I=imread('car1.jpg');

figure(1),imshow(I);title('原图')

I1=rgb2gray(I);

figure(2),subplot(1,2,1),imshow(I1);title('灰度图');

figure(2),subplot(1,2,2),imhist(I1);title('灰度图直方图');

2.1.3 图像增强

图像增强是数字图像处理的最基本的方法之一，在数字图像处理中受到广泛重视，是具有重要实用价值的技术。图像增强的目的在于：(1)采用一系列技术改善图像的视觉效果，提高图像的清晰度。(2)将图像转换成一种更适合于人或机器进行解译和分析处理的形式。图像增强不是以图像保真度为原则，而是通过处理设法有选择地突出便于人或机器分析某些感兴趣的信息，抑制一些无用的信息，以提高图像的使用价值，即图像增强处理只是增强了对某些信息的辨别能力。

图像增强是一个相对的概念，增强效果的好坏，除与算法本身的优劣有一定得关系外，还与图像的数据特征有直接关系，同时由于评价图像质量的优劣往往凭观测者的主观而定，没有通用的定量标准，因此增强技术大多数属于面向问题，增强方法只能有选择地使用。图象增强处理对图像牌照的可辨认度的改善和简化后续的牌照字符定位和分割的难度都是很有必要的。增强图像对比度度的方法图2-2 原图

图2-3 灰度图

有：灰度线性变换、图象平滑处理等。

(1)灰度校正

由于牌照图像在拍摄时受到种种条件的限制和干扰，图像的灰度值往往与实际景物不完全匹配，这将直接影响到图像的后续处理。如果造成这种影响的原因主要是由于被摄物体的远近不同，使得图像中央区域和边缘区域的灰度失衡，或是由于摄像头在扫描时各点的灵敏度有较大的差异而产生图像灰度失真，或是由于曝光不足而使得图像的灰度变化范围很窄。这时就可以采用灰度校正[8]的方法来处理，增强灰度的变化范围、丰富灰度层次，以达到增强图像的对比度和分辨率。我们发现车辆牌照图像的灰度取值范围大多局限在r=(50,200)之间，而且总体上灰度偏低，图像较暗。根据图象处理系统的条件，最好将灰度范围展开到s=(0，255)之间，为此我们对灰度值作如下的变换：

()

[]min max ,s T r r r r == (2-4) 使得[]min max ,s s s ∈，其中，T 为线性变换，

max min min max max min

max min max min s -s s r -s r r r -r r -r s ??=+ (2-5)

若 r=(50，200)、s=(0，255)

则：857.1150

50255150255-≈?-=r r s

(2)平滑处理

对于受噪声干扰严重的图像，由于噪声点多在频域中映射为高频分量，因此可以在通过低通滤波器来滤除噪声，但实际中为了简化算法，也可以直接在空域中用求邻域平均值的方法来削弱噪声的影响，这种方法称为图象平滑处理。例如，某一象素点的邻域S 有两种表示方法：8邻域和4邻域分别对应的邻域平均值为，

图2-4 灰度线性变换

(,)1(,)(,)i j s g i j f i j M ∈=

∑

(2-6)

其中，M 为邻域中除中心象素点f(i,j)之外包括的其它象素总数，对于4邻域M=4，8邻域M=8。然而，邻域平均值的平滑处理会使得图像灰度急剧变化的地方，尤其是物体边缘区域和字符轮廓等部分产生模糊作用。为了克服这种平均化引起的图像模糊现象，我们给中心点象素值与其邻域平均值的差值设置一固定的阈值，只有大于该阈值的点才能替换为邻域平均值，而差值不大于阈值时，仍保留原来的值，从而减少由于平均化引起的图像模糊。

图像中车辆牌照是具有比较显著特征的一块图像区域，这此特征表现在：近似水平的矩形区域；其中字符串都是按水平方向排列的；在整体图像中的位置较为固定。正是由于牌照图像的这些特点，再经过适当的图像变换，它在整幅中可以明显地呈现出其边缘。边缘提取是较经典的算法，此处边缘的提取采用的是Roberts 算子[9]。

图2-5 8邻域、4邻域模板 图2-6 robert 算子边缘检测

经对比灰度校正后、未滤波以及平滑处理后三种情况下得到的边缘图像，图2-6即未经滤波直接提取出的边缘图像是最清晰，所包含的有用信息最多的。分析这种情况产生的原因，归纳起来主要有以下方面:

1、原始图像清晰度比较高，从而简化了预处理；

2、图像的平滑处理会使图像的边缘信息受到损失，图像变得模糊；

3、图像的锐化可以增强图像中物体的边缘轮廓，但同时也使一些噪声得到了增强。

对应Matlab的程序如下：

I2=edge(I1,'robert',0.15,'both');

figure(3),imshow(I2);title('robert算子边缘检测')

综上所述，结合Matlab实验过程，得出不是每一种图像处理之初都适合滤波和边界增强。本次汽车车牌的识别，为了保存更多的有用信息，经过多次比较，选择图2-6作为后期处理的依据。

2.2 汽车牌照的定位

图2-7牌照定位与分割流程图

在对图像进行灰度化和预处理后，要根据车牌特征找出拍摄图像中的车牌区域并提取出来。这一步直接关系到系统的识别速度和准确度，是车牌识别的核心技术之一，也是系统实现功能的一个难点。

本文中介绍了如下方法：由于牌照图像在原始图像中是很有特征的一个子区域，确切说是水平度较高的横向近似的长方形，它在原始图像中的相对位置比较