嵌入式机器视觉系统设计

嵌入式机器视觉系统设计熊　超　田小芳　陆起涌(复旦大学电子工程系　上海　200433)摘要　机器视觉系统是智能机器人的一个重要标志,也是近年来的一个研究热点,现有研究成果在系统复杂度、价格和性能之间很难达到平衡。

针对此问题,设计了一个CM O S摄像头为图像采集设备、DM CU为核心处理器的嵌入式机器视觉系统,并实现了实时双目测距。

该系统简单、实时性好。

关键词　嵌入式系统　DM CU　机器视觉　双目测距The Design of Embedded Machine Vision SystemXiong　Chao　Tian Xiaofang　Lu Qiyo ng(E.E.D ep ar tment,F udan U niv er sity,Shanghai200433,China)Abstract　M achine vision is an act ive research area in recent years,which is an import ant symbol of intelligent robot,but t he present research product ion has not f ound a balance among the system complexit y,cost and per-formance.T o solve the problem,a new embedded machine vision system is proposed,which t akes t he CM OS sense as the image acquisit ion unit and DM CU as cent ral processor,and real-time depth measurement is realized. T he system is simple and st able,and has a good perf ormance in real-time operation.Key words　Embedded syst em　DM CU　M achine vision　Binocular dept h measurement1　引 言机器视觉系统是智能机器人的一个重要标志,其模拟了人的感知功能,具有探测范围宽、目标信息完整等优势,因此越来越受到人们的关注。

其中,机器视觉测量障碍物距离是近年来的研究热点,并取得了一定的效果[1～3]。

但这些视觉测距系统往往比较复杂、价格高,或者实时性差。

在此设计了一个以CM OS摄像模块为图像采集设备、DM CU为核心处理器的嵌入式机器视觉系统,并实现了双目视觉实时测距。

该系统集成度高、功耗低、实时性好,还有丰富的外围接口,可以广泛应用于智能机器人导航、目标定位等领域。

2　嵌入式系统设计系统采用的摄像模块为台湾原相公司的CM OS 图像传感器PAS109B,工作电压2.4～3.6V,分辨率164×124,像素大小7.25 m×7.25 m,图像帧率最高60fps(frame per second),支持I2C接口。

处理器采用台湾俊亿公司提供的DM CU处理器KBD0001B。

DM-CU是为了适应现代便携设备发展而出现的一种全新体系结构,整合了DSP高效的运算能力和M CU强大的控制能力。

K BD0001B字长16位,内部有RO M 32kW,有两种RA M:XRA M(16kW)和YRA M (8kW),可在一个时钟周期内分别从这两个RA M中得到两个操作数。

K BD0001B运算速度最高可达25M IPS,采用了4级流水线结构,每条指令执行时间均为一个时钟周期。

K BD0001B提供48个通用I/O接口,支持SPI、I2C、U A RT、PWM,内嵌了LCD控制器。

这里设计的机器视觉系统以K BD0001B为核心处理器,CM OS摄像模块为图像采集设备,大大降低该系统的复杂度。

将该系统安装于一个移动小车上,通过双目视觉的方法测量障碍物的距离,实现了小车自主行驶和避障,如图1所示。

嵌入式机器视觉系统框图如图2所示。

为实时地测量障碍物距离,系统利用外极线约束[4]重整图像,这样每次只需分别从两图像传感器中第26卷第8期增刊 仪　器　仪　表　学　报 2005年8月图1　移动小车双目测距各取出对应的一行图像即可。

从PA S109B 中获得的图像数据为RGB 格式,首先需要转成灰阶图像:Y =0.299R -0.148G +0.615BY 为8位数据,代表每个像素点的灰阶值。

两行图像总数据量为328Byt es。

图2　嵌入式机器视觉系统框图图3(a )为程序流程图,K BD 0001B 分别从两个PAS109B 取得左、右视图像数据,执行双目测距算法,得到障碍物距离并显示到L ED 7段数码管,当障碍物距离小于预设安全距离时,使小车停止运动。

使用PWM 调制,根据障碍物远近调整小车的速度。

双目测距算法如图3(b)所示,大致可以分为三步:(1)用De-riche 算子[5]对图像滤波,提取边缘特征信息;(2)获得匹配基元,构成匹配矩阵,依据竞争规则得到最佳匹配点以及匹配点对应的视差;(3)根据摄像机透视投影模型,在双摄像模块成平行对准姿态的情况下[4],计算出障碍物的距离。

3　双目测距算法机器人中的机器视觉可以定义为这样一个过程,利用图像传感器获取三维景物的二维图像,通过处理器对一幅或多幅图像进行处理、分析和解释,得到有关景物的符号描述,并为特定服务提供有用的信息,用于指导机器人的动作。

本系统实现的是双目视觉测量简单场景中障碍物的距离。

首先处理两个CM OS 摄像模块获得的前方场景图像,提取图像中特征信息,然后根据特征信息进行图像匹配,计算得出匹配点在两个摄像模块中成像形成的视差,从而确定机器人和障碍物之间的距离。

图3　系统程序图像匹配是机器视觉中的关键技术,本算法首先采用Deriche 算子提取边缘信息,再以提取出的边缘特征信息为匹配基元构造一个匹配矩阵,匹配矩阵的元素为候选匹配点,依据M arr 约束[6]互相竞争,最后胜出者为最佳匹配点。

算法具体描述如下:(1)用递归平滑滤波器滤除图像中的噪声点y 1(n)=x(n)+e -y 1(n-1) n=1,…,N y 2(n)=e -(x(n+1)+y 2(n+1)) n=N ,…,1y(n)=k 0(y 1(n)+y 2(n)) n=1,…,N其中,k 0=1-e- 1+e -为标准化系数,输入x (n),y(n),在系统中取 =0.25。

(2)对滤波后的图像求导,得到边缘信息y 1(n )=x (n -1)+e -y 1(n -1)　n =1,…,N y 2(n )=x (n +1)+e -y 2(n +1)　n =N ,…,1y(n)=(1-e -)(y 1(n)+y 2(n))　n=1,…,N 其中,x (n )为经过滤波后的图像输入,y (n )为特征提取后的输出。

(3)竞争匹配M arr 约束是图像匹配必须满足三个约束条件:相容性约束,惟一性约束和连续性约束。

两个基元如果匹配首先必须满足:a .几何学约束,左图中的边缘l 和右图中的边缘r 如果匹配,则必须满足x l >x r ;b.斜坡约369　第8期增刊嵌入式机器视觉系统设计束,具有相同梯度符号的边缘才有可能匹配。

根据这两个条件构造匹配矩阵,如图4所示。

图2　匹配矩阵该矩阵是N L ×N R ,其中N L 、N R 分别是左、右图像特征边缘数,矩阵中元素M lr 代表左图中边缘l 与右图中边缘r 相匹配,白圈代表有效匹配,黑圈代表无效匹配。

有效匹配作为候选匹配参加竞争。

根据M arr 约束制定竞争规则:a.左图中某个边缘只能和右图中一个边缘匹配,反之亦然;b .假设左图像中有两个边缘点L 1、L 2,右图像中有也两个边缘点R 1、R 2、L 1与R 1匹配。

如果X L 1>X L 2,X R 1<X R 2,则L 2不可能与R 2匹配;c.匹配得到的视差值的变化在图像中几乎处处平滑,根据与其它匹配视差的差值判断其它匹配的有效程度,并按照下面公式影响它们的匹配程度值:CSM l ′r r(n )=CSM l ′r ′(n -1)-(1-e -x)其中:x 代表M l ′r ′和M lr 视差差值的绝对值。

按如上规则对每个候选点进行一次判断。

最后,竞争胜出者为最佳匹配点。

由匹配点坐标,可方便地求得视差,再根据平行对准姿态下摄像机透视投影模型,就可以计算出障碍物到小车的距离。

4　实验与小结将嵌入式机器视觉系统应用于智能小车,并在该系统上执行基于竞争匹配的双目测距算法。

该算法首先运用了外极线原理重整图像,处理数据量相对于一般双目测距算法大大减小,仅为2×164个像素点;然后采用Deriche 算子提取图像特征信息作为匹配基元,其中图像滤波过程的计算量小于492次M AC 运算,图像求导提取特征过程的计算量也小于492次M AC 运算;最后根据M arr 约束制定了一套竞争规则,候选匹配点构成匹配矩阵,自主竞争产生的胜者即为所要求的最佳匹配点,并得出对应的视差和距离信息。

匹配矩阵通常小于10维,以10维为例,候选匹配至多为100个,那么匹配过程中至多进行104比较操作,5×104次加法操作。

KBD 0001B 执行一条指令需一个时钟周期,每个时钟周期约为0.04 s,所以本系统测距时间小于10ms,具有非常良好的实时性。

实验表明本设计能可靠地工作,基本实现了简单场景中静止物体的实时测距。

该系统可作为一个良好的机器视觉研发平台,也可直接嵌入到智能机器人中实现视觉引导、视觉监控等功能。

参考文献1　Y amakaw a T.,Shimo no mura K..Depth per ception cir-cuit em ploy ing ser ial o utput signals fr om tw o visio n chips .SM C :System s ,M an ,and Cy ber netics ,IEEE Co nfer ence P ro ceeding s,1999.2　W atanabe M.,Na yar S.K..M inimal operat or set for passive dept h fr om defocus .CV PR :Comput er V isio n and Patter n R eco g nitio n,I EEE computer societ y confer-ence pr oceedings,1996.3　田涛,邓兵,潘俊民.基于景物散焦图像的测量.计算机研究与发展,2001,(2):136～180.4　吴立德.计算机视觉[M ].复旦大学出版社,1993,12.5　Der iche R .F ast alg or ithms for lo w -lev el v isio n .IEEE tr ansactio ns on pat tern analy sis and machine intelli-g ence ,1990,12(1):78～87.6　D .M ar r ,T .Pog g io .Coo per ativ e of ster eo disparity .Science,1976,283～287.370仪　器　仪　表　学　报 第26卷　。