基于机器视觉的农业机器人导航路径识别

https://www.360docs.net/doc/d29323490.html,

孙元义，张绍磊，李伟

(中国农业大学工学院，北京：100083)

摘 要：提出了一种基于机器视觉技术的农业机器人导航路径识别的新方法。自然环境下采集的棉田图像在Lab色彩空间进行处理，把棉株从土壤背景中识别出来。通过最大方差阈值分割法将图像转化为二值图像，并经过中值滤波去除噪声。根据图像左右垄棉株位置平均得到导航离散点，通过Hough变换得到导航路径，进而得到导航控制参数。利用坐标系转换关系将图像坐标系中的导航信息转换到世界坐标系，从而控制机器人行走。对采集的大量连续图像进行分析表明，该方法具有良好的实时性和可靠性。

关键词：农业机器人 机器视觉 自然环境 Hough变换

1.引言

随着精细农业的发展，计算机、传感器技术的广泛应用，农业机器人导航技术研究越来越受到关注[1]。目前，农业机器人导航方式主要有三种：信标导航、全球定位系统（GPS）、视觉导航。由于农业作业环境复杂，视觉导航具有信息探测范围宽、目标信息完整等优势，是目前国内外研究较多的机器人导航方式[2]。基于视觉的导航方法有很多。Kise等人研究了双目立体视觉的方法[3]。该方法对于农田环境较理想情况下实现较好，但是算法复杂，而且对两个摄像头同步性要求较高。S.Han等人研究了基于单摄像头的方法。该方法实际采集农田灰度图像，通过K-means聚类算法来进行图像阈值分割，最后利用线性回归来获得导航基准线[4]。农业机器人导航首要问题是找到一种适合于大多数自然环境下将作物从土壤中识别出来的方法。本文提出了一种新的获得导航路行的方法，该方法采用单摄像头，基于自然景观环境下，对获得的农田彩色图像进行分割，利用Hough变换获得导航路径。并给出了对实时图像进行试验分析、验证的结果。

2 棉田图像分割

2.1 色彩空间选择

在图像处理中常用的色彩空间有RGB空间、HIS色彩空间等。本文采用了Lab色彩空间进行图像分割。Lab色彩空间是国际照明委员会(CIE)于1976年推荐的设计成符合孟塞尔彩色系统的表色系。其三度空间的L为光亮度，a为空间的红-绿色轴，b为空间的蓝-黄色轴。

图像分割时在RGB、HIS、Lab色彩空间进行了比较。表1是对近200副动态棉田图像分别用2G-R-B、2H、Lab中a灰度化的比较结果。其中识别率指把棉株信息正确从图像中识别出来的百分率，误识率是指把非棉株信息识别成棉株信息的百分率。实验表明Lab中对a进行灰度化效果较好。

图1 a是棉田图像（俯视45°），图1 b是在Lab色彩空间对a分量灰度化图像。

识别率误识率

50%～90%>90% <50% 50%～90% >90% <50%

7 21 72 70 26 4

/%

2G-B-R

/% 12 24 64 71 19 10 2H

Lab /% 3 6 91 86 12 2

表1 2G-B-R、2H、Lab灰度化比较

- 1 -

（a ）棉田图像 （b ）对a 分量灰度化图像

图1 棉田灰度化图像

2.2 棉田图像阈值分割

阈值分割是图像分割中应用最多的一种方法，该方法先确定需要的分割阈值，然后将该阈值与像素值比较以划分像素区域[5]。阈值分割的方法有直方图法、自动阈值法、变量阈值法、双阈值法等。本文采用了最大方差的自动阈值分割法[6]。最大方差阈值分割法是在判别与最小二乘法原理的基础上推导出来的。它的原理是：把图像的直方图在某一阈值处分为两类，当被分成的两类间的方差为最大时，决定阈值。

对在Lab 空间灰度化的棉田图像进行分析，统计各灰度值的概率，然后用阈值k 将灰度值分为两组C ={0～k}和C ={k +1～j},分别求出各组的概率和平均值：010ω、1ω、0μ、1μ。最后利用公式求出两组间的方差。其中，201012112002)()()()(μμωωμμωμμωσ?=?+?=k μ是整幅图像的灰度平

均值，选择最佳阈值T 满足。

)()(22k Max T σσ=最后利用获得的阈值T 对图像进行二值化，设一幅原始图像f （x,y ）取单阈值T 分割后的图像定义为：

g(x,y) = ???0

1)),(()),((T y x f T y x f ≤>这样g （x,y ）为一幅二值图像，T 为最大方差法获得的阈值。在对实际采集的图像处理过程中阈值一般在T ＝100～150之间，图2 a

是利用上述方法获得的黑白二值图像。

（a）二值化图像 （b）中值滤波后图像

图2 二值化及滤波图像

- 2 -

https://www.360docs.net/doc/d29323490.html,

2.3 二值化图像滤波处理

对二值图像经滤波处理去掉图像中的噪声点，以利于后续导航离散点的获得。其滤波方法主要用到了中值滤波。

中值滤波的基本思想是用像素点邻域灰度值的中值来代替该像素点的灰度值，该方法在去处脉冲噪声、椒盐噪声的同时又能保留图像边缘细节，这是因为它不依赖于邻域内那些与典型值差别很大的值。在对图像实际处理过程中采用的是3×3的模板。二值化后的图像经过中值滤波处理后的结果如图2 b 所示。大部分非棉株的噪声点明显消除。

3 导航路径及导航参数获得

对上述处理后的二值图像进行导航路径识别。通过垄的行走势特征得到导航控制点，然后通过Hough 变换得到导航路径。在图像平面坐标系中便可以得到导航路径与前进方向的夹角及测向位移偏差，通过坐标系转换可把这两个值转换为世界坐标系的导航控制参数。

3.1 坐标系转换

世界坐标系、摄像机坐标系、图像坐标及机器人结构关系如图3所示。y c O c z c 为摄像机坐标系，0为世界坐标系原点，各坐标轴与摄像机坐标系的各轴平行，AB 为图像平面，φ为摄像机倾斜角度，d 为摄像头离地面高度，一般控制在0.6m－1.0m 之间。根据以上各坐标系的定义，可以容易看出，摄像机坐标系先绕x 轴顺时针旋转φ角，然后再沿旋转后坐标系中的y 轴移动-d 既为机器人坐标系。因此，可以得出机器人坐标系相对于摄像机坐标系的齐次变换矩阵为：

c w T=Rot （x ，φ）Trans （0，-

d ，0）= 。 ?????

?????????1000sin cos sin 0cos sin cos 00001φφφφφφd

d

图3 机器人结构及坐标系定义

3.2 导航离散点获得

导航离散点是指利用图像分割得到的棉株信息，根据两垄棉株的走势特征，在统计分析的基础上得到能够表现棉株垄方向特征的点,根据这些点来规划导航路径。获得导航离散点方法如下：把二值图像向垂直方向投影，通过两个波峰之间波谷位置把图像分成左边垄部分和右边垄部分。每行分别对图像每垄取黑色像素平均位置点，然后再对整行取平均位置点。

- 3 -

j

21[l

1(x + x + … + x ) + 1i 2i l i p 1( x + x + … + x )]。 1i 2i p i 3.3 导航路径计算

Hough 变换是一种线描述方法，它可将笛卡儿坐标系中的点变换为极坐标系中的曲线，即（x,y ）域上的一点（x ,y ）对应(00ρ,θ)域上的一条正弦曲线ρ=x cos(0θ)+y sin(0θ)[7]。把笛卡儿坐标系中n 各点转换为极坐标系中n 条曲线，利用这n 条曲线在一定范围内的交点就可以确定这n 各点的最佳拟合直线。利用Hough变换获得导航路径时，把参数空间设计成一个累加器阵列，表示离散参数值。依照变换方程，图像中的每一点可以表决几个参数，而参数空间（或累加器阵列）的峰值就是表征一条直线的参数。简单的说也就是说在这条最佳导航路径上所占有的这些导航离散点最多。根据这一分析，其具体算法过程为：

（1） 初始化一个变换域(ρ,θ)空间上的数组count[ρ][θ]，ρ方向上的量化数目为图像对角线方向像素数，θ方向上的量化数目为180。并对数组中每个元素设置初值0。

（2）顺序搜索图像中的所有导航离散点（x , y i ）。对每一点代入i θ的量化值(从0到

180)，通过公式ρ=x cos(i θ)+y sin(i θ)算出各个ρ,ρ值

（经量化）落在count[ρ][θ]数组中某个元素中，便使该元素count[ρ][θ]加1。

（3） 图像中的所有导航离散点（x , y ）变换完后，对变换域(i i ρ,θ)空间的数组count[ρ][θ]值进行检验，找出最大的count[ρ][θ]值所对应的ρ和θ，记作ρ0和θ0。

（4）顺序对原图像的每个像素点（x , y i ）代入i θ的量化值(从0到180)，通过公式ρ=x cos(i θ)+y sin(i θ)算出各个ρ,ρ值（经量化）后如果等于ρ0，则其对应的点在所求航路径上。

经过上述算法可以得到一条较佳的导航路径，图4是获得的导航离散点（图中绿色点）经Hough 变换得到的导航路径（红色线为导航路径）。

图4 导航路径图

3.4 导航参数获得

通过导航路径可以得到所需要的导航控制信息[8]。导航控制信息主要包括实际导航路径

- 4 -

α即为导航路径与喷药机器人轴线的侧向位移偏差与角度偏差。在实际应用中，机

器人轴线方向基本于安置的摄像头所采集图像中心线重合。利用导航路径就可以分别求得测向位移偏差L 和角度偏差α

。

图5 侧向位移和角度偏差示意图

根据摄像机坐标系与图像坐标系转换关系及小孔成像原理可以将图像坐标系中的L 和α转换到世界坐标系相应参考路径的L ′和α′。主参数导航角转换公式：1

02cos sin tan tan k X k φφαα?=′。其中，，为摄像机内部参数，可以通过摄像机标定得到，为图像坐标系中导航路径与x 轴交点坐标。据此就可以由图像坐标系中的导航路径得到世界坐标系中的导航参数。

1k 2k 0X 4 实验与分析

导航路径可靠性与摄像机俯视角度有关，在不同视角下分别对采集的大量连续图像进行分析，其平均误差结果如表2所示。其中L ′和α′平均误差为Hough 变换获得导航路径在世界坐标系中的转换与机器人理想行走路径之间的误差。通过试验分析摄像机在俯视45°时识别效果较好。处理一幅720×580像素的图像耗时平均为275ms ，基本能满足实时性要求。图6是对近40米内动态、连续棉田图像其实际L ′和α′与预测L ′和α′的比较示意图。

摄像机俯视角度

平均误差 30o 45o 60o L ′/cm 4.4

4.1 4.7 α′ / o 1.2

0.9 1.5

表2 侧向位移和角度偏差统计

- 5 -

（a）位移偏差比较 （b）角度偏差比较

图6 实际L′和α′与预测结果比较示意图

5 结论

本文以我国北方棉田为研究背景，在棉花种植初期，结合其种植特点在Lab色彩空间有效的把棉株从土壤和地膜背景中识别出来。在图像坐标系中根据垄的走势特征，通过Hough变换得到最佳导航路径。利用坐标系转换，把图像坐标系中导航路径与前进方向的夹角及侧向偏差转换为世界坐标系中的导航控制参数。通过分析与实际检测表明该方法获得导航路径具有良好的实时性和可靠性。

参考文献 (References)

[1] Reid,J.F., Zhang,Q., Noguchi,N. Agricultural automatic guidance research in North America.

Computers and Electronic in Agriculture, 25(2000):155-167.

[2] 冯建农,等.自主移动机器人智能导航研究进展[J]:[硕士学位论文].机器人,1997,19(6):468～478.

[3] Kise,M. Zhang,Q.A stereovision-based crop row detection method for tractor-automated guidance.

Biosystems Engineering,2005,90(4):357～367

[4] S.Han, M.A.Dickson, B.Ni,J.F.Reid. A Robust Procedure to Obtain a Guidance Directrix for

Vision-Based Vehicle Guidance Systems. Computers and Electronics in Agriculture,2004,43(3): 179-195

[5] 李伟, 林家春, 毛恩荣.种子动态图像自动分割与标记技术研究[J].农业机械学报，2004，35(2):76-79

[6] Aubtale A S. Automatic thresholding of gray-level picture susing two-dimensional entropy[J].

Computer Vision, Graphics and Image Processing,1989,47(1):22-23.

[7] Marchant, J.A. and R. Brivot. Real time tracking of plant rows using a Hough Transform [J].

Real Time

Imaging,1995,1(2):363-375.

[8] H. Okamoto, K. Hamada, T. Kataoka. Automatic Guidance System With Crop Row Sensor[J]. For

Off-Road Equipment, 2002,4(2):307-316.

- 6 -

machine vision

Sun Yuanyi Zhang Shao Lei Li Wei

(China Agricultural University College Engineering, Beijing 100083, China)

Abstract:Guidance lane detection is researched for agricultural robot based on machine vision. Cotton filed images in natural environment are processed based on Lab color space. The parts of cotton in image are successfully recognized from the soil background. In order to obtain binary image and remove noise the maximal variance threshold and median filter are adopted to processing image. Guidance points are found through average position information of the right and left ridge in cotton filed image. Best lane of guidance is located through Hough transformation; therefore the guidance parameter can be gained. This parameter can be transformed from image reference frame to world reference frame. Base on this parameter the machine can be navigated. This method has been proved to have high efficiency and reliability by processing and analyzing lots of sequential images of cotton field.

Key words:agricultural robot machine vision nature environment Hough transformation

- 7 -