基于机器视觉的幼苗自动嫁接参数提取_贺磊盈_蔡丽苑_武传宇

收稿日期：2013-04-02 修订日期：2013-11-12
法和解析几何方法从图像中提取南瓜幼苗的生长 点。张铁中等[8]还研究了基于图像处理测量砧木子 叶展开方向和生长点高度的蔬菜嫁接机砧木自动 定位系统。吕谷来等[9]提出了利用侧视拍摄的幼苗 图像提取砧木的抓取点，用俯视拍摄图像分离子叶 和真叶，并计算旋转角度的方法。刘凯等[10]通过找 子叶两边的关系识别茎节结点，并测量出幼苗的茎 粗、茎高和子叶与水平方向的偏转角。孙国祥等[11] 首先提出一种基于图像处理的穴盘苗叶面积测量 方法，后来又针对叶面的粘连问题提出了一种基于 重叠叶面边缘链码信息逐层分割番茄幼苗叶面的 蒋焕煜等[13]使用基于形态学的分水岭算法 算法[12]。 完成叶面边缘分割，提取每个穴孔中幼苗的叶面面 积和叶面周长来确定适合进行移钵的单元。 以上方法在提取相应参数时均表现出良好的 性能，但很少考虑叶面粘连的情况，且没有一种有 效的方法能恢复粘连的叶面。本文研究了一套适用 于果蔬嫁接机器人的自动恢复幼苗叶面形状并提 取叶面参数的机器视觉系统。提取的参数包括幼苗 的生长点、生长方向和叶面面积。生长点和生长方 向辅助机械手取苗时的准确定位，叶面面积可以给 砧木/接穗的配对提供参考。
190
第 29 卷 2013 年
第 24 期 12 月
农 业 工 程 学 报 Transactions of the Chinese Society of Agricultural Engineering
Vol.29 No.24 Dec. 2013
基于机器视觉的幼苗自动嫁接参数提取
贺磊盈，蔡丽苑，武传宇
摄像机，图像传感器为 1/3 英寸 CMOS，图像分辨 率 64 mm 处，有效视场面积约 480 mm×360 mm。 单次采集的图像不能覆盖穴盘上的所有幼苗，因此 分 2 次采集，每次采集的图像只处理半盘（5×5 棵） 幼苗。 机器视觉系统在 Visual Studio 2008 环境下用 C++ 语 言 开 发 ， 部 分 算 法 和 数 据 结 构 应 用 了 OpenCV 开源软件包。 试验测量发现瓠瓜幼苗的叶面形状基本符合 椭圆形。因此用参数化的椭圆表示叶面轮廓不仅能 恢复被遮挡的叶面形状还方便参数的提取。算法的 主要步骤分为：1）图像的采集及预处理；2）轮廓 及拐点提取；3）弧段组合；4）轮廓的椭圆拟合； 5）参数提取；6）幼苗在穴盘中的定位。 1.2 图像采集与预处理 图 1 显示采集的穴盘幼苗的俯视图。从中可以 发现幼苗叶面的亮度明显比穴盘和基质的亮度要 高， 根据这个特性利用自适应阈值算法 Otsu[14]分割 出图像中幼苗的叶面区域。由于穴盘中的基质类似 于椒盐噪声，在阈值化之前先对图像进行快速中值 阈值化后进行形态学的开运算操作[16]去除 滤波[15]， 毛刺和孤立的小区域。
0
引
言
由于果蔬嫁接的季节性比较强，传统的人工嫁 接生产效率低，嫁接质量难以保证，已经很难满足 现代规模化的果蔬种植生产。现有的果蔬嫁接机大 多数都是半自动的，很多工序须人工配合[1]。由于 嫁接幼苗个体的差异及不确定性，实现自动嫁接的 关键技术在于如何获取幼苗的特征参数。 利用机器视觉提取幼苗的几何参数是一种行 之有效的方法。国内外已有不少文献报道相关方面 的研究。Ashraf 等[2]提出了一种从图像中提取幼苗 苗茎的弯曲度、叶子结点和苗茎直径的方法，根据 这些参数对幼苗进行分级，便于后续的嫁接。Chiu 等 [3] 开发了一套测量已嫁接幼苗的特征参数的系 统， 通过测量砧木和接穗的宽高， 嫁接套管的宽高， 苗的高度和子叶覆盖面积，可以更好地了解和掌控 [4] Ryu 等 利用机器视觉识别移栽过 幼苗的生长条件。 程中的空穴从而提高效率。刘成良等[5]研究通过提 取幼苗的几何形状特征，用神经网络方法判别幼苗 品质和幼苗生长方向。 张铁中等[6-7]分别用图形学方
Fig.4
图 4 弧段组合流程图 Flow chart of arcs combination 图 6 幼苗生长点和方向定义 Definition of growth point and direction
注：P0 为曲线起点；Pc 为拐点 Note: P0 is Start point of curve; Pc is Corners a. 原始曲线 a. Initial curve
b. 曲率计算及拐点提取 b. Calculation of curvature and extraction of corners
d ( ) ( x0 x( )) 2 ( y0 y ( )) 2
（3）
最小化 d(β)得到点到椭圆的最小距离。
图 3 轮廓拐点对示意图 Fig.3 Illustration of corner pairs
连续拐点对对应的弧段为完整的叶面轮廓，不 需要组合。粘连叶面的轮廓被分割成多段，需要通 过搜索策略进行组合，具体流程如图 4 所示。一般 情况下规定 j>i，特殊情况下当 j=n 时，j+1=1；当 i=1 时，i-1=n。
1.4
192
农业工程学报
2013 年
2）d(i, j) < d(i, k), k = 1, 2, …, n 且 k≠j，k≠i, arc(i, k) > lth, 其中 n 为总拐点数。
的弧段再次拟合椭圆，验证后抛弃不可信的椭圆。 一般可取拟合误差的上限值为 2.0。 标准椭圆的参数方程 x( ) A cos cos B sin sin xc （2） y ( ) A sin cos B cos sin yc 式中，(xc, yc)表示椭圆的中心坐标，A、B 分别表示 椭圆长、短轴的半长，θ 表示椭圆的长轴与 X 轴正 方向的夹角，β 的几何意义如图 5 所示。那么任意 点（x0, y0）到椭圆上的点 P(x(β), y(β))的距离
基金项目：国家自然科学基金（51375460） ，浙江省自然科学基金杰青 项目（R1110502） ，浙江理工大学 521 人才计划资助 作者简介：贺磊盈（1983－） ，男，浙江舟山，博士研究生，主要从事 机器视觉在农业工程的应用与研究。 杭州 浙江理工大学机械与自动控 制学院，310018。Email: heleiying@ ※通信作者：武传宇（1976－） ，男，山东临沂，教授，博士，主要从 事智能农业装备研究。杭州 浙江理工大学机械与自动控制学院， 310018。Email: cywu@
Fig.5
图 5 椭圆参数的定义 Definition of ellipse’s parameters
1.6
参数提取 首先根据叶面的伸展方向和位置确定属于同 一棵幼苗的 2 个叶面，然后提取 3 个参数，即幼苗 的生长点、生长方向和叶面面积，其定义如图 6 所 示。生长点 G 为 2 个椭圆交点 Q1 和 Q2 的中点。特 殊情况下，当两椭圆无交点时 Q1、Q2 用 2 个椭圆 之间的最近点代替。定义生长方向 V 为点 P1 到 P2 的连线方向， 其中 P1、 P2 为 2 个椭圆之间的最远点。 叶面面积可以用椭圆面积表示。
1
1.1
材料与方法
系统与方法概述 本文试验的对象为培育 8 d 的瓠瓜苗，穴盘规 格 50 孔（5×10），尺寸 540 mm×280 mm×50 mm。 采用 Point Grey 公司 Firefly MV 系列 USB2.0 灰度
第 24 期
贺磊盈等：基于机器视觉的幼苗自动嫁接参数提取
191
※
（浙江理工大学机械与自动控制学院，杭州 310018） 摘 要：为提高果蔬嫁接机器人的自动化水平，该文提出一种基于机器视觉用椭圆拟合的方法恢复幼苗叶面并提 取用于机器人自动嫁接的参数的方法。俯视采集幼苗图像，提取叶面轮廓并根据轮廓上的拐点对组合相同叶面上 的轮廓弧段。应用椭圆拟合的方法参数化叶面形状，提取幼苗的叶面参数，包括生长方向、生长点和叶面面积。 再由生长点准确定位培育幼苗的穴孔位置，从而为砧穗配对和取苗定位提供依据。试验结果表明提出的算法能够 克服叶面相互遮挡的问题，幼苗识别且定位的成功率达到 97.5%，能满足嫁接机器人自动作业的要求。 关键词：机器视觉，参数提取，嫁接，椭圆拟合，叶面恢复，拐点提取 doi：10.3969/j.issn.1002-6819.2013.24.025 中图分类号：TP391.41 文献标志码：A 文章编号：1002-6819(2013)-24-0190-06 贺磊盈，蔡丽苑，武传宇. 基于机器视觉的幼苗自动嫁接参数提取[J]. 农业工程学报，2013，29(24)：190－195. He Leiying, Cai Liyuan, Wu Chuanyu. Vision-based parameters extraction of seedlings for grafting robot[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(24): 190－195. (in Chinese with English abstract)
图 1 穴盘幼苗俯视图 Fig.1 Overlooking image of plug seedling
Fig.2
图 2 拐点提取实例 A example of corner detection
轮廓及其拐点提取 利用轮廓跟踪算法提取所有连通区域的 8- 邻 接轮廓[17]。单棵幼苗有 2 个叶面，在图像上为一个 独立连通区域。但相邻幼苗的叶面在空间上可能存 在遮挡或相交，表现在图像上就是叶面的粘连，导 致提取的轮廓线可能包含多棵幼苗的叶面轮廓。因 此有效解决叶面的粘连是提取幼苗参数的关键。 不同叶面的粘连会导致轮廓线上产生内凹的 拐点。曲线上的拐点指切线方向急剧变化的点，因 此可以利用曲线的曲率特性提取[18]。轮廓线可以看 作数字化的离散曲线 C(Pi(xi, yi), i = 1,2,…,n)，其中 的一个点 Pi, i∈[2, n-1]，对应的曲率可以表示为向 量 v i 1 Pi 1 Pi 到向量 v i 1 Pi Pi 1 的夹角[19]