基于机器视觉的烹饪机器人锅具识别算法_闫维新

2 示教系统锅具识别
示教系统锅具识别有如下几个步骤 : 锅具边缘 提取和标记 、 锅具特征点提取 、Ｈ ａ ｕ ｓ ｄ ｒ ｏ ｆ ｆ 图像匹配 . 2. 1 锅具边缘提取和标记 Ｊ . Ｃ ａ ｎ ｎ ｙ 于 1986 年 提出 Ｃ ａ ｎ ｎ ｙ算子 , 它与 Ｌ Ｏ Ｇ( ｌ ａ ｐ ｌ ａ ｃ ｉ ａ ｎｏ ｆ ｇ ａ ｕ ｓ ｓ ｉ ａ ｎ ) 边缘检测方法类似 , 都属于是先平滑后求导数的方 法. Ｊ . Ｃ ａ ｎ ｎ ｙ 给出了评价边缘检测性能优劣的 3 个 指标 : 好的信噪比 、 定位性能高 、 对单一边缘仅有唯
中式菜肴以其色 、 香 、味 、意 、形闻名于世 , 有着 悠久的历史和文化底蕴 . 中式菜肴烹调方法多 样 , 操作程序极为复杂 , 烹饪技巧的运用和火候的掌握 依靠厨师个人经验 . 因此 , 中式菜肴烹饪机器人 的出现 , 迎合了中国烹饪工业化的需求 . 中式菜肴 烹饪技术要求极高 , 优秀的厨师必须通过长年累月 的实践经验积累 , 才能有限的重复和准确地完成各 种烹饪动作 . 因此 , 对不同厨师的典型 烹饪动作进 行记录和学习 , 是中式菜肴烹饪机器人烹饪动作再 现的关键 , 尤其是锅具运动 , 是烹饪机 器人运动构 成的重点和难点 . 示教系统的作用就是通过计算机 视觉系统记录厨师完成特定的烹饪动作 , 然后得出 当前锅具的位姿 , 通过一连串图像 , 计 算得到锅具 速度 、加速度 、 角速度等运动参数 , 因此示教系统中 对厨师锅具的提取是整个示教系统的重点和难点 . 本文介绍的是一种基于机器视觉 的烹饪机器 人示教系统锅具提取方法 , 通过采用锅具边缘的曲 率作为表征锅具形状的特征点 , 使用加权 Ｈ ａ ｕ ｓ ｄ ｏ ｒ ｆ ｆ 距离提取杂乱画面中锅具的轮廓曲线和拟合椭圆 参数 , 计算出当前锅具位姿 , 作为锅具 示教系统的 运动依据 .
2 [ 4]
3( ｘ ﹒ｙ ¨ -﹒ ｙ ｘ ¨ ) ( ｘ ﹒ｘ ¨ -﹒ ｙ ｙ ¨ ) ) /( ｘ ﹒ +﹒ ｙ) ,
… … … …
( 4)
( 4) 式中 , ｘ ﹒为ｘ ﹒( ｔ , σ) ,ｙ ﹒为ｙ ﹒( ｔ , σ) ,ｘ ¨ 为ｘ ¨ ( ｔ , σ) ,ｙ ¨ 为ｙ ¨ ( ｔ , σ) ,ｘ 为ｘ ( ｔ , σ) , ｙ为 ｙ ( ｔ , σ) . 通过 ( 4) 式 即可求出曲线的角点 , 它是曲线中的大曲率点 , 而 切点和拐点提取的重要性远远不如角点 , 并且曲率 较小 , 难以提取 . 本文仅以角点的曲率作为图像匹 配的特征点 , 如果需要使用切点和拐点 , 可以采用 寻找局部极值点的方法提取 , 在此不再赘述 . 通过局部曲线拟合然后计算 曲率和选取特征 点的方法计算量大 . 数字图像是一系列的 离散点 , 并且对真实世界模拟图像信号进行数字化转化过 程中 , 不可避免的产生转化误差和噪声的引入 , 利 用曲率尺度空间的思想 , 首先将信号进行高斯卷积 计算 , 将 ( 1) 和( 2) 式转换成离散 形式然后完成平 滑运算 , 然后计算离散曲线的各点的离散曲率 , 从 而提取角点作为特征点 . 文献 [ 5] 介绍了一种简便 的离散点轮廓曲率计算方法 . 对于离散曲线 Г 有: Г = { Ｐ ( ｘ ,ｉ = 1, 2, … , ｎ } , 其中 , Ｐ ｉ: ｉ, ｙ ｉ) ｉ是曲线上的 一个二值像素点 , 此点的邻域 : Ψ ( Ｐ { Ｐ ｉ)= ｉｋ, …, Ｐ ,Ｐ , 其 中 , ｋ为邻域 半径 , 当 ｋ ｉ -1 , Ｐ ｉ ｉ +1 , …, Ｐ ｉ + ｋ} 很小的时 , Ｐ ｉ和其两个领域端点之间的距离近似相 等,即 Ｐ Ｐ Ｐ ( ｉ ) 为: ｉ ｉ ｋ ≈ Ｐ ｉ ｉ + ｋ , 则点 Ｐ ｉ曲率 ｋ 4 ｋ ( ｉ )= (Ｐ Ｐ +Ｐ Ｐ Ｐ ｉ ｉ ｋ ｉ ｉ + ｋ ) -Ｐ ｉ ｋ ｉ + ｋ 2 (Ｐ Ｐ + Ｐ Ｐ ) ｉ ｉ ｋ ｉ ｉ + ｋ
转和位移可以在一定的空间尺度下重合 . 本文采用 图像模板的匹配方法 , 监测图像中与模板之间匹配 程度最高的部分 . 需要将当前待匹配图像的不同连 通成分的特征点与模板的特征点进行相似度计算 , 获取图像中模板所形容的图像的位置 , 因此特征点 的选取是图像匹配的关键环节 , 角点 、切点和拐点 则是形容一个图像形状的最基本的单元 .
[ 1]
图片 , 自动烹饪机器人是一种能够自主完成中式菜 肴烹饪工艺的机器 . 实现自动烹饪机器人必须符合 烹饪的 3个标准化 , 首先是物料加工标准化 , 机器 人烹饪物料对料形 、重量 、颜色等有着严格的规范 . 其中物料分为主料 、辅料 、配料等 , 这是烹饪标准化 的基础 . 其次是烹饪动作标准化 , 将厨师烹饪工艺 分类 , 然后根据不同烹饪工艺所需要的动作进行机 械模拟 , 并设计机械部件来实现所需的烹 饪动作 . 再次是烹饪过程标准化 , 烹饪过程是由不同的烹饪 动作组合而成 , 首先设定特定菜肴所需要的不同烹 饪动作以及每个烹饪动作的实现参数 , 然后将这一 [ 2] 系列的烹饪动作标准化 .
1 自动烹饪机器人概述
图 1 所示为中式菜肴自动烹饪机 器人的样机
收稿日期 : 2009 -09 -19 基金项目 : 国家 863计划先进制造技术领域服务机器人课题重点项目 ( 2006Ａ Ａ040205、2007 Ａ Ａ041601 和 2007 Ａ Ａ041602) 作者简介 : 闫维新 ( 1978— ) , 男 , 博士生 , 主要从事自动控制和智能机器人的研究
第 1 期
闫维新等 :基于机器视觉的烹饪机器人锅具识别算法
139
2 2 5/ 2
本文采用锅具边缘的曲率作为表 征锅具形状 的特征点 , 因为在整个示教过程中 , 锅 具是在世界 坐标系下进行 3 个方向的位移和 3 个轴旋转动作 , 因此具有旋转不变性 、 位移不变性和倒数的缩放特 性的曲率是最适合做特征点的 . 曲率是描述曲线弯 曲程度的量 , 平面曲线的曲率就是针对曲线上某个 点的切线 方向角对弧长 的转动率 , 通过微分 来定 义 , 表明曲线偏离直线的程度 . 它可以 唯一的决定 曲线 , 对于曲线上的某一点的曲率可以通过求该点 的一阶和二阶导数来计算 . 对于参数 化给出 的曲线方 程 Г ( ｔ )=( ｘ ( ｔ ) , ｙ ( ｔ ) ) ( ｔ 为任意参数 ) 中 , 将曲 线作为一个二 维信 号: { ｘ ( ｔ ) ,ｙ ( ｔ ) } , 分别演化 ｘ ( ｔ ) 和ｙ ( ｔ ) , 最后计算 演化后的曲线的曲率过零点 , 提取角点 , 角点的曲 率即可作为图像匹配的特征点 . 一条光滑的曲线 , 其参数化表示方法为 : Г ( ｔ ) = ( ｘ ( ｔ ) ,ｙ ( ｔ ) ) , 其曲率计算公式为 : ｘ ﹒( ｔ ) ｙ ¨ ( ｔ )-¨ ｘ ( ｔ ) ｙ ﹒( ｔ ) ｋ ( ｔ )= 2 2 3 /2 , ( ｘ ﹒ ( ｔ )+﹒ ｙ( ｔ ) ) 曲线经过 高斯卷 积后为 : Г ｔ )=( ｘ ( ｔ , σ) ,ｙ ( ｔ , σ( σ) ) , 高斯卷积核为 : ｇ ( ｔ , σ) = σ 且 ｘ ( ｔ , σ) = ｘ ( ｔ ) ｇ ( ｔ , σ ) = -∞ ｘ ( ｖ ) ｇ ( ｔｖ , σ) ｄ ｖ= 1 ( ｔｖ ) ｘ ( ｖ ) ｅ ｘ ｐ ( ) ｄ ｖ , 2 ∞ 2σ σ 2π 1 ｔ ｅ ｘ ｐ ( - 2) , 2σ 2π
一响应
[ 3]
. Ｃ ａ ｎ ｎ之 乘积的最优化 逼近 . 图 2 是不同阀值 τ 下锅具快速 Ｃ ａ ｎ ｎ ｙ 边缘提取效果 ,对 2 于所有边缘提取方法 , Ｃ ａ ｎ ｎ ｙ 边缘提取可以得到最 好的闭合曲线 , 在此不做详述 . 把图像中相互连接的像素集合作为一个组 , 叫 做连通成分 . 本文采用 8 连通作为连通类型 , 把图 像中互 相连接的像素 集合进行标记 , 形成若 干对 象 , 每个对象就是不同的连通成分 : Ｆ 连通标 1 ～Ｆ ｎ. 记计算采用逐行扫描的方式 , 流程如下 . 二值图像 Ｄ( ｘ ,ｙ ) 是一个 ｍ × ｎ 的矩阵 , ｄ 是 ｉ ,ｊ 图像内的一个二值像素 , ｔ 为标记值 , 初始值为 2. 扫 描第一行时 , ｄ ｉ , 0如果为 1, 则判断 ｄ ｉ -1, 0 , 如果 ｄ ｉ -1, 0 标记为 ｔ ,则 ｄ , 如果 ｄ ｉ , 0亦标记为 ｔ ｉ1, 0标记为 0, 则 ｄ + 1; 扫描到第 ｊ 行时 , ｄ 如果为 1, 首 ｉ , 0亦标记为 ｔ ｉ ,ｊ 先判断 ｄ 等于 ｄ 如 ｉ -1, ｊ 1标记值 , ｄ ｉ ,ｊ ｉ1, ｊ -1的标记值 . 果为 0 则 ｄ 等于 ｄ 的标记值 . 如果依然为 0 , 则 ｉ ,ｊ ｉ ,ｊ -1 判断 ｄ 赋予新的标 ｉ +1, ｊ -1的标记值 , 如果都为 0, ｄ ｉ ,ｊ 记值 . 当扫描第 ｊ 行时 出现如图 3 中 ( ａ ) 的状 态 , ｄ 为ｔ ｉ -1, ｊ 1为 ｔ 1 ,ｄ ｉ ,ｊ -1为 0, ｄ ｉ +1, ｊ -1为 ｔ 2, 则 ｄ ｉ ,ｊ 1 , 并且 标记所有 ｔ ｂ ) 所示 . 2 的像素为 ｔ 1 , 如图 3 中 (
138
四川师 范大学学报 ( 自然科学版 )
33卷
烹饪机器人示教系统的作用就是通过计算机 视觉系统记录厨师完成界定的烹饪动作 , 然后得出 当前锅具的位姿 , 通过一连串连贯的图像记录 , 然 后分析速度 、 加速度 、角速度等运动参数 . 基于机器 视觉的烹饪机器人示教系统流程为 : ( 1) 在复杂背 景中提取运动的锅具 ; ( 2) 拟合出锅具空间圆的位 姿及参数 ; ( 3) 得到出锅具运动的轨迹 、速度加速 度的运动曲线 ; ( 4) 基于约束最优化得到烹饪机器 人实际的锅具运动参数 , 完成烹饪示教 机器学习 过程 . 本文为烹饪机器人示教 系统基础 — — —锅 具提 取 , 是整个示教系统的基础与核心 .