双目立体视觉测量系统的设计与实现_王建华
合集下载
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
摘 要 依据双目立体视觉原理,对双目立体视觉测量系统的设计与实现展开研究 ,介绍了双目立体视觉测量系统的组成,对系统涉及 的主要关键技术进行了详细的探讨。结合相关硬件设备,利用 VC6.0 和 Matlab软 件 开 发 平 台 实 现 了 双 目 立 体 视 觉 测 量 系 统 ,经 过 实 验 验 证该系统能够对运动物体的轴线三维姿态进行高精度的测量。
总 第 214 期 2012 年 第 4 期
舰船电子工程 Ship Electronic Engineering
Vol.32 No.4 107
双目立体视觉测量系统的设计与实现*
王 建 华1,2 冯 帆1 梁 伟2 王 惠 萍1 (1.白 求 恩 医 务 士 官 学 校 计 算 机 教 研 室 石 家 庄 050081)(2.军 械 工 程 学 院 光 学 与 电 子 工 程 系 石 家 庄 050003)
统能够对运动物体的轴线三维姿态进行高精度的测量。
2 系 统 组 成 及 工 作 流 程
测量系统的硬件部分包 括:9×9 的 黑 白 相 间 棋 盘 格 模 板,每个棋盘格大小为50×50mm;两 型 号 为 MTV-1881EX 的 CCD 摄 像 机,图 像 采 集 卡 采 用 Daheng QP-300。 系 统 的 软件部分由三个模块组成,摄像机标定模 块、图 像 处 理 模 块 和 交 会 测 量 模 块 ,其 工 作 流 程 如 图 1 所 示 。
处理均是针对整副图 像 进 行 全 局 处 理,直 到 检 测 到 两 目 标 为止。
为了满足测量系统的实时性要求,经 全 局 图 像 处 理,检 测到目标后,按照目标的大小自适应的设 置 图 像 处 理 波 门, 系统转入实时跟踪定位阶段。跟踪器的设计采用第五章提 出的基于均值平移与 粒 子 滤 波 的 算 法,同 样 采 用 亚 像 素 定 位技术对被跟踪的目标进行定位。当目标被长时间完全遮 挡时,流程转入航迹预测阶段,采用二维运 动 估 计 模 型 估 计 目标在当前帧中所在位置,同时记录连续 预 测 帧 数,并 应 用 检测算法在预测波门内进行检测,看是否 有 目 标 重 新 出 现, 如果没有继续预测,否则转向亚像素定 位。 预 测 过 程 中,检 查连续预测帧数是否超过一定帧数,如果 超 过,表 明 有 可 能 目标没有在跟踪器 内,即 目 标 丢 失,则 合 并 两 个 波 门,重 新 检测目标。 3.3 交 会 测 量 模 块
Key Words binocular stereo vision,three-dimensional measurement,camera calibration,image processing Class Number TP391
ቤተ መጻሕፍቲ ባይዱ1 引 言
双 目 立 体 视 觉 测 量 技 术 是 [1~2] 计 算 机 视 觉 研 究 领 域 的 一个重要分支,是 计 算 机 视 觉 研 究 的 重 点 和 热 点 问 题。 双 目立体视觉进行三维 测 量 利 用 视 差 原 理,对 不 同 视 角 下 获 取的同一场景的两幅 图 像 进 行 处 理,从 而 恢 复 出 空 间 物 体 的三维坐标信息。在 双 目 立 体 视 觉 测 量 系 统 中,摄 像 机 标 定[3]、图 像 特 征 点 提 取[4]和 立 体 匹 配 技 术 是 [5~6] 关 键 技 术 , 直接影响着测量系统的精度。本文以测量运动物体轴线三 维姿态为最终目的,建 立 双 目 立 体 视 觉 测 量 系 统。 该 测 量 系统的技术 路 线 是:首 先,进 行 单 个 摄 像 机 标 定 及 立 体 标 定,求取摄像机内、外部参数;然后,图像采 集 卡 采 集 两 路 含 有被测物体的同步图 像 信 号 至 计 算 机 内 存,经 图 像 处 理 分 别得到两球心(标志物)在左右两摄像机图 像 平 面 上 的 像 素 坐标;最后,根据空间 物 点 的 三 维 重 构 原 理,将 两 摄 像 机 的 特征信息进行融合,得到两球心的空间三 维 坐 标,进 而 确 定 两球心连线的高低角 和 方 位 角,即 被 测 物 体 轴 线 的 空 间 三 维姿态(在设置标志 物 时 采 用 激 光 对 准 技 术 使 两 球 心 的 连 线与运动 物 体 的 轴 线 平 行 )。 将 该 测 量 系 统 在 VC6.0 和 Matlab软件开发平台上 进 行 设 计 开 发,经 过 实 验 验 证 该 系
1)单 个 摄 像 机 标 定 两台摄像机同时获取5~7幅标定模 板 图 像,在 对 单 个 摄像机进行标定时应首先求出每次移动标定模板时模板平 面与图像平面之间的 单 应 矩 阵,并 由 单 应 矩 阵 求 出 理 想 成 像模型下的摄像机参数,然后将非线性畸 变 因 素 考 虑 进 去, 求出畸变系数的初始 值 (或 直 接 将 其 初 始 化 为 零 ),最 后 再 对所有的标定参数进 行 迭 代 修 正,通 过 非 线 性 最 优 化 的 方 法得到所有标定参数的最优解。 2)摄 像 机 立 体 标 定 摄像机立体标定的目的是确定两个摄像机坐标系之间 的刚体变换关系,即 一 个 摄 像 机 坐 标 系 相 对 于 另 一 个 摄 像 机坐标系的旋转和平移。具体实现方法是首先读入单个摄 像机的标定结果,求立体标定参数的初始 估 值,然 后 对 所 有 标定参数进行迭代修 正,最 后 求 出 所 有 标 定 参 数 的 不 确 定 度 ,输 出 标 定 结 果 。
关 键 词 双 目 立 体 视 觉 ;三 维 测 量 ;摄 像 机 标 定 ;图 像 处 理 中 图 分 类 号 TP391
Design and Implementation of Measurement System Based on Binocular Stereo Vision
WANG Jianhua1,2 FENG Fan1 LIANG Wei 2 WANG Huiping1 (1.Computer Lab,Bethune Nursing Officier College,Shijiazhuang 050081) (2.Optics and Electric Engineering Department,Ordnance Engineering College,Shijiazhuang 050003)
3.2 图 像 处 理 模 块 图像处理模块的主要任务是对左右摄像机采集的被测
物体图像进行同步实 时 处 理,以 对 球 形 目 标 在 立 体 图 像 中 的位置进行检测和定 位,为 交 会 测 量 提 供 精 确 的 目 标 像 素 坐标。
1)图 像 处 理 模 块 的 同 步 同步是指由于目 标 的 运 动,为 交 会 测 量 提 供 的 目 标 像 素坐标必须是处理同一时刻两摄像机获取的目标图像的结 果,这就要求图像处 理 模 块 处 理 的 图 像 必 须 是 同 一 时 刻 的 两幅图像。保证同步性的方法是在硬件上采用一块双图像 通道的采集卡,使 CCD 摄像机过来的 图 像 在 硬 件 处 理 上 具 有一致性;在软件上,从硬件捕获的图像合 成 一 副 图 像 进 行 处 理 ,保 证 所 有 软 件 处 理 的 一 致 性 。 2)目 标 检 测 与 定 位 目标检测与定位 即 对 球 形 目 标 进 行 检 测,对 两 球 心 进 行定位。第一步对待 处 理 的 图 像 进 行 降 噪 处 理,该 操 作 的 目的是降低图像噪 声,增 强 有 用 信 号,提 高 图 像 的 信 噪 比, 改善图像质量;降噪 后,进 行 图 像 分 割 处 理,其 目 的 是 把 目 标区域同背景区域分 离 开 来,采 用 的 方 法 是 第 三 章 提 出 的 改进模糊熵阈值分割 与 形 态 学 开 启 运 算 相 结 合 的 方 法,形 态学运算的目的是对 模 糊 熵 分 割 后 的 图 像 进 行 整 形,以 去 掉圆形区域边界处的 毛 刺 或 细 缝 等;连 通 区 域 标 记 把 分 割 后的众多图像区域用 不 同 的 灰 度 值 进 行 标 记;而 后 对 目 标 区域的检测,采用基于特征参数的四层判 别 策 略,即 对 每 个 图像区域分别计算 四 个 特 征 参 数,形 态 比、形 状 参 数、球 状 性以及圆形性,比较 各 区 域 的 特 征 参 数 值 以 实 现 对 目 标 的 识别;为了使 系 统 具 有 更 高 的 测 量 精 度 ,识 别 出 目 标 区 域 后,采用亚像素定 位 技 术 求 取 目 标 的 像 素 坐 标。 以 上 操 作
Abstract According to the principle of binocular stereo vision,the design and implementation of measurement system based on binocu- lar stereo vision is studied.The components of measurement system based on binocular stereo vision are introduced and the relevant key tech- nologies of the system are discussed in detail.A measurement system is built by using VC6.0and Matlab software development platform and relevant hardware equipment.Experiments indicate that this measurement system can measure three-dimensional pose of moving object in high precision.
图 2 交 会 测 量 原 理 框 图
4 实 验 结 果 及 分 析
基于 VC6.0和 Matlab软件 开 发 环 境 建 立 立 体 视 觉 测 量系统。架 设 好 两 台 CCD 摄 像 机,首 先 进 行 摄 像 机 的 标 定。经摄像机标定得标定结果如下:
该模块的主要任务是,在摄像机标定 的 基 础 上,利 用 三 维重构技术将来自两 摄 像 机 的 目 标 像 素 坐 标 进 行 融 合,求 取球心的空间三维坐标,利用空间几何关 系,计 算 两 球 心 连 线的空间位 置,进 而 计 算 被 测 物 体 轴 线 的 三 维 姿 态 (高 低 角、方位角)。其 原 理 框 图 如 图 2 所 示。 其 中,三 维 重 构 方 法 采 用 文 献 [11]提 出 的 异 面 直 线 公 垂 线 段 中 点 法 。
108
王 建 华 等 :双 目 立 体 视 觉 测 量 系 统 的 设 计 与 实 现
总 第 214 期
3 系 统 软 件 的 设 计 与 实 现
3.1 摄 像 机 标 定 摄 像 机 标 定 是 [7~8] 指 利 用 数 学 方 法 求 解 摄 像 机 的 内 部
参数和外部参数,确 定 空 间 三 维 物 点 到 图 像 二 维 像 点 的 对 应映射关系,是利用 计 算 机 视 觉 进 行 三 维 测 量 计 算 的 前 提 和基础。在两步法[9]的 基 础 上,设 计 并 实 现 了 一 种 简 易 的 摄像机标定系统,在 Matlab编程环 境 下 实 现 了 单 个 摄 像 机 标定及摄像机间的立体标定。
图 1 系 统 工 作 流 程
* 收稿日期:2011年10月9日,修回日期:2011年11月29日 作者简介:王建华,女,博士,讲师,研究方向:图像处理、机 器 视 觉。 冯 帆,女,博 士,副 教 授,研 究 方 向:图 像 处 理。 梁 伟,男,硕 士,讲 师 ,研 究 方 向 :数 据 融 合 。 王 惠 萍 ,女 ,副 教 授 ,研 究 方 向 :计 算 机 应 用 。
总 第 214 期 2012 年 第 4 期
舰船电子工程 Ship Electronic Engineering
Vol.32 No.4 107
双目立体视觉测量系统的设计与实现*
王 建 华1,2 冯 帆1 梁 伟2 王 惠 萍1 (1.白 求 恩 医 务 士 官 学 校 计 算 机 教 研 室 石 家 庄 050081)(2.军 械 工 程 学 院 光 学 与 电 子 工 程 系 石 家 庄 050003)
统能够对运动物体的轴线三维姿态进行高精度的测量。
2 系 统 组 成 及 工 作 流 程
测量系统的硬件部分包 括:9×9 的 黑 白 相 间 棋 盘 格 模 板,每个棋盘格大小为50×50mm;两 型 号 为 MTV-1881EX 的 CCD 摄 像 机,图 像 采 集 卡 采 用 Daheng QP-300。 系 统 的 软件部分由三个模块组成,摄像机标定模 块、图 像 处 理 模 块 和 交 会 测 量 模 块 ,其 工 作 流 程 如 图 1 所 示 。
处理均是针对整副图 像 进 行 全 局 处 理,直 到 检 测 到 两 目 标 为止。
为了满足测量系统的实时性要求,经 全 局 图 像 处 理,检 测到目标后,按照目标的大小自适应的设 置 图 像 处 理 波 门, 系统转入实时跟踪定位阶段。跟踪器的设计采用第五章提 出的基于均值平移与 粒 子 滤 波 的 算 法,同 样 采 用 亚 像 素 定 位技术对被跟踪的目标进行定位。当目标被长时间完全遮 挡时,流程转入航迹预测阶段,采用二维运 动 估 计 模 型 估 计 目标在当前帧中所在位置,同时记录连续 预 测 帧 数,并 应 用 检测算法在预测波门内进行检测,看是否 有 目 标 重 新 出 现, 如果没有继续预测,否则转向亚像素定 位。 预 测 过 程 中,检 查连续预测帧数是否超过一定帧数,如果 超 过,表 明 有 可 能 目标没有在跟踪器 内,即 目 标 丢 失,则 合 并 两 个 波 门,重 新 检测目标。 3.3 交 会 测 量 模 块
Key Words binocular stereo vision,three-dimensional measurement,camera calibration,image processing Class Number TP391
ቤተ መጻሕፍቲ ባይዱ1 引 言
双 目 立 体 视 觉 测 量 技 术 是 [1~2] 计 算 机 视 觉 研 究 领 域 的 一个重要分支,是 计 算 机 视 觉 研 究 的 重 点 和 热 点 问 题。 双 目立体视觉进行三维 测 量 利 用 视 差 原 理,对 不 同 视 角 下 获 取的同一场景的两幅 图 像 进 行 处 理,从 而 恢 复 出 空 间 物 体 的三维坐标信息。在 双 目 立 体 视 觉 测 量 系 统 中,摄 像 机 标 定[3]、图 像 特 征 点 提 取[4]和 立 体 匹 配 技 术 是 [5~6] 关 键 技 术 , 直接影响着测量系统的精度。本文以测量运动物体轴线三 维姿态为最终目的,建 立 双 目 立 体 视 觉 测 量 系 统。 该 测 量 系统的技术 路 线 是:首 先,进 行 单 个 摄 像 机 标 定 及 立 体 标 定,求取摄像机内、外部参数;然后,图像采 集 卡 采 集 两 路 含 有被测物体的同步图 像 信 号 至 计 算 机 内 存,经 图 像 处 理 分 别得到两球心(标志物)在左右两摄像机图 像 平 面 上 的 像 素 坐标;最后,根据空间 物 点 的 三 维 重 构 原 理,将 两 摄 像 机 的 特征信息进行融合,得到两球心的空间三 维 坐 标,进 而 确 定 两球心连线的高低角 和 方 位 角,即 被 测 物 体 轴 线 的 空 间 三 维姿态(在设置标志 物 时 采 用 激 光 对 准 技 术 使 两 球 心 的 连 线与运动 物 体 的 轴 线 平 行 )。 将 该 测 量 系 统 在 VC6.0 和 Matlab软件开发平台上 进 行 设 计 开 发,经 过 实 验 验 证 该 系
1)单 个 摄 像 机 标 定 两台摄像机同时获取5~7幅标定模 板 图 像,在 对 单 个 摄像机进行标定时应首先求出每次移动标定模板时模板平 面与图像平面之间的 单 应 矩 阵,并 由 单 应 矩 阵 求 出 理 想 成 像模型下的摄像机参数,然后将非线性畸 变 因 素 考 虑 进 去, 求出畸变系数的初始 值 (或 直 接 将 其 初 始 化 为 零 ),最 后 再 对所有的标定参数进 行 迭 代 修 正,通 过 非 线 性 最 优 化 的 方 法得到所有标定参数的最优解。 2)摄 像 机 立 体 标 定 摄像机立体标定的目的是确定两个摄像机坐标系之间 的刚体变换关系,即 一 个 摄 像 机 坐 标 系 相 对 于 另 一 个 摄 像 机坐标系的旋转和平移。具体实现方法是首先读入单个摄 像机的标定结果,求立体标定参数的初始 估 值,然 后 对 所 有 标定参数进行迭代修 正,最 后 求 出 所 有 标 定 参 数 的 不 确 定 度 ,输 出 标 定 结 果 。
关 键 词 双 目 立 体 视 觉 ;三 维 测 量 ;摄 像 机 标 定 ;图 像 处 理 中 图 分 类 号 TP391
Design and Implementation of Measurement System Based on Binocular Stereo Vision
WANG Jianhua1,2 FENG Fan1 LIANG Wei 2 WANG Huiping1 (1.Computer Lab,Bethune Nursing Officier College,Shijiazhuang 050081) (2.Optics and Electric Engineering Department,Ordnance Engineering College,Shijiazhuang 050003)
3.2 图 像 处 理 模 块 图像处理模块的主要任务是对左右摄像机采集的被测
物体图像进行同步实 时 处 理,以 对 球 形 目 标 在 立 体 图 像 中 的位置进行检测和定 位,为 交 会 测 量 提 供 精 确 的 目 标 像 素 坐标。
1)图 像 处 理 模 块 的 同 步 同步是指由于目 标 的 运 动,为 交 会 测 量 提 供 的 目 标 像 素坐标必须是处理同一时刻两摄像机获取的目标图像的结 果,这就要求图像处 理 模 块 处 理 的 图 像 必 须 是 同 一 时 刻 的 两幅图像。保证同步性的方法是在硬件上采用一块双图像 通道的采集卡,使 CCD 摄像机过来的 图 像 在 硬 件 处 理 上 具 有一致性;在软件上,从硬件捕获的图像合 成 一 副 图 像 进 行 处 理 ,保 证 所 有 软 件 处 理 的 一 致 性 。 2)目 标 检 测 与 定 位 目标检测与定位 即 对 球 形 目 标 进 行 检 测,对 两 球 心 进 行定位。第一步对待 处 理 的 图 像 进 行 降 噪 处 理,该 操 作 的 目的是降低图像噪 声,增 强 有 用 信 号,提 高 图 像 的 信 噪 比, 改善图像质量;降噪 后,进 行 图 像 分 割 处 理,其 目 的 是 把 目 标区域同背景区域分 离 开 来,采 用 的 方 法 是 第 三 章 提 出 的 改进模糊熵阈值分割 与 形 态 学 开 启 运 算 相 结 合 的 方 法,形 态学运算的目的是对 模 糊 熵 分 割 后 的 图 像 进 行 整 形,以 去 掉圆形区域边界处的 毛 刺 或 细 缝 等;连 通 区 域 标 记 把 分 割 后的众多图像区域用 不 同 的 灰 度 值 进 行 标 记;而 后 对 目 标 区域的检测,采用基于特征参数的四层判 别 策 略,即 对 每 个 图像区域分别计算 四 个 特 征 参 数,形 态 比、形 状 参 数、球 状 性以及圆形性,比较 各 区 域 的 特 征 参 数 值 以 实 现 对 目 标 的 识别;为了使 系 统 具 有 更 高 的 测 量 精 度 ,识 别 出 目 标 区 域 后,采用亚像素定 位 技 术 求 取 目 标 的 像 素 坐 标。 以 上 操 作
Abstract According to the principle of binocular stereo vision,the design and implementation of measurement system based on binocu- lar stereo vision is studied.The components of measurement system based on binocular stereo vision are introduced and the relevant key tech- nologies of the system are discussed in detail.A measurement system is built by using VC6.0and Matlab software development platform and relevant hardware equipment.Experiments indicate that this measurement system can measure three-dimensional pose of moving object in high precision.
图 2 交 会 测 量 原 理 框 图
4 实 验 结 果 及 分 析
基于 VC6.0和 Matlab软件 开 发 环 境 建 立 立 体 视 觉 测 量系统。架 设 好 两 台 CCD 摄 像 机,首 先 进 行 摄 像 机 的 标 定。经摄像机标定得标定结果如下:
该模块的主要任务是,在摄像机标定 的 基 础 上,利 用 三 维重构技术将来自两 摄 像 机 的 目 标 像 素 坐 标 进 行 融 合,求 取球心的空间三维坐标,利用空间几何关 系,计 算 两 球 心 连 线的空间位 置,进 而 计 算 被 测 物 体 轴 线 的 三 维 姿 态 (高 低 角、方位角)。其 原 理 框 图 如 图 2 所 示。 其 中,三 维 重 构 方 法 采 用 文 献 [11]提 出 的 异 面 直 线 公 垂 线 段 中 点 法 。
108
王 建 华 等 :双 目 立 体 视 觉 测 量 系 统 的 设 计 与 实 现
总 第 214 期
3 系 统 软 件 的 设 计 与 实 现
3.1 摄 像 机 标 定 摄 像 机 标 定 是 [7~8] 指 利 用 数 学 方 法 求 解 摄 像 机 的 内 部
参数和外部参数,确 定 空 间 三 维 物 点 到 图 像 二 维 像 点 的 对 应映射关系,是利用 计 算 机 视 觉 进 行 三 维 测 量 计 算 的 前 提 和基础。在两步法[9]的 基 础 上,设 计 并 实 现 了 一 种 简 易 的 摄像机标定系统,在 Matlab编程环 境 下 实 现 了 单 个 摄 像 机 标定及摄像机间的立体标定。
图 1 系 统 工 作 流 程
* 收稿日期:2011年10月9日,修回日期:2011年11月29日 作者简介:王建华,女,博士,讲师,研究方向:图像处理、机 器 视 觉。 冯 帆,女,博 士,副 教 授,研 究 方 向:图 像 处 理。 梁 伟,男,硕 士,讲 师 ,研 究 方 向 :数 据 融 合 。 王 惠 萍 ,女 ,副 教 授 ,研 究 方 向 :计 算 机 应 用 。