摄像机标定中亚像素级角点检测算法
摄像机标定方法综述
摄像机标定方法综述 摘要：首先根据不同的分类方法对对摄像机标定方法进行分类，并对传统摄像机标定方法、摄像机自标定方法等各种方法进行了优缺点对比，最后就如何提高摄像机标定精度提出几种可行性方法。 关键字：摄像机标定，传统标定法，自标定法，主动视觉 引言 计算机视觉的研究目标是使计算机能通过二维图像认知三维环境，并从中获取需要的信息用于重建和识别物体。摄像机便是3D 空间和2D 图像之间的一种映射，其中两空间之间的相互关系是由摄像机的几何模型决定的，即通常所称的摄像机参数，是表征摄像机映射的具体性质的矩阵。求解这些参数的过程被称为摄像机标定[1]。近20 多年，摄像机标定已成为计算机视觉领域的研究热点之一，目前已广泛应用于三维测量、三维物体重建、机器导航、视觉监控、物体识别、工业检测、生物医学等诸多领域。 从定义上看，摄像机标定实质上是确定摄像机内外参数的一个过程，其中内部参数的标定是指确定摄像机固有的、与位置参数无关的内部几何与光学参数，包括图像中心坐标、焦距、比例因子和镜头畸变等；而外部参数的标定是指确定摄像机坐标系相对于某一世界坐标系的三维位置和方向关系，可用3 ×3 的旋转矩阵R 和一个平移向量t 来表示。 摄像机标定起源于早前摄影测量中的镜头校正，对镜头校正的研究在十九世纪就已出现，二战后镜头校正成为研究的热点问题，一是因为二战中使用大量飞机，在作战考察中要进行大量的地图测绘和航空摄影，二是为满足三维测量需要立体测绘仪器开始出现，为了保证测量结果的精度足够高，就必须首先对校正相机镜头。在这期间，一些镜头像差的表达式陆续提出并被普遍认同和采用，建立起了较多的镜头像差模型，D.C.Brown等对此作出了较大贡献，包括推导了近焦距情况下给定位置处径向畸变的表达式及证明了近焦距情况下测得镜头两个位置处的径向畸变情况就可求得任意位置的径向畸变等[2]。这些径向与切向像差表达式正是后来各种摄像机标定非线性模型的基础。随着CCD器件的发展，现有的数码摄像机逐渐代替原有的照相机，同时随着像素等数字化概念的出现，在实际应用中，在参数表达式上采用这样的相对量单位会显得更加方便，摄像机标定一词也就代替了最初的镜头校正。
交通道路标志牌检测与识别综述.
交通道路标志牌检测与识别综述 一、背景综述 随着社会科技不断发展和进步，车辆已经普及到国内大部分家庭。汽车的普及极大方便了人们的出行、生活和工作，同时也不可避免的产生了很多的交通问题。据公安部交通管理局统计，2014年1月至10月，全国共发生道路交通事故426378起，造成87218人死亡、391752人受伤，直接财产损失20.2亿元。交通安全问题成为人们日常生活中最常见的问题之一，受到了政府、科研机构以及汽车生产厂家的高度重视。 解决交通安全问题的途径之一是准确、有效地设立道路交通标志，为驾驶员提供丰富的禁令、警告、指示等信息，从而起到减少交通事故的作用。为了确保交通标志的信息能够及时、准确地传达，交通标志自动识别系统(Traffic Sign Recognition,TSR)受到了各国学者的关注，其主要功能表现在以下几个方面： (1)用于驾驶辅助。交通标志识别的概念最早就是作为驾驶辅助工具被提出的。TSR系统在识别出交通标志后，可对驾驶员进行语音或视频等方式的提醒，甚至可以在必要的时候对车辆驾驶系统直接做出控制，从而确保驾驶安全。 (2)用于交通标志维护。由于交通标志通常放置于室外环境中，受自然环境(如风吹雨淋)及人为因素(如涂抹)影响，难免出现褪色、变形甚至坠落失踪现象，需要进行定期检查维护。通常，这一工作需安排专人专岗，工作量巨大且很难保证实时性和准确性。显然，一个有效的TSR系统是完成这一工作的理想方案。 (3)用于无人驾驶技术。无人驾驶汽车在近年来受到了越来越多的关注。从上世纪90年代起，国内外相继研发出了一系列无人驾驶汽车，其智能化逐渐提高，能够自动规划路线，避让障碍物等。使无人驾驶汽车具备辨认交通标志的能力显然是使其实用化的一个重要步骤。 TSR在计算机领域中是一个非常重要的分支研究领域，而图像检测以及处理是其主要手段，这是一个难度比较大的实景图形识别问题。在车载视觉系统中，如何有效地识别道路交通标志是一个非常重要的研究课题。 TSR包括三个重要模块：图像复原、标志检测、标志分类。交通标志的外观
智能视频监控的异常检测
智能视频监控的异常检测 摘要：视频监控在国民经济中发挥着越来越重要的作用，本文在对视频监控技术的构成与发展进行研究分析的基础上，针对智能网络视频监控系统图像采集范围广、通道数量多，难以实时全面兼顾的特点，对硬件故障，图像异常检测、异常分析等若干关键技术进行了深入研究，并建立了带有自动识别报警系统的视频监控设备故障检测系统。 关键词：视频监控；异常检测；报警系统 anomaly detection of intelligent video monitor zhang guimao1,liu xiang2, liu qu2 (1 xinjiang dushanzi tianli high-tech co.,ltd.,karamay 833600,china;2 xinjiang dushanzi petrochemical company,communications company,karamay 833600,china) abstract:video monitor in the national economy is playing an increasingly important role in this paper,the composition of video surveillance technology with the development of research and analysis,based on the intelligent network video surveillance system for image acquisition range,number of channels and more difficult to fully take into account the characteristics of real-time,hardware failure,the image anomaly detection,anomaly analysis,a number of key technologies in-depth study, and the establishment of an
摄像机标定程序使用方法
摄像机内部参数标定 一、材料准备 1 准备靶标： 根据摄像头的工作距离，设计靶标大小。使靶标在规定距离范围里，尽量全屏显示在摄像头图像内。 注意：靶标设计、打印要清晰。 2图像采集： 将靶标摆放成各种不同姿态，使用左摄像头采集N幅图像。尽量保存到程序的debug->data文件夹内，便于集中处理。 二、角点处理（Process菜单） 1 准备工作： 在程序debug文件夹下，建立data，left，right文件夹，将角探测器模板文件target.txt复制到data文件夹下，便于后续处理。 2 调入图像： File->Open 打开靶标图像 3 选取角点，保存角点： 点击Process->Prepare Extrcor ，点击鼠标左键进行四个角点的选取，要求四个角点在最外侧，且能围成一个正方形区域。每点击一个角点，跳出一个显示角点坐标的提示框。当点击完第四个角点时，跳出显示四个定位点坐标的提示框。 点击Process->Extract Corners ，对该幅图的角点数据进行保存，最好保存到debug->data-> left 文件夹下。命名时，最好命名为cornerdata*.txt，*代表编号。 对其余N-1幅图像进行角点处理，保存在相同文件夹下。这样在left文件夹会出现N个角点txt 文件。 三、计算内部参数（Calibration菜单） 1 准备工作： 在left文件夹中挑出5个靶标姿态差异较大的角点数据txt，将其归为一组。将该组数据复制到data文件夹下，重新顺序编号，此时，文件名必须为cornerdata*，因为计算参数时，只识别该类文件名。 2 参数计算： 点击Calibration->Cameral Calibrating，跳出该组图像算得的摄像机内部参数alpha、beta、gama、u0、v0、k1、k2七个内部参数和两组靶标姿态矩阵，且程序默认保存为文件CameraCalibrateResult.txt。 3 处理其余角点数据文件 在原来N个角点数据文件中重新取出靶标姿态较大的5个数据文档，重复步骤1和2；反复取上M组数据，保存各组数据。 注意：在对下一组图像进行计算时，需要将上一组在data文件夹下的5个数据删除。 四、数据精选 1 将各组内部参数计算结果进行列表统计，要求|gama|<2，且gama为负，删掉不符合条件的数据。 挑出出现次数最高的一组数据。2 摄像机外部参数标定
目标跟踪相关研究综述
Artificial Intelligence and Robotics Research 人工智能与机器人研究, 2015, 4(3), 17-22 Published Online August 2015 in Hans. https://www.360docs.net/doc/b66726840.html,/journal/airr https://www.360docs.net/doc/b66726840.html,/10.12677/airr.2015.43003 A Survey on Object Tracking Jialong Xu Aviation Military Affairs Deputy Office of PLA Navy in Nanjing Zone, Nanjing Jiangsu Email: pugongying_0532@https://www.360docs.net/doc/b66726840.html, Received: Aug. 1st, 2015; accepted: Aug. 17th, 2015; published: Aug. 20th, 2015 Copyright ? 2015 by author and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY). https://www.360docs.net/doc/b66726840.html,/licenses/by/4.0/ Abstract Object tracking is a process to locate an interested object in a series of image, so as to reconstruct the moving object’s track. This paper presents a summary of related works and analyzes the cha-racteristics of the algorithm. At last, some future directions are suggested. Keywords Object Tracking, Track Alignment, Object Detection 目标跟踪相关研究综述 徐佳龙 海军驻南京地区航空军事代表室，江苏南京 Email: pugongying_0532@https://www.360docs.net/doc/b66726840.html, 收稿日期：2015年8月1日；录用日期：2015年8月17日；发布日期：2015年8月20日 摘要 目标跟踪就是在视频序列的每幅图像中找到所感兴趣的运动目标的位置，建立起运动目标在各幅图像中的联系。本文分类总结了目标跟踪的相关工作，并进行了分析和展望。
基于OpenCV的CCD摄像机标定方法_雷铭哲_孙少杰_陈晋良_陶磊_魏坤
ＭｅｔｈｏｄｏｆＣＣＤＣａｍｅｒａＣａｌｉｂｒａｔｉｏｎＢａｓｅｄＯｎＯｐｅｎＣＶ ＬＥＩＭｉｎｇ－ｚｈｅ１，ＳＵＮＳｈａｏ－ｊｉｅ２，ＣＨＥＮＪｉｎ－ｌｉａｎｇ１，ＴＡＯＬｅｉ１，ＷＥＩＫｕｎ１ （１．North Automation Control Technology Institute ，Taiyuan ０３０００６，China ； ２．Navy Submarine Academy ，Qingdao ２６６０４２，China ）Ａｂｓｔｒａｃｔ： Ｃｏｍｐｕｔｅｒｖｉｓｉｏｎｈａｓｂｅｅｎｗｉｄｅｌｙｕｓｅｄｉｎｉｎｄｕｓｔｒｙ，ａｇｒｉｃｕｌｔｕｒｅ，ｍｉｌｉｔａｒｙ，ｔｒａｎｓｐｏｒｔａｔｉｏｎａｒｅａａｎｄｓｏｏｎ．Ｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎｉｓｖｅｒｙｉｍｐｏｒｔａｎｔａｎｄａｌｓｏｔｈｅｋｅｙｒｅｓｅａｒｃｈｆｉｅｌｄｏｆｖｉｓｉｏｎｓｙｓｔｅｍ．ＴｈｉｓｐａｐｅｒｍａｉｎｌｙｒｅｓｅａｒｃｈｅｓｏｎｔｈｅｍｅｔｈｏｄｏｆＣＣＤｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎ，ｔｈｅｐｉｎ－ｈｏｌｅｍｏｄｅｌｈａｓｂｅｅｎｉｎｔｒｏｄｕｃｅｄａｎｄａｐｐｌｉｅｄｉｎｐｒｏｃｅｓｓｏｆｃａｌｉｂｒａｔｉｏｎ．Ｓｐｅｃｉａｌｌｙ，ｉｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅｔｈｅａｃｃｕｒａｃｙ，ｂｏｔｈｒａｄｉａｌａｎｄｔａｎｇｅｎｔｉａｌｌｅｎｓｄｉｓｔｏｒｔｉｏｎｈａｖｅｂｅｅｎｔａｋｅｎｉｎｔｏａｃｃｏｕｎｔｄｕｒｉｎｇｔｈｅｉｍｐｌｅｍｅｎｔｏｆｃａｌｉｂｒａｔｉｏｎｂａｓｅｄｏｎＯｐｅｎＣＶ．Ｔｈｉｓｋｉｎｄｏｆａｒｉｔｈｍｅｔｉｃｈａｓｐｒａｃｔｉｃａｌｖａｌｕｅｏｎｔｈｅａｐｐｌｉｃａｔｉｏｎｄｅｓｉｇｎｏｆｉｍａｇｅｐｒｏｃｅｓｓｉｎｇａｎｄｃｏｍｐｕｔｅｒｖｉｓｉｏｎ，ａｎｄｅｘｐｅｒｉｍｅｎｔｒｅｓｕｌｔｓｓｈｏｗｇｏｏｄｐｒｅｃｉｓｉｏｎ，ｗｈｉｃｈｃａｎｍｅｅｔｔｈｅａｐｐｌｉｃａｔｉｏｎｎｅｅｄｏｆｖｉｓｕａｌｉｎｓｐｅｃｔｉｏｎｏｒｏｔｈｅｒｖｉｓｉｏｎｓｙｓｔｅｍｓｗｅｌｌ． Ｋｅｙｗｏｒｄｓ： ｐｉｎ－ｈｏｌｅｍｏｄｅｌ，ｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎ，ｌｅｎｓｄｉｓｔｏｒｔｉｏｎ，ＯｐｅｎＣＶ摘要： 计算机视觉在工业，农业，军事，交通等领域都有着广泛应用。摄像机标定是视觉系统的重要环节，也是研究的关键领域。以摄像机标定技术为研究对象，选取针孔成像模型，简述了世界坐标系、摄像机坐标系和图像坐标系及其相互间的位置关系，对标定过程进行了深入研究。特别地，为提高标定精度，充分考虑了透镜径向和切向畸变影响及其求解方法，制作了棋盘格平面标定模板，基于开放计算机视觉函数库（ＯｐｅｎＣＶ）实现了摄像机标定。该标定算法能够充分发挥ＯｐｅｎＣＶ函数库功能，对于图像处理与计算机视觉方面的应用设计具有实用价值。实验结果表明该方法取得了较高精度，能够满足视觉检测或其他计算机视觉系统的应用需要。 关键词：针孔模型，摄像机标定，透镜畸变，ＯｐｅｎＣＶ中图分类号：Ｓ２１９ 文献标识码：Ａ 基于ＯｐｅｎＣＶ的ＣＣＤ摄像机标定方法 雷铭哲1，孙少杰2，陈晋良1，陶 磊1，魏坤1 （１．北方自动控制技术研究所，太原０３０００６；２．海军潜艇学院，山东青岛２６６０４２ ）文章编号：１００２－０６４０（２０１４） 增刊－００４９－０３Ｖｏｌ．３９，Ｓｕｐｐｌｅｍｅｎｔ Ｊｕｌ，２０１４ 火力与指挥控制 ＦｉｒｅＣｏｎｔｒｏｌ＆ＣｏｍｍａｎｄＣｏｎｔｒｏｌ第３９卷增刊 引言 摄像机标定是计算机视觉系统的前提和基础，其目的是 确定摄像机内部的几何和光学特性（内部参数）以及摄像机 在三维世界中的坐标关系（外部系数） ［１］ 。考虑到摄像机标定在理论和实践应用中的重要价值，学术界近年来进行了广泛的研究。 摄像机标定方法可以分为线性标定和非线性标定，前者简单快速，精度低，不考虑镜头畸变；后者由于引入畸变参数而使精度提高，但计算繁琐，速度慢，对初值选择和噪声敏感。本文将两者结合起来，采用由粗到精策略，以实现精确标定。 １摄像机模型 本文选取摄像机模型中常用的针孔模型［２－３］，分别建立三维世界坐标系（O w X w Y w Z w ），摄像机坐标系（O c X c Y c Z c ）及图像平面坐标系（O １xy ） 如下页图１所示。其中摄像机坐标系原点O c 为摄像机光心，Z c 轴与光轴重合且与图像平面垂直，O c O １为摄像机焦距f 。图像坐标系原点O １为光轴与图像平面的交点，x ，y 轴分别平行于摄像机坐标系X c 、Y c 轴。设世界坐标系中物点P 的三维坐标为（X w ，Y w ，Z w ），它在理想的针孔成像模型下图像坐标为P （X u ，Y u ），但由于透镜畸变引起偏离［４－５］，其实际图像坐标为P （X d ，Y d ）。图像收稿日期：２０１３－０９－２０修回日期：２０１３－１１－１０ 作者简介：雷铭哲（1977-），男，湖北咸宁人，硕士。研究方向：故障诊断系统。 ４９··
图像中角点(特征点)提取与匹配算法
角点提取与匹配算法实验报告 1 说明 本文实验的目标是对于两幅相似的图像，通过角点检测算法，进而找出这两幅图像的共同点，从而可以把这两幅图像合并成一幅图像。 下面描述该实验的基本步骤: 1.本文所采用的角点检测算法是Harris 角点检测算法，该算法的基本原理是取以目标像素点为中心的一个小窗口，计算窗口沿任何方向移动后的灰度变化，并用解析形式表达。设以像素点(x,y)为中心的小窗口在X 方向上移动u ，y 方向上移动v ，Harris 给出了灰度变化度量的解析表达式： 2 ,,|,|,,()(x y x y x u y v x y x y I I E w I I w u v o X Y ??= -=++??∑∑ (1) 其中，,x y E 为窗口内的灰度变化度量；,x y w 为窗口函数，一般定义为2 2 2 ()/,x y x y w e σ +=； I 为图像灰度函数，略去无穷小项有： 222222 ,,[()()2]2x y x y x y x y E w u I v I uvI I Au Cuv Bv = ++=++∑ （2） 将,x y E 化为二次型有： ,[]x y u E u v M v ?? =???? (3) M 为实对称矩阵： 2 ,2 x y x x y x y y I I I M w I I I ???= ???????∑ (4) 通过对角化处理得到： 11 ,200x y E R R λλ-??= ??? (5) 其中，R 为旋转因子，对角化处理后并不改变以u,v 为坐标参数的空间曲面的形状，其特征值反应了两个主轴方向的图像表面曲率。当两个特征值均较小时，表明目标点附近区域为“平坦区域”；特征值一大一小时，表明特征点位于“边缘”上；只有当两个特征值均比较大时，沿任何方向的移动均将导致灰度的剧烈变化。Harris 的角点响应函数(CRF)表达式由此而得到： 2 (,)det()(())C RF x y M k trace M =- (6)
图像局部特征点检测算法综述
图像局部特征点检测算法综述 研究图像特征检测已经有一段时间了，图像特征检测的方法很多，又加上各种算法的变形，所以难以在短时间内全面的了解，只是对主流的特征检测算法的原理进行了学习。总体来说，图像特征可以包括颜色特征、纹理特等、形状特征以及局部特征点等。其中局部特点具有很好的稳定性，不容易受外界环境的干扰，本篇文章也是对这方面知识的一个总结。 本篇文章现在(2015/1/30)只是以初稿的形式，列出了主体的框架，后面还有许多地方需要增加与修改，例如2013年新出现的基于非线性尺度空间的KAZE特征提取方法以及它的改进AKATE等。在应用方面，后面会增一些具有实际代码的例子，尤其是基于特征点的搜索与运动目标跟踪方面。 1. 局部特征点 图像特征提取是图像分析与图像识别的前提，它是将高维的图像数据进行简化表达最有效的方式，从一幅图像的M×N×3的数据矩阵中，我们看不出任何信息，所以我们必须根据这些数据提取出图像中的关键信息，一些基本元件以及它们的关系。 局部特征点是图像特征的局部表达，它只能反正图像上具有的局部特殊性，所以它只适合于对图像进行匹配，检索等应用。对于图像理解则不太适合。而后者更关心一些全局特征，如颜色分布，纹理特征，主要物体的形状等。全局特征容易受到环境的干扰，光照，旋转，噪声等不利因素都会影响全局特征。相比而言，局部特征点，往往对应着图像中的一些线条交叉，明暗变化的结构中，受到的干扰也少。 而斑点与角点是两类局部特征点。斑点通常是指与周围有着颜色和灰度差别的区域，如草原上的一棵树或一栋房子。它是一个区域，所以它比角点的噪能力要强，稳定性要好。而角点则是图像中一边物体的拐角或者线条之间的交叉部分。 2. 斑点检测原理与举例 2.1 LoG与DoH 斑点检测的方法主要包括利用高斯拉普拉斯算子检测的方法（LOG）,以及利用像素点Hessian矩阵（二阶微分）及其行列式值的方法（DOH）。 LoG的方法已经在斑点检测这入篇文章里作了详细的描述。因为二维高斯函数的拉普拉斯核很像一个斑点，所以可以利用卷积来求出图像中的斑点状的结构。 DoH方法就是利用图像点二阶微分Hessian矩阵：
三维重建综述
三维重建综述 三维重建方法大致分为两个部分1、基于结构光的（如杨宇师兄做的）2、基于图片的。这里主要对基于图片的三维重建的发展做一下总结。 基于图片的三维重建方法： 基于图片的三维重建方法又分为双目立体视觉；单目立体视觉。 A双目立体视觉： 这种方法使用两台摄像机从两个(通常是左右平行对齐的，也可以是上下竖直对齐的)视点观测同一物体，获取在物体不同视角下的感知图像，通过三角测量的方法将匹配点的视差信息转换为深度，一般的双目视觉方法都是利用对极几何将问题变换到欧式几何条件下，然后再使用三角测量的方法估计深度信息这种方法可以大致分为图像获取、摄像机标定、特征提取与匹配、摄像机校正、立体匹配和三维建模六个步骤。王涛的毕业论文就是做的这方面的工作。双目立体视觉法的优点是方法成熟，能够稳定地获得较好的重建效果，实际应用情况优于其他基于视觉的三维重建方法，也逐渐出现在一部分商业化产品上;不足的是运算量仍然偏大，而且在基线距离较大的情况下重建效果明显降低。 代表文章：AKIMOIO T Automatic creation of3D facial models1993 CHEN C L Visual binocular vison systems to solid model reconstruction 2007 B基于单目视觉的三维重建方法: 单目视觉方法是指使用一台摄像机进行三维重建的方法所使用的图像可以是单视点的单幅或多幅图像，也可以是多视点的多幅图像前者主要通过图像的二维特征推导出深度信息，这些二维特征包括明暗度、纹理、焦点、轮廓等，因此也被统称为恢复形状法（shape from X） 1、明暗度（shape from shading SFS） 通过分析图像中的明暗度信息，运用反射光照模型，恢复出物体表面法向量信息进行三维重建。SFS方法还要基于三个假设a、反射模型为朗伯特模型，即从各个角度观察，同一点的明暗度都相同的;b、光源为无限远处点光源;c、成像关系为正交投影。 提出：Horn shape from shading：a method for obtaining the shape of a smooth opaque object from one view1970(该篇文章被引用了376次) 发展：Vogel2008年提出了非朗伯特的SFS模型。 优势：可以从单幅图片中恢复出较精确的三维模型。 缺点：重建单纯依赖数学运算，由于对光照条件要求比较苛刻，需要精确知道光源的位置及方向等信息，使得明暗度法很难应用在室外场景等光线情况复杂的三维重建上。 2、光度立体视觉（photometric stereo） 该方法通过多个不共线的光源获得物体的多幅图像，再将不同图像的亮度方程联立，求解出物体表面法向量的方向，最终实现物体形状的恢复。 提出：Woodham对SFS进行改进（1980年）：photometric method for determining surface orientation from multiple images(该文章被引用了891次) 发展：Noakes：非线性与噪声减除2003年； Horocitz：梯度场合控制点2004年； Tang：可信度传递与马尔科夫随机场2005年； Basri：光源条件未知情况下的三维重建2007年； Sun：非朗伯特2007年； Hernandez：彩色光线进行重建方法2007年；
摄像机标定程序使用方法
一、材料准备 1 准备靶标： 根据摄像头的工作距离，设计靶标大小。使靶标在规定距离范围里，尽量全屏显示在摄像头图像内。 注意：靶标设计、打印要清晰。 2图像采集： 将靶标摆放成各种不同姿态，使用左摄像头采集N幅图像。尽量保存到程序的debug->data文件夹内，便于集中处理。 二、角点处理（Process菜单） 1 准备工作： 在程序debug文件夹下，建立data，left，right文件夹，将角探测器模板文件target.txt 复制到data文件夹下，便于后续处理。 2 调入图像： File->Open 打开靶标图像 3 选取角点，保存角点： 点击Process->Prepare Extrcor ，点击鼠标左键进行四个角点的选取，要求四个角点在最外侧，且能围成一个正方形区域。每点击一个角点，跳出一个显示角点坐标的提示框。当点击完第四个角点时，跳出显示四个定位点坐标的提示框。 点击Process->Extract Corners ，对该幅图的角点数据进行保存，最好保存到debug->data-> left文件夹下。命名时，最好命名为cornerdata*.txt，*代表编号。 对其余N-1幅图像进行角点处理，保存在相同文件夹下。这样在left文件夹会出现N 个角点txt文件。 三、计算内部参数（Calibration菜单） 1 准备工作： 在left文件夹中挑出5个靶标姿态差异较大的角点数据txt，将其归为一组。将该组数据复制到data文件夹下，重新顺序编号，此时，文件名必须为cornerdata*，因为计算参数时，只识别该类文件名。 2 参数计算： 点击Calibration->Cameral Calibrating，跳出该组图像算得的摄像机内部参数alpha、beta、gama、u0、v0、k1、k2七个内部参数和两组靶标姿态矩阵，且程序默认保存为文件CameraCalibrateResult.txt。 3 处理其余角点数据文件 在原来N个角点数据文件中重新取出靶标姿态较大的5个数据文档，重复步骤1和2；反复取上M组数据，保存各组数据。 注意：在对下一组图像进行计算时，需要将上一组在data文件夹下的5个数据删除。 四、数据精选 1 将各组内部参数计算结果进行列表统计，要求|gama|<2，且gama为负，删掉不符合条件的数据。 2 挑出出现次数最高的一组数据。
行为识别国内外现状
1．原始视频的特征提取 (1)光流场 光流场是空间运动物体在观测成像面上像素运动的瞬时速度。它利用图像序列中的像素强度数据的时域变化和相关性来研究图像的灰度在时间上的变化与场景巾物体结构及其运动的关系。光流法通常假设相邻帧的图像差异非常小，从而获取对真实运动场的近似估计【31。它不用预知任何先验知识，即能提供有关运动速度及图像中运动区域的简洁描述，适用于摄像机运动的情形。但光流法易受噪声及光照变化的影响，且计算较为复杂，很难用于实时的视频监控系统。 (2)点轨迹 目标的运动轨迹也可以作为特征，从而大致推断出目标运动所属的行为类别。但图像平面上的轨迹对平移、旋转和缩放等变换比较敏感，因此在大多情形下，此特征显得不够可靠。常用的替代特征表达有轨迹速度、时空曲率等【4，51。运动轨迹的获取比较依赖于精确的跟踪算法。从原始视频中提取点轨迹特征同样容易受到噪声、遮挡及混乱背景等的影响。(3)人体形状表达 在摄像机固定的情形下，假设背景已知，通过背景剪除法可以很容易得到运动人体形状。基于全局、边界及骨架等的描绘子都可以用来表达人体形状。全局方法16,71如剪影、矩等是在整体形状区域内计算描绘子，而边界方法仅考虑形状轮廓【8l，骨架i方法则是用一组lD 骨架曲线代表一个复杂的人体形状，比如中轴变换[91等。 (4)滤波器响应 空时滤波器响应是一个广义上的分类。Zhang等【lo】存时间轴上计算高斯导数，将滤波器响应较高的区域作为运动区域。LaptevI¨1利用一组空时高斯导数滤波器将Harris角点检测扩展应用于三维的视频数据从而检测出空时兴趣点。这类方法大都基于简单的卷积操作，运算快速而简便。当视频分辨率较低的情形下，提取光流或剪影特征较为困难，利用滤波器响应特性可以从视频数据中提取有效的底层特征。 2．低层特征的描述与识别 我们将低层特征的描述与识别方法分为三类①：非参数方法、空时体方法和参数时序法，分别对现有方法进行归类，并作一个简短的综述。 2．1非参数方法 (1)模板匹配法 这类方法需要对每种行为的特征建立相应的模板，将获取的特征数据与模板相匹配，通过计算两者之间的相似度进行识别。Polana和Nelson[4刀将整个序列分解为多个周期行为，利用二维网格特征识别各种行为。Bobick和Davis[391将图像序列转换为运动能量图像(膨酣)和运动历史图像(朋m)模板，MEI反映运动覆盖的范围及强度，而MHI反映运动在时间上的变化情况。Weinland等【拍】提出运动历史体积(MHV)模板，从多个视角重建目标并将其投影到圆柱坐标系，提取Fourier变换特征以描述行为。Wang和Suter[451也将整个行为过程融合为基于轮廓的平均运动形状(MMS)和基于运动前景的平均运动能量(彳^扭)两个模板。模板匹配法计算复杂度低、实现简单，但它本身无法描述动态系统，也不能完全反映数据在空问上的分布属性，具有一定的局限性。而且不同行为之间执行速率的不同、噪声、光照等因素都会影响模板匹配的准确性。 (2)目标建模法 行为可以通过建立人体动态表观模型进行描述。常见的人体模型有棍图模型【109]、2D模型例及3D模型51。3D人体建模是最常用的人体结构表征方法，通过跟踪人体模型中主要
机器视觉中的摄像机定标方法综述
机器视觉中的摄像机定标方法综述 吴文琪,孙增圻 (清华大学计算机系智能技术与系统国家重点实验室,北京100084) 摘要:回顾了机器视觉中的各种摄像机定标方法,对各种方法进行介绍、分析,并提出了定标方法的发展方向的新思路。 关键词:机器视觉;摄像机定标;三维重建;镜头畸变 中国法分类号:TP387文献标识码:A文章编号:1001-3695(2004)02-0004-03 Overvie w of Camera Calibration Methods for Machine Vision WU Wen-qi,SUN Zeng-qi (State Key L aborato ry o f Intellige nt Tec hnology&Syste ms,Dept.o f Co mpute r Science&Technology,Tsinghua Universit y,Bei jing100084,China) Abstract:In this paper,themethods for camera calibration are reviewed,anal yzed and compared.Furthermore,the develop ment of the camera calibration is discussed. Key w ords:Machine Vision;Camera Calibration;3D Reconstruction;Lens Distortion 1引言 在机器视觉的应用中,如基于地图生成的视觉、移动机器人的自定位、视觉伺服等的应用中,从二维图像信息推知三维世界物体的位姿信息是很重要的。目前已经出现了一些自定标和免定标的方法,这些方法在比较灵活的同时,尚不成熟[1],难以获得可靠的结果。通过摄像机的定标重建目标物三维世界目标物体仍然是重要的方法。 摄像机定标在机器视觉中决定: (1)内部参数给出摄像机的光学和几何学特性% %%焦距,比例因子和镜头畸变。 (2)外部参数给出摄像机坐标相对于世界坐标系的位置和方向,如旋转和平移。 在机器人的视觉应用中,目标物位姿信息获取通常有一定的精度要求,机器人视觉系统的性能很大程度上依赖于定标精度。 随着计算机性能的快速提高,低价位CCD摄像机的大量使用,计算机定标方法也得到了不断的改进。 2摄像机模型 摄像机的投影几何模型可以看作这样一个过程,把三维世界透视投影到一个球面(视球),然后把球面上影像投射到一个平面P,理想情况下,平面P关于光轴中心对称。从图像中心点出发到投射平面点的距离r(A)与光轴夹角A的关系有五种模型,每种都有其自己有用的特性[2]。 其成像简图如图1所示。 图1成像简图 2.1透视模型 透视模型公式为 r(A)=k tan A 理想状况下可以等价为小孔成像。许多最近的算法和判断不同算法的优劣的依据都是基于这个假设。但是,透视投影只是表示了视球的前半部。要是不在光轴的附近,物体的形状和密度都会发生畸变。这种模型符合人的视觉感受,理想情况下,直线投影仍为直线。透视模型在定标方法中被广泛采用,在视角不大的镜头情况下比较符合实际情况。 在视角比较大时,透视模型通过对镜头畸变进行校正来修正模型。根据镜头光学成像原理,畸变的模型为D x (x,y)=k1x(x2+y2)+(p1(3x2+y2)+2p2xy)+s1(x2+y2) D y (x,y)=k2x(x2+y2)+(p2(3x2+y2)+2p1xy)+s2(x2+y2) 式中,D x,D y是非线性畸变值,D x,D y的第一项称为径向畸 # 4 #计算机应用研究2004年 收稿日期:2002-11-18;修返日期:2003-03-22
SUSAN检测算法概述
SUSAN检测算法 检测算法概述 概述 概述 SUSAN算法是1997年英国牛津大学的Smith等人提出的一种处理灰度图像的方法。探测算子的基本原理是：与每一图像点相关的局部区域具有相同的亮度。下面介绍SUSAN角点检测准则。 1SUSAN算子 将位于圆形窗口模板中心等待检测的象素点称为核心点。假设图像中无纹理存在，称与核心点具有一样的灰度值的区域为USAN（Univalue Segment Assimilting Nucleus）。 图(1)给出了USAN的三种典型形状： 图(1) 由图(1)可以清楚的看到，当核心点位于USAN区域内时，USAN区域面积最大；当核心点位于边 缘时，USAN区域相当于整个领域面积的一半；当核心点的USAN区域最小时，核心点是角点。利用这个原理，Smith等人提出了最小核心值相似区域 (SUSAN，Smallest Univalue Segment Assimilating Nucleus )的角点检测算法。 SUSAN算子使用的是圆形模板进行角点检测，一般使用的模板的半径为3~4个像素，如图(2)所示。
图(2) SUSAN圆形模板 将模板中的各点亮度与核心点的亮度利用下面的函数进行比较， (1) 在上式中 为图像中像素 的灰度值， t为灰度差别的阈值， 为模板中心的像素， 为其他的像素， C为比较函数。模板中所有的像素都用这个函数进行比较，然后 计算 出函数C的和值n。 (2) 和值n就是USAN(univalue segment assimilating nucleus)区域的像素个数，就是USAN区域的面积，然后把这个面积和几何阈值进行比较，得到最后的响应函数： (3) 上式中，R为响应函数，g为阈值，通常在探测角点时取值为1/2模板的像素个数，当采用7×7的模板时，g=37×1/2。
传感器异常数据处理
异常数据处理方法研究 1异常数据处理概述 1.1 研究背景 近年来，随着海上风力发电技术的日益成熟和陆上风电可开发资源的不断减少，海上风电尤其是近海风电的开发开始加速。风机是海上风电开发的主要形式，而风机基础结构承担着抵抗海上风机结构的竖向、水平荷载和倾覆力矩的作用，其质量关系到海上风机结构的运行安全。作为隐蔽工程，其健康状况受到了社会各界的高度重视，如何对风机基础特别是MW级风机基础的安全运行状况监测成为研究领域的热点。现有的监测技术需要通过设置在风机基础中的数据采集系统自动获取基础的各状态的大量参数，如应力、应变、振动、变形等，采集到的海量原始数据通过通信网络传输到监控中心，经过数据存储，分析处理得到基础的安全运行状况和维修决策等结论。 风机基础监测系统是集结构监测、系统识别及结构评估于一体的综合监测系统，其内容包括几何变形监测、结构响应（应力、应变及振动）监测等。监测系统的质量主要取决于三方面因素:(1)传感器的灵敏性和精度以及数据传输和采集设备的性能；(2)测点的空间分布，即传感器的最优布置问题；(3)异常数据的分析处理。 从目前电子技术的发展来看，成熟、稳定、高性能的传感器已经被应用与监测系统中，而且合理安排传感器位置，以达到信息采集的最优化，也已经有很多研究成果。但由于监测信息格式复杂、信息量大，每天数据量甚至能达到十几GB，如果不能有效地对这些数据进行处理，很多异常数据将不能有效辨识，缺失信息将不能有效弥补，而且监测数据的分析必须建立在准确有效的监测数据之上，低精度和异常的监测数据常常影响数值分析的结果，会影响到系统的功能与特性分析，给后续数据处理带来很大的误差，正常信息不能得到有效利用，故有必要对原始采集数据进行处理。因此监测异常数据处理是三方面中至关重要的一点。 监测系统异常数据处理包含两个方面的内容：(1)异常数据检测，即找出异常信息并确定异常信息所在位置，根据需要将异常数据保存入专门数据库中或直接进行剔除；(2)异常数据修正，即通过插值等方法，参考数据异常点前后的数据，完成该异常数据点的修正，确保采集信息不缺失，保持原始采集数据的连续性。 异常是一个复杂的概念，迄今为止还没有一个统一定义。Hawkins提出的异常定义被大多数人所接受，其定义为：异常是在数据集中与众不同的数据，使人们怀疑这些数据并非随机产生的，而是产生于完全不同的机制。异常数据往往代
Harris角点检测算法编程步骤及示例演示
Harris角点检测算法编程步骤及示例演示 也不说那么多废话了，要介绍啥背景意义之类的，角点检测，顾名思义，就是检测角点，最简单的就是两条线的交点了，还有比如下国际象棋的棋盘格子的交点之类的，反正就是检测这些点。 简单将Harris角点检测算法的思想说下，就是拿一个小窗在图像中移动，通过考察这个小窗口内图像灰度的平均变换值来确定角点。（1）如果窗口内区域图像的灰度值恒定，那么所有不同方向的偏移几乎不发生变化； （2）如果窗口跨越一条边，那么沿着这条边的偏移几乎不发生变化，但是与边垂直的偏移会发生很大的变化； （3）如果窗口包含一个孤立的点或者角点，那么所有不同方向的偏移会发生很大的变化。 下面给出具体数学推导： 设图像窗口平移量为（u,v）,产生的灰度变化为E(u,v), 有E(u,v)=sum[w(x,y)[I(x+u,y+v)-I(x,y)]^2],其中w(x,y)为窗口函数， I(x+u,y+v)为平移后的灰度值，I(x,y)为平移前的灰度值。 有泰勒公式展开可得： I(x+u,y+v)=I(x,y)+Ix*u+Iy*v+O(u^2,v^2); Ix,Iy分别为偏微分，在图像中为图像的方向导数. 因此E(u,v)=sum[w(x,y) [Ix*u+Iy*v+O(u^2,v^2)]^2], 可以近似得到E(u,v)=sum[w(x,y) [Ix*u+Iy*v]^2],即 E(u,v)=[u,v][Ix^2,Ix*Iy;Ix*Iy,Iy^2][u,v]T
令M=[Ix^2,Ix*Iy;Ix*Iy,Iy^2]，因此最后对角点的检测成了对矩阵M的特征值的分析了，令M其特征值为x1,x2; 当x1>>x2或者x2>>x1，则检测到的是边缘部分； 当x1,x2都很小，图像窗口在所有移动的方向上移动灰度级都无明显变化. 当X1,X2都很大时且相当，检测到的是角点。 编程时用x1,x2不方便，因此定义角点响应函数; R=det(M)-k(trace(M))^2; 其中det(M)为矩阵M的行列式，trace(M)为矩阵M的迹。 下面给出更具数学公式实际编程的步骤： 1.利用水平，竖直差分算子对图像的每个像素进行滤波以求得 Ix,Iy,进而求得M中的四个元素的值。 M=[Ix^2,Ix*Iy;Ix*Iy,Iy^2] 2.对M的四个元素进行高斯平滑滤波，为的是消除一些不必要 的孤立点和凸起，得到新的矩阵M。 3.接下来利用M计算对应每个像素的角点响应函数R，即： R=det(M)-k(trace(M))^2; 也可以使用改进的R： R=[Ix^2*Iy^2-(Ix*Iy)^2]/(Ix^2+Iy^2);里面没有随意给定的参数k，取值应当比第一个令人满意。 4.在矩阵R中，同时满足R(i,j)大于一定阈值threshold和R(i,j)
配准综述
图像配准是对取自不同时间，不同传感器或者不同视角的同一区域的两幅或者多幅图像进行匹配叠加的过程。随着技术手段的不断发展，人们对图像配准的要求也越来越离。包括配准方法的鲁棒性、算法的难易程度、算法的自主性等都是考量算法的指标。图像配准的方法中，有人提出过被广泛认同的四个巧骤： a．特征空间的选择 特征空间是指将运用到配准中元素的集合。特征空间包括很多方面，比如像素值，比如点、线，或者平面甚至是曲面。 b．搜索空间 搜索策略是指一系列配准变换操作的集合。搜索空间是建立在几何形变基础上的。而几何形变一般包括全局的和局部的几何形变。典型的全局变形包括平移，缩放，扭曲等变形以及它们的组合。而局部形变，对变换参数要求比较苛刻，因为某一套变换参数只能作用在局部形变区域，而其余区域需采用插值技术补充。然而，另外的变形区域则需要另外的变换参数去表述。在一般的处理中，我们将变换模型看成是一种先验知识。不然则需要考量所有的变换模型。 c．搜索策略 搜索策略是实施变换的依据。它的存在是为了找寻变换模型的最优解。常用的搜索策略有松弛模型法、牛顿法和共扼梯度法。 d．相似性度量 相似性度量是对采用的变换模型的评价。相似性度量主要是采用参考图像和配准图像之间的共有的特征之间的差异比较的方法来评价配准的情况。这其中的差异可以包括点位的误差，或者是灰度值相关的差异，还可以是在变换域之间的差异值等等。最常见的相似性度量是检测特征的欧氏距离。 上述的几个步骤构成了图像配准的基本框架。许许多多的算法充斥其中产生了种类繁多的配准方法。下面主要介绍下几种典型的配准算法。目前典型的配准算法中大致可分成基于灰度、基于特征和基于模型的方法。 基于灰度的配准算法 基于灰度的算法中，重点是对图像配准的过程上，而不是特征集的选择
基于OpenCV的摄像机标定的应用研究
38562009,30(16)计算机工程与设计Computer Engineering and Design 0引言 机器视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间中物体的几何信息，并由此重建和识别物体，而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数。在大多数条件下，这些参数必须通过实验与计算才能得到，这个过程称为摄像机标定(或定标)。标定过程就是确定摄像机的几何和光学参数，摄像机相对于世界坐标系的方位。标定精度的大小，直接影响着机器视觉的精度。迄今为止，对于摄像机标定问题已提出了很多方法，摄像机标定的理论问题已得到较好的解决[1-5]。对摄像机标定的研究来说，当前的研究工作应该集中在如何针对具体的实际应用问题，采用特定的简便、实用、快速、准确的标定方法。 OpenCV是Intel公司资助的开源计算机视觉(open source computer vision)库，由一系列C函数和少量C++类构成，可实现图像处理和计算机视觉方面的很多通用算法。OpenCV有以下特点： (1)开放C源码； (2)基于Intel处理器指令集开发的优化代码； (3)统一的结构和功能定义； (4)强大的图像和矩阵运算能力； (5)方便灵活的用户接口； (6)同时支持Windows和Linux平台。 作为一个基本的计算机视觉、图像处理和模式识别的开源项目，OpenCV可以直接应用于很多领域，是二次开发的理想工具。目前，OpenCV的最新版本是2006年发布的OpenCV 1.0版，它加入了对GCC4.X和Visual https://www.360docs.net/doc/b66726840.html,2005的支持。 1摄像机标定原理 1.1世界、摄像机与图像坐标系 摄像机标定中有3个不同层次的坐标系统：世界坐标系、摄像机坐标系和图像坐标系(图像像素坐标系和图像物理坐标系)。 如图1所示，在图像上定义直角坐标系 开发与应用