计算机视觉测量与导航张正友法相机标定 结课实验报告.pdf
人工智能与计算机视觉
过去几年，全球的互联网公司包括谷歌、微软、Facebook以及中国的百度、阿里巴巴都在加强人工智能领域的投资，设立自己的人工智能研究院。vivo是第一家设立专攻人工智能方向研究院的中国手机公司。此举是vivo内部已经确立的一份3-5年的中长期发展的战略规划，未来对人工智能的发展研究是必然趋势，vivo公司创始人兼CEO沈炜曾表示“人工智能和5G的结合将会是5G时代手机发展的趋势”。 今年我们看到vivo在产品上不少创新，比如AI拍照、商用屏下指纹技术等等，这些都是基于生物特征(biometrics)的鉴别技术，除此之外还有对人脸、虹膜、指纹、声音等特征上的识别，这些大多涉及到视觉信息，正是体现了计算机视觉的应用性，那什么是计算机视觉呢? 计算机视觉技术的概念 正像其它学科一样，一个大量人员研究了多年的学科，却很难给出一个严格的定义，模式识别如此，目前火热的人工智能如此，计算机视觉亦如此。与计算机视觉密切相关的概念有视觉感知(visual perception),视觉认知(visual cognition),图像和视频理解( image and video understanding)。这些概念有一些共性之处，也有本质不同。 从广义上说，计算机视觉就是“赋予机器自然视觉能力”的学科。自然视觉能力，就是指生物视觉系统体现的视觉能力。一则生物自然视觉无法严格定义，在加上这种广义视觉定义又“包罗万象”，同时也不太符合40多年来计算机视觉的研究状况，所以这种“广义计算机视觉定义”，虽无可挑剔，但也缺乏实质性内容，不过是一种“循环式游戏定义”而已。 实际上，计算机视觉本质上就是研究视觉感知问题。视觉感知，根据维科百基(Wikipedia)的定义, 是指对“环境表达和理解中，对视觉信息的组织、识别和解释的过程”。根据这种定
计算机视觉第二次作业实验报告
大学计算机视觉实验报告 摄像机标定 ：振强 学号：451 时间：2016.11.23
一、实验目的 学习使用OpenCV并利用OpenCV进行摄像机标定，编程实现，给出实验结果和分析。 二、实验原理 2.1摄像机标定的作用 在计算机视觉应用问题中，有时需要利用二位图像还原三维空间中的物体，从二维图像信息出发计算三维空间物体的几何信息的过程中，三维空间中某点的位置与二维图像中对应点之间的相互关系是由摄像机的几何模型决定的，这些几何模型的参数就是摄像机参数，而这些参数通常是未知的，摄像机标定实验的作用就是通过计算确定摄像机的几何、光学参数，摄像机相对于世界坐标系的方位。 2.2摄像机标定的基本原理 2.2.1摄像机成像模型 摄像机成像模型是摄像机标定的基础，确定了成像模型才能确定摄像机外参数的个数和求解的方法。计算机视觉研究中，三维空间中的物体到像平面的投影关系即为成像模型，理想的投影成像模型是光学中的中心投影，也称为针孔模型。实际摄像系统由透镜和透镜组组成，可以由针孔模型近似模拟摄像机成像模型。 图2.1 针孔成像 2.2.2坐标变换 在实际摄像机的使用过程中，为方便计算人们常常设置多个坐标系，因此空间点的成像过程必然涉及到许多坐标系之间的相互转化，下面主要阐述几个重要坐标系之间的转换关系。
2.2.2.1世界坐标系--摄像机坐标系 图2.2 世界坐标系与摄像机坐标系空间关系 世界坐标系与摄像机坐标系之间的转换关系为： ????? ? ????????????=???? ????????111w w w T c c c Z Y X O T R Z Y X R 和T 分别是从世界坐标系到摄像机坐标系的旋转变换和平移变换系数，反映的是世界坐标系和摄像机坐标系之间的关系，因此称为外参数。 2.2.2.2物理坐标系--像素坐标系 图2.3 像素坐标系
捷联式惯性导航系统
1 绪论 随着计算机和微电子技术的迅猛发展，利用计算机的强大解算和控制功能代替机电稳定系统成为可能。于是，一种新型惯导系统--捷联惯导系统从20世纪60年代初开始发展起来，尤其在1969年，捷联惯导系统作为"阿波罗"-13号登月飞船的应急备份装置，在其服务舱发生爆炸时将飞船成功地引导到返回地球的轨道上时起到了决定性作用，成为捷联式惯导系统发展中的一个里程碑。 捷联式惯性导航(strap-down inertial navigation)，捷联（strap-down）的英语原义是“捆绑”的意思。因此捷联式惯性导航也就是将惯性测量元件（陀螺仪和加速度计）直接装在飞行器、舰艇、导弹等需要诸如姿态、速度、航向等导航信息的主体上，用计算机把测量信号变换为导航参数的一种导航技术。现代电子计算机技术的迅速发展为捷联式惯性导航系统创造了条件。惯性导航系统是利用惯性敏感器、基准方向及最初的位置信息来确定运载体的方位、位置和速度的自主式航位推算导航系统。在工作时不依赖外界信息，也不向外界辐射能量，不易受到干扰破坏。它完全是依靠载体自身设备独立自主地进行导航，它与外界不发生任何光、声、磁、电的联系，从而实现了与外界条件隔绝的假想的“封闭”空间内实现精确导航。所以它具有隐蔽性好，工作不受气象条件和人为的外界干扰等一系列的优点，这些优点使得惯性导航在航天、航空、航海和测量上都得到了广泛的运用[1] 1.1 捷联惯导系统工作原理及特点 惯导系统主要分为平台式惯导系统和捷联式惯导系统两大类。惯导系统（INS）是一种不依赖于任何外部信息、也不向外部辐射能量的自主式导航系统，具有隐蔽性好，可在空中、地面、水下等各种复杂环境下工作的特点。 捷联惯导系统（SINS）是在平台式惯导系统基础上发展而来的，它是一种无框架系统，由三个速率陀螺、三个线加速度计和微型计算机组成。平台式惯导系统和捷联式惯导系统的主要区别是：前者有实体的物理平台，陀螺和加速度计置于陀螺稳定的平台上，该平台跟踪导航坐标系，以实现速度和位置解算，姿态数据直接取自于平台的环架；后者的陀螺和加速度计直接固连在载体上作
计算机视觉技术
目录 1立体视觉 (1) 1.1计算机视觉技术 (1) 2立体视觉技术 (3) 2.1双目立体视觉技术 (3) 致谢 (8) 附录： (9)
立体视觉 我的毕业论文排版样文 1立体视觉 1.1计算机视觉技术 计算机视觉既是工程领域也是科学领域中的一个富有挑战性的重要研究领域。计算机视觉是一门综合性的学科，它已经吸引了来自各个学科的研究者参加到对它的研究之中，其中包括计算机科学和工程、信号处理、物理学、应用数学和统计学、神经生理学和认知科学等[18]。 视觉是各个应用领域，如制造业、检验、文档分析、医疗诊断和军事等领域中各种智能自主系统中不可分割的一部分。由于它的重要性，一些先进国家，例如美国把对计算机视觉的研究列为对经济和科学有广泛影响的科学和工程中的重大基本问题，即所谓的重大挑战。“计算机视觉的挑战是要为计算机和机器人开发具有与人类水平相当的视觉能力。机器视觉需要图像信号，纹理和颜色建模，几何处理和推理，以及物体建模。一个有能力的视觉系统应该把所有这些处理都紧密地集成在一起[19]。”作为一门学科，计算机视觉开始于60 年代初，但在计算机视觉的基本研究中的许多重要进展是在80 年代取得的。现在计算机视觉已成为一门不同于人工智能、图象处理、模式识别等相关领域的成熟学科[20]。 不少学科的研究目标与计算机视觉相近。这些学科包括图像处理、图像识别、景物分析、图像理解等。由于历史发展或领域本身的特点这些学科互有差别，但又有某种程度的相互重叠。为了清晰起见，把这些与计算机视觉有关的学科从研究目标和方法角度加以归纳[21]。 （1）图像处理 图像处理技术把输入图像转换成具有所希望特性的另一幅图像。例如，可通过处理使输出图像有较高的信噪比，或通过增强处理突出图像的细节，以便于操作员的检验。在计算机视觉研究中经常利用图像处理技术进行预处理和特征抽取。 （2）图像识别 图像识别技术根据从图像抽取的统计特性或结构信息，把图像分成预定的类别。在计算机视觉中图像识别技术经常用于对图像中的某些部分(例如分割区域)的识别和分类。 第 1 页（共9页）
人机交互中的计算机视觉技术.
人机交互中的计算机视觉技术 基于视觉的接口概念 计算机视觉是一门试图通过图像处理或视频处理而使计算机具备“ 看” 的能力的计算学科。通过理解图像形成的几何和辐射线测定, 接受器(相机的属性和物理世界的属性, 就有可能 (至少在某些情况下从图像中推断出关于事物的有用信息, 例如一块织物的颜色、一圈染了色的痕迹的宽度、火星上一个移动机器人面前的障碍物的大小、监防系统中一张人脸的身份、海底植物的类型或者是 MRI 扫描图中的肿瘤位置。计算机视觉研究的就是如何能健壮、有效地完成这类的任务。最初计算机视觉被看作是人工智能的一个子方向, 现在已成为一个活跃的研究领域并长达 40年了。 基于视觉的接口任务 至今,计算机视觉技术应用到人机交互中已取得了显著的成功,并在其它领域中也显示其前景。人脸检测和人脸识别获得了最多的关注, 也取得了最多的进展。第一批用于人脸识别的计算机程序出现在 60年代末和 70年代初,但直到 90年代初,计算机运算才足够快,以支持这些实时任务。人脸识别的问题产生了许多基于特征位置、人脸形状、人脸纹理以及它们间组合的计算模型, 包括主成分分析、线性判别式分析、 Gabor 小波网络和 .Active Appearance Model(AAM . 许多公司,例如Identix,Viisage Technology和 Cognitec System,正在为出入、安全和监防等应用开发和出售人脸识别技术。这些系统已经被部署到公共场所, 例如机场、城市广场以及私人的出入受限的环境。要想对人脸识别研究有一个全面的认识,见。 基于视觉的接口技术进展 尽管在一些个别应用中取得了成功,但纵使在几十年的研究之后,计算机视觉还没有在商业上被广泛使用。几种趋势似乎表明了这种情形即将会发生改变。硬件界的摩尔定律的发展, 相机技术的进步, 数码视频安装的快速增长以及软件工具的可获取性(例如 intel 的 OpenCV libraray使视觉系统能够变得小巧、灵
计算机视觉测量与导航_张正友法相机标定 _结课实验报告
H a r b i n I n s t i t u t e o f T e c h n o l o g y 计算机视觉测量与导航 实验报告 院系：航天学院 学科：控制科学与工程 姓名：TSX 学号： 任课教师：张永安卢鸿谦 日期：2014.05.13
摘要 人类视觉过程可看成是一个复杂的从感觉到知觉的过程,也就是指三维世界投影得到二维图像,再由二维图像认知三维世界的内容和含义的过程。信号处理理论与计算机出现以后,人们用摄像机等获取环境图像并转换成数字信号,完成对视觉信息的获取和传输过程,用计算机实现对视觉信息的处理、存储和理解等过程,形成了计算机视觉这门新兴学科。其中从二维图像恢复三维物体可见表面的几何结构的工作就叫做三维重建。随着计算机硬件、软件、图像采集、处理技术的迅速发展,三维重建的理论和技术已被广泛应用于航空航天、机器人技术、文字识别、工业检测、军事侦察、地理勘察、现场测量和虚拟植物可视化等领域。相机标定是三维重建必不可少的步骤,它包括对诸如主点坐标、焦距等与相机内部结构有关的内部参数的确定和对相机的旋转、平移这些外部参数的确定。价格低廉的实验器材、简单的实验环境、快捷的标定速度和较高的标定精度是现在相机标定研究追求的几大方向。数码相机的标定就是研究的热点之一。本次报告介绍了基于棋盘格模板标定的基本原理和算法，利用MATLAB的相机标定工具箱，使用张征友算法对相机进行了标定，记录了标定的过程，并给出结果，最后对影响标定精度的因素进行了分析。 关键词：相机标定张正友角点提取内外参
1基于棋盘格标定的基本原理和算法 1.1基础知识 1.1.1射影几何 当描述一张相机拍摄的图像时，由于其长度、角度、平行关系都可能发生变化，因此无法完全用欧氏几何来处理图像，而射影几何却可以，因为在射影几何中，允许存在包括透视投影的更大一类变换，而不仅仅是欧氏几何的平移和旋转。实际上，欧氏几何是射影几何的一个子集。 1.1.2齐次坐标 设欧氏直线上点p的笛卡尔坐标为(x,y)T，如果x1,x2,x3满足x=x1/x2，y =x2/x3，x3≠0，则称三维向量(x1,x2,x3)T为点P的齐次坐标。当x3= 0时，(x1,x2,0)T规定直线上的无穷远点的齐次坐标。 实际上，齐次坐标是用一个n+ 1维向量来表示原本n维的向量。应用齐次坐标的目的是用矩阵运算把二维、三维甚至高维空间中的一个点集从一个坐标系变换到另一个坐标系。形的几何变换主要包括平移、旋转、缩放等。以矩阵表达式来计算这些变换时，平移是矩阵相加，旋转和缩放则是矩阵相乘，综合起来可以表示为P’=R*P+T（R为旋转缩放矩阵，T为平移矩阵，P为原向量，P′为变换后的向量）。当n+1维的齐次坐标中第n+1维为0，则表示n维空间的一个无穷远点。
计算机视觉简介
人们常说：眼睛是心灵的窗户，通过眼睛人们可以轻易地交流情感，眼睛也是与外界交流的窗口，这些都是通过“看”来完成的。 人们可以很容易“看到”一幅画，但这一“简单”过程并不如此简单，大致上它可以分为以下几个阶段：首先是通过眼睛将图成像在视网膜上；其次大脑对图像进行理解；最后根据处理的结果做出反应。用比较专业一点的语言来描述，该过程包括了识别、描述与理解三个层次；这其中还隐含了边缘检测（各物体的轮廓等）、图像的分割（各物体区域的划分）等阶段。以上实际上概述了视觉系统的三个层次，即低层阶段：基于图像特征提取及分割阶段；中层阶段：基于物体的几何模型与图像特性表达阶段；高层阶段：基于景物知识的描述、识别与理解阶段，这是根据先验知识介入的程度划分的，且实现起来也越来越困难。 毫无疑问，如何人工实现这一过程是极具挑战性和应用前景的一项工作，计算机视觉也因此而应运而生。计算机视觉是研究用计算机和成像设备来模拟人和生物视觉系统功能的技术学科，其目标是从图像或图像序列中获取对外部世界的认知和理解，即利用二维图像恢复三维环境中物体的几何信息，比如形状、位置、姿态、运动等，并能描述、识别与理解。 计算机视觉的基础是各种成像设备，例如CCD(Charge Coupled Device )摄像机（数码相机属于此类型）、红外摄像机、医学上常用的核磁共振成像、X射线成像等，这些设备不仅可以成像，还可以获取比人眼更丰富的图像，人们可以形象地把摄像机看成计算机视觉的视网膜部分。可以说从人类拍摄出第一幅图像开始，就为计算机视觉的诞生奠定了基础。 而计算机视觉的核心是数字电子计算机，其发展可谓突飞猛进，在计算和存储能力上，人脑已经无法与之相比，人们的目标就是利用计算机非凡的计算处理能力来代替人脑实现对图像的理解，而计算机日新月异的发展也使得这一愿望越来越成为可能。 用于指导“计算机”这个大脑运作的核心是计算机视觉的理论方法，计算机视觉使用的理论方法主要基于几何、概率和运动学计算与三维重构的视觉计算理论，它的基础包括射影几何学、刚体运动力学、概率论与随机过程、图像处理、人工智能等理论。在20世纪70年代，视觉研究大多采用模式识别的方法；80年代，开始采用空间几何的方法以及物理知识进行视觉研究；90年代以后，随着智能机器人视觉研究的发展，引入了许多新的理论与技术如主动视觉理论、不变量理论、融合技术等，并应用于许多计算机视觉系统中。 研究计算机视觉，不得不提的是英国已故科学家戴维·马尔（David Marr），他在计算机视觉发展史上可谓写下了浓重的一笔。在20世纪70年代末，他提出了第一个
计算机视觉实验报告Experiment3
Experiment 3：Edge Detection Class: 电子1203班Student ID: 1210910322 Name: 王影 Ⅰ. Aim The aim of this laboratory session is to learn to deal with image data by Matlab. By the end of this session, you should be able to perform image preprocessing of edge detection in spatial domain and frequency domain. Ⅱ. Knowledge required in the Experiment ⅰ.You are supposed to have learned the basic skills of using Matlab; ⅱ.You need to review Matlab programming language and M-file format. ⅲ. You should have studied edge detection methods. Ⅲ.Experiment Contents Demand: Please show the figure on the left and list the codes on the right respectively bellow each question.(请将运行结果(图片)和程序代码贴在每题下方) ⅰ.Read “car.jpg” file (to do this by imread function), convert the color image into grayscale image, and then perform edge detection using Roterts, Prewitt, Sobel operator separately in spatial domain and display the results in a Matlab window. 程序： clear; im=imread('car.jpg'); I=rgb2gray(im); subplot(3,2,1);imshow(I); title('Gray image'); [Y,X]=size(I); im_edge=zeros(Y,X); T=30; for k=2:Y-1 for kk=2:X-1 im_edge(k,kk)=abs(I(k+1,kk+1)-I(k,kk))+abs(I(k,kk+1)-I(k+1,kk)); if (im_edge(k,kk)>T)
计算机视觉
计算机视觉 计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，用电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。这里所指的信息指Shannon定义的，可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。 目录 1定义 2解析 3原理 4相关 5现状 6用途 7异同 8问题
9系统 10要件 11会议 12期刊 1定义 计算机视觉是使用计算机及相关设备对生物视觉的一种模拟。它的主要任务就是通过对采集的图片或视频进行处理以获得相应场景的三维信息，就像人类和许多其他类生物每天所做的那样。 计算机视觉是一门关于如何运用照相机和计算机来获取我们所需的，被拍摄对象的数据与信息的学问。形象地说，就是给计算机安装上眼睛（照相机）和大脑（算法），让计算机能够感知环境。我们中国人的成语"眼见为实"和西方人常说的"One picture is worth ten thousand words"表达了视觉对人类的重要性。不难想象，具有视觉的机器的应用前景能有多么地宽广。 计算机视觉既是工程领域，也是科学领域中的一个富有挑战性重要研究领域。计算机视觉是一门综合性的学科，它已经吸引了来自各个学科的研究者参加到对它
的研究之中。其中包括计算机科学和工程、信号处理、物理学、应用数学和统计学，神经生理学和认知科学等。 2解析 视觉是各个应用领域，如制造业、检验、文档分析、医疗诊断，和军事等领域中各种智能/自主系统中不可分割的一部分。由于它的重要性，一些先进国家，例如美国把对计算机视觉的 计算机视觉与其他领域的关系 研究列为对经济和科学有广泛影响的科学和工程中的重大基本问题，即所谓的重大挑战（grand challenge）。计算机视觉的挑战是要为计算机和机器人开发具有与人类水平相当的视觉能力。机器视觉需要图象信号，纹理和颜色建模，几何处理和推理，以及物体建模。一个有能力的视觉系统应该把所有这些处理都紧密地集成在一起。作为一门学科，计算机视觉开始于60年代初，但在计算机视觉的基本研究中的许多重要进展是在80年代取得的。计算机视觉与人类视觉密切相关，对人类视觉有一个正确的认识将对计算机视觉的研究非常有益。为此我们将先介绍人类视觉。 3原理 计算机视觉就是用各种成象系统代替视觉器官作为输入敏感手段，由计算机来代替大脑完成处理和解释。计算机视觉的最终研究目标就是使计算机能象人那样通过视觉观察和理解世界，具有自主适应环境的能力。要经过长期的努力才能达到的目标。因此，在实现最终目标以前，人们努力的中期目标是建立一种视觉系统，这个系统能依据视觉敏感和反馈的某种程度的智能完成一定的任务。例如，计算机视觉的一个重要应用领域就是自主车辆的视觉导航，还没有条件实现象人那样能识别和理解任何环境，完成自主导航的系统。因此，人们努力的研究目标是实现在高速公路上具有道路跟踪能力，可避免与前方车辆碰撞的视觉辅助驾驶系统。这里要指出的一点是在计算机视觉系统中计算机起代替人脑的作用，但并不意味
机器视觉实验报告
机器视觉实验报告
目录 一实验名称 (2) 二试验设备 (2) 三实验目的 (2) 四实验内容及工作原理 (2) （一）kinect for windows (2) （二）手持式自定位三维激光扫描仪 (3) （三）柔性三坐标测量仪 (9) （四）双面结构光 (10) 总结与展望 (14) 参考文献 (16)
《机器视觉》实验报告 一、实验名称 对kinect for windows、三维激光扫描仪、柔性三坐标测量仪和双面结构光等设备结构功能的认识。 二、实验设备 kinect for windows、三维激光扫描仪、柔性三坐标测量仪、双面结构光。 三、实验目的 让同学们对机器视觉平时所使用的仪器设备以及机器视觉在实际运用中的具体实现过程有一定的了解。熟悉各种设备的结构功能和操作方法，以便于进行二次开发。其次，深化同学们对机器视觉系统的认识，拓宽同学们的知识面，以便于同学们后续的学习。 四、实验内容及工作原理 (一)kinect for windows 1.Kinect简介 Kinectfor Xbox 360，简称Kinect，是由微软开发，应用于Xbox 360 主机的周边设备。它让玩家不需要手持或踩踏控制器，而是使用语音指令或手势来操作Xbox360 的系统界面。它也能捕捉玩家全身上下的动作，用身体来进行游戏，带给玩家“免控制器的游戏与娱乐体验”。2012年2月1日，微软正式发布面向Windows系统的Kinect版本“Kinect for Windows”。 2.硬件组成 Kinect有三个镜头[1]，如图1-1所示。中间的镜头是RGB 彩色摄影机，用来采集彩色图像。左右两边镜头则分别为红外线发射器和红外线CMOS 摄影机所构成的3D结构光深度感应器，用来采集深度数据（场景中物体到摄像头的距离）。彩色摄像头最大支持1280*960分辨率成像，红外摄像头最大支持640*480成像。Kinect还搭配了追焦技术，底座马达会随着对焦物体移动跟着转动。Kinect也内建阵列式麦克风，由四个麦克风同时收音，比对后消除杂音，并通过其采集声音进行语音识别和声源定位[2][3]。
车牌识别综合实验报告大作业
数字图像处理综合实验报告 车牌识别技术（LPR） 组长：__ ******_____ 组员：___ _****** _ ___ _******_____ ____ _*******___ 指导老师：___ *******_____ *****学院****学院 2010年6月10日
实验五车牌识别技术（LPR） 一、实验目的 1、了解车牌识别系统的实现，及车牌识别系统的应用； 2、了解并掌握车牌识别系统如何实现。 二、实验容 1、车牌识别系统的图像预处理、 2、车牌定位、 3、字符分割 4、字符识别 三、实验原理 车辆牌照识别（LPR）系统是一个专用的计算机视觉系统，它能够自动地摄取车辆图像和识别车牌，可应用在公路自动收费、停车场管理、失窃车辆侦察、门卫系统、智能交通系统等不同场合。LPR系统的广泛应用将有助于加快我国交通管理自动化的进程。 1、预处理 摄像时的光照条件，牌照的整洁程度，摄像机的状态（焦距，角度和镜头的光学畸变），以及车速的不稳定等因素都会不同程度的影响图像效果，出现图像模糊，歪斜或缺损，车牌字符边界模糊不清，细节不清，笔画断开，粗细不均等现象，从而影响车牌区域的分割与字符识别的工作，所以识别之前要进行预处理。预处理的包括： 1）消除模糊—— 用逆滤波处理消除匀速运动造成的图像运动模糊 2）图像去噪。 通常得到的汽车图像会有一些污点，椒盐噪声，应用中值滤波 3）图像增强 自然光照度的昼夜变化会引起图像对比度的不足，所以必须图像增强，可以采用灰度拉伸，直方图均衡等 通过以上处理，提高了图像的质量，强化了图像区域。
2、车牌定位 自然环境下，汽车图像背景复杂、光照不均匀，如何在自然背景中准确地确定牌照区域是整个识别过程的关键。首先对采集到的视频图像进行大围相关搜索，找到符合汽车牌照特征的若干区域作为候选区，然后对这些侯选区域做进一步分析、评判，最后选定一个最佳的区域作为牌照区域，并将其从图象中分割出来。 ? 图像的灰度化 ? 图像灰度拉伸 ? 对图像进行边缘检测 采用Sobel 算子经行边缘检测 该算子包含两组3*3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。如果以A 代表原始图像，Gx 及Gy 分别代表经横向及纵向边缘检测的图像，其公式如下: A Gx *]101202101?????+-+-+-?????= and A *121000121Gy ???? ?---+++?????= 图像的每一个像素的横向及纵向梯度近似值可用以下的公式结合，来计算梯度的大小。 2 y 2x G G G += 然后可用以下公式计算梯度方向。 ??? ? ??=x y G G arctan θ 在以上例子中，如果以上的角度θ等于零，即代表图像该处拥有纵向边缘，左方较右方暗。 ? 对其进行二值化 ? 纹理分析法 行扫描行法是利用了车牌的连续特性。车牌区域有连续7个字符，而且字符与字符之间的距离在一定围。定义从目标到背景或者从背景到目标为一个跳变。牌照区域相对于其它非车牌区域跳变多，而且间距在定围和跳变次数大于一定次数，并且连续满足上述要求的行要达到一定的数目。 从下到上的顺序扫描，对图像的每一行进行从左向右的扫描，碰到跳变点记录下当前位置，如果某行连续20个跳变点以上，并且前一个跳变点和后一个跳变点的距离在30个像素，就记录下起始点和终止点位置，如果连续有10行以上这样的跳变点，我们就认为该区域就是车牌预选区域。 3、字符分割： 完成牌照区域的定位后，再将牌照区域分割成单个字符，然后进行识别。字符分割一般采用垂直投影法。由于字符在垂直方向上的投影必然在字符间或字符的间隙处取得局部最小值的附近，并且这个位置应满足牌照的字符书写格式、字符、尺寸限制和一些其他条件。利用垂直投影法对复杂环境下的汽车图像中的字符分割有较好的效果。 ? 车牌区域灰度二值化
计算机视觉在各个方面的应用
计算机视觉在各个方面的应用 摘要 计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，用电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。这里所指的信息指Shannon定义的，可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。 关键词：图像处理，模式识别，图像理解。 正文 1.1序言 计算机视觉是使用计算机及相关设备对生物视觉的一种模拟。它的主要任务就是通过对采集的图片或视频进行处理以获得相应场景的三维信息，就像人类和许多其他类生物每天所做的那样。 计算机视觉既是工程领域，也是科学领域中的一个富有挑战性重要研究领域。计算机视觉是一门综合性的学科，它已经吸引了来自各个学科的研究者参加到对它的研究之中。其中包括计算计科学和工程、信号处理、物理学、应用数学和统计学，神经生理学和认知科学等。 所需要的知识储备以及相关课程如下， 图1-1 图1-2
1.1.2 现阶段的形式 视觉是各个应用领域，如制造业、检验、文档分析、医疗诊断，和军事等领域中各种智能/自主系统中不可分割的一部分。由于它的重要性，一些先进国家，例如美国把对计算机视觉的 图1-3计算机视觉与其他领域的关系 研究列为对经济和科学有广泛影响的科学和工程中的重大基本问题，即所谓的重大挑战（grand challenge）。计算机视觉的挑战是要为计算机和机器人开发具有与人类水平相当的视觉能力。机器视觉需要图象信号，纹理和颜色建模，几何处理和推理，以及物体建模。一个有能力的视觉系统应该把所有这些处理都紧密地集成在一起。作为一门学科，计算机视觉开始于60年代初，但在计算机视觉的基本研究中的许多重要进展是在80年代取得的。计算机视觉与人类视觉密切相关，对人类视觉有一个正确的认识将对计算机视觉的研究非常有益。为此我们将先介绍人类视觉。 人类正在进入信息时代，计算机将越来越广泛地进入几乎所有领域。一方面是更多未经计算机专业训练的人也需要应用计算机，而另一方面是计算机的功能越来越强，使用方法越来越复杂。这就使人在进行交谈和通讯时的灵活性与目前在使用计算机时所要求的严格和死板之间产生了尖锐的矛盾。人可通过视觉和听觉，语言与外界交换信息，并且可用不同的方式表示相同的含义，而目前的计算机却要求严格按照各种程序语言来编写程序，只有这样计算机才能运行。为使更多的人能使用复杂的计算机，必须改变过去的那种让人来适应计算机，来死记硬背计算机的使用规则的情况。而是反过来让计算机来适应人的习惯和要求，以人所习惯的方式与人进行信息交换，也就是让计算机具有视觉、听觉和说话等能力。这时计算机必须具有逻辑推理和决策的能力。具有上述能力的计算机就是智能计算机。 智能计算机不但使计算机更便于为人们所使用，同时如果用这样的计算机来控制各种自动化装置特别是智能机器人，就可以使这些自动化系统和智能机器人具有适应环境，和自主作出决策的能力。这就可以在各种场合取代人的繁重工作，或代替人到各种危险和恶劣环境中完成任务。 1.1.3 简单原理 计算机视觉就是用各种成象系统代替视觉器官作为输入敏感手段，由计算机来代替大脑完成处理和解释。计算机视觉的最终研究目标就是使计算机能象人那样通过视觉观察和理解世界，具有自主适应环境的能力。要经过长期的努力才能达到的目标。因此，在实现最终目标以前，人们努力的中期目标是建立一种视觉系统，这个系统能依据视觉敏感和反馈的某种程度的智能完成一定的任务。例如，计算机视觉的一个重
人工智能YOLO V2 图像识别实验报告
第一章前言部分 1.1课程项目背景与意义 1.1.1课程项目背景 视觉是各个应用领域，如制造业、检验、文档分析、医疗诊断，和军事等领域中各种智能/自主系统中不可分割的一部分。由于它的重要性，一些先进国家，例如美国把对计算机视觉的研究列为对经济和科学有广泛影响的科学和工程中的重大基本问题，即所谓的重大挑战。计算机视觉的挑战是要为计算机和机器人开发具有与人类水平相当的视觉能力。机器视觉需要图象信号，纹理和颜色建模，几何处理和推理，以及物体建模。一个有能力的视觉系统应该把所有这些处理都紧密地集成在一起。作为一门学科，计算机视觉开始于60年代初，但在计算机视觉的基本研究中的许多重要进展是在80年代取得的。计算机视觉与人类视觉密切相关，对人类视觉有一个正确的认识将对计算机视觉的研究非常有益。 计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。这里所指的信息指Shannon定义的，可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。 科学技术的发展是推动人类社会进步的主要原因之一,未来社会进一步地朝着科技化、信息化、智能化的方向前进。在信息大爆炸的今天,充分利用这些信息将有助于社会的现代化建设,这其中图像信息是目前人们生活中最常见的信息。利用这些图像信息的一种重要方法就是图像目标定位识别技术。不管是视频监控领域还是虚拟现实技术等都对图像的识别有着极大的需求。一般的图像目标定位识别系统包括图像分割、目标关键特征提取、目标类别分类三个步骤。 深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的概念由Hinton等人于2006年提出。基于深度置信网络提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。 深度学习是机器学习中的一个新的研究领域，通过深度学习的方法构建深度网络来抽取特征是目前目标和行为识别中得到关注的研究方向，引起更多计算机视觉领域研究者对深度学习进行探索和讨论，并推动了目标和行为识别的研究，推动了深度学习及其在目标和行为识别中的新进展。基于这个发展趋势，我们小组选择了基于回归方法的深度学习目标识别算法YOLO的研究。 1.1.2课程项目研究的意义 众所周知，当前是信息时代，信息的获得、加工、处理以及应用都有了飞跃
计算机视觉系统及其应用
课程设计 课程名称工业自动化专题 题目名称_计算机视觉系统及其应用学生学院_____自动化________ 专业班级______ 学号 学生姓名____ 指导教师___________ 2013 年 6月 25日
机器视觉系统及其应用 摘要：主要介绍机器视觉系统的概要，简要分析机器视觉的特点、优越性和应用，具体介绍了机器视觉技术在印刷行业、农业、工业、医学中的实际应用，并且分别举例说明。机器视觉的诞生和应用在理论和实际中均具有重要意义。 关键词：机器视觉；标签检测；药物检测；水果品质检测；硬币检测。 1. 机器视觉系统 1.1 机器视觉系统简介 机器视觉系统是指利用机器替代人眼做出各种测量和判断。机器视觉是工程领域和科学领域中的一个非常重要的研究领域，它是一门涉及光学、机械、计算机、模式识别、图像处理、人工智能、信号处理以及光电一体化等多个领域的综合性学科。 机器视觉系统通过图像摄取装置将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号。机器视觉系统可以快速获取大量信息，而且易于自动处理，也易于同设计信息以及加工控制信息集成。 机器视觉系统的优点有：1.非接触测量，对于被检测对象不会产生任何损伤，而且提高了系统能够的可靠性；2.较宽的光谱响应范围，例如使用人眼看不见的红外测量，扩展人眼的视觉范围；3.长时间稳定工作，人类难以长时间对同一对象进行观察，而机器视觉系统则可以长时间地作测量、分析和识别任务。 现在，机器视觉系统在工业、农业、国防、交通、医疗、金融甚至体育、娱乐等等行业都获得了广泛的应用，可以说已经深入到我们的生活、生产和工作的方方面面。 1.2 基本原理 图 1 是机器视觉系统的基本结构，在一定的光照（包括可见光，红外线甚至超声波等各种成象手段)条件下，成象设备（摄象机，图像采集板等）把三维场景的图像采集到计算机内部，形成强度的二维阵列——原始图象；然后，运用图像处理技术对采集到的原始图像进行预处理以得到质量改善了的图像；其次，运用机器视觉技术从图像中提取感兴趣的特征分类整理；，构成对图像的进一步，运用模式识别技术对抽取到的特征进行描述；最后，运用人工智能得到更高层次的抽象描述。完成视觉系统的任务。 图1机器视觉的基本结构
计算机视觉第二次作业实验报告
厦门大学计算机视觉实验报告 摄像机标定 姓名：孙振强 学号：31520161153451 时间：2016.11.23
一、实验目的 学习使用OpenCV并利用OpenCV进行摄像机标定，编程实现，给出实验结果和分析。 二、实验原理 2.1摄像机标定的作用 在计算机视觉应用问题中，有时需要利用二位图像还原三维空间中的物体，从二维图像信息出发计算三维空间物体的几何信息的过程中，三维空间中某点的位置与二维图像中对应点之间的相互关系是由摄像机的几何模型决定的，这些几何模型的参数就是摄像机参数，而这些参数通常是未知的，摄像机标定实验的作用就是通过计算确定摄像机的几何、光学参数，摄像机相对于世界坐标系的方位。 2.2摄像机标定的基本原理 2.2.1摄像机成像模型 摄像机成像模型是摄像机标定的基础，确定了成像模型才能确定摄像机内外参数的个数和求解的方法。计算机视觉研究中，三维空间中的物体到像平面的投影关系即为成像模型，理想的投影成像模型是光学中的中心投影，也称为针孔模型。实际摄像系统由透镜和透镜组组成，可以由针孔模型近似模拟摄像机成像模型。 图2.1 针孔成像 2.2.2坐标变换 在实际摄像机的使用过程中，为方便计算人们常常设置多个坐标系，因此空间点的成像过程必然涉及到许多坐标系之间的相互转化，下面主要阐述几个重要坐标系之间的转换关系。
2.2.2.1世界坐标系--摄像机坐标系 图2.2 世界坐标系与摄像机坐标系空间关系 世界坐标系与摄像机坐标系之间的转换关系为： ????? ?????????????=????????????111w w w T c c c Z Y X O T R Z Y X R 和T 分别是从世界坐标系到摄像机坐标系的旋转变换和平移变换系数，反映的是世界坐标系和摄像机坐标系之间的关系，因此称为外参数。 2.2.2.2物理坐标系--像素坐标系 图2.3 像素坐标系
浅谈计算机视觉技术
浅谈计算机视觉 随着数字多媒体技术的快速发展，人机交互成为人类生活中不可或缺的一部分。作为计算机技术的一个重要分支，计算机视觉技术近些年来得到了广泛重视，它为人机交互提供了更广阔的发展空间。 计算机视觉就是用摄像机和计算机代替人眼对目标进行识别、跟踪和测量的机器视觉，在电脑中做进一步的图像处理后成为适合人眼或者检测仪器检测的图像。计算机视觉与图像处理、图像分析、机器人视觉和计算机视觉是彼此密不可分的学科，但相比之下又有不同：计算机视觉的研究对象主要是映射到单幅或多幅图像上的三维场景，例如三维场景的重建。计算机视觉的研究很大程度上针对图像的内容。对于一个计算机视觉系统来说，它主要包括以下部分：程序控制、事件检测、信息组织、物体与环境建模、交感互动。计算机视觉系统的结构很大程度上依赖于其具体应用方向，同时也可由其功能决定：是预先固定的抑或是在运行过程中自动学习调整。但在所有的计算机视觉系统中，图像处理、预处理、特征提取、检测/分割、高级处理几乎是必不可少的。 识别、运动、场景重建、图像恢复是计算机视觉中较为经典的问题。其中，识别就是判定一组图像数据中是否包含某个特定的物体，图像特征或运动状态。这一问题通常可以通过机器自动解决，但是到目前为止，还没有某个单一的方法能够广泛的对各种情况进行判定：在任意环境中识别任意物体。对于运动问题，基于序列图像的对物体运动的监测包含多种类型，例如自体运动和图像跟踪。在场景重建方面，给定一个场景的二或多幅图像或者一段录像，场景重建寻求为该场景建立一个计算机模/三维模型。最简单的情况便是生成一组三维空间中的点。更复杂的情况下会建立起完整的三维表面模型。而在图像恢复中，计算机视觉主要用来移除图像中的噪声。 在进行计算机视觉方面的系统开发时，有一个很有用的工具库，即OpenCv,它是Intel资助的开源计算机视觉库，是一套关于计算机视觉的开放源代码的API 函数库，由一系列C函数及C++类构成，实现了图像处理和计算机视觉方面的很多通用算法。一个典型的计算机视觉算法应包括：数据获取(视频和图像)、预处理（降低噪声，光照、亮度归一化，模糊化，锐化，腐蚀，膨胀等）、特征提取、特征选择、分类器涉及与训练、分类判别。OpenCv对于这六个部分，分别提供了API。但在进行相关部分的研究时，仅有OpenCv是满足不了开发人员的需要的，这就需要去查阅计算机视觉、模式识别、机器学习领域顶级会议、期刊、杂志上面发表的文章，然后再根据这些文章中阐述的原理和方法，来编程实现需要的东西。 随着计算机硬件性能的不断提高，计算机视觉技术的应用从传统的工业自动化、移动机器人视觉导航、医学图像分析、遥感图像等领域逐渐扩展到基于生物特征的识别和验证、基于视觉的人机接口和人机交互、视频监控等领域。在这些以人为中心的计算机视觉应用中，人体是主要对象，涉及对人体的静态和动态特征检测、识别及理解。在现实生活中，我们需要计算机对自然、连续的动作和行为进行分析。基于这种事实，一些技术难题由此而生：分布式视觉信息处理方法和系统、自然连续动作和行为的分割及多层次模型、基于上下境行为的理解。 通过计算机视觉课程讲座的学习，我对该课程有了初步了解，而文中所提的相关概念和理解是我通过查阅相关文献和网络资源所总结的。如果所述的一些技术难题得到解决，将给社会带来极大的经济效益。
《计算机视觉》知识要点总结终极
1、、。；视觉是人类观察世界、认知世界的重要功能手段。人类从外界获得信息约有80%来自视觉系统。 2、计算机视觉是指用计算机实现人类的视觉功能，即对客观世界中三维场景的感知、加工和理解。 计算机视觉的研究方法只有有两种：一种是仿生学的方法，参照人类视觉系统的结构原理，建立相应的处理模块完成类似的功能和工作；另一种是工程的方法，即从分析人类视觉过程的功能着手，并不刻意模拟人，视觉系统内部结构，而仅考虑系统的输入和输出，并采用任何现有的手段来实现系统的功能。 计算机视觉主要研究目标有两个：一是建立计算机视觉系统来完成各种视觉任务； 二是把该研究作为探索人脑视觉工作机理的手段，即生物学机理。 3、计算机视觉系统的功能模块主要有以下几个模块：图像采集、预处理、基元检测、目标分割、表达描述、形状分析等，参考下图1.4.1 4、整个视觉过程是由光学过程，化学过程和神经处理过程这3个顺序的子过程所构成。 光学过程：我们需要掌握的是人眼水平截面的示意图，见图2.1.1。光学过程基本确定了成像的尺寸。类似照相机。
化学过程：视网膜表面的光接收细胞可分为：锥细胞（亮视觉）和柱细胞（暗视觉）。化学过程，基本确定了成像的亮度或颜色。 神经处理过程：将对光的感觉转换为对景物的知觉。视觉处理过程流图2.1,2如下： 5、形状知觉是对景物各部分相对关系的知觉，也与视野中各种空间关系的知觉有关。 6、轮廓（封闭的边界）是形状知觉中最基本的概念，人在知觉一个形状以前一定先看到轮廓。轮廓的构成如果用数学语言来说就是轮廓对应亮度的二阶导数。轮廓与形状又有区别，轮廓不等于形状。轮廓在帮助构成形状时还有“方向性”。轮廓通常倾向于对它所包围的空间发生影响，即轮廓一般是向内部而不是向外部发挥构成形状的作用。 7、主观轮廓：在没有直接刺激作用下产生的轮廓知觉。主观轮廓的形成是在一定感觉信息的基础上进行知觉假设的结果 8、空间知觉的问题本质是一个深度感知的问题。人对空间场景的深度感知主要依靠双目视觉实现。 9、图像采集是获取图像的技术和过程。对应于视觉过程中的光学和化学过程。需要利用几何学原理解决场景中目标的投影位置在图像中国的什么地方的问题和利用光度学原理（或辐射度学）建立场景中的亮度与图像中对应位置灰度的联系。 10、图像采集中主要的模型：几何成像模型和亮度成像模型 11、世界坐标系：也称为真实或现实世界坐标系XYZ，是客观事件的绝对坐标（也称为客观坐标系统）。一般的3-D场景都是用这个坐标系统来表示的。 摄像机坐标系：是以摄像机为中心指定的坐标系统xyz，一般取摄像机的光学轴为z轴。 图像平面坐标系：在摄像机内形成的图像平面的坐标系统x’y’。一般取图像平面与摄像机坐标系统xy平面平行，且x轴与x’轴，y与y’轴分别重合，这样图像平面的原点就在摄像机的光学轴上。 12、固态阵列中最常用的主要元件是用电荷耦合器件（change-coupled device，CCD），特点是具有非常快的快门速度。 CMOS（complementary metal oxide semiconductor）摄像机基于互补型金属氧化物半导体工艺，其传感器主要包括传感器核心、模/数转换器、输出寄存器、控制寄存器、增益放大器等。特点是低功耗、尺寸小，总体成本低。但是噪声水平比CCD高一个量级。 电荷注射器件（charge-injection device，CID），有一个和图像矩阵对应的电极矩阵，在每一个像素位置有两个隔离绝缘的能产生电位阱的电极。优点是，随机访问，不会产生图像浮散。但是相对CCD，CID对光电敏感度要低很多。 13、采集装置基本性能指标：线性响应，灵敏度，信噪比，阴影（不均匀度），快门速度，读取速率。 14、图像采集的方式主要由光源、采集器和景物三者决定。 15、空间分辨率（即数字化的空间采样点数）。幅度分辨率（即采样点值的量化级数）。辐射到图像采集矩阵中光电感受单元的信号在空间上被采样，而在强度上被量化。