南昌航空大学计算机视觉研究所
二维序列图像重建三维图像中的拼接与融合方法
by
Jiping Wu
ቤተ መጻሕፍቲ ባይዱ
Under the Supervision of Prof. Zetao Jiang
School of information and engineering Nanchang Hangkong University, Nanchang, China
June,2013
摘 要
在基于序列图像的动态目标跟踪与特征匹配方面，国内外已开展了不少研 究，也取得了不少进展，但其研究内容都集中于平面图像拼接与融合，尽管平面 图像拼接与融合方法可为三维立体拼接与融合起到一定的借鉴作用，但并不能直 接用到不同尺度下的立体图像拼接与融合，其技术与方法也有很大不同。本文围 绕二维序列图像重建三维图像中的拼接与融合方法展开研究，主要完成了以下工 作： 1.在阅读国内外有关二维序列图像重建三维图像中的拼接与融合方法文献的 基础上，总结了该技术的国内外研究现状。 2.阐述了图像拼接融合技术的基本理论和常用算法。包括数字图像拼接融合 的基本流程，图像配准常用的算法，消除误匹配的算法，图像融合中常用的算法 等，并通过实验对这些算法进行说明。 3. 在理解图像畸变校正原理、SIFT 特征匹配和 RANSAC 算法的基础上，提出 一种改进的图像拼接方法，该方法采用 SIFT 特征匹配算法以解决畸变图像的拼接 问题。首先改进校正算法；然后对图像进行 SIFT 特征提取、特征初匹配，在初匹 配的基础上改进 RANSAC 算法，消除误匹配；最后，在提出的方法基础上进行两组 实验，通过对比实验，分析实验结果，对提出的方法进行验证。 4. 基于 Harris 角点检测方法， 提出一种基于重叠区域结构特征的重复纹理图 像拼接方法。该方法首先对图像序列提取 Harris 角点特征，对角点特征进行初匹 配；然后基于重叠区域匹配点构建多边形区域，对多边形区域结构特征匹配，并 确定重叠区域拼接宽度，依此来实现精确匹配。最后基于此方法进行实验，对实 验结果进行展示和分析。
计算机视觉中的目标跟踪与姿态估计算法
计算机视觉中的目标跟踪与姿态估计算法计算机视觉（Computer Vision）是一门研究如何使机器“看”的科学与技术，它旨在通过模拟人类视觉系统，使计算机能够理解和解释图像和视频数据。
在计算机视觉领域中，目标跟踪（Object Tracking）和姿态估计（Pose Estimation）是两个重要且紧密相关的问题，涉及到许多重要的应用领域，如自动驾驶、视频监控、增强现实等。
目标跟踪是指在一个视频序列中，识别和定位特定目标的过程。
在目标跟踪中，我们需要判断目标的位置、大小、形状以及目标和背景之间的关系。
目标跟踪算法可以分为基于特征的方法和基于深度学习的方法。
基于特征的方法主要利用目标的颜色、纹理、形状等特征，通过计算目标与背景之间的相似性来进行跟踪。
而基于深度学习的方法则通过神经网络从大规模的标注数据中学习目标的表示，并利用学到的表示来进行目标跟踪。
常用的深度学习模型包括卷积神经网络（Convolutional Neural Network，简称CNN）和循环神经网络（Recurrent Neural Network，简称RNN）。
姿态估计是指从一个或多个输入图像中估计或恢复出目标的姿态信息，如位置、角度、形状等。
姿态估计是计算机视觉中的一个经典问题，其在许多应用场景中都具有重要的意义。
姿态估计算法可以分为基于模型的方法和基于深度学习的方法。
基于模型的方法通常通过建立目标的几何模型、运动模型或统计模型，利用图像特征与模型之间的匹配程度来估计目标的姿态。
而基于深度学习的方法则通过神经网络从大量的标注数据中学习目标的姿态信息，并利用学到的表示进行姿态估计。
常用的深度学习模型包括卷积神经网络（CNN）和生成对抗网络（Generative Adversarial Network，简称GAN）。
近年来，随着深度学习技术的快速发展，越来越多的基于深度学习的目标跟踪与姿态估计算法被提出。
这些算法通过深度神经网络的优秀特性，如自动学习、高鲁棒性、良好的泛化能力等，在目标跟踪与姿态估计任务上取得了令人瞩目的成果。
基于光流的动态背景运动目标检测算法
１ Ｈ Ｓ光 流 法
光 流算 法通 常 假 定 ： 与ｊ 维 空 间物 体 点 对 应 的
亮 目标 检测算 法 。基 于 运动 补偿 的算 法通 过 对连 续 两 图像 点及 其邻 域 的灰 度 值在 运 动 中保 持 不 变 （ 度
。设 Ｉ ， ， 为 三 维 空 间某 点 ｔ 刻 在 某 （ Ｙｔ ） 时 帧 中的一 帧做 运 动 补偿 ， 动 态 背 景 转 换 为 静 态 背 守 恒 ） 将
－ｄ 时 － 景 ， 利用 帧 间 差 分 法 提 取 运 动 目标 区域 。该算 法 像 投影 的灰度 值 ， Ｉ ｔ 刻该 点 在 新 的 图像 中 的位 再
＋ Ｙ十 ， 有 的有效 性很 大 程 度 上 取 决 于运 动补 偿 的准 确 性 ， 而 置 为 （ ， ）根 据 以上假 设 ， ： 且 帧 间差 分后 只 能 得 到 运 动 目标 的边 缘 ， 不 能 得 并
ｐｏｅ ｅｓｅｄｏ ｅｄｔ ｔ ｎｆｒ ｏｉｇｏｊｃ ａｄｉｆｓｔｅｓ ｒｓｒｅｌｎｅｗｔ ｔｅＰ ｎ Ｔｈｃｍ ｒ． ｒｖｄｔ ｐ ｅ ｆｈ ｅ ｃｉ ｖ ｂｅｔ ｎ ｔ ｈ ｍａ ｕｖｉａｃ ｉ ａ／ ｉ ａ ｅａ ｈ ｔ ｅ ｏｏ ｍ ｎ ｔ ｉ ｔ ｌ ｈｈ
字 塔 Ｌ ＿ 光 流法 通常 只计 算稀 疏 点光 流 ， Ｋ９ 运算 速度 较 快 ， 用于 运 动 目标 检测 时无 法 提取 完 整 的 目标 。 但
将 （） ２ 式两 边 同除 ｄ， 到 光流 约束 方程 ： ｔ得
Ｏ Ｉ
＋ ＋
甏ｏ ：
（ ３ ）
光 流 约束 方程 的求 解 是 一 个 “ 态 ” 病 问题 ， 须 必
Ｓ ｐ ２ １ ｅ ０ １
Ｖｏ ５ Ｉ２ Ｎ０ ３
计算机视觉技术在航天领域中的实际应用方法
计算机视觉技术在航天领域中的实际应用方法计算机视觉技术是一门通过计算机和相机等图像传感器来模拟和实现人类视觉的技术，其在航天领域中具有广泛的应用。
航天领域对于高精度、高效率以及可靠性的要求非常高，计算机视觉技术的应用为航天任务的执行提供了强大的支持。
本文将介绍计算机视觉技术在航天领域中的几个实际应用方法。
首先，计算机视觉技术在目标检测和识别中的应用非常重要。
在航天任务中，识别和跟踪特定目标是非常关键的，例如探测和识别行星、卫星或者太空垃圾等。
计算机视觉技术可以通过利用图像处理、特征提取和模式识别等方法，自动检测和识别目标，减少人工介入的需要，提高航天任务的效率和精确度。
其次，计算机视觉技术在航天任务中的导航和定位方面也有广泛的应用。
航天器在执行任务时需要实时获取自身的位置和姿态信息，以便准确地进行导航和定位。
计算机视觉技术可以通过图像处理和目标检测等方法，使用摄像头等传感器获取到的图像数据，进行特征匹配和三维重建，从而实现航天器的自主导航和精确定位。
此外，计算机视觉技术还在航天任务中的遥感数据分析和处理中发挥关键作用。
航天器可以通过遥感仪器获取到地球表面的图像和其他类型的数据，这些数据对于天气预报、环境监测和资源调查等方面具有重要意义。
利用计算机视觉技术，可以对遥感数据进行图像处理、特征提取和数据分析，从而提取有用的信息，并帮助科学家和决策者做出有效的决策。
最后，计算机视觉技术在航天任务中的无人飞行器和机器人系统中也得到了应用。
无人飞行器和机器人在航天任务中扮演着重要的角色，它们可以执行一些危险、繁杂或者需要高精度操作的任务。
计算机视觉技术可以使无人飞行器和机器人具备环境感知、自主导航和目标识别等能力，从而实现自主作业和协同工作。
综上所述，计算机视觉技术在航天领域中的实际应用方法包括目标检测和识别、导航和定位、遥感数据分析和处理，以及无人飞行器和机器人系统等方面。
这些应用方法使得航天任务的执行更加高效、精确和可靠。
基于体密度变化率的点云多平面检测算法
Ｃ ０ＤＥＮ Ｊ ＹＩ Ｉ ＤＵ
ｈ ｔ ｔ ｐ ： ／ ／ ｗ ｗ ｗ． ｊ ｏ ｃ ａ ． ｃ ｎ
ｄ ｏ ｉ ： １ ０ ． ３ ７ ２ ４ ／ Ｓ Ｐ ． Ｊ ． １ ０ ８ ７ ． ２ ０ １ ３ ． ０ １ ４ １ １
点云几何统计特征的 多平 面检测 算法。该方法首先根据体 密度 变化率 对点云进行粗 分割 ， 然后利 用 多元 随机抽样 一
致性算法（ Ｍｕ ｌ ｔ ｉ — Ｒ Ａ Ｎ Ｓ Ａ Ｃ ） 进 行 多平 面 拟 合 ， 最 后 提 出 了一 种 新 的合 并 约 束 条 件 对 拟 合 的 初 始 平 面 进 行 优 化 合 并 。 实
基 于体 密 度 变 化 率 的点 云 多 平面 检 测 算 法
储 琚’ ， 吴 侗， 王 璐
（ 南昌航 空大学 计算机视觉研究所 ， 南昌 ３ ３ ０ ０ ６ ３ ） （｝通信作者 电子 邮箱 ｃ ｈ ｕ ｊ ｕ ｎ ９ ９ ６ ０ ２ ＠１ ６ ３ ． ｔ ｏ ｍ ）
摘
要： 针 对以往 点云 多平 面检测算 法运 算时间长、 检测 结果的准确 性 易受噪 声影响这 一 问题 ， 提 出了一种基 于
Ｊ ｏ ｕ ｒ ｎ ａ ｌ ｏ ｆ Ｃｏ ｍｐ ｕ ｔ ｅ ｒ Ａｐ ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓ
Ｉ ＳＳ Ｎ １ ０ ０１ ． ９ ０８１
２ ０１ ３— ０ ５． ０１
计 算机 应用， ２ ０ １ ３ ， ３ ３ （ ５ ） ： １ ４ １ １—１ ４ １ ５ ， １ ４ １ ９
Ｍｕ ｌ ｔ ｉ － ｐｌ ａ ｎｅ ｄｅ ｔ ｅ ｃ ｔ ｉ ｏ ｎ ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ ｏ ｆ ｐｏ ｉ ｎ ｔ ｃ ｌ ｏ ｕｄ ｓ ｂａ ｓ ｅ ｄ ｏ ｎ ｖ ｏ ｌ ｕｍ ｅ ｄｅ ｎ ｓ ｉ ｔ ｙ ｃ ｈａ ｎｇ ｅ ｒ ａ ｔ ｅ
基于空洞卷积与多尺度特征融合的室内场景单图像分段平面三维重建
传感技术学报CHINESE JOURNAL OF SENSORS AND ACTUATORS Vol.34No.3 Mar.2021第34卷第3期2021年3月Piecewise Planar3D Reconstruction for Indoor Scenes from a Single Image Based on Atrous Convolution and Multi-Scale Features Fusion*SUN Keqiang,MIAO Jun*9JIANG Ruixiang,HUANG Shizhong,ZHANG Guimei (Computer Vision Institute of Nanchang Hongkong University,Nanchang Jiangxi33Q063f China)Abstract:It is hard for pixel-level and regional-level3D reconstruction algorithms to recover details of indoor scenes due to luminous changes and lack of texture.A piecewise planar3D reconstruction method is proposed based on the convolution residual connection of the holes and the multi-scale feature fusion network.This model uses the shallow high-resolution detail features generated by the ResNet-101network with the added hole convolution to reduce the loss impact of spatial information as network structure deepens on the detail reconstruction,so that this model can learn more abundant features and by coupling positioning accuracy optimized by the fiilly connected conditional random field(CRF)with the recognition ability of deep convolutional neural network,which keeps better boundary smoothness and details・Experimental results show that the proposed method is robust to the plane prediction of indoor scenes with complex backgrounds,the plane segmentation results are accurate,and the depth prediction accuracy can reach92.27%on average.Key words:3D reconstruction of indoor scene；deep convolutional neural network;conditional random field;atrous convolution；multi-scale feature fusionEEACC:6135；6135E doi:10.3969/j.issn.l004-1699.2021.03.012基于空洞卷积与多尺度特征融合的室内场景单图像分段平面三维重建*孙克强，缪君*,江瑞祥，黄仕中，张桂梅(南昌航空大学计算机视觉研究所，江西南昌330063)摘要:受光照变化和纹理缺乏等因素的影响，基于单幅室内场景图像的像素级和区域级三维重建算法很难恢复场景结构细节。
特征融合自适应目标跟踪
特征融合自适应目标跟踪钟国崇;储珺;缪君【摘要】经典视觉单目标跟踪方法通常以单特征描述被跟踪的目标.但在实际场景中,目标因受外界因素如光照或自身变化如形变的影响而发生变化.为了更好地描述目标,首先引入HOG特征和CN特征,利用传统的特征提取方法,训练得到各自的相关滤波器;然后与各自特征相关滤波得到各自的响应图;最后采用实际响应与期望响应的差值法求得各自响应图的权重,将其与各响应图自适应融合得到目标的最终位置,并自适应更新各自的模型.实验选取公共数据集OTB2013的34个彩色视频帧序列对不同算法进行定性和定量地分析和论证.相比效果最好的DSST算法,平均中心误差减少了7.8像素,成功率提高了1.2％,精度提高了2.3％.实验结果表明该算法具有较好的跟踪鲁棒性和准确性.【期刊名称】《图学学报》【年(卷),期】2018(039)005【总页数】6页(P939-944)【关键词】目标跟踪;相关滤波;权重;特征融合;模型自适应更新【作者】钟国崇;储珺;缪君【作者单位】南昌航空大学计算机视觉研究所,江西南昌 330063;南昌航空大学计算机视觉研究所,江西南昌 330063;南昌航空大学计算机视觉研究所,江西南昌330063【正文语种】中文【中图分类】TP391视觉目标跟踪是计算机视觉领域中一个非常具有挑战性的工作，其应用十分广泛，如视频的监控、智能机器人、虚拟现实等，但实际应用中仍面临光照、形变、尺度等多因素造成的跟踪不稳定的困难[1-2]。
目标跟踪可分为传统方法、相关滤波、深度学习3种方法，基于相关滤波的跟踪方法具有跟踪速度快的优势，因此得到了广泛的研究[3-6]。
BOLME等[4]使用原像素特征作为MOSSE(minimum output sum of squared error)滤波器的输入，其跟踪精度和速度均优于其他的滤波器；文献[5]通过加入核函数进一步提升了跟踪的精度，但是却降低了跟踪的速度；文献[6]进一步利用目标分块单元对梯度进行统计得到了HOG(histogram of oriented gradient)特征，其不仅包含了目标原灰度图的原像素信息，还包含了目标纹理的信息，这使目标跟踪精度大幅度的提升；文献[7]将目标在RGB空间的颜色特征转化为CN(color names)空间的11维颜色特征，其可以准确而稳定地处理丰富的颜色特征，因此用提取到的CN特征训练出来的滤波器更具鲁棒。
一种分步的融合 时空信息的背景建模
图1
Fig. 1
融合时空信息的背景模型算法框图
Flowchart of background subtraction by fusion spatio-temporal information
4期
储珺等: 一种分步的融合时空信息的背景建模
第 40 卷 第 4 期
2014 年 4 月
自 动 化 学 报
ACTA AUTOMATICA SINICA
Vol. 40, No. 4 April, 2014
一梅 1 汪凌峰 2
摘 要 自然场景中的光照突变和树枝、水面等不规则运动是背景建模的主要困难. 针对该问题, 提出一种分步的融合时域 信息和空域信息的背景建模方法. 在时域, 采用具有光照不变性的颜色空间表征时域信息, 并提出对噪声和光照突变具有较好 适应性的码字聚类准则和自适应背景更新策略, 构造了对噪声和光照突变具有较好适应性的时域信息背景模型. 在空域, 通过 采样将测试序列图像分成两幅子图, 而后利用时域模型检测其中一幅子图, 并将检测结果作为另一幅子图的先验信息, 同时采 用马尔科夫随机场 (Markov random field, MRF) 对其加以约束, 最终检测其状态. 在多个测试视频序列上的实验结果表明, 本文背景模型对于自然场景中的光照突变和不规则运动具有较好的适应性. 关键词 引用格式
CHU Jun1 YANG Fan1 ZHANG Gui-Mei1 WANG Ling-Feng2 Abstract In a natural scene, it is difficult to create a background model for the presence of illumination variation and irregular motions including waving trees, rippling water, etc. This paper proposes a new stepwise algorithm by fusing spatio-temporal information. In the time domain, we characterize the temporal information in the color space which is invariant to photometric changing. On this basis, we propose a clustering criterion of codeword which is adaptive to noise and illumination variation, and present a novel adaptive background updating strategy. Then a temporal information background model which has a better adaptability to noise and photometric invariants is constructed. In the spatial domain, we first divide the test frame into two sub-images by sampling and then utilize temporal information to detect one of them. Furthermore, we regard the detection results as priori information of the other sub-image and adopt Markov random field to restrict it simultaneously, then detect its state. Extensive experiments are conducted on several test video sequences. Compared with the mixture of Gaussians (MOG), standard codebook model (SCBM), and improved codebook model (ICBM), the results show that out algorithm has better adaptability to the illumination variation and irregular movement in natural scenes. Key words Spatio-temporal background model, foreground detection, Markov random field (MRF), codebook Citation Chu Jun, Yang Fan, Zhang Gui-Mei, Wang Ling-Feng. A stepwise background subtraction by fusion spatiotemporal information. Acta Automatica Sinica, 2014, 40(4): 731−743
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
南昌航空大学计算机视觉研究所
研究所简介
南昌航空大学计算机视觉研究所成立于2010年，是南昌航空大学的二级科研机构、计算机应用技术重
计算机视觉研究所
点学科之一。
南昌航空大学计算机视觉研究所挂靠南昌航空大学软件学院，研究所现有在编教职员工7人，其中江西省中青年学术带头人2人，教授2人，博士3人，副教授1人。
目前在校博士和硕士研究生40多人。
实验室拥有高性能图形处理工作站、各种摄像机和镜头、移动机器人、三维立体显示系统、力反馈系统等先进的实验设备，以及图像处理软件、虚拟现实平台软件等工具软件。
目前研究所承担了国家基金项目3项、973项目1项、航空基金项目1项、江西省自然科学基金项目4项及江西省科技支撑计划项目3项，并参与我国嫦娥探月工程项目。
研究所主要研究方向包括：复杂物体描述、特征提取和匹配，基于内容的图像检索，复杂环境下目标存在局部遮挡的识别，基于计算机视觉的工业零件缺陷检测和尺寸测量，移动目标检测与跟踪和大规模自然场景建模和多光谱图像融合和拼接等。
研究目的是以计算数学、计算机视觉、计算机图形学与智能控制理论的成果为基础，解决三维真实环境的识别、建模、显示、跟踪与互动等一系列关键问题。
实验室学术气氛活跃，与国内外多个科研院所展开多方面的合作。
是一个既有激烈的学术竞争，又有广泛的交流的具有凝聚力的、朝气蓬勃的学术团队。
科研课题。