抖动视频的电子稳像算法_邹刚
实用电子稳像技术原理及方法
稳像技术光机电信息2003 年第2 期实用电子稳像技术原理及方法王明佳1 金光1 钟平1 张炜2(1. 中国科学院长春光学精密机械与物理研究所,吉林长春130022 ;2. 总装备部驻长春地区军代表室,吉林长春130022)摘要电子稳像技术是一项新兴的技术,同时也是一门很有生命力的学科。
本文介绍了电子稳像的现状以及电子稳像的各种方法,最后论述了当图像序列有旋转和变焦时如何矫正图像偏移量,以达到图像序列的稳定。
1 引言电视摄像系统现已广泛应用于各个领域。
当工作环境比较恶劣,尤其是在航空或野外操作时, 支撑摄像机平台的振动会引起图像画面抖动,容易使观察者产生疲劳。
为了消除图像抖动,稳像技术应运而生。
稳像主要有三种手段,即机械式稳像、光学稳像和电子稳像。
这三种方法的原理都是首先确定帧间图像的偏移量,然后对偏移量进行补偿,从而达到消除图像抖动的目的。
其中机械式稳像和光学稳像在确定帧间偏移量时,首先求出光学系统的运动量,再将其转换成图像的偏移量。
稳像装置不仅体积庞大、结构复杂,而且价格相当昂贵。
产生于20 世纪80 年代的电子稳像技术采用电子元件直接对图像进行处理,以得到图像间的偏移量。
近年来伴随着电子技术的革命,计算机性能不断提高,电子元件集成度越来越高,价格越来越低廉。
人们将研究重点逐渐从机械式稳像、光学稳像转移到电子稳像技术。
电子稳像具有体积小、价格低和精度高的特点,从长远角度看有取代其他稳像方法的趋势。
以美国、加拿大、日本为代表的一些发达国家已在电子稳像技术的研究上取得了重大进展。
由美国军事实验室研制的应用在无人驾驶越野车上的稳像装置的稳像精度优于1 个像素。
加拿大的DREV 实验室利用电子稳像技术可以把从直升机上拍到的512 ×512 个像素、抖动在±10 个像素的图像稳定到0. 5 个像素范围内,处理速度达30 帧/ s 。
综观电子稳像的发展历史,可处理图像抖动偏差的范围越来越大,稳定精度越来越高。
基于Harris角点与改进Hu矩的电子稳像算法
ｒ ｏ ｔ ａ ｔ ｅ ｄ ｏ ｒ ｓ ｌ ｉ ｇ ｈ ｔ ｌ ｙ ｚ ｏ ｏ ｍｅ ｄ ， ａ ｎ ｄ ｔ ｈ ｅ ｃ ｏ ｍｐ ｕ ｔ ｅ ｃ ｏ ｍｐ ｌ ｅ ｘ ｉ ｔ ｙ ｉ ｓ ｇ ｒ ｅ ａ ｔ ｌ ｙ ｒ ｅ ｄ ｕ ｃ ｅ ｄ ｉ ｎ ｔ ｈ ｅ ｐ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ｇ ｏ ｆ ｆ ｅ ａ ｔ ｕ ｒ ｅ － ｍａ ｔ ｃ ｈ ｉ ｎ ｇ ｗｉ ｔ ｈ ａ ｎ ｉ ｄ ｅ ａ ｌ ｒ ｅ ｓ ｕ ｌ ｔ ．
消除抖动的方法
消除抖动的方法消除抖动的方法是指在图像、视频等数据的处理过程中，由于各种因素的干扰而产生的不良影响，通过一系列的算法和技术手段来减小或消除这种影响，从而提升图像、视频等数据的质量和准确性。
以下几种方法常被应用于消除抖动。
1. 像素位移方法像素位移方法是一种常用的视频稳定技术。
该方法是通过将多帧相邻的图像层进行像素位移，从而消除由于相机或手持摄像机的抖动所产生的裂缝。
首先，将相邻两帧图像的特征点进行匹配，通过计算这些特征点的位置偏移量来估算像素位移，然后对每个像素进行插值，将其位移到正确的位置。
最后，通过图像拼接技术，将各帧图像拼接成稳定的视频流。
2. 光流法光流法也是一种常用的视频稳定技术。
该方法是通过分析相邻两帧图像之间的像素变化，来计算图像中每个像素的运动轨迹，从而消除抖动。
光流法的计算方法很简单，就是通过对邻域像素的亮度变化进行建模，来推断像素运动的方向和速度。
在计算光流时，通常采用常规的 Lucas-Kanade 方法。
3. 陀螺仪稳定法陀螺仪稳定法是一种运动传感器稳定技术。
该方法是通过搭载陀螺仪、加速度计等传感器，来检测相机或手持摄像机的运动状态，并根据这些数据进行实时的图像纠正。
具体实现时，需要通过传感器数据来计算出相机的改变量，然后将其应用于图像处理中，从而实现稳定的视频流输出。
4. 变焦稳定法变焦稳定法是一种利用变焦镜头来消除抖动的技术。
该方法是通过使用变焦调节的手段来消除由相机或手持摄像机的抖动所产生的颠簸。
具体实现时，可以采用两种方法。
一种是利用变焦镜头的快速聚焦能力，实现对清晰图像的快速转换，从而减少图像的抖动；另一种是利用变焦镜头的反向反转特性，来消除相机或手持摄像机的颠簸。
总之，消除抖动的方法是多种多样的，不同的方法会有不同的适用场景和精度效果。
在实际应用中，需要根据具体的需求，选择和调整适宜的消抖处理方法，以达到最佳的效果和数据质量。
基于PCA—SIFT特征匹配和Kalman滤波的电子稳像算法
基于PCA—SIFT特征匹配和Kalman滤波的电子稳像算法摘要：针对基于sift特征匹配的电子稳像算法存在数据量大、耗时长等问题，本文提出了基于PCA-SIFT特征匹配和Kalman滤波的电子稳像算法。
首先采用PCA-SIFT提取参考帧中的特征点，在当前帧找到匹配的特征点；然后采用随机抽样一致性（RANSAC）算法消除误匹配的特征点对，减少场景中的局部运动的影响，提高了全局运动参量的估计准确性；最后利用Kalman滤波所获得的摄像机的随机抖动参数对当前帧进行运动补偿。
關键词：电子稳像；特征匹配；全局运动估计；Kalman滤波1 引言应用于车载、无人机、舰船等运动平台或野外监控系统的摄像系统往往会由于自身运动导致输出图像序列存在严重抖动，从而对视频监控及后续图像处理产生不利影响。
为了消除图像序列的异常抖动，人们提出了机械稳像、光学稳像以及电子稳像这三种方法。
其中电子稳像技术是将电子、计算机、数字信号处理等技术融为一体的新一代实现图像序列稳定的技术。
与传统的机械和光学稳像系统相比，电子稳像系统具有易操作、稳像精度高、体积小以及功耗低等优点。
因此，该技术已经被广泛应用于摄像机抖动的检测和消除、视频压缩、运动目标的检测和跟踪以及图像拼接等领域。
电子稳像技术主要包括：运动估计、运动滤波和运动补偿。
运动估计的主要目的是找出帧间的全局运动轨迹，选用合适的运动模型并计算其运动参数。
根据运动估计方法的不同，可将电子稳像算法大致分为：基于块匹配的方法、基于灰度投影的方法、基于位平面匹配的方法和基于特征的方法。
其中块匹配法、灰度投影法和位平面匹配法，都是针对摄像机的平移运动。
块匹配算法是基于块内运动一致性的假设；投影算法要求图像具有一定的对比度和明显的灰度变化；位平面匹配方法是一个比较新的算法，它只利用图像的一个位平面进行匹配，速度快，但是精度有待于提高。
因此，当图像发生复杂运动时，通常采用基于特征点匹配的方法。
针对视频序列的复杂抖动如平移、旋转和变焦运动，本文提出了基于PCA-SIFT特征匹配和Kalman滤波的电子稳像算法。
利用全景图的视频稳像算法
第 ３４卷 第 ７期 ２０１８年 ７月
信号处理 ＪＯＵＲＮＡＬＯＦＳＩＧＮＡＬＰＲＯＣＥＳＳＩＮＧ
ＶｉｄｅｏＳｔａｂｉｌｉｚａｔｉｏｎＡｌｇｏｒｉｔｈｍ ＵｓｉｎｇＧｅｎｅｒａｔｅｄＰａｎｏｒａｍａ
ＪＩＡＮＧＳｈｕａｎｇｓｈｕａｎｇ１，２ ＺＨＵＺｈｅｎｆｅｎｇ１，２ ＣＨＡＮＧＤｏｎｇｘｉａ１，２
（１．ＩｎｓｔｉｔｕｔｅｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ，ＢｅｉｊｉｎｇＪｉａｏｔｏｎｇＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０００４４，Ｃｈｉｎａ， ２．ＢｅｉｊｉｎｇＡｒｅａＭａｊｏｒＬａｂｏｒａｔｏｒｙｏｆＡｄｖａｎｃｅｄＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ＆ ＮｅｔｗｏｒｋＴｅｃｈｎｏｌｏｇｙ，Ｂｅｉｊｉｎｇ１０００４４，Ｃｈｉｎａ频的抖 动，其不仅 影 响 用 户 的 观 赏 体 验，也 不 利 于 对 视 频 的进一步分析与处理，由此稳像技术应运而生。相 比传统光学、机 电 等 防 抖 技 术，基 于 计 算 机 视 觉 的 电子稳像技 术 以 其 低 成 本、低 能 耗、强 灵 活 性 等 优 点成为稳像技术的研究热点 。 ［１４］
文章编号：１００３－０５３０（２０１８）０７－０８５２－０８
Ｖｏｌ．３４ Ｎｏ．７ Ｊｕｌ．２０１８
利用全景图的视频稳像算法
蒋双霜１，２ 朱振峰１，２ 常冬霞１，２
（１．北京交通大学信息科学研究所，北京 １０００４４；２．北京市现代信息科学与网络技术重点实验室，北京 １０００４４）
基于Android的移动电子稳像系统的研究与实现
基于Android的移动电子稳像系统的研究与实现基于Android的移动电子稳像系统的研究与实现摘要：利用基于Android操作系统的硬件平台实现了移动电子稳像系统。
该系统采用无需人工干预的灰度投影算法，通过行列投影、投影滤波和相关计算获得运动补偿量，根据补偿量对视频进行全局校正。
对稳像前后帧的行、列投影及残差图像，分析表明，该系统稳像效果良好，且具有携带方便的特点，易于推广到各类移动终端设备。
关键词：移动电子稳像；Android；运动估计；灰度投影对存在抖动的视频进行高精度图像拼接、运动目标检测和跟踪时，必需对视频进行稳像处理。
视频的抖动是由于在拍摄时，手的抖动或摄像平台的不规则运动都会引起视频图像序列产生模糊和抖动，严重影响了图像信息的有效利用。
稳像技术的目的就是要去除视频中的抖动，使得视频播放更连续、稳定。
近年来，国内外学者在该领域做了大量的研究与努力，并取得了一定的成果。
国外对电子稳像技术的研究起步较早，许多发达国家对电子稳像技术在军事方面的应用进行了较为深入的研究，如美国、加拿大和俄罗斯等国家。
美国马里兰大学(University of Maryland)主要在军用稳像技术方面进行研究,开发出了多种稳像方法[1]。
中国科学院长春光学精密机械与物理研究所赵红颖[2]、钟平[3]等人对电子稳像技术的基本原理和应用范围进行了初步研究，对船载和机载摄像系统所获取的图像序列也进行了稳定的实验研究，并取得了一定的效果。
清华大学朱志刚、杨雨东等人通过采用基于多分辨率金字塔匹配方法的光流法来计算帧间运动矢量，并进行了电子稳像的实验研究[4]。
西安电子科技大学机电工程学院ICIE研究所朱娟娟、郭宝龙等人针对图像序列的抖动，研究了摄像机的抖动和正常扫描这两种运动的特点，提出了一种带运动修正的投影稳像算法[5]。
但是以上研究都是基于“摄像机—图像采集卡—计算机”模式进行，存在携带不方便的缺点。
张博等人研究并设计了基于FPGA的电子稳像专用平台[6]。
监控系统中视频稳定技术及其算法优化研究
监控系统中视频稳定技术及其算法优化研究随着科技的不断发展，人们对于监控设备的需求也越来越高。
作为现代社会中不可缺少的安全防范手段，监控设备在各个领域都得到了广泛应用，例如公共场所、商场、酒店、医院以及各种工业和商业企业等。
其中，视频监控系统是目前应用最广泛的一种监控设备，其通过摄像机、信号处理器等硬件设备和相应的软件系统来实现对于指定区域视频信号的采集、处理和传送，用于实时监测和事件回放。
但是在实际应用过程中，由于环境影响等因素，视频展示的画面不可避免地存在抖动、雪花等不稳定的情况，影响了使用效果和安全防范效果。
因此，保证视频信号的稳定性便成为优化监控系统的重要方向之一。
本篇文章就将从监控系统中视频稳定技术以及其算法优化研究角度进行论述。
一、监控系统中视频稳定技术1. 图像稳定技术图像稳定技术是对于图像抖动情况的解决方案。
其主要原理是通过前端硬件设备和后端软件处理来对于图像抖动进行校正，以保证视频画面的稳定性，提高观察效果并减轻人眼疲劳度。
在硬件方面主要有电子防抖和机械防抖两种方式，其中机械防抖常用于相机和摄像机等高端设备中，在较为恶劣环境下理性使用的场景，而电子防抖则适合于低端设备的使用，例如手机、平板等。
而在软件方面，则通常采用基于数字信号处理技术的算法，例如梯度变化法、遍历搜索法、模板法等，其中梯度变化法是目前应用较广泛的处理方式之一。
简单来说，梯度变化法通过计算临近区域像素的灰度差值，以确定整个图像最大梯度值，并基于此进行全图像素进行平移矫正。
2. 缓存技术缓存技术则是对于视频播放过程中画面卡顿、跳帧等状况的解决方案。
其主要原理是通过缓存将图像在播放阶段提前加载，以确保能够在较低网络传输速度下保持流畅播放。
而在实际应用过程中，为了提高画面效果和降低延迟，缓存区域常被应用于视频进行特效处理，例如倒放视频等。
二、视频稳定技术算法优化在监控系统中，视频稳定技术的算法优化则是优化监控效果的关键手段之一。
针对旋转和平移的一种电子稳像算法
1 电子稳像原理及其数学模型
电子稳像有两个基本问题, 一个是图像序列帧间运动估
( 1) - sin Η co sΗ y 0 ∃y (x 1 , y 1 ) 、 (x 0 , y 0 ) 、 式中 p 1、 p 0 分别是当前帧和参考帧对 +
= Ρ
co sΗ
sin Η
x0
∃x
( ∃ x , ∃ y ) 是二维平移量, Ρ 是变焦系数 ( 一般为 应的坐标, T 、
收稿日期: 2008201215 作者简介: 杜登崇 ( 19802 ) , 男, 山西孝义人, 博士研究生, 主要研究方向: 光电检测。
1 ) , 描述缩放, R e 是正交的旋转矩阵, Η描述图像的旋转变
j 2Π(ux 0 + vy 0 )
( 4)
- j 2Π(ux 0 + vy 0 ) 式中: F 3 的傅里 1 ( u , v ) 为 F 1 ( u , v ) 的复共轭, e 叶反变换为一个二维脉冲函数 ∆(x - x 0 , y - y 0 ) , 即 - 1 - j 2Π(ux 0 + vy 0 ) ) = ∆( x - x 0 , y - y 0 ) ( 5) p (x , y ) = F (e
Fou rier 反变换所对应的峰值位置来求出它们之间的平移参
从式 ( 8) 中可得到:
)= ,Η M 1 (Θ 1
s2 M 2(
Θ
s
数 (∃ x , ∃ y )。
,Η - Η 0)
( 10)
211 相位相关法估计平移参数
相位相关法是 Fou rier 2 M ellin 变换的基础。相位相关技 术是一种非线性、 基于傅氏功率谱的频域相关技术, 经常被 用来检测两幅图像之间的平移。 它对噪声有较高的容忍度, 检测结果与照度无关, 是一种强鲁棒性的图像匹配方法。 另 外只要图像内容有 1 3 是相似的, 就可找出最佳匹配位置。 假设 f 1 (x , y ) 和 f 2 ( x , y ) 为两个图像信号, 它们满足式