一种快速全局运动补偿编码方法
运动补偿帧差法

运动补偿帧差法运动补偿帧差法是一种用于视频压缩和图像处理的技术,旨在通过预测和补偿帧之间的运动来提高视频质量。
本文将介绍运动补偿帧差法的原理和应用,并讨论其优点和局限性。
1. 概述在视频压缩中,为了减少数据量,可以通过丢弃一些帧来降低带宽要求。
但是,随着帧数的减少,视频的流畅度和细节损失也会增加。
运动补偿帧差法通过对连续帧进行分析,提取图像中物体的运动信息,并利用该信息对当前帧进行预测和补偿,从而减少帧之间的冗余信息,优化视频质量。
2. 运动补偿法的原理运动补偿法的核心是利用帧差计算物体在连续帧之间的位移。
具体步骤如下:步骤一:对相邻的两个帧进行灰度处理,将彩色图像转化为灰度图像。
步骤二:对两个灰度图像进行差分计算,得到帧差图像。
步骤三:对帧差图像进行阈值处理,得到二值图像。
步骤四:对二值图像进行形态学处理,去除噪声。
步骤五:利用连通区域分析,提取物体的位置和运动信息。
步骤六:对当前帧进行预测和补偿。
3. 运动补偿法的应用运动补偿帧差法广泛应用于视频压缩和图像处理领域。
其中,最典型的应用是在视频编码标准中的运动补偿技术。
通过对帧之间的运动进行建模和预测,可以大大降低视频的数据量,提高编码效率。
此外,运动补偿帧差法还被用于视频编辑、视频增强和视频监控等领域。
4. 运动补偿法的优点运动补偿帧差法具有以下几个优点:1) 压缩效率高:通过利用运动信息进行预测和补偿,可以显著减少帧之间的冗余信息,提高压缩效率。
2) 视频质量好:通过运动补偿,可以减少图像的畸变和噪声,提高视频的清晰度和细节还原能力。
3) 节省存储空间:相对于其他压缩算法,运动补偿帧差法可以在不明显降低视频质量的情况下,减少存储空间的占用。
5. 运动补偿法的局限性尽管运动补偿帧差法具有很多优点,但也存在一些局限性:1) 复杂度较高:运动补偿算法需要对连续帧进行分析和计算,计算量大,且对硬件要求较高。
2) 运动估计误差:由于物体的运动具有不确定性和复杂性,运动补偿算法可能存在运动估计误差,导致补偿和预测的不准确。
图像编码中的运动补偿技术解析(二)

图像编码中的运动补偿技术解析在数字图像和视频编码领域,运动补偿是一项非常关键的技术。
其主要目的是利用视频序列中帧间的相关性来消除冗余信息,以实现高效的压缩和传输。
本文将对图像编码中的运动补偿技术进行解析,探讨其原理和应用。
一、什么是运动补偿技术运动补偿技术是指根据图像序列中相邻帧之间的运动信息,将当前帧的像素值表示为参考帧像素值与运动矢量的组合。
该技术通过利用图像间的像素相关性来减少编码时的冗余,从而提高压缩效率。
具体来说,运动补偿技术可以分为全局运动补偿和局部运动补偿两种。
全局运动补偿是指在整个图像中寻找相似的区域,并将其作为参考帧。
这种方法常用于序列中无明显运动的静态图像,如视频通信中背景不变的场景。
通过将当前帧与参考帧进行比较,并计算得到的运动矢量,可以获得差异信息,从而进行编码。
局部运动补偿则是在图像中根据像素的周围上下文来寻找最佳匹配块,并将其作为参考帧。
这种方法常用于序列中包含大量运动的场景,如体育比赛、电影等。
通过将当前帧与参考帧进行比较,并计算得到的运动矢量,可以获得像素的位移信息,从而进行编码。
二、运动估计与补偿的原理运动补偿技术的实现离不开两个关键步骤:运动估计和运动补偿。
运动估计的任务是在参考帧中找到与当前帧最相似的区域,并计算运动矢量。
而运动补偿则是利用运动矢量和参考帧像素值来还原当前帧。
运动估计通常使用的方法包括全搜索法、三步搜索法、块匹配算法等。
其中,全搜索法是一种简单但计算量较大的方法,它对于每个像素点都进行遍历搜索,找到最小的误差值作为运动矢量。
而三步搜索法则是在全搜索法的基础上,通过缩小搜索范围、采用更细粒度的搜索方式来提高运算速度。
块匹配算法则是将图像划分为块,通过比较块之间的像素值差异来寻找最佳匹配。
运动补偿的过程实际上是将当前帧像素值表示为参考帧像素值与运动矢量的组合。
简单来说,利用运动矢量将参考帧中与当前帧相对应位置的像素值复制到当前帧中,即可实现运动补偿。
解析并优化复杂的视频编解码算法

解析并优化复杂的视频编解码算法视频编解码算法是指将视频信号进行压缩编码以便能够更高效地存储和传输的算法。
视频编解码算法通常由两部分组成:视频编码和视频解码。
视频编码的目标是将视频信号转换为更小的数据流,以便能够更高效地存储和传输。
常见的视频编码算法有H.264、H.265等。
这些编码算法通常采用了多种技术来实现高效的压缩,包括运动估计、变换编码、熵编码等。
其中,运动估计通过寻找视频序列中的相似区域来消除冗余信息,变换编码通过对视频序列进行离散余弦变换或小波变换来去除冗余信息,而熵编码通过统计视频序列中的符号分布来实现更高效的压缩。
优化视频编码算法的关键在于提高压缩比率的同时尽量降低失真。
视频解码的目标是将压缩编码的视频数据解码为原始的视频信号。
视频解码算法需要解码压缩数据并恢复出原始的视频序列。
常见的视频解码算法有H.264解码器、H.265解码器等。
这些解码算法通常采用了多种技术来实现高效的解码,包括熵解码、变换解码、运动补偿等。
熵解码通过根据压缩数据中的编码表来解码出符号,变换解码通过对离散余弦变换或小波变换的逆变换来恢复原始的视频序列,而运动补偿通过在解码过程中利用运动向量来恢复出原始的视频序列。
优化视频解码算法的关键在于提高解码速度的同时尽量保持良好的恢复质量。
针对复杂的视频编解码算法,可以从以下几个方面进行解析和优化:1.运动估计算法优化:视频序列中的相邻帧之间通常具有很高的相似性,因此运动估计是视频编码算法中的关键环节之一。
可以通过改进运动估计算法来提高压缩比率和编码质量。
例如,使用更高效的运动估计算法(如全局运动估计、快速运动估计)或使用更精确的运动向量表示方法(如亚像素运动估计、自适应运动估计)来提高运动估计的准确性。
2.变换编码算法优化:变换编码是视频编码算法中另一个关键环节。
可以通过改进变换编码算法来提高压缩比率和编码质量。
例如,使用更高效的变换编码方法(如整数变换编码、低复杂度变换编码)或使用自适应的变换编码方法(如基于内容的变换编码、可变块大小编码)来提高变换编码的效率和质量。
图像编码中的运动补偿技术解析(八)

图像编码在现代通信和媒体传输中起着至关重要的作用。
而在图像编码中,运动补偿技术是一个不可或缺的部分。
本文将对图像编码中的运动补偿技术进行深入解析。
一、引言随着数字图像在通信和传媒领域的广泛应用,对图像质量和传输效率的要求也越来越高。
而高效的图像编码方法可以在保证图像质量的同时,减小图像的传输和存储开销。
而运动补偿技术正是图像编码中的一种重要手段。
二、图像编码基本原理图像编码的基本原理是通过对图像中的冗余信息的剔除,实现图像数据的压缩。
常见的图像编码方法有无损编码和有损编码两种方式。
而运动补偿技术主要应用于有损编码中,通过对图像序列中的帧间冗余进行利用,实现高效的压缩。
三、运动补偿技术的原理运动补偿技术是利用视频序列中的帧间时间相关性,通过将当前帧与之前已编码的参考帧进行比较,从而找到最相似的参考帧,并通过计算差异信息实现图像的编码。
这种差异信息即为运动矢量。
四、运动矢量的计算方法运动矢量的计算方法有多种,常用的有全搜索法和快速搜索法。
全搜索法通过遍历图像序列中的所有可能位置进行比较,从而得到最佳的匹配位置。
而快速搜索法则通过分块的方式将搜索范围缩小,从而减少计算量。
不同的计算方法虽然在速度和精度上有所差异,但都能够实现对运动矢量的准确计算。
五、运动补偿的优势运动补偿技术可以在保证图像质量的同时,减小编码后的数据量。
通过找到图像序列中的冗余信息,可以更好地利用视频帧之间的时间相关性,实现更高效的图像编码。
运动补偿技术在视频会议、实时视频传输等应用中具有广泛的应用前景。
六、运动补偿技术的应用运动补偿技术广泛应用于各种图像编码标准中,如MPEG和等。
这些标准通过对图像序列中的运动进行建模和压缩,从而实现高效的图像编码和解码。
同时,运动补偿技术也在视频储存、视频压缩传输等方面得到广泛应用。
七、运动补偿技术的发展趋势随着计算机性能和存储技术的不断提高,运动补偿技术也在不断发展。
更高效的运动补偿算法和更准确的运动矢量估计方法将进一步提升图像编码的效率和质量。
基于全局运动补偿编码的AVS编码器设计

1 引言
面 向我 国信 息产 业 需求而 制 定 的 A VS标准 , 主 要 服务 于 高分辨 率数 字广 播 、高密度 激 光数 字存储 媒 体 、无线 宽带 多媒 体通 信 、互 联 网宽 带流 媒体 等 重大信 息产 业 的应用 ,是数 字音 视 频产业 的基础 性
提 供 了一种 高效 的 时域模 型 。尽管 如此 ,当宏块 经 历 相似 的运 动 ,如 摄像 头摇 动使 视 频场 景产 生 明显 的线 性 移动 以及 镜 头 的缩 放 或 旋 转 使 得 物 体 发 生 旋 转 、移近 和 移远 、变形 等 比较 复杂 的运 动时 ,利
AVS v d oc d ngb s d o l b l i e o i a e n g o a t n c m p n a i n mo i o o e s to
GO h n . n G i HA J n, UI h. n L U u n NG S e gr g, UO L o , N C j u Z mig, I Q a
龚声蓉 ,郭丽 韩军 崔志明 ,刘全 , ,
( .苏州 大学 计 算机 科学 与技 术 学院 ,江 苏 苏州 250 ;.上海 大学 通 信 与信 息工 程学 院,上海 204 ) 1 106 2 0 44
摘
要 :对全局运动估计算法进行 了改进 的基础上 ,提 出了基于全局运动补偿编码 的编码体 系,并实现 了基于全
标准 。A S 日前 已通过国家标准化管理委 员会审 V 批 ,成 为 推荐 性 国 家标 准 ,第 二部 分 视频 于 20 06 年 3月开始 实施 …。A VS采用 混 合 DP CM/ T视 DC
频编 码 设计模 型 ,运 动估 计和 补偿 采 用通 用 的基于 分块 匹配 的方法 。A VS具有如 下 新 的优 点:首 先 , 计算 复 杂度低 ,适用 于长 方 形视 频 图像和 分块 图像 变 换 ( 离 散 余弦 变 换 ) 如 ;其 次 ,它 给 许 多视 频流
图像编码常用方法介绍(一)

图像编码是一项复杂的技术,用于将图像转换为数字形式,以便在计算机系统中存储和传输。
它在许多应用领域中都有重要的作用,如数字摄影、视频通信和医学图像处理。
本文将介绍一些常用的图像编码方法。
一、基于压缩的图像编码方法1. 无损压缩无损压缩是一种将图像数据压缩至较小大小,同时保持原始图像质量的方法。
在无损压缩中,图像数据被压缩成原始数据的一个完全可逆的表示。
这种方法适用于需要保留图像细节的应用,如医学影像和特殊图像分析。
常用的无损压缩算法包括无损JPEG和无损预测编码。
2. 有损压缩有损压缩是一种将图像数据压缩至较小大小,但会引入一定程度的信息丢失的方法。
它在图像质量和压缩比之间进行权衡,并提供了更高的压缩比。
有损压缩主要用于媒体存储和传输,如数字摄影和视频通信。
目前最常用的有损压缩方法是JPEG、JPEG 2000和WebP。
二、基于变换的图像编码方法1. 离散余弦变换(DCT)离散余弦变换是一种常用的图像压缩方法。
它通过将图像分解为一系列频域成分来压缩图像数据。
这些频域成分经过量化后可以被编码和存储。
JPEG就是基于DCT的一种压缩算法。
DCT压缩保留了图像中的主要信息,但会引入一些失真。
2. 波形编码(Wavelet Coding)波形编码是另一种常用的图像编码方法。
它使用离散小波变换将图像分解成低频和高频系数。
低频系数保留了图像的整体结构和主要特征,而高频系数则捕捉了图像的细节。
这种方法在图像压缩方面具有出色的性能,例如JPEG 2000就是一种基于小波编码的图像压缩标准。
三、基于预测的图像编码方法1. 差分编码(DPCM)差分编码是一种基于预测的图像编码方法。
它利用当前像素的预测值和实际值之间的差异来表示图像数据。
通过对差异进行编码和量化,可以实现图像数据的压缩。
DPCM利用了图像中像素之间的相关性,对于高度相关的图像具有较好的压缩效果。
2. 运动补偿编码(Motion Compensation)运动补偿编码是一种在视频编码中广泛使用的方法。
图像编码中的运动补偿技术解析(五)
图像编码是一种重要的数据压缩技术,它在数字图像传输和存储中发挥着重要的作用。
而图像编码中的运动补偿技术更是其中的核心。
本文将从理论、实现、优化等多个角度,对图像编码中的运动补偿技术进行解析。
1. 运动补偿技术的理论基础运动补偿技术是基于视频序列中帧间的冗余性原理进行设计的。
在连续的视频帧中,相邻帧之间通常存在许多相似的区域,这是因为相机捕捉的图像中的物体在很短的时间内往往只发生微小的位移。
运动补偿技术通过利用这种连续性,来减少冗余数据的传输和存储,从而实现对图像数据的高效压缩。
2. 运动补偿技术的实现方式运动补偿技术的实现方式主要有两种:基于全帧和基于块。
基于全帧的运动补偿技术将整个帧与参考帧进行比较,确定两者之间的位移信息,然后将位移向量进行编码和传输。
而基于块的运动补偿技术将图像帧分割为多个块,每个块与参考帧中对应的块进行比较,计算位移向量,并将位移向量进行编码和传输。
两种方式各有优劣,根据具体的应用场景和需求进行选择。
3. 运动补偿技术的优化方法为了进一步提高运动补偿技术的效率和质量,研究者们提出了各种各样的优化方法。
其中,预测模型的选择、运动矢量的精确度调整、编码算法的改进等都是常见的优化方法。
例如,针对预测模型的选择,可以根据图像序列的特点和内容选择恰当的预测模型,以提高预测的准确性。
又如,在运动矢量的计算过程中,可以使用更为复杂的运动估计算法,如金字塔结构、全局搜索算法等,来获得更精确的运动信息。
这些优化方法的运用,有助于提高运动补偿技术的压缩率和解码图像的质量。
4. 运动补偿技术的应用领域运动补偿技术在图像编码中的应用领域广泛。
在数字电视、视频会议、移动通信等领域中,运动补偿技术可以减少带宽需求,提高传输效率,降低传输成本。
在图像传输和存储领域中,运动补偿技术可以有效地压缩图像数据,减小存储空间的占用,并保持图像质量。
此外,运动补偿技术还被广泛应用于视频编码标准中,如、等。
这些标准通过运动补偿技术的使用,大幅度提升了视频传输和存储的效率。
图像编码常用方法介绍
图像编码是一种将图像数据转换为更高效地存储或传输的方法。
在现代科技发展的背景下,图像编码已经成为我们生活中不可或缺的一部分。
本文将介绍常用的图像编码方法,包括无损编码和有损编码,并简要讨论它们的优缺点。
一、无损编码方法1. 区域编码:区域编码是一种将图像划分为连续区域并分别编码的方法。
常用的区域编码方法有行程编码和连续高斯模型编码。
行程编码以图像中连续相同像素值的行程作为编码单元,通过记录像素值和行程长度来进行编码。
连续高斯模型编码则利用高斯模型对像素值进行建模,将像素的差异编码为高斯分布的参数。
2. 预测编码:预测编码是一种利用图像中像素之间的相关性进行编码的方法。
常用的预测编码方法有差分编码和自适应预测编码。
差分编码将每个像素的值与前一个像素的值进行差分计算,并将差分值进行编码。
自适应预测编码根据图像中像素值的统计特征自适应选择预测模型,从而提高编码效率。
二、有损编码方法1. 变换编码:变换编码是一种通过将图像数据进行变换来提取能量集中的频率系数,进而进行编码的方法。
常用的变换编码方法有离散余弦变换(DCT)和离散小波变换(DWT)。
DCT将图像数据变换为频率域数据,利用频率系数的能量集中性将其进行编码。
DWT则将图像数据分解为不同尺度和频带的小波系数,通过对小波系数进行编码来实现压缩。
2. 预测编码:有损预测编码是一种通过对图像进行预测并对预测残差进行编码的方法。
常用的有损预测编码方法有基于区块的运动补偿编码和基于预测误差统计的编码。
运动补偿编码通过预测当前图像帧的运动向量,并将预测误差进行编码。
基于预测误差统计的编码则通过对预测误差进行统计分析,从而实现压缩。
三、优缺点比较无损编码方法在图像数据的传输和存储过程中能够保持数据的原始精度,不会引入误差,但无损编码的压缩率较低,不能实现高效的图像压缩。
有损编码方法能够实现更高的压缩率,但由于引入了信息的丢失和误差,会对图像质量造成一定程度的损失。
运动补偿算法范文
运动补偿算法范文在视频编码中,运动补偿算法根据当前帧和参考帧之间的运动信息,预测当前帧的像素值。
运动补偿算法主要包含两个步骤:运动估计和运动补偿。
运动估计是指在当前帧和参考帧中寻找最佳的匹配块,以确定当前帧的运动信息。
常用的运动估计算法包括全算法(Full Search Algorithm)、快速算法(Fast Search Algorithm)、三步算法(Three Step Search Algorithm)等。
全算法是最简单但计算量较大的算法,它通过计算当前块与每个候选块之间的均方误差(Mean Square Error),选取最小均方误差的候选块作为最佳匹配块。
然而,全算法需要遍历所有候选块,其计算复杂度较高。
快速算法通过减少范围来降低计算复杂性。
其中一种常用的快速算法是三步算法。
三步算法首先以当前块为中心,在相邻位置得到的最佳匹配块作为候选块;然后,在上一步得到的候选块为中心,以更小的步长得到新的候选块;最后,在上一步得到的候选块为中心,在更小的步长范围内进一步得到最佳匹配块。
全帧补偿是将整个参考帧复制到当前帧中,作为当前帧的预测值。
全帧补偿简单直接,但在运动剧烈的情况下,会导致运动模糊和编码效率低下。
区块补偿是将参考帧中的相应块复制到当前帧中,与当前帧中的块进行加权平均,得到预测值。
区块补偿算法通常使用插值算法(如双线性插值)来获得更加精确的预测值。
除了上述的运动估计和运动补偿算法,还有一些其他的运动补偿技术。
例如,采用分层结构的运动补偿算法能够提高编码效率和解码质量;基于块匹配的运动补偿算法能够提供更加准确的运动估计。
总结来说,运动补偿算法在视频编码和解码中起到了重要作用。
它通过运动估计和运动补偿,提供了准确的运动预测和图像复原,从而实现了视频的高效编码和高质量解码。
一种基于块的分割运动场的帧间编码方法
一种基于块的分割运动场的帧间编码方法
李晓辉;俞能海;刘政凯
【期刊名称】《中国图象图形学报:A辑》
【年(卷),期】1998(3)1
【摘要】提出了一种基于轮廓/纹理的适用于低比特率帧间编码的BBSMF方法。
该方法首先把图象分割成不同区域,对分割后的各个区域用可变尺寸的正方形分块逼近;然后采用运动检测技术分离出运动区域和静止区域,对运动区域进行运动估计,获取运动信息,构造运动场图象;最后对运动场图象进行分割,把分割后区域的轮廓和运动误差均值进行编码。
BBSMF编码方法不论是压缩比,还是恢复图象的信噪比、主观质量,都优于H.261。
文中还对BBSMF编码方法在隔帧编码、背景运动的补偿和预测帧数的选取等方面进行了有益的探讨。
【总页数】6页(P7-12)
【关键词】图象编码;图象压缩;运动补偿;帧间编码;视频编码
【作者】李晓辉;俞能海;刘政凯
【作者单位】中国科学技术大学电子工程与信息科学系
【正文语种】中文
【中图分类】TN941.1;TN919.8
【相关文献】
1.符合H.264标准的一种基于内容的变尺寸宏块分割方法 [J], 陈倩;高新波
2.基于分割块的图像语义分割方法 [J], 曹攀;董洪伟;钱军浩
3.H.264中一种基于码率的块分割模式选择方法研究 [J], 郭建军;戴葵;成运;王志英
4.一种基于图像块分割的图像融合新方法 [J], 张彬;郑永果
5.一种基于图像块分割的多聚焦图像融合方法 [J], 王宏;敬忠良;李建勋
因版权原因,仅展示原文概要,查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
Abstract: GIobaI motion compensation coding is a noveI coding method based on modeIs. Its coding efficiency is higher than that of conventionaI coding method with motion compensation, so it is fit for very Iow bit-rate appIications. But the key technoIogy of gIobaI motion compensation coding is not soIved weII at present, such as gIobaI motion estimation, so gIobaI motion compensation coding has not been appIied wideIy in reaI-time appIications. This paper focuses some research on key probIems of gIobaI motion compensation coding to soIve reaI-time gIobaI motion compensation coding. The new fast method of gIobaI motion estimation is proposed and is used in gIobaI motion compensation coding, thus the speed of gIobaI motion compensation coding is acceIerated. Comparative experimentaI resuIts are shown in the paper. The speed of gIobaI motion compensation coding is improved compared with former method of gIobaI motion compensation coding. Key words: coding; gIobaI motion compensation; motion estimation
2 (1) 在迭代计算时采用 wi =( I"i I + 1 /#) ( / #2 + "2 i) 加 权, 其中# 为残差的标准方差, 当残差 "i 比# 大许多时, 权值
就会很快减小, 这样可以增加算法的鲁棒性, 权值函数图可以 见图 2 .
图2
权值函数 w = ( I" I + 1 /#)
2 ( , / #2 +"2 ) #1 = 2.0, #2 = 3.0
码中的一些关键技术 (全局运动估计) 的计算量比较大, 所以使得全局运动补偿编码还不能在实时应用中得到很好应 用 . 本文就针对全局运动补偿编码中核心技术进行研究, 提出快速全局运动补偿编码算法, 解决全局运动补偿实时编 码问题 . 通过和 MPEG-4 中已有的全局运动补偿编码方法实验比较可以看到本文提出的快速全局运动补偿编码方法 在保证编码效率的同时编码速度得到了很大提高 . 关键词: 编码;全局运动补偿;局部运动补偿;运动估计 TN919.8 文献标识码: A 文章编号: 0372-2112(2001)02-0175-03 中图分类号:
[5, 6] 高带宽的有效利用 . 本文就对全局运动补偿编码中的关
的 . 通常情况下, 背景对象没有自身运动, 由于摄像机运动才 造成了图像序列中的背景变化, 在对这样背景的视频进行编 码时适合采用全局运动补偿编码方法 . 它的基本原理是在编 码时, 首先通过全局运动估计技术计算出相机运动模型的模 型参数, 然后通过运动模型参数进行运动预测, 最后对运动参 数和补偿后的残差进行编码 . 它属于 sprite 编码 的一种 . 从 信息论的观点看, 由于这些在同一场景中拍摄的视频段中每 帧之间的背景图像是相关的, 而全局运动补偿编码就是利用 这些相关性进行编码 . 然而在 MPEG-2 运动补偿方法中只是 利用了相邻帧之间的局部相关性, 而没有考虑背景整体相关 性, 从这一点看全局运动补偿编码要比传统运动补偿方法要 优越 . 由于全局运动补偿编码要通过全局运动估计得到摄像机 的运动模型参数, 而全局运动估计计算量非常大, 所以很难做
A Fast Global Motion Compensation Coding Method
HE Yu-wen, ZHONG Yu-zhuo, YANG Shi-giang
( Computer Science and Technology Department , Tsinghua Uniuersity , Beijing 100084, China )
第2期 2001 年 2 月
电 子 学 报 ACTA ELECTRONICA SINICA
VoI . 29 No. 2 Feb. 2001
一种快速全局运动补偿编码方法
贺玉文, 钟玉琢, 杨士强
(清华大学计算机系, 北京 100084)
摘
要: 全局运动补偿编码是一种基于模型的编码方法, 它可以提高编码效率, 但是目前由于全局运动补偿编
数!, 使得 R ( 取得最小值, 从而得到参数的最佳估计 . 用 !) [3] 可以迭代求 Gauss-Newton 方法或者 Levenberg-Marguadet 方法 通过目标函数 R ( 在该点 解 . 假设在已有第 I 步的参数!I , !) 作泰勒展开来近似 R ( : !) 1 T T ( ( ) R + !( + (! "( I ! !) "R !I ) !I ) !I ) (2) I ! 2 !I 其中 !I 和 "I 分别是 R ( 在 !I 处的梯度矩阵和 Hessian 矩 !) 阵: !I = # T "I = # T I$ I$#I + ! "I , "iwiHiI
[1] 后对残差进行编码, 中 LMC 有两种方式, 一种对 16 MPEG-4 宏块采用一个运动矢量进行预测, 该方式用 X 16 INTER 表
该像素点在前一帧图像中的对应位
置 . 它们的对应关系用六参数仿射参数模型表示:
{
x' i = axi + byi + c y' i = axi + eyi + f
收稿日期: 修回日期: 2000-05-22; 2000-09-08 基金项目: ( No. 863-306-ZT03-09) 863 计划资助项目
[1]
键技术全局运动估计进行了深入研究, 并提出了快速全局运 动估计方法, 从而大大提高了全局运动补偿编码的编码速度 . 本文第二部分将详细讲述快速全局运动补偿编码方法, 第三部 分 利 用 MPEG-4 的 参 考 软 件 平 台 校 验 模 型 ( VM) 和 来 MPEG-4 中已有的全局运动补偿编码算法进行了比较实验, 验证本文算法的改进性能, 第四部分对全局运动补偿实时编 码进行总结, 提出今后待研究的问题 .
图3
全局运动补偿 编码的预测
图1
全局运动补偿 编码过程
(2) 由于微分运算易受噪声影响, 梯度较小时受噪声影响 较大, 所以在图像中梯度小的点的梯度值是不可靠的, 在迭代 计算中可以选取梯度较大的点进行计算, 本文算法是取平均 梯度 1.25 倍和 1.65 倍之间点, 这是从实验统计中得出的 . (3) 用三层金字塔进行快速估计, 在金字塔前两层计算时 采用基于直方图的方法去除外点: 根据当前运动参数进行补 偿后得到残差图像, 然后根据残差图像直方图中 90% 处得到 阈值, 最后就可以去除残差大于阈值的点; 而由于前景区域有 集中性, 所以在三层金字塔计算的最后一层计算时, 采用残差 块的方法去除外点: 首先用初始参数计算残差, 然后将图像分 成 16 X 16 的块, 再计算每个块的残差值 (将该块内所有点残 差相加) , 最后就将块残差较大 (1 / 3 左右) 并且有聚集在一起 (8 连通) 特性的块作为外点整体去除 . !"!"! 全局运动补偿和局部运动补偿方式选择 在全局运动补偿编码中由于既有全局运动, 这是由摄像 机运动引起的, 又有局部运动, 前景物体自身运动, 因此编码 就要有选择性的使用全局运动补偿 ( GMC) 和局部运动补偿 (LMC) , 使得运动估计的残差最小, 以节省码率 . 全局运动补 偿就是使用运动参数进行预测 (图 3) , 而局部运动补偿就是 采用一般 MPEG1 / MPEG-2 中使用的运动预测并进行补偿, 最
i
T [ r1 r2 … rN ] 表示!I 处的残差, #I = # $ 是对角方 "I = " /# !, 阵且 Wii = wi , 如果残差 " 是比较小, "iI 是"i 的 Hessian 矩阵,
那么可以做如下近似: 根据方程 ( "I " # T /# I$#I , #R !) != 0 由 方程 (2) 可以得到: ( (3) #T = - #T I$# I$ !I ) "I I ! 根据方程 (3) 就可以得到 !I 处的增量, 这样就可以求出下一 步参数: , 这样迭代就可以逐步减小目标函数 = + . !I + 1 !I ! !I 全局运动估计是基于密度估计 (最小二乘原理) 的, 对外 点比较敏感, 而图像中既有背景全局运动也有前景物体的局 部运动, 这些局部运动点对于全局运动估计来9; ( x' , 分别表示这当前图像和根据参考帧得 I x, y) y' ) T 到的预测图像, 用 ! =( a , 表 示 参 数 矢 量, b, c, i, e, f) I' ( x' , 是参数矢量 ! 的函数, 则目标能量函数为: ( y' ) R !)=