视频运动估计
HEVC运动估计快速算法优化及硬件实现
1 引言高效视频编码（HEVC）作为新一代标准，沿用了上一代标准H.264/ AVC的编码框架[1]。
但是针对不同部分，H.265/HEVC都分别提出了新技术。
比如H.264/AVC是以宏块作为编码单元，而在H.265/HEVC中采用了编码树单元（CTU），其往下划分的结构有编码单元（ CU）、预测单元（PU）和变换单元（TU）[2]。
CU的尺寸不再局限于16×16，而可以根据深度划分，从64×64分割到8×8大小。
而在实际编码过程中，计算量最大的是帧间预测部分，这是由于视频图像时间冗余大于空间冗余的特性所造成的。
在模式选择的整个迭代过程中，以运动估计为例，不同尺寸的PU块都需要经过搜索、插值来找到各自最佳的匹配块。
这是一个繁琐且非常耗时的过程。
目前已有很多学者对帧间预测模式选择提出了一些简化算法，文献[3]提出了一种扩展和迭代搜索（S&IS）以及低密度和迭代搜索（LD&IS）的运动估计算法，这种方式因为在遍历每个PU时具有规则的周期数，所以在硬件电路的设计上更加友好，但是运动估计所消耗的周期数受视频序列特点影响大，如果周期数较为固定，可能会对编码性能造成一定影响。
文献[4]提出了用基于运动矢量相似性的运动估计快速终止算法。
利用率宏块内子块运动矢量一致的特点，通过计算排除掉不可能的划分方式，从而达到提前终止运动估计的目的。
文献[5]也是采用基于划分深度的先粗选再细选的搜索方式，但是采用的搜索步长、下采样比例以及搜索方式均和本文不同，且最终结果对编码性能造成比特率增加较大。
文献[6]采用了一种快速中心搜索算法，通过发现一帧图像中，静止宏块、慢速运动宏块和快速运动宏块的比例关系，改变全搜索的遍历顺序，并设置提前终止规则，达到快速中心搜索的目的。
文献[7]采用了一种易于硬件实现的整像素运动估计搜索方式，使用并行聚类树搜索方式同时处理各个PU，并在搜索之后将相同MV候选的PU汇聚成一组，下一次的搜索将以这些组为单位进行统一搜索。
基于视频序列特性的运动估计算法比较与改进
文章编号：1002—8692(2008)S1-0027-03I ，i gi t al vi deo r ]…一……————————————————-——H —…———————————．．．．-—二=二●■■■i ：”基于视频序列特性的运动估计算法比较与改进论文俞呈阳。
周密(宁渡市江北区广播电视中心，浙江宁波315032)【摘要】对比分析了主流H ．264运动估计算法，并针对U M H exagonS 算法提出了更为有效的改进意见。
实验表明，在编码后的失真度损失较小的情况下，该算法比U M H exagonS 算法减少了搜索运算量。
【关键词】H ．264／标准；运动估计；整数搜索；U M H exagonS 算法【中图分类号】TPgl 9．81【文献标识码】AC om pa r i s on a nd I m pr ovem ent of Mot i on E st i m at i on B a se d o nV i de o Seq uenc esC har act er i s t i csY U C heng-yang ，ZH O UM i(Rod 如and Tel evi si on C enter of J i ans b ei D i st ri c t of m n#o Ci ty,Zh ej i ang N i n #o 315032)【A bs t ra ct 】C hi naI n t hi sar ti cle ，are c om pa r ed ，a ndam or e ef f ect i ve i m pr ove m e ntsugge st i ont oU M H exagonS al g or i t hmf or w ar d i spa t ．Exper i m e nt al r esul t s show t h at ，com par e d wi t h U M H exagonS al gor i t hm ，t hepm pos ed me t hod c al ls avesear ch t i m egr ea dy a ndt he P SN R l o s equi t e l i t t le ．【K ey w or ds 】H 264；M E(m ot i on est i m at i on)；f asti nt eger s e ar c h ；UM H exa go nS 1引言综合分析H ．264各个算法模块发现，运动估计模块的计算量在整个H ．264中所占的比例最大(从1个参考帧下的60％到5个参考帧下的80％)Ⅲ。
基于全局运动估计的视频对象分割算法
维普资讯
第 ２ 卷 第 ｌ 期 ８ ６
ＶＯ ． １ ２８
Ｎ Ｏ． １ ６
计 算机 工程 与设 计
Ｃｏ ｐ ｔｒＥｎ ｎ ｅ ｎ ｎ ｓｇ ｍ ｕｅ ｇｉｅ ｒ ｇ ａ ｄＤｅ ｉｎ ｉ
２０ 年 ８ ０７ 月
Ａ ｕ ．２ ０ ｇ ０ ７
ｉ ｉ ｓｄｏ ｓ ｇ ｌ ｖ ｌ ｃ ｍｐ ｓ ｉ Ｓ Ｄ ｓ ｒｓｎｅ ｔ ｔ ｎ ａｅ ｎ ｕａ ａ ｅ ｅｏ ｏ ｉｏ （Ｖ ） ｉｐｅｅ ｔ ．Ｆｒｔ ，ｂｏ ｋ ｔｈｎ ｓｄｔ ｔｉ ｌ ａ ｍｏｉｎｆ ｌ， ａ ｄ ｍａ ｏ ｂ ｎｉ ｒ ｕｄ ｔｎ ｄ ｉｌ ｓｙ ｌｃ ｃ ｉ ｉｕｅ ｏ ａ ｃ ｔ ｅｄ ｎ ｍａ ｇｓ ｏ ｂ ｎ ｏｌ ｏ ｉ
基于全局运动估计的频对象分割算法
王新 卫 ， 周利 莉 ， 张 帆
（ 息工程 大 学， 河 南 郑 州 ４ ０ ０ ） 信 ５ ０ ２
摘 要 ： 频全局 运 动（ 视 摄像 机运 动 ） 表现 的视频序 列之 间的时 间相 关性， 所 较其 它视频 特征 更能表 达视 频序 列的 高层语 义信 息 。为 了能够 有效快 速 的得 到视 频 的全局运 动 ， 通过对 视频 运动估 计 方法 的研 究 ， 出了一种新 的基 于奇 异值分 解（Ｖ ） 提 Ｓ Ｄ 的 视 频全局 运 动估计 算法 。该 方法 首先通 过块 匹配 法得到局 部运 动场 ，利 用矩 阵的 奇异值分解 估计 全局 运动 参数 ，然后运 用 形 态 学运动 滤波得 到前 景运动 目标 的粗略掩 摸 图像 ， 最后 综合 利用 此掩摸 图像和 边缘信 息分割 出运动 目标 。试验 表明 ， 提 出 的算法 能够分割 出具 有全局 运动 特征 的视频 序 列 中的运 动 目标 。 关键 词 ： 匹配 ：全局 运动估 计 ；奇 异值 分解 ；形 态学运 动滤 波；坎 尼 边缘检 测 块 中图 法分类号 ：Ｐ ９ Ｔ３１ 文献标 识码 ： Ａ 文章 编号 ：０ ０７ ２ ２ ０ ） ６３３ —３ １０－０ ４（０ ７ １－９ ７０
视频压缩中运动估计块匹配算法分析与研究
应用。 １运动估计 的基本原理 １１ 动估计 的基本思想 ．运 运动估 计的基本 思想是 将帧 分成 许多 互 不重叠的宏块或其 它大小 的块 ，假设 当前帧中 的象素块 是前一 帧或后一帧 图像 中某个象素块 移动而来 ， 未发生移 动， 或 宏块中的每个 象素 均 做相同的运 动并认为宏块 内所有像素的位移 量 都相同 。 然后根据 匹配准则 。 对当前帧中的每一 块到前一 帧或后一 帧在某一给定搜索范围内找 出与当前 块最相 似的块 ， 即最佳匹配块。 由最佳 匹配块与 当前 块的相对位置计算 出运动位 移 ， 该位移即为当前块 的运动矢量。 １ ． 匹配准则 ２块 块匹配准则是判断块相似程度 的依 据 ， 因 此 匹配 准则 的好坏 直接 影响 了运动 估计 的精 参 考 文 献 度， 也是提高运动估计算法 的速度 的一种途径。 算法采用 比较实用 的绝对误差和 Ｄ 准刚。 Ａ ） 与 的运动矢 量之差 的绝对值都小 于给定 的 Ｉ ｌｅ ｏｇ Ｌ ｕＷｅ ｕ ． ｌｃ — ａ ｅ ａｔ — ｌ ￣ ｎ ｉ． ｉ ｎＢ ｏ ｋ Ｂ ｓｄ Ｆ ｓ ｔ Ｓ Ｍｏ ｉｎ ｔ ｍａｉ ｎ ｌ ｏ ｉ ｈ ｎ ｄ， ｏ ｅ— ２ 常见运动估计搜索算法与分析 阈值 Ｌ ，则认为与 ｃ块相邻 的各块之 间运动 的 ｔｏ Ｅｓｉ ｔｏ Ａ ｇ ｒｔ ｍｓ ｉ Ｖｉ ｅ， Ｃ ｍｐｒｓ ｉ ｍ ｈ ￣ Ａｕ ｕ ｓ ４ １ ９８ ８ １ ． 最 简单 的块 匹 配 运 动估 计 是 全 搜 索 法 相关性较高 ，表明该区域的变化 比较 平缓 。否 ｓｏ Ｔ ｅ ， ｇ ｅ ｔ ２ ． ９ ： — ０ （ｕ ｅｒ ， Ｓ ，它穷尽参考帧搜索窗内所 有 则 。 Ｆ ｌ Ｓａ ｈ Ｆ ） ｌ ｃ 认为与 ｃ块 相邻的各块 之问运动 的相关性 【】 ２叶学兵． 视频 压缩 中运 动估计 的研 究【 】 Ｄ．硕 表明该 区域变化 比较剧烈日 。 士 论 文 ： 化 工 大学 ２ ０ ．１ １ 北京 ０５１： ． ３ 可能的点进行比较 。找 到块匹配运动估计最小 较低 ， ｒ１ 德 宝． 于 Ｈ． ４的 帧 内 与 帧 间预 测 方 法 ３王 基 ２ ６ 的匹配块 。Ｆ 是最 直接的搜索方 法 ， Ｓ 也是精度 ３ Ｄ Ａ 法搜 索模板 的选择 ．ＡＳ 算 ３ 最高的搜索方法。但 运算 量大 ， 占到整个编 Ｄ． 硕 合 ０． ９４ ． ５： 由于 Ａ Ｓ Ｄ Ａ算法搜 索过程 中要判 断搜索 方 研 究 『１ 士 论 文 ： 肥 工 业 大 学２０ ７ ３ —４ ４李戌祯． 频压缩中运动估计 算法的研 究【】 视 Ｄ． 码运算量的 ７ ‰ ９ Ｏ ∞ 。 向并按搜索方 向进行探测 ， 以采用 的搜索 模 ｆ】 所 ＳＳ ２ ０ ．４ ５７ Ｆ ｓ巨大的时问开销 不利于视频实 时编码 式应该具有较强 的方 向性。 Ｄ Ｐ方 向性较强符 太原 理 工 大 学硕 士 论 文 ，０ ８ ： ． ５宗 Ｈ． ６ 朔压 的应用 ， 因此 ， 很多学者研 究并提 出了各种类型 合 这一点被本算法采用 ，同时采用了六边形模 『１ 怡． ２ ４视 ｌｉ 缩 关 键 技 术 的研 究 与 应 用 的快速算法 ： 三步搜索法、 交叉搜索法 、 四步法 、 式 ， 并对其搜索方 向进行 了极化 ： 由六边形搜索 ［Ｉ 士论 文： 大 学 ， ０ ． １． Ｄ． 硕 中北 ２ ８ ：３ ０ ５ 作者简介 ： 郭孝存（ ７ －， 山 东成武人 ， １ ７） ９ 男， 菱形搜索法 、 六边形搜索法等。 这些算法 中菱形 得 出的 Ｓ Ｄ值最小点非 中心点 时 ， Ａ 如果最小点 内蒙 古科 技 大 学信 息 工程 学 院在 读 硕 士 ， 搜索算法性能 比较优越 ，被 国际视频压缩标准 的 Ｙ坐标 与 中心 点 同 ，则 直 接 用 中 心 点 到该 点 讲 师 ， 视 Ｈ２４ ． 标准和 Ｍ Ｅ － 标 准所 采用。六边形搜 的方 向为新 的搜索方 向；否则取与中心点 到该 研 究 方 向 ： 频 图像 压 缩 研 究 。 ６ ＰＧ４ 索算法是菱形搜索法的一种改进算法 ，它将菱 点 的方 向相近似 的 Ｙ 轴方 向为新 的搜索方向。 形搜 索法（Ｓ的大菱形搜 索模式（Ｄ Ｐ改成六 Ｉ） ） Ｌ Ｓ） ３４ Ａ Ａ算法的步骤 ． ＤＳ 第一步 ，根据时空上的相关性确定出当前 边形模式 ， 小菱形搜索模式（ Ｓ ）ｊ Ｓ Ｐ 然保 留。 Ｄ ￣ 改 进 后的优点为 ： 六边形模式 更接近于 以 ２为 块的预测运 动矢量 ， 出初始搜索点并 作为搜 得 半 径的圆 ， 使得搜 索效率更高 ．． Ｌ Ｓ ｂ比 Ｄ Ｐ减少 索中心点 。 第 二步 ，由相关性分析判断 出搜索当前搜 ２个搜索点 。 以上算法 中基本都 是先用 大搜索 模式 在 索块与相邻块之 间的运动相关性 ，如果相邻块 则进入第三步 ； 否则进人第 定范 围内搜索 ， 再用小模式进行 “ 聚焦” 位。 之间的相关性 较低 ， 定 但 是这些算法在背景静止的视频序列 中 ， 其 四步搜索。 尤 是 对那 些 运 动 矢 量 近 乎 为 零 的 块 的运 动 估计 搜 第 三步 ，选择六边形搜索模式搜索匹配计 个 Ａ Ａ 索 ， 在很大的计算冗余， 存 而且对所有 的参考 图 算相应 的 ７ 点的 Ｓ Ｄ值 ，如果最小 Ｓ Ｄ值 像都采用固定 的步长 。无法兼顾对运 动剧烈 的 不在中心 ， 则将该点标记 为准最优 匹配点 ， 进入 否则转入第四步。 图像和变化缓慢 的图像 ：对于运动剧烈的图像 第五步 ， 第 四步 ，选择 Ｓ Ｓ 模式 搜索匹配计算相 ＤＰ 会 出现局部最优 现象 。对于变化缓慢 的图像出 应的５ 个点 的 Ｓ Ｄ值 ，如果最小 Ｓ Ｄ值在 中 Ａ Ａ 现计算冗余现象。
在Matlab中实现运动估计和光流分析的技术
在Matlab中实现运动估计和光流分析的技术引言：运动估计和光流分析是计算机视觉中重要的技术，可以用于跟踪和分析视频或图像序列中的动态对象。
在Matlab平台上，我们可以利用丰富的图像处理和计算工具箱来实现这些技术。
本文将介绍如何在Matlab中使用这些工具箱来进行运动估计和光流分析。
一、背景知识1.1 什么是运动估计？运动估计是指通过分析多个连续的图像或视频帧之间的像素变化来估计物体的动作。
这些像素变化可以由物体自身的运动、相机运动或两者共同引起。
1.2 什么是光流？光流是指在图像序列中每个像素点的运动速度。
通过光流分析，我们可以获得图像序列中物体的运动轨迹。
二、Matlab中的运动估计Matlab提供了几种实现运动估计的算法和函数。
其中最常用的是基于光流的方法和基于块匹配的方法。
2.1 光流估计光流估计是一种通过分析图像序列中像素在时间上的变化来估计其运动轨迹的方法。
Matlab提供了光流估计算法光流法（optical flow）。
使用光流法进行运动估计的过程如下：- 对于连续两帧图像，选择一个像素点，标记为(x1,y1)；- 在下一帧图像中找到对应像素点(x2,y2)；- 通过比较两帧图像中的像素值来计算(x1,y1)和(x2,y2)之间的位移向量；- 重复以上步骤，直到所有像素点都被处理完。
Matlab中的光流估计函数可以通过以下代码调用：```matlabopticFlow = opticalFlowLK;flow = estimateFlow(opticFlow,I);```2.2 基于块匹配的运动估计除了光流法，Matlab还提供了基于块匹配的运动估计算法。
基于块匹配的方法通过将图像分割为小块，然后在连续帧图像中寻找相应的块来估计物体的运动。
使用基于块匹配的方法进行运动估计的过程如下：- 对于连续两帧图像，将其分割为大小相同的块；- 对于每个块，在下一帧图像中寻找与之最匹配的块；- 通过比较两个块之间的相似度来计算运动向量。
如何应对视频编码中的运动模糊问题(二)
如何应对视频编码中的运动模糊问题随着互联网的普及和流媒体技术的进步，我们生活中越来越多的时间都花费在观看各种视频上。
从电视剧到电影，从直播到短视频，我们对于视频质量的要求也越来越高。
然而，由于视频编码中的运动模糊问题，我们经常会遇到画面不清晰、不流畅的情况。
本文旨在探讨如何应对视频编码中的运动模糊问题，并提出一些解决方案。
一、运动模糊问题的原因及表现形式1. 原因：运动模糊是由于视频中的物体在运动过程中导致图像模糊的现象。
在高速运动或摄像机移动的情况下，物体的快速移动会造成图像细节丧失，导致画面模糊。
2. 表现形式：运动模糊通常表现为物体轮廓模糊、图像细节丧失、移动物体的尾状模糊等。
这些现象会对观看体验造成一定的影响。
二、减少运动模糊问题的方法1. 选择适当的帧率：帧率是指每秒钟显示的图像帧数。
提高帧率可以减少运动模糊。
通常情况下，电影使用的帧率为24帧/秒，而电视剧和视频直播则使用的帧率为30帧/秒或60帧/秒。
选择适当的帧率可以在保证流畅度的前提下减少运动模糊问题。
2. 调整快门速度：快门速度是指摄像机曝光时间的长短。
减少曝光时间可以减少运动模糊。
在拍摄高速运动物体时，可以选择更快的快门速度来捕捉清晰的图像。
3. 使用防抖功能：现在很多摄像机都内置了防抖功能。
启用防抖功能可以有效减少由于摄像机抖动而导致的运动模糊问题。
4. 提高编码算法的效率：视频编码中的运动估计和补偿算法是减少运动模糊的关键。
通过改进和优化视频编码算法，可以提高图像的清晰度和流畅度。
5. 增加码率：码率是指视频信号传输时的数据流量。
增加码率可以提高图像的清晰度，从而减少运动模糊问题。
然而，增加码率也会导致网络带宽的消耗增大，需要权衡利弊。
三、解决方案案例分析1. 编码标准：是一种广泛使用的视频编码标准。
它通过多种技术手段减少了运动模糊问题。
其中，运动估计和补偿算法可以提高编码的效率，从而减少运动模糊。
2. HEVC编码标准：HEVC是的继任者，也被称为。
ves评估
ves评估VES（Video Evaluation Standard）是一种对视频质量进行客观评估的指标体系，主要用于评估视频编码和传输质量。
VES评估包括以下几个方面：分辨率、比特率、帧率、压缩编码器效能、视频详细度、运动估计、码率失真表现、变化场景、失真度、编码格式、音视频同步等。
首先，分辨率是用来衡量视频清晰度的一个重要指标。
通常使用像素数量来表示，分辨率越高，视频的细节越丰富，清晰度越高。
在VES评估中，会对视频的分辨率进行检测，以确认视频是否达到了预期的清晰度要求。
其次，比特率是指视频编码过程中每秒传输的数据量。
比特率越高，视频质量越好，但也会造成传输压力增大。
VES评估中会对比特率进行检测，以确认视频是否符合预期的传输质量。
帧率是指视频中每秒显示的图像帧数。
帧率越高，视频显示的动作就越流畅。
在VES评估中，帧率也是一个重要的参考指标，用于评估视频的流畅度和动作表现力。
压缩编码器效能是指编码器在压缩视频时的效率和准确性。
VES评估中，会对不同的编码器进行测试，以确定其在视频压缩方面的表现。
视频详细度是指视频的细节表现能力。
VES评估中，会对视频的细节进行评估，以确定视频的清晰度和细节表现能力。
运动估计是指对视频中的运动进行检测和估计。
VES评估中，会对视频中的运动进行评估，以确定运动估计的准确性和准确性对视频质量的影响。
码率失真表现是指在特定比特率下，视频质量的损失程度。
VES评估中，会对不同比特率情况下的视频质量进行评估，以确定视频的码率失真表现。
变化场景是指视频中场景的变化情况。
VES评估中，会对视频中的场景变化进行检测，以确定视频的场景变化情况对视频质量的影响。
失真度是指视频质量的失真程度。
VES评估中，会对视频的失真度进行评估，以确定视频的失真程度和失真对观看体验的影响。
编码格式是指视频编码时使用的格式。
VES评估中，会对不同的编码格式进行测试，以确定不同格式对视频质量的影响。
svac编解码标准
svac编解码标准SVAC是中国自主研发的安防视频压缩标准，其编解码标准主要基于运动估计和变换编码等技术，具有较高的压缩效率和可靠性。
下面是对SVAC编解码标准的详细介绍。
一、SVAC编解码标准概述SVAC编解码标准是一种针对安防视频应用的高效压缩标准，其主要目标是提供高清晰度、高帧率、低码率的视频压缩效果。
该标准采用了多种技术手段，如运动估计、变换编码、熵编码等，以实现高效的视频压缩。
二、SVAC编解码标准技术1、运动估计运动估计是SVAC编解码标准的核心技术之一。
它通过分析相邻帧之间的像素变化，来预测当前帧的运动向量。
这种预测可以大幅度减少视频数据的大小，从而实现高效的压缩。
2、变换编码变换编码是另一种重要的技术手段。
它通过将视频帧从时域转换到频域，将信号能量集中到少数的几个变换系数上，从而减少视频数据的冗余信息。
这种编码方式可以进一步压缩视频数据的大小。
3、熵编码熵编码是一种无损的压缩编码方式。
它根据视频数据的统计特性，对数据进行编码，以实现数据的高效存储和传输。
三、SVAC编解码标准的优势1、高压缩效率SVAC编解码标准采用了多种技术手段，能够有效地减少视频数据的冗余信息，从而实现高效的压缩。
相较于传统的视频压缩标准，SVAC能够提供更高的压缩效率。
2、高清晰度、高帧率、低码率SVAC编解码标准的目标是提供高清晰度、高帧率、低码率的视频压缩效果。
这意味着在保证视频质量的同时，能够减少存储空间和网络带宽的需求。
3、自主知识产权SVAC是中国自主研发的安防视频压缩标准，具有自主知识产权。
这使得中国在安防领域具有更强的竞争力，也为中国安防产业的发展提供了有力的支持。
视频编码中的运动估计算法探索
视频编码中的运动估计算法探索视频编码是指将连续的视频信号转换为数字形式，以便于存储、传输和处理的过程。
视频编码的核心任务之一是压缩视频数据，以减小文件大小或减少带宽需求。
其中，运动估计是视频编码中一个关键的环节，它能够找到连续视频帧之间的运动信息，并将其利用于压缩算法中。
本文将探索视频编码中常用的运动估计算法及其原理、优缺点以及应用。
一、运动估计的原理及作用运动估计是基于视频序列中的帧间差异进行的。
它通过比较当前帧与参考帧之间的差异来计算运动矢量（Motion Vector，MV）。
运动矢量表示了目标在时域上的运动特征。
在编码时，只需保留运动矢量和差异帧，从而实现视频压缩。
运动估计的作用是找到当前帧与参考帧之间的最佳匹配，以便能够准确描述目标的运动状态。
通过将运动估计的信息传递给解码器，解码器能够使用这些信息来还原出原始视频帧，从而实现视频的连续播放。
二、全局运动估计算法1. 块匹配算法（Block Matching Algorithm，BMA）块匹配算法是最常用的全局运动估计算法之一。
其基本思想是将当前帧划分为若干个块，并在参考帧中寻找与之最佳匹配的块，从而得到对应的运动矢量。
BMA算法简单有效，但在处理快速运动和复杂运动时存在一定的局限性。
2. 平方和差分算法（Sum of Absolute Difference，SAD）平方和差分算法是BMA算法的一种改进。
它通过计算块中像素值的差的平方和来度量差异，从而找到最小差异的块作为最佳匹配。
SAD算法在提高运动估计的精度方面有所帮助，但在速度上相对较慢。
三、局部运动估计算法1. 区域匹配算法（Region Matching Algorithm，RMA）区域匹配算法是一种基于像素的非全局运动估计算法。
它将当前帧的图像划分为不同的区域，并寻找参考帧的区域进行匹配。
RMA算法能够更好地处理复杂运动情况，但计算量和时间复杂度较高。
2. 梯度法梯度法是一种基于局部像素间梯度变化的运动估计方法。
视频基础知识
一．视频基础知识1. 视频编码原理视频图像数据有极强的相关性，也就是说有大量的冗余信息。
其中冗余信息可分为空域冗余信息和时域冗余信息。
压缩技术就是将数据中的冗余信息去掉（去除数据之间的相关性），压缩技术包含帧内图像数据压缩技术、帧间图像数据压缩技术和熵编码压缩技术。
1.1去时域冗余信息使用帧间编码技术可去除时域冗余信息，它包括以下三部分：A．运动补偿:运动补偿是通过先前的局部图像来预测、补偿当前的局部图像，它是减少帧序列冗余信息的有效方法。
B．运动表示:不同区域的图像需要使用不同的运动矢量来描述运动信息。
运动矢量通过熵编码进行压缩。
C．运动估计:运动估计是从视频序列中抽取运动信息的一整套技术。
注：通用的压缩标准都使用基于块的运动估计和运动补偿。
1.2去空域冗余信息主要使用帧内编码技术和熵编码技术：A．变换编码:帧内图像和预测差分信号都有很高的空域冗余信息。
变换编码将空域信号变换到另一正交矢量空间，使其相关性下降，数据冗余度减小。
B．量化编码:经过变换编码后，产生一批变换系数，对这些系数进行量化，使编码器的输出达到一定的位率。
这一过程导致精度的降低。
C．熵编码:熵编码是无损编码。
它对变换、量化后得到的系数和运动信息，进行进一步的压缩。
2. 视频编码解码标准2.1 H.264H.264是国际标准化组织（ISO）和国际电信联盟（ITU）共同提出的继MPEG4之后的新一代数字视频压缩格式，它即保留了以往压缩技术的优点和精华又具有其他压缩技术无法比拟的许多优点。
H.264最大的优势是具有很高的数据压缩比率，在同等图像质量的条件下，H.264的压缩比是MPEG-2的2倍以上，是MPEG-4的1.5～2倍。
举个例子，原始文件的大小如果为88GB，采用MPEG-2压缩标准压缩后变成3.5GB，压缩比为25∶1，而采用H.264压缩标准压缩后变为879MB，从88GB到879MB，H.264的压缩比达到惊人的102∶1。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
梯度下降法
反复使用3×3模板进行 搜索，模板中心处SAD值
最小时结束。
对大运动检测效果不好
四步法
反复使用5×5方形模
板进行搜索。模板中 心处SAD值最小时再用 3×3模板搜索一次， 确定最佳匹配位置。
菱形法
搜索方式与四步法类似，
只是搜索模板换为两个 菱形模板。
六边形法
搜索方式与菱形法类似， 只是大搜索模板换为一 个六边形模板。
背景图像的快速检测
由于一般序列中背景图像占有相当的比例，对
背景图像的快速检测对搜索算法的性能提高很
大。一般有两种作用：
中止判别条件（门限一般设置512左右）
从中心点开始用小模板检测
多预测点搜索
这种方法是根据相邻块运动矢量预测多个 搜索点，在搜索过程中选择预测性能最好 的预测点，通常与小模板搜索方法相结合。 如自适应十字模式搜索（ARPS）及其改进
序列相关性和视觉特性
针对固定模式法的不足，近几年来，人们针对序 列图像的时空相关性和人眼视觉特性，提出了许 多改进算法，主要可分为下面几类： 预测搜索起点 扁平搜索模板 背景图像快速检测 多预测点搜索
预测搜索起点
利用相邻块之间的运动相关性选择一个反映当 前块运动趋势的预测点作为初始搜索点，这个
视频运动估计
1 基本概念 2 方法分类 3 快速算法 4 H264运动估计
1 基本概念
视频图像序列在时间上存在很强的相关性，采用 运动估计和运动补偿技术可以消除时间冗余以提
高编码效率，这种技术广泛用于视频压缩标准，
如H.261/263/264、MPEG-1/2/4。
2 方法分类
全局运动估计 基于象素点的运动估计 基于块的运动估计
基于区域的运动估计
基于网格的运动估计 时域运动估计 频域运动估计（DFT、DCT、DWT）
运动估计的分类
a
全局运动估计
b c
d
基于象素点的运动估计 基于块的运动估计
基于区域的运动估计
运动估计的分类
a b 基于块的运动估计 基于网格的运动估计
块匹配运动估计
Hale Waihona Puke 因算法简单、便于硬件实现得到
广泛应用。
固定模式搜索法的缺点
没有利用图像本身的相关信息，不能根据物体 运动的剧烈程度自适应地改变搜索起点和搜索 半径。 以菱形法为例，对背景图像，也要经历从大模 板到小模板的转换过程，至少需要13个搜索点， 搜索速度还有待改进。 对于运动剧烈的图像，从原点开始搜索时，要 经过多次搜索才能找到匹配点，搜索点过多， 容易陷入局部最优点。
分层或多分辨率法
包含两步：先粗测，再修正。
在较粗糙的分辨率下预测一个接近的大尺 寸的运动矢量，然后在较高的分辨率下进 一步修正。称为分层的或多分辨率的运动 估计快速算法。
缺点：计算过程复杂，内存需求较大。
连续消除法
象素子抽样法
通常的匹配准则是把块里所有的象素点进 行计算和比较，事实上一个块里相邻象素 的差别很小，使得它们之间也存在冗余。
子采样运动估计算法就利用了这一事实，
只取其中的一部分象素进行计算，可大大
减少计算量，但同时降低了准确性。
固定搜索模式法
该方法假设匹配误差随着离全局误差最小 点的距离增加而单调增加。一般从原点开
始，采用固定的搜索模板和搜索策略得到
最佳匹配块。著名算法有：三步法、梯度
下降法、四步法、菱形法、六边形法等。
预测点一般比原点更靠近全局最小点。
从预测点开始搜索可以在一定程度上提高搜索
速度和搜索精度。如预测搜索法（PSA）、自
适应运动跟踪法（AMTS）。
扁平搜索模板
在序列图像中，大多数运动矢量都位于水平 或垂直方向，因此扁平搜索模板（非对称搜 索模板）可以加快搜索速度。如十字菱形搜 索法（CDS）。
因此，研究基于H.264的运动估计快速算法，是H.264标 准走向实时应用的关键。
三步法
第一步，以窗口中心为中心， 步长为4，进行周围8个点搜索； 第二步，以上步最佳匹配点为 中心，步长为2继续搜索；第 三步，步长为1继续搜索，最 后得到最佳匹配点。共搜索25 个点，FS需15×15点搜索。
搜索模板半径依次减半 对小运动检测效果不好 搜索范围大于7时，搜索
步骤不止三步
全搜索法
对搜索区域的所有位置进 行穷尽搜索，精度最高
计算复杂，难以实时处理 必须研究相应的运动估计
快速算法
3 快速算法
分层或多分辨率的快速块匹配方法 基于连续消除的快速块匹配方法 基于象素子抽样的快速块匹配方法 固定搜索模式的快速块匹配方法 基于时空相关性和视觉特性的快速块匹配方法
基于块的运动估计
首先将图像序列帧分成许多互不重叠的宏块，假设宏块 内所有象素的位移量都相同；然后对每个宏块在特定搜 索范围内，根据匹配准则找出与当前块最相似的匹配块； 最后计算相对位移（运动矢量）。视频压缩的时候，只 需保存运动矢量和残差数据。
匹配准则
常见运动估计匹配准则有三种：MAD、MSE和NCCF；MAD没有 乘除运算，实现简便，使用较多。通常使用求和绝对误差 （SAD）代替MAD。
算法。
预测路径选择和并行计算平台至关重要。
4 H264的运动估计
多帧参考 ¼ 象素预测精度 多块尺寸
多帧参考
帧间运动矢量复用
¼ 预测精度
亚象素全搜索法
亚象素快速搜索
多块尺寸
H.264的优势和计算复杂度
在相同的图像质量下，H.264所需码率约为MPEG-2的36%、 H.263的51%、MPEG-4的61%，在很大程度上应归功于运 动估计的这三个新特性。 但是H.264的高性能是以计算复杂度为代价的。以运动 估计为例，1/4象素预测需要大量的象素插值和匹配点 运算，运动估计的计算复杂度还随参考帧和分块方式呈 线性增加。而H.264中参考帧最多支持16个，分块模式 共有7种，极大地增加了处理器的运行负担。