数字视频压缩编码

数字视频压缩编码
参考书：《数字视频编码技术原理》 高文 科学出版社
数据压缩的必要性
庞大的数据量要求人们必须对数据进行压 缩 例：存储一幅352×288的静态真彩色图像 需要的存储空间：
352×288×3B=304.13kB 真彩色色彩深度24bit，即3个字节
例：计算1分钟视频所需的存储空间。分辨 率为352×288，每秒25帧，不含音频数据
1 i 0, 0 j 7 8 Cij i ( 2 j 1) 1 cos 1 i 7, 0 j 7 16 2
CC T C T C I
C满足正交矩阵性质
右图为8×8DCT 基本图像。任何 8×8图像块都可 以用基本图像与 变换系数乘积的 组合来表示。 DCT系数矩阵左 上 角 系 数 y00 对 应空间直流分量， 称 为 DC 系 数 ， 其他63个对应交 流分量，称为 AC系数。
混合编码
JPEG
MPEG
运动补偿（帧间预测）
视频编码技术
主流的编码技术是以宏块为单位进行编码， 将每帧图像划分成若干宏块，按照从上到 下，从左到右的顺序对每个宏块进行处理。
预测
变换
量化
扫描
熵编码
视频压缩关键技术流程图
预测编码
预测编码是消除视频冗余的重要编码工具 之一，针对空间冗余有帧内预测编码 （intra-prediction），对于时域冗余有基 于运动估计技术的帧间预测编码（interprediction）。 预测编码利用信号间的相关性，用前面一 个或多个信号作为当前信号的预测值，对 当前信号的实际值与预测值之差进行编码。
M i M ;
N j N
当 MAD(i, j) 达到最小时，两个像素块匹配。此时运动矢 量为MV（i，j）。 均方差准则（MSE）也是常用准则
N*N样块 Cij为当前块， Rij为参考块
举例
当前帧3×3像素块，与参考帧相同位置（0，0） 和紧 临位置（-1，1），（0，1），（1，1），……，
预测模型 设 t N 时刻之前的样本 x N 1与预测值之间的关系 x 2 ，„， 值 x1 ， 呈现某种函数形式 N 1 ˆN ai xi 线性预测编码器 x
i 1
非线性预测编码器
帧内预测编码
在图像数据压缩中，常用如下几种 线性预测方案： ˆ N xN 1 前值预测，即 x 一维预测，即采用同一扫描行中前面已 知的若干个样值来预测 x ˆN 二维预测，即不但用同一扫描行中的前 面几个样值，而且还要用以前几行扫描 行中样值来预测 x 举例如下 ˆN
当前块与（0，0）块MSE
最佳匹配块搜索方法
完全搜索：对搜索窗每一位置，计算 SAE 快速搜索：减少完全搜索操作，压缩性 能较差
三步搜索（TSS）； 对数搜索；交叉搜索； 最临近位置搜索；分级搜索；…… 亚像素运动估计
由整数位置的图像数据采用滤波器产生半像素图 像，可 作为参考图像
X是待编码（或解码）像素，如帧处理按光栅顺序，那么它的相邻像素 A, B和 C是已经编码（或解码）得到的。编码器用已编码像素的组合来预测X， 然后对预测值与实际值的残差进行编码。解码器用同样的预测方法加上解 码得到的残差来重构像素。 编码像素 P(X) = (2A + B + C)/4 残差 R(X) = X – P(X) ，对残差编码并传送. 解码器解码 R(X) 并进行同样的预测: P(X) = (2A + B + C)/4 重构像素 X = R(X) + P(X)
在如上图的实例中，可以看出：经过 DCT 变换后， 64 个样值仍然得到 64 个系数，没有压缩；但是，经过量化之后大多数高频分量的系数变为 0， 量化的结果是去掉了人眼不太敏感的高频分量，降低了码率。
熵编码
利用信源的熵进行码率压缩的编码方法称 为熵编码。 视频编码常用的熵编码
变长编码(VLC)：为出现概率大的符号分配短码 字，为出现概率小的符号分配长码字。代表为哈 夫曼编码。 算术编码(AC)：为整个输入符号序列分配一个码 字。H.264采用基于上下文自适应二元算术编码 (CABAC)。
帧内预测编码
DPCM系统的基本原理
和发 接收端恢复的输出信号 xN 送端输入的信号 xN 的误差是
xN ( x ) xN x eN eN ˆN eN ˆN eN xN xN xN
可见，输入输出信号之间的误差 主要是由量化器引起的。
帧内预测编码
冗余的类型
视觉冗余
人眼的视觉特性
知识冗余
先验知识和背景知识
结构冗余
指视频图像中存在很强的纹理结构或自相似性
去除冗余的方法
空间冗余的消除
基于预测的方法：帧内预测 正交变换的方法
时间冗余的消除
基于预测的方法：帧间预测
编码冗余的消除
熵编码
数据压缩的方法
无损压缩
帧内预测编码
帧内预测利用图像在空间上相邻像素之间 具有相关性的特点，由相邻像素预测当前 块的像素值，可以有效的去除块间冗余。
帧内预测包含多个预测方向，按照图像本 身的特点选择一个最佳的预测方向，最大 限度地去除空间冗余。
帧内预测编码
DPCM系统的基本原理
DPCM(Differential Pulse Code Modulation，差分脉冲编码调制)
IDCT：8×8 DCT系数阵列Fx,y→8×8图像块
只有DC DCT系数
DC + 2低频AC
DC系数+全部DCT系数
量化
变换后的量化是降低数据表示精度的过程 量化可分成矢量量化和标量量化两种
矢量量化是对一组数据联合量化 标量联合独立量化每一个输入数据
量化是一种有损压缩技术，量化后的视频 图像不能进行无损恢复，源图像与重建图 像之间的误差，称为失真。 失真是量化步长的函数。
自然图像运动估计实例
当前帧 参考帧
自然图像运动估计实例
残差帧（无运动补偿） 残差帧（运动补偿）
运动补偿预测示意图
采用块匹配算法进行运动估值
摄像机所摄取的景物的运动可能是十分复杂的， 精确对每个像素进行运动估值是十分困难的。 在许多情况下物体上的各个像素均做相同的运动， 这时只需估计其整体的运动就可以了。
量化
量化矩阵(可在图像层改变) 量化因子(1～112)(可在宏块层修改)
帧内默认矩阵
帧间默认矩阵
扫描：
将二维变换量化系数重新组织为一维系数序列
帧图像的DCT系数分布 （按非零系数可能性画图）
场图像的DCT系数分布（对照帧图像， 左侧有更多的非零系数，这是由于场图 像在垂直方向有更强的高频分量）
304.13kB×25×60=456195kB=445.5MB
数据压缩的可能性
– 能够对多媒体信息进行压缩的前提就 是因为数据中存在大量的冗余，尤其 是声音和图像； – 数据压缩的目的就是尽可能的消除这 些冗余；
冗余的类型
在静态图像中存在空间冗余
一幅图像中有较大的背景区域，在此区域中所 有的点具有相近的物理特性（亮度、颜色等）， 这种空间的连贯性就称为空间相关或空间冗余。
编码流程
图像分割成宏块(MB)，以宏块为单位进行 编码。 由码率控制模块根据宏块特性和当前比特 分配情况决定采用帧内编码或帧间编码 若采用帧内编码，采用频域或空域预测， 预测残差进行变换和量化处理。 若采用帧间编码，进行运动估计，获得运 动矢量，将预测残差进行变换和量化处理。
块匹配算法：对每个编码帧宏块中的 16×16 亮度块，在参Байду номын сангаас考帧中一定搜索范围内，搜索与它最相似的亮度块 —— 匹 配块，并根据匹配块与它的坐标差，确定运动矢量。
像 块 匹 配 程 度 的 判 定 常 采 用 平 均 绝 对 差 准 则 （ MAD ， Mean Absolute Difference），来衡量像素值与预测值的 差异程度。在搜索范围内按下式求帧间像素块亮度差的绝 对值的平均值。 1 16 16 MAD(i, j ) f k 1 (m i, n j ) f k (m, n) 256 m1 n1
编码框架
基于块的混合编码框架(block-based hybrid coding framework)：采用基于运 动补偿的时域预测去除时间冗余，采用基 于块的变换编码去除空间冗余，使用熵编 码去除前面两步生成数据中的信息熵冗余。 目前所有主流的视频编码标准都采用该整 体框架。
混合编码框架
离散余弦变换（DCT，Discrete Cosine Transform） 考虑到空间相关性只在一定范围内存在，变换是 以块为单位进行的，采用8×8块。 设由8×8像素组成的像素块用矩阵X表示，变换 后的系数块用矩阵Y表示，则： T Y CXC 正向DCT T 反DCT X C YC 其中C表示8×8的DCT矩阵，CT是其转置矩阵
帧间预测编码
运动图像邻近帧中的场景存在着一定的相 关性，因此，可为当前块搜索出在邻近参 考帧中最相似的预测块，并根据预测块的 位置，得出两者之间的空间位置的相对偏 移量，即运动矢量。 通过搜索得到运动矢量的过程称为运动估 计。 根据运动矢量，从指定的参考帧中找到预 测块的过程称为运动补偿。
在视频序列中存在时间冗余
视频序列中相邻的帧往往包含相同或类似的背 景和运动物体，只不过运动物体所在的空间位 置略有不同。这种相邻帧间数据的高度相关性 就称为时间冗余。
冗余的类型
信息熵冗余
信息熵冗余也称为编码冗余，由香农定理可知， 为表示图像数据的一个像素点，只要按其熵的大 小分配相应的比特数即可。而对于实际图像数据 的每个像素，在图像获取时很难得到它的熵，因 此，一般是对每个像素采用相同的比特数来表示， 这样就必然存在冗余，这种冗余称为信息熵冗余。