2数字视频处理重点总结

1.三基色原理：任何一种颜色可以通过三基色按不同比例混合得到。

照明光源的基色系包括红色、绿色和蓝色，称为RGB基色。R+G+B=White 反射光源的基色系包括青色、品色和黄色，称为CMY基色。C+M+Y=Black RGB和CMY基色系是互补的，也就是说混合一个色系中的两种彩色会产生另外一个色系中的一种彩色。

2.HVS(人类视觉系统) -人类获取外界图像、视频信息的工具。

视网膜有两种类型感光细胞：

锥状细胞:在亮光下起作用，感知颜色的色调。含有三种类型的锥状细胞。

杆状细胞:在暗一些的光强下工作，只能感知亮度信息。

3.相加混色法：

1）空间混色法：将三种基色光同时分别投射到同一平面的相邻3点，若3点相距足够近，由于人眼的分辨力有限和相加混色功能，因此，人眼看到的不是基色，而是这三种基色的混合色。

彩色显像管的现象就是利用了空间混色法。

2）时间混色法：按一定顺序轮流将三种基色光投射到同一平面上，由于人眼的视觉惰性和相加混色功能，因此，人眼看到的不是基色，而是这三种基色的混合色。

场顺序制彩色电视就是采用时间混色法以场顺序来传送三种基色信号的。

3）生理混色法：（立体彩色电视的显像原理）

4）全反射混色法：（投影电视的基本原理）

4.彩色电视三种制式：

NTSC制：正交平衡调幅制（采用YIQ彩色空间）

PAL制：正交平衡调幅逐行倒相制（采用YUV彩色空间）

SECAM制：行轮换调频制（采用YDbDr彩色空间）

矢量量化

编码--用二进制数来表示量化后样值的过程

9.量化：（将无限极的信号幅度变换成有限级的数码表示）

量化的用途

1）将模拟信号转换为数字信号，以便进行数字处理和传输

2）用于数据压缩

10.二维采样定理：

若二维连续信号f(x,y)的空间频率u和v分别限制在|u|<=Um、|v|<=Vm （Um、Vm为最高空间频率），则只要采样周期Δx、Δy满足Δx<=1/2Um、Δy<=1/2Vm，就可以由采样信号无失真的恢复原信号。

3.基于多分辨率的运动估计：

1）运动场接近最优解的概率更大；在较小分辨率层上，误差函数可以接近全局最小值，通过插值，获得高分辨率上的初始解，最后到达最大分辨率时，运动场很可能接近最优解。

2）计算量比直接在最大分辨率上进行运动估计时要小；在较小分辨率层上，搜索范围限制在较小的范围。

1.压缩时，视频冗余：

1）空间冗余：相邻像素/行变化小

2）时间冗余：相邻帧变化小，具有相关性

3）结构冗余：图像从大面积上看常存在有相似结构，称之为结构冗余。

4）知识冗余：有些图像的理解与某些知识有相当大的相关性

5）视觉冗余：人眼的视觉系统对于图像的感知是非均匀和非线性的，对图像的变化并不都能察觉出来。

3.预测编码：

利用图像信号的空间或时间相关性，用已传输的像素对当前的像素进行预测，即只对预测值与真实值的差——预测误差进行编码（处理和传输）。

所谓预测编码，就是用信源的前几个符号来预测接下来的符号，用几个符号就称之为几阶预测。

不直接对当前符号进行编码，而是利用相邻符号来预测当前符号，然后对预测误差进行编码。

预测编码主要消除时间冗余和生理冗余。

（1）运动估计

是对运动物体的位移作出估计，即估计出运动物体从上一帧到当前帧的位移方向和位移量，也就是估计出运动矢量。

（2）运动补偿

是按照运动矢量将上一帧作位移基准，求出当前帧的运动结果。对运动物体的补偿后的位移帧差信号以及运动矢量等进行编码传输。

帧间运动补偿原理：

①当前帧在过去帧的窗口中寻找匹配部分，从中找到运动矢量；

②根据运动矢量，将过去帧位移，求得对当前帧的估计；

③将这个估计和当前帧相减，求得估计的误差值；

④将运动矢量和估计的误差值送到接收机端去。

4.变换编码：

将空间域描述的图像经某种变换(如傅立叶变换、离散余弦变换等)，即将空间域分散分布的图像能量变为变换域的相对集中分布，便于用Z字形扫描、自适应量化、变长编码等进一步处理，完成对图像信息的有效压缩。

变换编码主要消除空间冗余。

1.JPEG：

JPEG是联合图象专家组（Joint Picture Expert Group）的英文缩写，是国际标准化组织(ISO)和CCITT联合制定的静态图象的压缩编码标准。

JPEG是目前静态图象中压缩比最高的。

JPEG压缩是有损压缩，它利用了人的视觉系统的特性，使用量化和无损压缩编码相结合来去掉视觉的冗余信息和数据本身的冗余信息。

DCT的特点:

DC分量为子块的平均灰度，系数分布集中在低频端

（1）正交变换具有熵保持性

（2）正交变换具有能量保持性，并能把能量重新分配与集中。

（3）去相关性，可使高度相关的空间样值变为相关性较弱的变换系数，从而

减少空间样值之间冗余度。

四种操作模式：

（1）基于DCT的顺序型操作模式一遍扫描

（2）基于DCT的渐进型操作模式从粗到细多遍扫描

（3）基于DPCM的无损编码操作模式

（4）基于多分辨率编码的操作模式

2.JPEG2000主要特点：（新一代静态图像压缩标准）

(1)高压缩率。与JPEG相比，可修复约30％的速率失真特性。JPEG和JPEG2000在压缩率相同时， JPEG2000的信噪比将提高30％左右；

(2)无损压缩。预测编码作为对图像进行无损编码的成熟方法被集成在JPEG2000中；

(3)渐进传输。JPEG2000可实现以空间清晰度和信噪比为首的各种可调节性，从而实现渐进传输，即具有“渐现”特性；

(4)感兴趣区域压缩。JPEG2000 支持所谓的“感兴趣区域”。

与JPEG的区别：

采用了以小波变换为主的多分辨率编码方式：统一了面向静态图像和二值图像的编码方式：既支持低比率压缩又支持高比率压缩。

3.H.264/AVC新一代视频压缩标准：

根据应用领域不同，制定了不同的算法集合和技术限定，共分为3个档次：基本档（视频会话）、主档（消费电子应用）和扩展档（网络视频流）。

基本档是扩展档的子集，但不是主档的子集。

H.264优点：

（1）更高的编码效率

（2）自适应的时延特性

（3）面向IP包的编码机制

（4）错误恢复功能

（5）开放性

显示顺序：

编码顺序：

I、P、B关系：

图像压缩首先处理I帧图像，然后是P帧，最后在两者的基础上才处理B帧；

IBBPBBP……帧序重排：在编码器端需要对输入图像重新排序，对按显示顺序输入的序列，经过帧序重排后成为按编码顺序排列，然后按I、 P 、 B帧分别进行编码，即图像的显示顺序和编码顺序不相同。

6层数据结构：

图像序列、图像组、图片、切片slice、宏块、块

（1）图像序列层——由连续图像组成，用序列终止符结束；

（2）图像组层——图像组（GOP）由几帧连续图像组成，是随机存取单元，其第一帧总是I帧；

（3）图像层——图像（帧）编码的基本单元，独立的显示单元；

（4）条带层——由一帧图像中的几个宏块组成，主要用于误差恢复；

（5）宏块层——一个宏块由四个8×8的亮度块和两个8×8的色差块组成；

（6）块层——一个8×8的像素区域称为一个块，是最小的DCT单位。

MPEG-4采用了基于对象的编码方案。