视频编解码-帧内预测和帧间预测
视频编码技术-PPT
1.视频信号的数字化 2.视频文件格式 3.视频压缩编码原理 4.视频压缩标准
学习目标
掌握视频数字化方法 了解视频文件格式 掌握视频压缩编码原理（预测编码、变换编
码、统计编码原理）
理解视频压缩标准（ MPEG标准 ）
3.1 视频信号的数字化
1.视频相关的基本概念
所谓视频（video frequency ），连续的图像变化每秒 超过24帧（frame）画面以上时，根据视觉暂留原理，人 眼无法辨别单幅的静态画面，看上去是平滑连续的视觉效 果，这样连续的画面叫做视频。即视频是由一系列单独的 静止图像组成，其单位用帧或格来表示；
（1）本地影像视频格式
－MOV格式，美国Apple公司开发的一种视频格式，默认 的播放器是苹果的QuickTime Player。具有较高的压缩比率 和较完美的视频清晰度等特点，但其最大的特点还是跨平 台性，即不仅能支持Mac OS，同样也能支持Windows系列。
Avid Media composer非线性编辑软件支持该格式。
同步信号
)
地(色度)
S-Video四芯插头（座）
地(亮度)
2.视频的采集及数字化
视频采集卡的接口
莲花接头
2.视频的采集及数字化
视频采集卡的接口 IEEE1394接口
IEEE1394是一种外部串行总线标准，800Mbps的 高速。1394接口具有把一个输入信息源传来的数据向 多个输出机器广播的功能，特别适用于家庭视听的连接。 由于该接口具有等时间的传送功能，确保视听AV设备 重播声音和图像数据质量，具有好的重播效果。
人眼在观察景物时，光信号传入大脑神经，需经过一段短暂 的时间，光的作用结束后，视觉形象并不立即消失，而能继续保 留其影像0.1-0.4秒左右，这种现象被称为视觉暂留现象。
视频帧的概念
视频帧的概念⼀、视频帧在H264协议⾥，图像以组(GOP，也就是⼀个序列)为单位进⾏组织，⼀个组是⼀段图像编码后的数据流，以I帧开始，到下⼀个I帧结束。
⼀个组就是⼀段内容差异不太⼤的图像编码后⽣成的⼀串数据流。
当运动变化⽐较少时，⼀个组可以很长，因为运动变化少就代表图像画⾯的内容变动很⼩，所以就可以编⼀个I帧，然后⼀直P帧、B帧了。
当运动变化多时，可能⼀个序列就⽐较短了，⽐如就包含⼀个I帧和3、4个P 帧。
1.I帧I帧是帧组的第⼀帧，在⼀组中只有⼀个I帧。
I帧是帧内编码帧，是⼀种⾃带全部信息的独⽴帧，⽆需参考其他图像便可独⽴进⾏解码，可以简单理解为⼀张静态画⾯。
如果传输过程中I真丢失，画⾯最直接的影响就是会卡顿，因为后⾯的帧都⽆法正确解码，只能等待下⼀个GOP。
2.P帧P帧是帧间预测编码帧，需要参考其前⾯的I帧或P帧才能进⾏编码。
P帧没有完整的画⾯数据，只有与其前⼀参考帧的画⾯差别的数据。
与I 帧相⽐，P帧通常占⽤更少的数据位，但不⾜是，由于P帧对前⾯的P和I参考帧有着复杂的依耐性，因此对传输错误⾮常敏感，所以如果P帧丢失，画⾯会出现马赛克现象，因为前向参考帧错误，补齐的并不是真正运动变化后的数据。
3.B帧B帧是双向预测编码帧，也就是B帧记录的是本帧与前后帧的差别。
也就是说要解码B帧，不仅要取得之前的缓存画⾯，还要解码之后的画⾯，通过前后画⾯的与本帧数据的叠加取得最终的画⾯。
B帧压缩率⾼，但解码时很耗CPU资源。
(B帧以前⾯的I或P帧和后⾯的P帧为参考帧，B帧不是参考帧,不会造成解码错误的扩散。
)⼀般来说，I帧的压缩率是7（跟JPG差不多），P帧是20，B帧可以达到50。
虽然B帧压缩率⾼，但是在直播系统中很少使⽤B帧，⼀是因为解码很耗CPU，再就是B帧解码需要等待下⼀个P帧数据，这就会造成解码延时，⽽直播系统对延时要求很⾼，所以⼀般不⽤B帧。
但对于点播系统就不会有这个问题。
⼆、PTS和DTSPTS（Presentation TimeStamp）是渲染⽤的时间戳，也就是说，我们的视频帧是按照 PTS 的时间戳来展⽰的。
音视频编码一些参数解析：码流、码率、比特率、帧速率、分辨率、高清的区别
⾳视频编码⼀些参数解析：码流、码率、⽐特率、帧速率、分辨率、⾼清的区别GOP/ 码流 /码率 / ⽐特率 / 帧速率 / 分辨率GOP(Group of picture)关键帧的周期，也就是两个IDR帧之间的距离，⼀个帧组的最⼤帧数，⼀般的⾼视频质量⽽⾔，每⼀秒视频⾄少需要使⽤ 1 个关键帧。
增加关键帧个数可改善质量，但是同时增加带宽和⽹络负载。
需要说明的是，通过提⾼GOP值来提⾼图像质量是有限度的，在遇到场景切换的情况时，H.264编码器会⾃动强制插⼊⼀个I帧，此时实际的GOP值被缩短了。
另⼀⽅⾯，在⼀个GOP中，P、B帧是由I帧预测得到的，当I帧的图像质量⽐较差时，会影响到⼀个GOP中后续P、B帧的图像质量，直到下⼀个GOP开始才有可能得以恢复，所以GOP值也不宜设置过⼤。
同时，由于P、B帧的复杂度⼤于I帧，所以过多的P、B帧会影响编码效率，使编码效率降低。
另外，过长的GOP还会影响Seek操作的响应速度，由于P、B帧是由前⾯的I或P帧预测得到的，所以Seek操作需要直接定位，解码某⼀个P或B帧时，需要先解码得到本GOP内的I帧及之前的N个预测帧才可以，GOP值越长，需要解码的预测帧就越多，seek响应的时间也越长。
CABAC/CAVLCH.264/AVC标准中两种熵编码⽅法，CABAC叫⾃适应⼆进制算数编码，CAVLC叫前后⾃适应可变长度编码，CABAC：是⼀种⽆损编码⽅式，画质好，X264就会舍弃⼀些较⼩的DCT系数，码率降低，可以将码率再降低10-15%（特别是在⾼码率情况下），会降低编码和解码的速速。
CAVLC将占⽤更少的CPU资源，但会影响压缩性能。
帧：当采样视频信号时，如果是通过逐⾏扫描，那么得到的信号就是⼀帧图像，通常帧频为25帧每秒（PAL制）、30帧每秒（NTSC 制）；场：当采样视频信号时，如果是通过隔⾏扫描（奇、偶数⾏），那么⼀帧图像就被分成了两场，通常场频为50Hz（PAL制）、60Hz（NTSC制）；帧频、场频的由来：最早由于抗⼲扰和滤波技术的限制，电视图像的场频通常与电⽹频率（交流电）相⼀致，于是根据各地交流电频率不同就有了欧洲和中国等PAL制的50Hz和北美等NTSC制的60Hz，但是现在并没有这样的限制了，帧频可以和场频⼀样，或者场频可以更⾼。
ipb帧原理
ipb帧原理
IPB（Inter-picture prediction with bi-directional frames）是一种视频压缩技术，用于视频编码中的预测帧压缩算法。
IPB帧原理是基于帧间预测的概念。
在视频编码中，一个视频序列会被分解成一系列的帧，其中包括I帧（Intra-frame，关键帧）、P帧（Predictive frame，前向预测帧）和B帧（Bi-directional frame，双向预测帧）。
I帧是独立的编码图像帧，不依赖其他帧。
P帧和B帧是通过对前后帧进行预测来编码的。
IPB帧原理中的P帧是通过对前向帧（通常是前一帧）进行预测来进行编码的。
P帧仅存储与前一帧的差异信息，而不需要存储整个帧的像素数据。
这种预测可以通过运动估计算法来实现，找到前一帧中与当前帧最相似的部分，然后使用运动矢量来表示两帧之间的位移。
B帧则是通过对前后帧（通常是前一帧和后一帧）进行预测来编码的。
B帧可以利用前一帧和后一帧之间的相似性来实现更高的压缩率。
通过寻找两个方向的运动估计矢量，可以对当前帧进行更准确的预测。
IPB帧原理充分利用了视频序列中的时间和空间相关性，通过预测帧来减少存储和传输的数据量，实现视频压缩。
这种预测的准确性和效果取决于运动估计算法的性能和编码器的设置。
视频压缩标准
视频压缩标准视频压缩是指通过一定的技术手段，减小视频文件的体积，以便更方便地存储和传输。
在数字化信息时代，视频压缩标准成为了视频编码领域的重要研究内容。
本文将介绍一些常见的视频压缩标准，以及它们的特点和应用。
一、H.264/AVC。
H.264/AVC是一种广泛应用的视频压缩标准，它具有高压缩比和良好的视频质量。
H.264/AVC主要通过帧内预测和帧间预测来实现视频压缩，同时还采用了一系列的编码优化技术，如运动补偿、变换编码和熵编码等。
由于其出色的性能，H.264/AVC在视频会议、数字电视和互联网视频等领域得到了广泛的应用。
二、H.265/HEVC。
H.265/HEVC是H.264/AVC的后继标准，它在保持高质量的同时进一步提高了压缩效率。
H.265/HEVC采用了更加先进的编码技术，如更大的块大小、更多的预测模式和更高效的运动补偿算法等。
相比于H.264/AVC，H.265/HEVC在相同视频质量下可以实现更高的压缩比，这使得它在4K超高清视频和8K超高清视频的编码领域具有重要意义。
三、VP9。
VP9是由谷歌公司推出的开源视频编码标准，它主要应用于WebM视频格式和YouTube视频网站。
VP9采用了一系列创新的编码技术，如更大的预测模式集合、更高效的变换和量化方法等。
与H.264/AVC和H.265/HEVC相比，VP9在保持良好视频质量的同时可以实现更高的压缩比，这使得它成为了互联网视频领域的重要选择。
四、AV1。
AV1是由Alliance for Open Media组织推出的开源视频编码标准，它旨在成为未来互联网视频的主流编码格式。
AV1采用了一系列先进的编码技术，如更大的块大小、更多的预测模式和更高效的变换方法等。
与H.265/HEVC和VP9相比，AV1在保持高质量的同时可以实现更高的压缩比，这使得它在4K超高清视频和8K超高清视频的编码领域具有重要意义。
总结。
视频压缩标准在不断地发展和演进，不同的标准在不同的应用场景中具有各自的优势。
MP4AVC
MP4AVC简介MP4AVC是一种视频压缩编码格式，也被称为MPEG-4 AVC（Advanced Video Coding）。
它是一种被广泛应用于数字媒体的视频压缩标准，旨在提供更高质量的视频和更低的比特率。
MP4AVC是一种基于块的编码方法，该方法使用帧内和帧间预测来减小视频的空间冗余。
通过使用运动矢量预测来移除帧间的冗余信息，并采用离散余弦变换（DCT）和量化方法来减小帧内的冗余。
MP4AVC具有高效的压缩比率和优秀的视频质量，因此被广泛应用于各种领域，包括数字电视广播、视频会议、多媒体应用、在线流媒体和移动通信等。
主要特性高压缩比MP4AVC使用一系列高级技术来实现高效的视频压缩。
其中包括变长编码（VLC）、上下文自适应变长编码（CAVLC）、运动估计和补偿、空间预测和变换编码等等。
这些技术有效地减小了视频数据的体积，提供了出色的压缩比率。
优秀的视频质量尽管 MP4AVC 使用了较高层次的压缩技术，但它仍能提供出色的视频质量。
这一点得益于其使用的运动矢量预测和空间预测方法，以及高级的变换编码技术。
这些技术减少了图像噪点和伪影，从而提高了视频的视觉质量。
现实时间传输MP4AVC非常适合现实时间传输，因为它可以在低带宽网络环境下提供高质量的视频传输。
这对于视频会议、实时监控和在线流媒体等应用非常重要。
平台兼容性MP4AVC是一个通用的视频编码标准，它可以在各种平台上使用，包括桌面计算机、移动设备和嵌入式系统等。
这种平台兼容性使其成为一种非常灵活和广泛应用的视频编码格式。
应用场景数字电视广播MP4AVC已成为数字电视广播领域的主流视频编码标准。
它能够在有限的带宽下提供高质量的视频传输，使用户可以享受到更清晰、更流畅的观看体验。
视频会议MP4AVC在视频会议中也得到广泛应用。
它可以在低带宽网络环境下实现高质量的视频传输，使参与者能够进行清晰、流畅的实时视频通话。
多媒体应用MP4AVC是多媒体应用中常用的视频编码格式之一。
H.265标准的三大技术特性
H.265标准的三大技术特性一．H.265标准的高压缩特性H.265 又称为HEVC(High Efficient Video Coding，HEVC)，是国际标准化组织和国际电联组织正在联合制定的新一代视频压缩标准，主要面向高清数字电视以及视频编解码系统的应用，提供从SQICF(128X96)至4K超高清(7680×4320)不同级别的视频应用。
H.265的目标是编码效率比H.264提高50%，即在同等图像质量条件下，目标码率下降到H.264的50%。
H.265/HEVC的编码架构大致上和H.264/AVC的架构相似，也包含帧内预测、帧间预测、转换、量化、去区块滤波器、熵编码等模块。
为了提高高清视频的压缩编码效率，H.265提出了超大尺寸四叉树编码架构，并采用编码单元(Coding Unit，CU)、预测单元(Predic tUnit，PU)和转换单元(Transform Unit，TU)三个基本单元执行整个编码过程。
在此混合编码框架下，H.265进行了大量的技术创新，例如：基于大尺寸四叉树块的分割结构和残差编码结构、多角度帧内预测技术、运动估计融合技术、高精度运动补偿技术、自适应环路滤波技术以及基于语义的熵编码技术。
CU类似于H.264/AVC中的宏块。
H.264中每个宏块大小都是固定的16×16像素，而H.265的CU可以选择从最小8×8到最大64×64像素。
以图4为例，图中细节不多的区域(如车体的红色部分和地面的灰色部分)划分的CU大而少，编码后的数据较少;而细节多的地方划分的CU较小而多，编码后的数据较多，这样就对图像进行了有重点的编码，提高了编码效率。
PU是进行预测的基本单元。
H.265使用PU来实现对每一个CU单元的预测过程。
PU尺寸受限于其所属的CU，可以是例如64×64像素的方块，也可以是例如64×32像素的矩形。
AVC(H264)是1995年自MPEG-2视频压缩标准发布以后的最新
H.264/MPEG-4 AVC（H.264）是 1995 年自 MPEG-2 视频压缩标准发布以后的最新、最有 前途的视频压缩标准。
H.264 是由 ITU-T 和 ISO/IEC 的联合开发组共同开发的最新国际视频 编码标准。
通过该标准，在同等图象质量下的压缩效率比以前的标准提高了 2 倍以上，因此， H.264 被普遍认为是最有影响力的行业标准。
一、H.264 的发展历史 H.264 在 1997 年 ITU 的视频编码专家组（Video Coding Experts Group）提出时被称 为 H.26L， ITU 与 ISO 合作研究后被称为 MPEG4 Part10 在 （MPEG4 AVC） H.264 或 （JVT） 。
H.264 的高级技术背景 H.264 标准的主要目标是：与其它现有的视频编码标准相比，在相同的带宽下提供更加优秀的 图象质量。
而，H.264 与以前的国际标准如 H.263 和 MPEG-4 相比，最大的优势体现在以下四个方面： 1． 将每个视频帧分离成由像素组成的块，因此视频帧的编码处理的过程可以达到块的级别。
2． 采用空间冗余的方法，对视频帧的一些原始块进行空间预测、转换、优化和熵编码（可变 长编码）。
3． 对连续帧的不同块采用临时存放的方法，这样，只需对连续帧中有改变的部分进行编码。
该算法采用运动预测和运动补偿来完成。
对某些特定的块， 在一个或多个已经进行了编码的帧执 行搜索来决定块的运动向量，并由此在后面的编码和解码中预测主块。
4． 采用剩余空间冗余技术，对视频帧里的残留块进行编码。
例如：对于源块和相应预测块的 不同，再次采用转换、优化和熵编码。
H.264 的特征和高级优势 H.264 是国际标准化组织（ISO）和国际电信联盟（ITU）共同提出的继 MPEG4 之后的新一代 数字视频压缩格式， 它即保留了以往压缩技术的优点和精华又具有其他压缩技术无法比拟的许多 优点。
H264 SVC
GOP border
GOP border
CIF
inter-layer prediction
QCIF
key pictures key pictures
6
interinter-layer prediction
◆由于低层是由高层通过下采样得到的，因此在相 同的时域分辨率情况下，每一个高层帧都有与之 相对应的低层帧，两者之间存在着显而易见的相 关性，我们称之为层间冗余。显然，为了获得更 高的压缩效率，有必要通过各种层间预测技术来 消除层间冗余，这也是空域可伸缩性技术的关键 所在。设计层间预测算法的目的是尽可能利用基 本层的信息提高增强层的编码效率。 ◆inter-layer intra prediction ◆inter-layer motion prediction ◆inter-layer residual prediction
10
参考代码
◆仅有JVSM（ Joint Multiview Video Model） ◆开源软件-有个svc的解码器，但是不支持 windows平台 ◆参考代码复杂度高，可读性差，主要是进 行技术研制的。
11
12
2
◆
SVC
◆ SVC为了能够实现从单一码流中解码得到不同 帧率（时间可分级）、分辨率（空间可分级）和 图像质量（SNR可分级）的视频数据的编码技术。 ◆ H.264 SVC以H.264 AVC 视频编解码器标准为 基础，利用了AVC编解码器的各种高效算法工具， 在编码产生的编码视频时间上（帧率）、空间上 （分辨率）可扩展，并且是在视频质量方面可扩 展的，可产生不同帧速率、分辨率或质量等级的 解码视频。
H264 SVC Scalable Video Coding
AVS视频编码标准的帧间预测算法研究
A V s视频编码标准的帧问预测算法研究张淑娥靳晓鹏(华北电力大学电子与通信工程系河北保定071003)【摘要]介绍A vs视频编码标准的帧间预测技术特点，对帧间预测算法进行分析和研究，为视频帧问编码提供理论依据。
[关键词]A V s帧间编码帧问预测算法中围分类号：TP3文献标识码：^文章编号：167卜7597(2009)011003卜012002年。
国家信息产业部科学技术司批准成立数字音视频编解码技术标准工作组，制定具有自主知识产权的A V s系列信源编码标准，A vS标准为‘信息技术先进音视频编码》系列标准的简称，它包括了系统、视频、音频、版权管理、文件格式、网络传输等从视频压缩技术到系统规范的一整套标准，A vs标准的制定和推广对减轻国内的音视频相关产业的专利费负担以及提升核心竞争力具有极其重要的意义。
与lII)EG．4A V c／H．264的basel i ne profi l e相比，A V s视频增加了B帧i nt e r l a ce等技术，因此其压缩效率明显提高，而与肝BG-4A V C／H．264的∞i n pr of i l e相比，又减少了c A B A c等实现难度大的技术，从而增强了可实现性。
基于AV s标准的上述优点，本文选择对该标准进行研究。
A Vs视频当中具有特征性的核心技术包括：8×8整数变换、董化、帧内预测、四分之一精度像素插值、特殊的帧间预测运动补偿、以及熵编码、去块效应环内滤波等。
一、帧问预涓算法研究A V s标准采用了16×16、16×8、8×16和8×8的块模式进行运动补偿，较少的块模式(相比于肝E G一4A V c／H．264)，能降低运动矢量和块模式编码传输的开销，从而提高压缩效率、降低编解码实现的复杂度。
而A V s采用不同的4抽头滤波器进行半像素插值和四分之一像素插值，在不降低性能的情况下减少了插值所需要的参考像素点，降低了数据存取带宽需求。