第五讲H264压缩编码标准(一).ppt [兼容模式]
视频压缩技术有：MPEG-4、H263、H263+、H264等.doc
MPEG-4视频编码技术介绍
MPEG是“Moving Picture Experts Group”的简称，在它之前的标准叫做JPEG，即“Joint Photographic Experts Group”。当人们用到常见的“.jpg”格式时，实际上正在使用JPEG的标准。JPEG规范了现代视频压缩的基础，而MPEG把JPEG标准扩展到了运动图象。MPEG-4视频编码标准支持MPEG-1、MPEG-2中的大多数功能，它包含了H.263的核心设计，并增加了优先特性和各种各样创造性的新特性。它提供不同的视频标准源格式、码率、帧频下矩形图像的有效编码，同时也支持基于内容的图像编码。采纳了基于对象(Object-Based)的编码、基于模型(Model-based)的编码等第二代编码技术是MPEG-4标准的主要特征。
H.263+视频压缩标准
1.ITU-T在H.263发布后又修订发布了H.263标准的版本2，非正式地命名为H.263+标准。它在保证原H.263标准核心句法和语义不变的基础上，增加了若干选项以提高压缩效率或改善某方面的功能。原H.263标准限制了其应用的图像输入格式，仅允许5种视频源格式。H.263+标准允许更大范围的图像输入格式，自定义图像的尺寸，从而拓宽了标准使用的范围，使之可以处理基于视窗的计算机图像、更高帧频的图像序列及宽屏图像。为提高压缩效率，H.263+采用先进的帧内编码模式；增强的PB-帧模式改进了H.263的不足，增强了帧间预测的效果；去块效应滤波器不仅提高了压缩效率，而且提供重建图像的主观质量。为适应网络传输，H.263+增加了时间分级、信噪比和空间分级，对在噪声信道和存在大量包丢失的网络中传送视频信号很有意义；另外，片结构模式、参考帧选择模式增强了视频传输的抗误码能力。
h264芯片
h264芯片H.264芯片，也被称为AVC（Advanced Video Coding），是一种视频压缩标准，被广泛应用于视频编码和解码设备中。
以下是关于H.264芯片的1000字介绍：第一部分：H.264芯片的背景和概述（200字）H.264是一种视频压缩标准，由国际电信联盟（ITU）和国际标准化组织（ISO）共同开发。
它被认为是当前最先进的视频压缩技术之一，具有卓越的压缩性能和视频质量。
H.264芯片是实现H.264视频编码和解码功能的专用芯片，其设计和优化旨在提高视频传输和存储的效率。
第二部分：H.264芯片的工作原理（300字）H.264芯片通过采用一系列算法和技术，将视频信号压缩为更小的比特流，以减少数据量并提高传输效率。
在视频编码方面，H.264芯片使用了多种技术，包括运动补偿、变换和量化等。
运动补偿技术通过在连续的视频帧之间检测和预测移动物体的位置，从而减少重复信息的传输。
变换技术将视频信号从时域转换为频域表示，以便更好地进行压缩。
量化技术通过减少视频信号的精度和细节，以减少比特流的大小。
在视频解码方面，H.264芯片将接收到的压缩比特流转换为可视的视频帧。
它通过反向过程解压缩比特流，恢复出原始视频信号。
解码过程主要包括解码器的控制、解码过程和图像恢复等步骤。
H.264芯片通常会集成在视频编码和解码设备中，如数字摄像机、视频会议系统和流媒体服务器等。
第三部分：H.264芯片的应用领域（300字）H.264芯片被广泛应用于多个领域，其中包括数字媒体领域、通信领域和安全领域。
在数字媒体领域，H.264芯片常用于数字摄像机和网络摄像机等设备，用于实时视频传输和存储。
它可以提供高质量的视频效果，并减少存储空间和带宽消耗。
在通信领域，H.264芯片被广泛应用于视频会议系统、手机和IP电话等设备，用于实时视频通信。
它可以提供更流畅和清晰的视频通话体验。
在安全领域，H.264芯片还可以用于视频监控系统和安防设备，实现高效的视频压缩和存储。
H.264与其它标准的比较
H.264是ITU-T VCEG和ISO/IEC MPEG的联合小组（JVT：Joint Video Team）于2003年3月正式颁布的标准，同时被收录为MPEG-4的第10部分，称为AVC （Advanced Video Coding）。
H.264制定的目标是提供一种比已存标准性能更高的视频编码标准，主要体现为较高的编码效率、友好的网络交互性和精简的语法表示。
基于此目标， H.264使用了两层编码结构，其中视频编码层（VCL：Video Coding Layer）实现对视频内容的高效压缩编码，采用了典型的基于离散余弦变换（DCT）和运动补偿（MC）的混合编码方法：将图像划分成小块进行编码；利用空域预测和变换技术去除数据的空间冗余；利用运动估计和补偿技术，去除数据的时间冗余；对残差块施行量化和熵编码，进一步去除冗余。
另外，网络抽象层（NAL：Network Abstraction Layer）负责对压缩数据打包以适应在不同网络环境下传输的要求。
此外，为了获得更高的压缩效率，H.264中引入了许多新的编码方法，具有一些新的特性：对于I帧编码，提供了多种基于空域的帧内预测模式，包括4×4亮度块的9种预测模式，16×16亮度块的4种预测模式，以及8×8色度块的4种预测模式；在运动估计和补偿方面，运用了7不同大小和形状的像素块，四分之一步长精度的运动搜索方法，多参考帧选择模式，去块斑滤波等；在变换方面，用整数4× 4和8×8（high profile）变换取代传统的浮点DCT变换；包含了两种熵编码方法，基于上下文的变长编码（CAVLC：Context Adaptive Variable Length Codes），和基于上下文的二进制算术编码（CABAC：Context-based Adaptive Binary Arithmetic Coding）。
视频编码 MPEG2 MPEG4 DIVX Xvid H264 VC1封装格式MKV AVI RMVB MPG TS解析
视频编码 MPEG2 MPEG4 DIVX Xvid H264 VC1封装格式MKV AVI RMVB MPG TS解析先简单说一下，mkv和avi的格式只是封装容器，里面封装的是视频流+音频流。
容器不会影响画面质量，影响质量的是容器里面封装的什么东西。
所以你换换容器，而里面的东西不换的话，对清晰度字幕音频等是没有影响的。
补充一下视频基础知识吧，可能有不对的地方。
一，首先说，视频格式并不能决定清晰度。
影片的清晰度一要看分辨率，二要看片源，三要看码率。
当然有些特定的格式决定了自身的清晰度。
但是有一点是确定的，一个电影采用同一种视频编码，越清晰的体积越大。
目前视频都是由音频流+视频流组成。
格式只是封装容器，例如rmvb，mkv，avi，mpg，ts等等。
常见的视频流有MPEG2，MPEG4，H264，VC1等等，MPEG2是比较老式的视频编码，压缩率很低。
MPEG4是比较新的编码，常见于DVD影片等等，压缩率一般，最新的MPEG4视频编码是Xvid，还有比较老的DivX.H264（X264是H264的一种）是新生的视频编码，常见于高清视频中，压缩率高，但是要求计算机的计算能力也高，对计算机的配置要求较高。
VC1是微软推出的新一代视频编码，跟H264差不多。
根据压缩率的比较，同一个电影，同样的清晰度，MPEG2的体积>MPEG4>H264=VC1.但是压缩率越高，对计算机的要求也越高。
二，说一下几种常见的封装容器（即格式）1.rmvb，rmvb这种格式方便之处在于体积小，不能修改的内置字幕（也是rmvb 的硬伤，经常见rmvb上的广告和一些不得体的字幕等等）。
但体积和rmvb的视频编码（real9.0）决定了rmvb不会太清晰，分辨率只有（640-800）*（272-500），码率也只有4-5MB/分钟。
也许有人说了，在我电脑上看rmvb很清晰啊，当然有可能，一般17寸纯平显示器的分辨率为1024*768，如果rmvb达到720*300的分辨率，看着就比较清晰了。
H.265视频编码标准简介
H.265H.265是ITU-T VCEG正在规划中的视频编码标准，期望在2008-2010期间推出。
其目标是给音视频服务提供更好的视频编码方法。
音视频服务包括会话式和非会话式音视频服务。
其中会话式音视频服务包括视频会议和可视电话，非会话式音视频服务包括流媒体、广播、文档下载、媒体存储/播放和数字摄像机。
H.265标准围绕着现有的视频编码标准H.264，保留原来的某些技术，同时对一些相关的技术加以改进。
新技术使用先进的技术用以改善码流、编码质量、延时和算法复杂度之间的关系，达到最优化设置。
视频编码标准的发展会更加适应各种类型的网络，比如，internet、LAN、Mobile、ISDN、GSTN、H.222.0、NGN等网络。
具体的研究内容包括：提高压缩效率、提高鲁棒性和错误恢复能力、减少实时的时延、减少信道获取时间和随机接入时延、降低复杂度等。
传输码率要求和图像解析度H.263可以1.3~1.8Mbps的传输速度实现标准清晰度广播级数字电视（符合CCIR601、CCIR656标准要求的720*576）；而H264由于算法优化，可以低于1Mbps 的速度实现标清数字图像传送；H265相比h264进步更为明显，可以实现利用1~2Mbps的传输速度传送720P（分辨率1280*720）普通高清音视频传送。
H.265会有哪些进展？在运动预测方面，下一代算法可能不再沿袭“宏块”的画面分割方法，而可能采用面向对象的方法，直接辨别画面中的运动主体。
在变换方面，下一代算法可能不再沿袭基于付立叶变换的算法族，有很多文章在讨论，其中提请大家注意所谓的“超完备变换”，主要特点是：其MxN的变换矩阵中，M大于N，甚至远大于N，变换后得到的向量虽然比较大，但其中的0元素很多，经过后面的熵编码压缩后，就能得到压缩率较高的信息流。
关于运算量，H.26?的压缩效率比MPEG-2提高了1倍多，其代价是计算量提高了至少4倍，导致高清编码需要100GOPS的峰值计算能力。
【知识点】H264,H265硬件编解码基础及码流分析
【知识点】H264,H265硬件编解码基础及码流分析前⾔⾳视频开发需要你懂得⾳视频中⼀些基本概念,针对编解码⽽⾔,我们必须提前懂得编解码器的⼀些特性,码流的结构,码流中⼀些重要信息如sps,pps,vps,start code以及基本的⼯作原理,⽽⼤多同学都只是⼀知半解,所以导致代码中的部分内容虽可以简单理解却不知其意,所以,在这⾥总结出了当前主流的H.264,H.265编码相关的原理,以供学习.1. 概览1.1. 为什么要编码众所周知,视频数据原始体积是巨⼤的,以720P 30fps的视频为例,⼀个像素⼤约3个字节,如下所得,每秒钟产⽣87MB,这样计算可得⼀分钟就将产⽣5.22GB。
数据量/每秒=1280*720*33*3/1024/1024=87MB因此,像这样体积重⼤的视频是⽆法在⽹络中直接传输的.⽽视频编码技术也就因运⽽⽣.关于视频编码原理的技术可以参考本⼈其他⽂章,这⾥不做过多描述.1.2. 编码技术经过很多年的开发迭代,已经有很多⼤⽜实现了视频编码技术,其中最主流的有H.264编码,以及新⼀代的H.265编码,⾕歌也开发了VP8,VP9编码技术.对移动端⽽⾔,苹果内部已经实现了如H.264,H.265编码,我们需要使⽤苹果提供的VideoToolbox框架来实现它.1.3. 编码分类软件编码(简称软编)：使⽤CPU进⾏编码。
硬件编码(简称硬编)：不使⽤CPU进⾏编码，使⽤显卡GPU,专⽤的DSP、FPGA、ASIC芯⽚等硬件进⾏编码。
优缺点软编：实现直接、简单，参数调整⽅便，升级易，但CPU负载重，性能较硬编码低，低码率下质量通常⽐硬编码要好⼀点。
硬编：性能⾼，低码率下通常质量低于硬编码器，但部分产品在GPU硬件平台移植了优秀的软编码算法（如X264）的，质量基本等同于软编码。
iOS系统中的硬编码苹果在iOS 8.0系统之前，没有开放系统的硬件编码解码功能，不过Mac OS系统⼀直有，被称为Video ToolBox的框架来处理硬件的编码和解码，终于在iOS 8.0后，苹果将该框架引⼊iOS系统。
H264熵编码具体算法
CAVLC即基于上下文的自适应变长编码。CAVLC的本 质是变长编码，它的特性主要体现在自适应能力上， CAVLC可以根据已编码句法元素的情况动态的选择编码中 使用的码表，并且随时更新拖尾系数后缀的长度，从而获 得极高的压缩比。H.264标准中使用了CAVLC对4*4模块的 亮度和色度残差数据进行编码。
解析除拖尾系数外的非零系数的幅值level1确定后缀长度suffixlength2根据码流查表96得到前缀levelprefix3根据前缀和后缀得到levelcodelevelprefixsuffixlengthlevelsuffix4levelcode为偶数levellevelcode22levelcode为奇数levellevelcode125根据设定的阈值确定是否updatesuffixlegth6cavlc与uvlc比较在相同码率的情况下用cavlc编码的psnr的值高于用uvlc编码的psnr的值并且随着比特率的增加cavlc的优势更加明显h264avc68cavlc基于上下文自适应的可变长编码69cabac基于上下文的自适应二进制算术熵编码610码率控制611去方块滤波612其余特征cabac1
∴经查表可知码流为0000100 ∴code=0000100
4.3 编码每个拖尾系数的符号 对于每个拖尾系数(±1)只需要指明其符号，
其符号用一个比特表示(0表示+ ，1表示-)。编 码的顺序是按照反向扫描的顺序，从高频数据 开始。 例：设有一个4*4块数据（假定NC=0）
0 3 -1 0
0 -1 1 0
0 3 -1 0 0 -1 1 0
1000
0000 ∴TotalZeros=3 又∵TotalCoeffs(非零系数的数目)=5 ∴查表可得码流为111 ∴code=0000100 011 1 0010 111
H264（NAL简介与I帧判断）
H264（NAL简介与I帧判断）1、NAL全称Network Abstract Layer, 即⽹络抽象层。
在H.264/AVC视频编码标准中，整个系统框架被分为了两个层⾯：视频编码层⾯（VCL）和⽹络抽象层⾯（NAL）。
其中，前者负责有效表⽰视频数据的内容，⽽后者则负责格式化数据并提供头信息，以保证数据适合各种信道和存储介质上的传输。
因此我们平时的每帧数据就是⼀个NAL单元（SPS与PPS除外）。
在实际的H264数据帧中，往往帧前⾯带有00 00 00 01 或 00 00 01分隔符，⼀般来说编码器编出的⾸帧数据为PPS与SPS，接着为I帧……如下图：2、如何判断帧类型（是图像参考帧还是I、P帧等）？NALU类型是我们判断帧类型的利器，从官⽅⽂档中得出如下图：我们还是接着看最上⾯图的码流对应的数据来层层分析，以00 00 00 01分割之后的下⼀个字节就是NALU类型，将其转为⼆进制数据后，解读顺序为从左往右算，如下:（1）第1位禁⽌位，值为1表⽰语法出错（2）第2~3位为参考级别（3）第4~8为是nal单元类型例如上⾯00000001后有67,68以及65其中0x67的⼆进制码为：0110 01114-8为00111，转为⼗进制7，参考第⼆幅图：7对应序列参数集SPS其中0x68的⼆进制码为：0110 10004-8为01000，转为⼗进制8，参考第⼆幅图：8对应图像参数集PPS其中0x65的⼆进制码为：0110 01014-8为00101，转为⼗进制5，参考第⼆幅图：5对应IDR图像中的⽚(I帧)所以判断是否为I帧的算法为：（NALU类型 & 0001 1111） = 5 即 NALU类型 & 31 = 5⽐如0x65 & 31 = 5帧格式H264帧由NALU头和NALU主体组成。
NALU头由⼀个字节组成,它的语法如下:+---------------+|0|1|2|3|4|5|6|7|+-+-+-+-+-+-+-+-+|F|NRI| Type |+---------------+F: 1个⽐特.forbidden_zero_bit. 在 H.264 规范中规定了这⼀位必须为 0.NRI: 2个⽐特.nal_ref_idc. 取00~11,似乎指⽰这个NALU的重要性,如00的NALU解码器可以丢弃它⽽不影响图像的回放,0～3，取值越⼤，表⽰当前NAL越重要，需要优先受到保护。
avs与H264比较
一、H.264和AVS的背景H.264/MPEG-4AVC是I TU-T的VCG（Video Coding Experts Group）和ISO/IEC的MPEG(Moving Picture Experts Group)联合开发的新一代视频编码标准。
应用范围包括可视电话、视频会议等。
H.264的主要特色就是极大得提高了压缩率，是MPEG-2及MPEG-4压缩效率的一倍以上。
H.264核心技术与之前标准相同，仍采用基于预测变换的混合编码框架，但是在细节的实现上有很大不同，就是细节上的改进导致压缩效率极大得提高。
而且新一代视频编码标准H.264具有良好的网络适应性和容错等特点。
AVS的诞生可以说是一个历史的机遇，面对H.264以及MPEG-2等标准高额的专利费，我国数字视频产业面临严重挑战。
加上我国致力于提高国内数字音视频产业的核心竞争力，由国家信息产业部科学技术司于2006年6月批准成立了“数字音视频编解码技术标准工作组”，联合国内从事数字音视频编解码技术研发的科研机构和企业，针对我国音视频产业的需求，提出了我国自主知识产权的信源编码标准―――《信息技术先进音视频编码》系列标准，简称AVS(audio video coding standard).自主的AVS标准在技术和性能上处于国际先进水平，如果抓住这次机遇，我国在技术－专利－标准－芯片－系统－产业这个产业链上，就有可能具有全面的主动权。
二、H.264和AVS核心技术分析及对比H.264和以前的标准一样，还是采用的混合编码的框架，AVS视频标准采用了与H.264类似的技术框架，包括变换、量化、熵编码、帧内预测、帧间预测、环路滤波等模块。
他们核心技术的不同包括以下几点：（1）变换和量化H.264对残差数据采用基于块的变换编码，去除原始图像的空间冗余，使图像能力集中在小部分系数上，直流系数值一般来说是最大的，这样可以提高压缩比、增强抗干扰能力。
先前标准一般采用DCT变换，这种变换的缺点是会出现失配现象，原始数据经过变换和反变换恢复后会有一个差值，由于是实数运算计算量也比较大。
h264是什么视频文件格式？
通DVD相当，5Mbps左右)?难道DVD的MPEG-2压缩技术真 落伍了，导致用很大的数据量来压制，反而效果上还比 不上数据量比它小很多的H2
64?问题1：低码率的H264对硬件要求高，一般的电脑配 置根本看不了，看DVD则是P3就够了问题2：真正的H264 分辨率是720P、1080
I、1080P三种，没有960540的，转压后的H264质量和原 版的没法比，原版的H264是胶片转压的，不是蓝光或 DVD转的，网上的哪些95
宽图像快速传输已成为视频压缩的两大难题。为此 IEO/IEC/和ITU-T两大国际标准化组织联手制定了新一代视 频压缩标准H.264。H.264
和以前的标准一样，也是DPCM加变换编码的混合编码模 式。但它采用“回归基本”的简洁设计，不用众多的选 项，获得比MEPG-4好得多的压缩性能;
H.264加强了对各种信道的适应能力，采用“网络友好” 的结构和语法，有利于对误友和丢包的处理;H.264应用目 标范围较宽，可以满足不同速率、
h264是什么视频文件格式?H.264是MPEG-4标准所定义的 最新格式，同时也是技术含量最高、代表最新技术水平 的视频编码格式之一，有的也称
AVC(高级视频编码)，是一种视频压缩标准。是一种被广 泛使用的高精度视频的录制、压缩和发布格式。H.264的 硬件应用-HD-DVD/蓝光(B
lu-ray)DVD论坛(DVDForum)和蓝光光盘协会(BlurayDiscAssociation)正在讨论能支持高清晰(HighDe
不同解析度以及不同传输(存储)场合的需求。在技术上， H.264标准中有多个闪光之处，如统一的VLC符号编码， 高精度、多模式的位移估计，基于4
块的整数变换、分层的编码语法等。这些措施使得H.264 得算法具有很高的编码效率，在相同的重建图像质量下， 能够比H.263节约50%左右的码率