协议软件部培训PPT-H264视频编解码技术
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
协议软件部培训PPTH264视频编解码技术
2020/8/13
•目标 •重点 •培训内容 •参考资料
2020/8/13
目录
2
2
培训目标 1. 掌握视频信息和视频编码的相关概念 2. 理解H.264编解码器的工作原理和关键算法 3. 掌握主流的H.264开源编解码器的架构和实现 4. 掌握H.264视频数据RTP传输封包格式
2020/8/13
3
3
1. 视频信息特点和格式
培训重点
2. 视频编码的相关术语和概念
3. 视频编码标准H.263、H.264
4. H.264编解码器的工作原理和关键过程
5. H.264开源编码器X264、解码器FFMPEG架构和实现
6. H.264视频数据RTP传输封包格式
2020/8/13
4
4
• 视频信息特点 1. 直观性 2. 确切性 3. 高效性 4. 广泛性 5. 高带宽性
2020/8/13
12
12
培训内容
• 视频编码标准发展简史
1995年，ITU-T推出H.263标准，用于低于64Kbps的低码率视频 传输，如PSTN信道中可视会议、多媒体通信等。1984年和2000 年又分别公布了H.263+、H.263++等标准。 1999年12月份，ISO/IEC通过了“视听对象的编码标准”--MPEG4，它除了定义视频压缩编码标准外，还强调了多媒体通 信的交互性和灵活性。
如果亮度分量用Y表示，色度用Cb，Cr表示，则由大量实验得出： Y=0.299R+0587G+0.114B Cb=0564(B－Y) Cr=0.713(R－Y)
2020/8/13
7
7
取样
4:2:0，在水平和垂直清晰度方面，Cb 和Cr 都是Y 的一半。
4:2:2，这时彩色分量和亮度分量具有同样的垂直清晰度，但水平清晰度彩 色分量是亮度分量的一半。
1988年，ISO/IEC信息技术联合委员会成立了活动图像专家组（ MPEG，Moving Picture Expert Group）。1991年公布了 MPEG-1视频编码标准，码率为1.5Mbps，主要应用于家用 VCD的视频压缩；1994年11月，公布了MPEG-2标准，用于 数字视频广播（DVB）、家用DVD的视频压缩及高清晰度 电视（HDTV）。
9. 详见《预研报告》中的阐述说明。
2020/8/13
培训内容
9
9
• 视频编解码的概念
视频编解码系统的基本结构：
培训内容
2020/8/13
10
10
培训内容
• 视频编解码的概念
根据采用信源模型，视频编码可以分为两大类： 基于波形的编码 利用像素间的空间相关性和帧间的时间相关性，采用预测编码和变换编 码技术可大大减少视频信号的相关性，从而显著降低视频序列的码率， 实现压缩编码的目标。 H.263、 H.264、H.320、H.323都属于基于波形的 编码。
基于内容的编码 先把视频帧分成对应于不同物体的区域，然后对其编码。具体说来，即 对不同物体的形状、运动和纹理进行编码。MPEG-4采用的编码方法就 既基于块的混合编码，又有基于内容的编码方法。
2020/8/13
11
11
培训内容
• 视频编码标准发展简史
1984年，CCITT第15研究组发布了数字基群电视会议编码标准 H.120建议。
2003年3月，ITU-T和ISO/IEC正式公布了H.264视频压缩标准， 不仅显著提高了压缩比，而且具有良好的网络亲和性，加强了 对IP网、移动网的误码和丢包的处理。
2020/8/13
13
13
培训内容
• 视频编码标准H.263 – 技术背景
1. H.263是由ITU-T制定的视频会议用的低码率视频编码标准，属 于视频编解码器。H.263最初设计为基于H.324的系统进行传输 （即基于公共交换电话网和其它基于电路交换的网络进行视频 会议和视频电话）。后来发现H.263也可以成功的应用于H.323 （基于RTP/IP网络的视频会议系统），H.320（基于综合业务数 字网的视频会议系统），RTSP（流式媒体传输系统）和SIP（ 基于因特网的视频会议）。
1988年，CCITT通过了“p×64Kbps（p＝1,2,3,4,5,,,,30）”视像编 码标准H.261建议，被称为视频压缩编码的一个里程碑。
1986年，ISO和CCITT成立了联合图像专家组（JPEG，Joint Photographic Experts Group），研究连续色调静止图像压缩 算法国际标准，1992年7月通过了JPEG标准。
4:4:4 ，Y、Cb 和Cr 具有同样的水平和垂直清晰度，在每一像素位置，都有 Y，Cb 和Cr分量，即不论水平方向还是垂直方向，每4个亮度像素相应的有 4个Cb和4个Cr色度像素。
4:2:0
4:2:2
4:4:4
2020/8/13
Y Cb Cr
8
8
• 视频编码的相关术语
1. 场和帧 2. 片和宏块 3. 片组 4. 档次和级 5. SP和SI 6. SPS和PPS 7. 图像序列号（POC） 8. RBSP和SODB
6. 详见《预研报告》中的阐述说明。
培训内容
2020/8/13
5
5
培训内容
• 视频信息格式
➢ 视频信号的取样有两种： 1. 时间取样： 运动图像可由每秒若干帧静止图像构成，我国
采用的PAL制彩色视频规定每秒25帧，美日等采用的NTSC 制彩色视频则为每秒30帧。这种取样方式即时间取样。 2. 空间取样： 在同一视频信号帧中，同一行由若干取样点构 成，这些取样点称为像素，这种取样就属于空间取样。 ➢ 常用彩色视频格式： 亚QCIF - 96×128 QCIF - 144×176 CIF - 288×352 4CIF - 576×720
2020/8/13
6
6
培训内容
• 视频信息格式
➢ 彩色空间
• RGB 任何彩色图像可由不同比例的红色、绿色和蓝色组合而成，即三基色原理 。这种表示彩色图像的方法即RGB彩色空间。
• YCbCr(YUV) 人类视觉系统（HDV）对亮度比彩色更敏感，因此可以把亮度信息从彩色 信息分离出来，并使之具有更高的清晰度，彩色信息的清晰度较低些，可 显著压缩带宽，实现视频压缩的一部分，人的感觉却没有不同。
2020/8/13
•目标 •重点 •培训内容 •参考资料
2020/8/13
目录
2
2
培训目标 1. 掌握视频信息和视频编码的相关概念 2. 理解H.264编解码器的工作原理和关键算法 3. 掌握主流的H.264开源编解码器的架构和实现 4. 掌握H.264视频数据RTP传输封包格式
2020/8/13
3
3
1. 视频信息特点和格式
培训重点
2. 视频编码的相关术语和概念
3. 视频编码标准H.263、H.264
4. H.264编解码器的工作原理和关键过程
5. H.264开源编码器X264、解码器FFMPEG架构和实现
6. H.264视频数据RTP传输封包格式
2020/8/13
4
4
• 视频信息特点 1. 直观性 2. 确切性 3. 高效性 4. 广泛性 5. 高带宽性
2020/8/13
12
12
培训内容
• 视频编码标准发展简史
1995年，ITU-T推出H.263标准，用于低于64Kbps的低码率视频 传输，如PSTN信道中可视会议、多媒体通信等。1984年和2000 年又分别公布了H.263+、H.263++等标准。 1999年12月份，ISO/IEC通过了“视听对象的编码标准”--MPEG4，它除了定义视频压缩编码标准外，还强调了多媒体通 信的交互性和灵活性。
如果亮度分量用Y表示，色度用Cb，Cr表示，则由大量实验得出： Y=0.299R+0587G+0.114B Cb=0564(B－Y) Cr=0.713(R－Y)
2020/8/13
7
7
取样
4:2:0，在水平和垂直清晰度方面，Cb 和Cr 都是Y 的一半。
4:2:2，这时彩色分量和亮度分量具有同样的垂直清晰度，但水平清晰度彩 色分量是亮度分量的一半。
1988年，ISO/IEC信息技术联合委员会成立了活动图像专家组（ MPEG，Moving Picture Expert Group）。1991年公布了 MPEG-1视频编码标准，码率为1.5Mbps，主要应用于家用 VCD的视频压缩；1994年11月，公布了MPEG-2标准，用于 数字视频广播（DVB）、家用DVD的视频压缩及高清晰度 电视（HDTV）。
9. 详见《预研报告》中的阐述说明。
2020/8/13
培训内容
9
9
• 视频编解码的概念
视频编解码系统的基本结构：
培训内容
2020/8/13
10
10
培训内容
• 视频编解码的概念
根据采用信源模型，视频编码可以分为两大类： 基于波形的编码 利用像素间的空间相关性和帧间的时间相关性，采用预测编码和变换编 码技术可大大减少视频信号的相关性，从而显著降低视频序列的码率， 实现压缩编码的目标。 H.263、 H.264、H.320、H.323都属于基于波形的 编码。
基于内容的编码 先把视频帧分成对应于不同物体的区域，然后对其编码。具体说来，即 对不同物体的形状、运动和纹理进行编码。MPEG-4采用的编码方法就 既基于块的混合编码，又有基于内容的编码方法。
2020/8/13
11
11
培训内容
• 视频编码标准发展简史
1984年，CCITT第15研究组发布了数字基群电视会议编码标准 H.120建议。
2003年3月，ITU-T和ISO/IEC正式公布了H.264视频压缩标准， 不仅显著提高了压缩比，而且具有良好的网络亲和性，加强了 对IP网、移动网的误码和丢包的处理。
2020/8/13
13
13
培训内容
• 视频编码标准H.263 – 技术背景
1. H.263是由ITU-T制定的视频会议用的低码率视频编码标准，属 于视频编解码器。H.263最初设计为基于H.324的系统进行传输 （即基于公共交换电话网和其它基于电路交换的网络进行视频 会议和视频电话）。后来发现H.263也可以成功的应用于H.323 （基于RTP/IP网络的视频会议系统），H.320（基于综合业务数 字网的视频会议系统），RTSP（流式媒体传输系统）和SIP（ 基于因特网的视频会议）。
1988年，CCITT通过了“p×64Kbps（p＝1,2,3,4,5,,,,30）”视像编 码标准H.261建议，被称为视频压缩编码的一个里程碑。
1986年，ISO和CCITT成立了联合图像专家组（JPEG，Joint Photographic Experts Group），研究连续色调静止图像压缩 算法国际标准，1992年7月通过了JPEG标准。
4:4:4 ，Y、Cb 和Cr 具有同样的水平和垂直清晰度，在每一像素位置，都有 Y，Cb 和Cr分量，即不论水平方向还是垂直方向，每4个亮度像素相应的有 4个Cb和4个Cr色度像素。
4:2:0
4:2:2
4:4:4
2020/8/13
Y Cb Cr
8
8
• 视频编码的相关术语
1. 场和帧 2. 片和宏块 3. 片组 4. 档次和级 5. SP和SI 6. SPS和PPS 7. 图像序列号（POC） 8. RBSP和SODB
6. 详见《预研报告》中的阐述说明。
培训内容
2020/8/13
5
5
培训内容
• 视频信息格式
➢ 视频信号的取样有两种： 1. 时间取样： 运动图像可由每秒若干帧静止图像构成，我国
采用的PAL制彩色视频规定每秒25帧，美日等采用的NTSC 制彩色视频则为每秒30帧。这种取样方式即时间取样。 2. 空间取样： 在同一视频信号帧中，同一行由若干取样点构 成，这些取样点称为像素，这种取样就属于空间取样。 ➢ 常用彩色视频格式： 亚QCIF - 96×128 QCIF - 144×176 CIF - 288×352 4CIF - 576×720
2020/8/13
6
6
培训内容
• 视频信息格式
➢ 彩色空间
• RGB 任何彩色图像可由不同比例的红色、绿色和蓝色组合而成，即三基色原理 。这种表示彩色图像的方法即RGB彩色空间。
• YCbCr(YUV) 人类视觉系统（HDV）对亮度比彩色更敏感，因此可以把亮度信息从彩色 信息分离出来，并使之具有更高的清晰度，彩色信息的清晰度较低些，可 显著压缩带宽，实现视频压缩的一部分，人的感觉却没有不同。