H.264_PPT
合集下载
协议软件部培训PPT-H264视频编解码技术
2021/7/14
培训内容
• 视频编码标准H.263 – 协议结构
H.263有效载荷头定义了三种格式（模式A、模式B和模式C）。在模式A 中，在实际压缩H.263视频比特流之前存在4字节的H.263有效载荷头。 这样允许在GOB边界有分段。在模式B中，使用的是8字节的H.263有效 载荷头，且每个数据包从MB边界开始，没有PB帧选项。最后，模式C中 使用的是12字节的H.263有效载荷头，采用PB帧选项支持在MB边界的帧 分段。
4:4:4 ，Y、Cb 和Cr 具有同样的水平和垂直清晰度，在每一像素位 置，都有Y，Cb 和Cr分量，即不论水平方向还是垂直方向，每4个亮 度像素相应的有4个Cb和4个Cr色度像素。
4:4:4
4:2:0
4:2:2
Y Cb Cr
2021/7/14
• 视频编码的相关术语
1. 场和帧 2. 片和宏块 3. 片组 4. 档次和级 5. SP和SI 6. SPS和PPS 7. 图像序列号（POC） 8. RBSP和SODB
协议软件部培训PPTH264视频编解码技术
2021年7月14日星期三
•目标 •重点 •培训内容 •参考资料
2021/7/14
目录
培训目标 1. 掌握视频信息和视频编码的相关概念 2. 理解H.264编解码器的工作原理和关键算法 3. 掌握主流的H.264开源编解码器的架构和实
现 4. 掌握H.264视频数据RTP传输封包格式
1988年，ISO/IEC信息技术联合委员会成立了活动图像专家 组（MPEG，Moving Picture Expert Group）。1991年 公布了MPEG-1视频编码标准，码率为1.5Mbps，主要 应用于家用VCD的视频压缩；1994年11月，公布了 MPEG-2标准，用于数字视频广播（DVB）、家用 DVD的视频压缩及高清晰度电视（HDTV）。
培训内容
• 视频编码标准H.263 – 协议结构
H.263有效载荷头定义了三种格式（模式A、模式B和模式C）。在模式A 中，在实际压缩H.263视频比特流之前存在4字节的H.263有效载荷头。 这样允许在GOB边界有分段。在模式B中，使用的是8字节的H.263有效 载荷头，且每个数据包从MB边界开始，没有PB帧选项。最后，模式C中 使用的是12字节的H.263有效载荷头，采用PB帧选项支持在MB边界的帧 分段。
4:4:4 ，Y、Cb 和Cr 具有同样的水平和垂直清晰度，在每一像素位 置，都有Y，Cb 和Cr分量，即不论水平方向还是垂直方向，每4个亮 度像素相应的有4个Cb和4个Cr色度像素。
4:4:4
4:2:0
4:2:2
Y Cb Cr
2021/7/14
• 视频编码的相关术语
1. 场和帧 2. 片和宏块 3. 片组 4. 档次和级 5. SP和SI 6. SPS和PPS 7. 图像序列号（POC） 8. RBSP和SODB
协议软件部培训PPTH264视频编解码技术
2021年7月14日星期三
•目标 •重点 •培训内容 •参考资料
2021/7/14
目录
培训目标 1. 掌握视频信息和视频编码的相关概念 2. 理解H.264编解码器的工作原理和关键算法 3. 掌握主流的H.264开源编解码器的架构和实
现 4. 掌握H.264视频数据RTP传输封包格式
1988年，ISO/IEC信息技术联合委员会成立了活动图像专家 组（MPEG，Moving Picture Expert Group）。1991年 公布了MPEG-1视频编码标准，码率为1.5Mbps，主要 应用于家用VCD的视频压缩；1994年11月，公布了 MPEG-2标准，用于数字视频广播（DVB）、家用 DVD的视频压缩及高清晰度电视（HDTV）。
【PPT实用技巧】在PowerPoint2013插入支持的视频和音频格式
在PowerPoint2013插入支持的视频和音频格式在 PowerPoint 2013 中，您可以插入和播放许多不同的视频和音频文件格式。
为获得佳视频播放体验，建议您使用通过 H.264 视频（也称为 MPEG-4 AVC）和 AAC 音频进行编码的 .mp4 视频。
对于音频，建议使用通过 AAC 音频进行编码的 .m4a 文件。
对于 PowerPoint Web App，也建议使用这些格式。
下面表格显示了可在 PowerPoint 中使用的视频和音频文件类型。
如果您在 PC 上安装了其他视频和音频解码器，则 PowerPoint 也可能支持其他文件类型。
要点某些旧版本的视频文件格式可能无法在 Windows RT PC 上的Office 中正确压缩或导出。
请使用 H.264 和音频编码 (AAC) 等PowerPoint 2013 RT 支持的现代媒体格式。
支持的视频文件格式要点Adobe Flash 在 Windows RT PC 上的 Office 中不可用。
支持的音频文件格式注释有关本文中提到的非 Microsoft 产品的性能或可靠性，我们不提供任何担保。
即使您的音频或视频文件可能具有上述所列出的相同的文件扩展名，如果未安装正确的编解码器版本，或者该文件未以您的 Microsoft Windows 版本可识别的格式进行编程，则可能无法正常播放。
大多数情况下，成功的媒体播放依赖于 PowerPoint 具有正确的文件格式分隔器、视频数据解码器和音频数据解码器。
有关常见的编解码器的详细信息，包括在何处可以获得它们，请参阅关于编解码器的常见问题、使用编解码器或使用 Windows Media 编解码器对音频和视频编码。
高清视频会议系统PPT
高清视频会议系统
中电飞华通信股份有限公司 2008年8月
0
内容
一、概述
二、系统的优势及特点
三、系统的技术要求
四、系统的组成
五、系统功能 六、汇报总结
1
一、概述
目前国网公司各级单位已有视频会议系统大多为几年
前所建设的标清视频会议系统，随着各项视频技术的发展，
高端DSP芯片的日趋成熟以及人们对会议中音、视频质量 需求的日益增长，对视频、声音质量以及周边设备的集成 配合程度等各方面均提出了更高的要求。
会议画面切换
导演控制
语音激励
主席控制
自动轮询
22
4.5 配套设备
9
会议室内可方便的增加音视频输入、输出设备；
2.4 一体化
整体系统均采用高清技术标准，包括MCU （含MCU
配套的网闸、会议及网络管理软件、桌面接入网关）、
视频会议终端、录播服务器及相关配套设备等； 高清矩阵、中控系统、高清监视器等高清视频会议
配套设备与视频会议终端设备完美融合，使参会者充分 享受高清视频效果；
系统除了可以处理高质量音视频以外，还能同时处理多种高级
应用，比如可以同时使用H.264高级编码、H.235数据加密、H.239双 视频流功能，让特色功能之间没有任何限制，真正实现丰富的应用
7
2.2 稳定性
整体系统设备支持7*24小时开机； MCU及视频会议终端为纯硬件产品及专用
操作系统 ； 系统中各组成部分均经过长时间市场的严
视频采集终端
为获得高分辨率图像，需要配置16:9标准支持真实高清（720p及以上） 的摄像头。
视频显示终端
高清视频显示器（液晶、等离子或投影仪）必须支持最低为720p的 水平分辨率。另外，显示器应该配有支持最佳高清信号的接口，例如
中电飞华通信股份有限公司 2008年8月
0
内容
一、概述
二、系统的优势及特点
三、系统的技术要求
四、系统的组成
五、系统功能 六、汇报总结
1
一、概述
目前国网公司各级单位已有视频会议系统大多为几年
前所建设的标清视频会议系统，随着各项视频技术的发展，
高端DSP芯片的日趋成熟以及人们对会议中音、视频质量 需求的日益增长，对视频、声音质量以及周边设备的集成 配合程度等各方面均提出了更高的要求。
会议画面切换
导演控制
语音激励
主席控制
自动轮询
22
4.5 配套设备
9
会议室内可方便的增加音视频输入、输出设备；
2.4 一体化
整体系统均采用高清技术标准，包括MCU （含MCU
配套的网闸、会议及网络管理软件、桌面接入网关）、
视频会议终端、录播服务器及相关配套设备等； 高清矩阵、中控系统、高清监视器等高清视频会议
配套设备与视频会议终端设备完美融合，使参会者充分 享受高清视频效果；
系统除了可以处理高质量音视频以外，还能同时处理多种高级
应用，比如可以同时使用H.264高级编码、H.235数据加密、H.239双 视频流功能，让特色功能之间没有任何限制，真正实现丰富的应用
7
2.2 稳定性
整体系统设备支持7*24小时开机； MCU及视频会议终端为纯硬件产品及专用
操作系统 ； 系统中各组成部分均经过长时间市场的严
视频采集终端
为获得高分辨率图像，需要配置16:9标准支持真实高清（720p及以上） 的摄像头。
视频显示终端
高清视频显示器（液晶、等离子或投影仪）必须支持最低为720p的 水平分辨率。另外，显示器应该配有支持最佳高清信号的接口，例如
摄像机基础
进行亮度提升。
宽动态（Wide Dynamic Range）
物理宽动态的优缺点：
优点：动态范围宽，能同时兼顾亮区和暗区。 缺点：Sensor成本高、合成区域有噪声、有运动鬼影、工频干 扰更严重、颜色轻微偏。
数字宽动态的优缺点：
优点：对Sensor没有要求、没有运动鬼影、工频干扰不明显。 缺点：动态范围窄、亮区过曝无法抑制、噪声比较大。
卷帘快门与全局快门的区别
global shutter
所有像元同时曝光。
rolling shutter
不同行像元的曝光时间不同。
卷帘快门与全局快门的优缺点
Global shutter
优点：曝光时间更短 缺点：增加读出噪声 Rolling shutter
优点：可以达到更高的帧率，更低的噪声
缺点：当曝光不当或者物体移动较快时，会出现部分曝光，斜 坡图形等现象
进光量会因遮挡受到影响。所谓背照式CMOS就是将它掉转方 向，让光线首先进入感光二极管，从而增大感光量，显著提高 低光照条件下的拍摄效果。
NIR
传统近红外传感器在850nm波长处的量子效率（QE）为20%，
在940nm为8%。具有NIR功能的Sensor，通过新型的架构设计 和工艺，使得QE在近红外波段得到大幅提升。
变焦镜头，AI镜头，在AZ镜头上多 了一个电机控制光圈开关
CS
定焦：4mm,12mm…… 变焦：2.8-12mm……
定焦CS镜头，通常用在拼接摄像机 中； 变焦CS镜头，通常用在枪机上，镜 头由客户自行采购；
安防镜头的分类
CS/C型镜头
清晰 度 焦距 镜头F 值 定焦镜头 成像靶 面
支持IR功 能
变焦镜头（DC Iris）
CS型安装座摄像机上使用C型镜头的话，需要加一个高度为5mm 的转换接圈 10
宽动态（Wide Dynamic Range）
物理宽动态的优缺点：
优点：动态范围宽，能同时兼顾亮区和暗区。 缺点：Sensor成本高、合成区域有噪声、有运动鬼影、工频干 扰更严重、颜色轻微偏。
数字宽动态的优缺点：
优点：对Sensor没有要求、没有运动鬼影、工频干扰不明显。 缺点：动态范围窄、亮区过曝无法抑制、噪声比较大。
卷帘快门与全局快门的区别
global shutter
所有像元同时曝光。
rolling shutter
不同行像元的曝光时间不同。
卷帘快门与全局快门的优缺点
Global shutter
优点：曝光时间更短 缺点：增加读出噪声 Rolling shutter
优点：可以达到更高的帧率，更低的噪声
缺点：当曝光不当或者物体移动较快时，会出现部分曝光，斜 坡图形等现象
进光量会因遮挡受到影响。所谓背照式CMOS就是将它掉转方 向，让光线首先进入感光二极管，从而增大感光量，显著提高 低光照条件下的拍摄效果。
NIR
传统近红外传感器在850nm波长处的量子效率（QE）为20%，
在940nm为8%。具有NIR功能的Sensor，通过新型的架构设计 和工艺，使得QE在近红外波段得到大幅提升。
变焦镜头，AI镜头，在AZ镜头上多 了一个电机控制光圈开关
CS
定焦：4mm,12mm…… 变焦：2.8-12mm……
定焦CS镜头，通常用在拼接摄像机 中； 变焦CS镜头，通常用在枪机上，镜 头由客户自行采购；
安防镜头的分类
CS/C型镜头
清晰 度 焦距 镜头F 值 定焦镜头 成像靶 面
支持IR功 能
变焦镜头（DC Iris）
CS型安装座摄像机上使用C型镜头的话，需要加一个高度为5mm 的转换接圈 10
PPT制作技巧-常见的几种高清视频编码格式
常见的几种高清视频编码格式高清视频的编码格式有五种，即H.264、MPEG-4、MPEG-2、WMA-HD以及VC-1。
事实上，现在网络上流传的高清视频主要以两类文件的方式存在：一类是经过MPEG-2标准压缩，以tp和ts为后缀的视频流文件；一类是经过WMV-HD(Windows Media Video High Definition)标准压缩过的wmv文件，还有少数文件后缀为avi或mpg，其性质与wmv是一样的。
真正效果好的高清视频更多地以H.264与VC-1这两种主流的编码格式流传。
H.264编码H.264编码高清视频H.264是由国际电信联盟(iTU-T)所制定的新一代的视频压缩格式。
H.264最具价值的部分是更高的数据压缩比，在同等的图像质量，H.264的数据压缩比能比当前DVD系统中使用的MPEG-2高2～3倍，比MPEG-4高1.5～2倍。
正因为如此，经过H.264压缩的视频数据，在网络传输过程中所需要的带宽更少，也更加经济。
在MPEG-2需要6Mbps的传输速率匹配时，H.264只需要1Mbps～2Mbps 的传输速率，目前H.264已经获得DVD Forum与Blu-ray Disc Association 采纳，成为新一代HD DVD的标准，不过H.264解码算法更复杂，计算要求比WMA-HD 还要高。
从ATI的Radeon X1000系列显卡、NVIDIA的GeForce 6/7系列显卡开始，它们均加入对H.264硬解码的支持。
与MPEG-4一样，经过H.264压缩的视频文件一般也是采用avi 作为其后缀名，同样不容易辨认，只能通过解码器来自己识别。
总的来说，常见的几种高清视频编码格式的特点是能够以更低的码率得到更高的画质，相同效果的MPEG2与H.264影片做比较，后者在容量上仅需前者的一半左右。
这也就意味着，H.264不仅能够节省HDTV的存储空间，而且还可以在手机等带宽较窄的网络上传输高质量的视频，可以说应用前途一片光明。
H.264_AVC视频压缩标准ppt课件
;.
6
预测编码
编码结果为图像预测值与实际值之差，而非相应图像像素，减少了数据量， 实现压缩
帧内预测 帧间预测
运动估计
;.
7
变换编码
大多数图像的共同特征 平坦或变化缓慢区域占大部分，即直流低频信号多 细节或内容突变区域占小部分，即高频信号少
空域转换到频域，实现数据压缩 K-L变换
CABAC: 基于上下文的自适应二进 制算术编码
Redundant Slices:冗余片 ASO:任意片次序 Interlace:隔行
;.
13
H.264编码系统结构
VCL实现视频数据的编解码； NAL定义了数据封装格式，为VCL提供与网络无关的统一接口
;.
14
视频编码传输的错误恢复
抗误码机制实现途径： 编码中引入冗余数据 基于错误检测实行错误隐藏
错误隐藏：一个图像采样出错，解码器可以根据周围已收到的采样点， 根据时空相关性，进行估计，实现错误恢复
相邻采样点或块数据需交织封装，以提高损坏数据块被未损坏数据块包 围的概率
编码器和解码器的交互反馈
;.
15
H.264编码传输的错误恢复
视频编码层（VCL） 参数集（记录图像序列相关信息，用以检错） 灵活的宏块排序（错误隐藏） 冗余片
;.
9器
变量 换化
去除 块效 应
H.264没有规定编解码器如何实现，而是规定了编码视频流的语法及 解码方法。
H.264利用实现复杂性来提高压缩性能。
;.
10
H.264解码器
;.
11
H.264的档次
;.
12
H.264的档次
CAVLC: 基于上下文的自适应边长编 码
多媒体技术应用ppt课件
2024/1/26
音频基本概念
音频是指人耳可以听到的声音频 率范围内的信号，通常包括语音 、音乐、自然声音等。
音频格式
常见的音频格式有WAV、MP3、 AAC、FLAC等，它们采用不同的 编码方式和压缩算法，具有不同 的音质和文件大小。
17
音频编辑与处理软件介绍
01
02
03
Audacity
一款开源、跨平台的音频 编辑和处理软件，支持多 种音频格式，提供录音、 剪辑、特效处理等功能。
2024/1/26
25
常见数据压缩算法解析
01
统计压缩算法
基于数据统计特性的压缩方法，如哈夫曼编码、算术编码等，适用于文
本、程序等数据的压缩。
2024/1/26
02 03
预测压缩算法
利用先前数据预测后续数据的压缩方法，如差分脉冲编码调制（DPCM ）、自适应差分脉冲编码调制（ADPCM）等，适用于音频、视频等连 续媒体数据的压缩。
特点
集成性、交互性、实时性、数字化。
2024/1/26
应用领域
教育、娱乐、广告、艺术、医疗、军事等各个领域。例如，在教育领域，多媒体 技术可以应用于远程教学、多媒体教学课件制作等方面；在娱乐领域，多媒体技 术可以应用于游戏、电影、音乐等方面。
5
相关术语解析
媒体
多媒体
多媒体技术
多媒体计算机系统
虚拟现实技术
视频编辑与处理软件介绍
2024/1/26
Adobe Premiere Pro
01
专业的非线性编辑软件，支持多轨道编辑、特效添加、音频处
理等。
Final Cut Pro
02
适用于Mac系统的专业视频编辑软件，具有强大的剪辑和调色
音频基本概念
音频是指人耳可以听到的声音频 率范围内的信号，通常包括语音 、音乐、自然声音等。
音频格式
常见的音频格式有WAV、MP3、 AAC、FLAC等，它们采用不同的 编码方式和压缩算法，具有不同 的音质和文件大小。
17
音频编辑与处理软件介绍
01
02
03
Audacity
一款开源、跨平台的音频 编辑和处理软件，支持多 种音频格式，提供录音、 剪辑、特效处理等功能。
2024/1/26
25
常见数据压缩算法解析
01
统计压缩算法
基于数据统计特性的压缩方法，如哈夫曼编码、算术编码等，适用于文
本、程序等数据的压缩。
2024/1/26
02 03
预测压缩算法
利用先前数据预测后续数据的压缩方法，如差分脉冲编码调制（DPCM ）、自适应差分脉冲编码调制（ADPCM）等，适用于音频、视频等连 续媒体数据的压缩。
特点
集成性、交互性、实时性、数字化。
2024/1/26
应用领域
教育、娱乐、广告、艺术、医疗、军事等各个领域。例如，在教育领域，多媒体 技术可以应用于远程教学、多媒体教学课件制作等方面；在娱乐领域，多媒体技 术可以应用于游戏、电影、音乐等方面。
5
相关术语解析
媒体
多媒体
多媒体技术
多媒体计算机系统
虚拟现实技术
视频编辑与处理软件介绍
2024/1/26
Adobe Premiere Pro
01
专业的非线性编辑软件，支持多轨道编辑、特效添加、音频处
理等。
Final Cut Pro
02
适用于Mac系统的专业视频编辑软件，具有强大的剪辑和调色
H.264视频编码介绍资料
• H263++在H263+基础上增加了3个选项，增强码流在恶劣信道上的抗 误码性和编码效率。 • 选项U—增强型参考帧选择，提供增强的编码效率和信道错误再生能 力。 • 选项V—数据分片选择，提供增强型的抗误码能力(特别是在传输过程 中本地数据被破坏的情况下)，通过分离视频码流中DCT的系数头和 运动矢量数据，采用可逆编码方式保护运动矢量。 • 选项W—在H263+的码流中补充信息，保证增强型的反向兼容性。
H.264解码器
H.264采用的新技术
• H.264标准中诸如帧间预测、变换、量化、熵编码等基本功能模块与 前几个标准（MPEG-1, MPEG-2, MPEG-4, H.261, H.263）并无太大 • • • • • • • 区别，变化主要体现在功能模块的具体细节上。 分层设计 帧间预测编码 帧内预测编码 整数变换 量化处理 熵编码 环路滤波
TTS图解
• 如图所示，搜索步骤如下：
– 第一步：从搜索起点开始，以最大搜索 长度的一半为步长，在周围距离步长的 8个点处进行块匹配计算并比较，图中 用正方形表示，1号为该次搜索最优点。 – 第二步：将步长减半，中心点移到上一 步的最小匹配点，重新在周围距离步长 的8个点处进行块匹配计算并比较，图 中用圆形表示，2号为该次搜索最优点。 – 第三步：在上一步得到的最小匹配点的 中心及周围8个点处找出最匹配点，该 点即为所求，图中用菱形表示，3号为 该次搜索最优点
块的搜索与匹配
• 搜索起点的选择很重要。 • 块搜索算法：
①全搜索法FS ②三步搜索法TTS ③菱形搜索法DS ④六边形搜索法 注：有不少对上述方法的改进及新方法。
• 块匹配准则：
①最小绝对差MAD ②最小均方误差MSE ③归一化互相关函数NCCF ④求和绝对误差SAD
H.264解码器
H.264采用的新技术
• H.264标准中诸如帧间预测、变换、量化、熵编码等基本功能模块与 前几个标准（MPEG-1, MPEG-2, MPEG-4, H.261, H.263）并无太大 • • • • • • • 区别，变化主要体现在功能模块的具体细节上。 分层设计 帧间预测编码 帧内预测编码 整数变换 量化处理 熵编码 环路滤波
TTS图解
• 如图所示，搜索步骤如下：
– 第一步：从搜索起点开始，以最大搜索 长度的一半为步长，在周围距离步长的 8个点处进行块匹配计算并比较，图中 用正方形表示，1号为该次搜索最优点。 – 第二步：将步长减半，中心点移到上一 步的最小匹配点，重新在周围距离步长 的8个点处进行块匹配计算并比较，图 中用圆形表示，2号为该次搜索最优点。 – 第三步：在上一步得到的最小匹配点的 中心及周围8个点处找出最匹配点，该 点即为所求，图中用菱形表示，3号为 该次搜索最优点
块的搜索与匹配
• 搜索起点的选择很重要。 • 块搜索算法：
①全搜索法FS ②三步搜索法TTS ③菱形搜索法DS ④六边形搜索法 注：有不少对上述方法的改进及新方法。
• 块匹配准则：
①最小绝对差MAD ②最小均方误差MSE ③归一化互相关函数NCCF ④求和绝对误差SAD
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
.t Interlaced Frame (Top Field First)
9
• Dangling fields
Partitioning of the Picture
! Slices: • A picture is split into 1 or several slices • Slices are self-contained • Slices are a sequence of macroblocks ! Macroblocks: • Basic syntax & processing unit • Contains 16x16 luma samples and 2 x 8x8 chroma samples • Macroblocks within a slice depend on each other • Macroblocks can be further partitioned
7
MPEG-2
etc.
High-Level VCL Summary
! Video coding layer is based on hybrid video coding and similar in spirit to other standards but with important differences ! Some new key aspects are: • Enhanced motion compensation • Small blocks for transform coding • Improved de-blocking filter • Enhanced entropy coding ! Substantial bit-rate savings relative to other standards for the same quality
! ! ! !
1
Goals
! Improved Coding Efficiency • Average bit rate reduction of 50% given fixed fidelity compared to any other standard • Complexity vs. coding efficiency scalability ! Improved Network Friendliness • Issues examined in H.263 and MPEG-4 are further improved • Anticipate error-prone transport over mobile networks and the wired and wireless Internet ! Simple syntax specification • Targeting simple and clean solutions • Avoiding any excessive quantity of optional features or profile configurations
4
The Scope of Picture and Video Coding Standardization
Only Restrictions on the Bitstream, Syntax, and Decoder are standardized: • Permits optimization beyond the obvious • Permits complexity reduction for implementability • Provides no guarantees of quality Source Pre-Processing Encoding
0
! !
The JVT Project
! ! ! ! ITU-T SG16 H.26P and H.26L plans in 1993 (H.26P became H.263) ITU-T Q.6/SG16 (VCEG - Video Coding Experts Group) formed for ITU-T standardization activity for video compression since 1997 August 1999: 1st test model (TML-1) of H.26L December 2001: Formation of the Joint Video Team (JVT) between VCEG and ISO/IEC JTC 1/SC 29/WG 11 (MPEG - Moving Pictures Experts Group) to establish a joint standard project - H.264 / MPEG4MPEG4-AVC (similar to H.262 / MPEG-2 Video); JVT Chairs: G. J. Sullivan, A. Luthra, and T. Wiegand ITU-T Approval: May 2003 – ITU-T SG16 Final Standard Approved ISO/IEC Approval: March 2003 - Final Draft International Standard – currently balloting Extensions Project: Professional Extensions until April 2004
2
Applications
! Entertainment Video (1-8+ Mbps, higher latency) • Broadcast / Satellite / Cable / DVD / VoD / FS-VDSL / … • DVB/ATSC/SCTE, DVD Forum, DSL Forum ! Conversational Services (usu. <1Mbps, low latency) • H.320 Conversational • 3GPP Conversational H.324/M • H.323 Conversational Internet/best effort IP/RTP • 3GPP Conversational IP/RTP/SIP • 3GPP Streaming IP/RTP/RTSP • Streaming IP/RTP/RTSP (without TCP fallback) ! Other Services • 3GPP Multimedia Messaging Services
Destination
Post-Processing & Error Recovery
Decoding Scope of Standard
5
Profiles & Levels Concepts
! Many standards contain different configurations of capabilities – often based in “profiles” & “levels” • A profile is usually a set of algorithmic features • A level is usually a degree of capability (e.g. resolution or speed of decoding) ! H.264/AVC has three profiles • Baseline (lower capability plus error resilience, e.g., videoconferencing, mobile video) • Main (high compression quality, e.g., broadcast) • Extended (added features for efficient streaming)
6
H.264|AVC Layer Structure
Control Data Video Coding Layer Coded Macroblock Data Partitioning Coded Slice/Partition Network Abstraction Layer H.320 MP4FF H.323/IP
circuit-switched packet-switched
! Streaming Services (usu. lower bit rate, higher latency)
3
Relationship to Other Standards
! Identical specifications have been approved in both ITU-T / VCEG and ISO/IEC / MPEG ! In ITU-T / VCEG this is a new & separate standard • ITU-T Recommendation H.264 • ITU-T Systems (H.32x) will be modified to support it ! In ISO/IEC / MPEG this is a new “part” in the MPEG-4 suite • Separate codec design from prior MPEG-4 visual • New part 10 called “Advanced Video Coding” (AVC – similar to “AAC” position in MPEG-2 as separate codec) • MPEG-4 Systems / File Format has been modified to support it • H.222.0 | MPEG-2 Systems also modified to support it ! IETF finalizing RTP payload packetization