视频编码技术 PPT
合集下载
第5课 视频编码 课件(共13张PPT) 三下信息科技浙教版(2023)
三、数字视频的应用
随着互联网、大数据技术的发展，数字视频利用先进的处理技术 ，在提升视频播放质量的同时，实现了更多的创新应用。例如，视 频会议满足多人实时沟通交流；赛场高清直播实时捕捉并转播运动 员的精彩画面；虚拟现实(VR)全景技术模拟还原现实中的场景，使 观众获得沉浸式的交互体验；人工智能(AI)视频分析技术能够辨识 追踪视频画面，实时监控分析。
试一试
视频编码后也会产生不同类型的文件格式，常见的视频文件类 型有AVI、WMV、MP4、MOV等。试着将一种格式的视频利用格式 转换软件转化成其他视频格式，比较不同格式视频的差异。
选中文件，单击鼠标 右键，选择“属性”,查 看视频详细信息。
二、视频数字化
当连续的图像以一定的速度播放时，就会形成比较流畅的视频 画面。在视频中，称一幅静止的画面为帧。当计算机要处理视频时 ，通过数字采集设备如摄像机对画面进行采集，当每秒采集的帧画 面越多，产生的视频就会越流畅，然后对采集到的视频画面进行编 码转换，根据量化的结果进行编码转换，最终完成视频数字化。
第5课 视频编码
学习内容
1.视频编码实现过程。 2.数字视频的应用。
讨论
视频是可以用于记录比赛、进行远程交流的一种方式， 动态的画面是如何变成视频被计算机处理的呢?
建构
视频编码是视频处理中的一个核心技术，视频的数据量 一般都比较大，经过数字化编码后便于存储和传输。
一、认识数字视频
数字视频技术能将动态的图像、声音等进行编码、压缩、储存 ，得到不同格式的数字视频，最大程度保证了图像与声音的完整性 。
练习
定格动画是通过逐帧地拍拍摄一段简单的定格动画视频，并与同伴分享交流。
谢谢聆听！
INTERNET OF THINGS
视频编码技术前沿与方向
基于视觉特性的视频编码
❖ 技术3：视觉感知机理与编码
– “像素-基元/纹理-对象-场景” 层次模型 – S. Zhu, UCLA
视觉表示模型 物理世界模型
场景
世界
对象 基元、纹理 像素
感知 物质 图获
取
原子/分子
结构 电子 感知
原始 图像
纹理 区域 估计
合成 纹理
合成 图像
基于视觉特性的视频编码
基于视觉特性的视频编码
❖ 技术2：基于Inpainting技术的视频编码*
– 码率节省达18%
*D. Liu; X. Sun; F. Wu; S. Li; Y. Zhang, Image Compression With Edge-Based Inpainting, IEEE-TCSVT, Vol. 17, No. 10, Oct. 2007 pp. 1273–1287.
峰值信噪比=6.24
一般认为：峰值信噪比与图像质量近似成正比关系。
结论：1、峰值信噪比度量与人的视觉感知并不完全一致！
2、需要寻求更加符合人类视觉感知的客观度量方法以 及相应的编码理论和方法。
可能突破方向：借鉴视觉感知 机理
❖对视觉感知机理的认识逐渐深入，用于视 频编码的潜力很大
视频编码
JPEG (~14倍) JPEG (~50倍)
A
B3
B2
B3
B1
B3
B2
B3
A
compatible base layer
传统可伸缩编码
❖ H.264 SVC
– SNR可分级：层间预测
Spatial Base Layer
(Layer 0)
reconstructed sequence
视频编码技术-PPT
第3章 视频编码技术
1.视频信号的数字化 2.视频文件格式 3.视频压缩编码原理 4.视频压缩标准
学习目标
掌握视频数字化方法 了解视频文件格式 掌握视频压缩编码原理（预测编码、变换编
码、统计编码原理）
理解视频压缩标准（ MPEG标准 ）
3.1 视频信号的数字化
1.视频相关的基本概念
所谓视频（video frequency ），连续的图像变化每秒 超过24帧（frame）画面以上时，根据视觉暂留原理，人 眼无法辨别单幅的静态画面，看上去是平滑连续的视觉效 果，这样连续的画面叫做视频。即视频是由一系列单独的 静止图像组成，其单位用帧或格来表示；
（1）本地影像视频格式
－MOV格式，美国Apple公司开发的一种视频格式，默认 的播放器是苹果的QuickTime Player。具有较高的压缩比率 和较完美的视频清晰度等特点，但其最大的特点还是跨平 台性，即不仅能支持Mac OS，同样也能支持Windows系列。
Avid Media composer非线性编辑软件支持该格式。
同步信号
)
地(色度)
S-Video四芯插头（座）
地(亮度)
2.视频的采集及数字化
视频采集卡的接口
莲花接头
2.视频的采集及数字化
视频采集卡的接口 IEEE1394接口
IEEE1394是一种外部串行总线标准，800Mbps的 高速。1394接口具有把一个输入信息源传来的数据向 多个输出机器广播的功能，特别适用于家庭视听的连接。 由于该接口具有等时间的传送功能，确保视听AV设备 重播声音和图像数据质量，具有好的重播效果。
人眼在观察景物时，光信号传入大脑神经，需经过一段短暂 的时间，光的作用结束后，视觉形象并不立即消失，而能继续保 留其影像0.1-0.4秒左右，这种现象被称为视觉暂留现象。
1.视频信号的数字化 2.视频文件格式 3.视频压缩编码原理 4.视频压缩标准
学习目标
掌握视频数字化方法 了解视频文件格式 掌握视频压缩编码原理（预测编码、变换编
码、统计编码原理）
理解视频压缩标准（ MPEG标准 ）
3.1 视频信号的数字化
1.视频相关的基本概念
所谓视频（video frequency ），连续的图像变化每秒 超过24帧（frame）画面以上时，根据视觉暂留原理，人 眼无法辨别单幅的静态画面，看上去是平滑连续的视觉效 果，这样连续的画面叫做视频。即视频是由一系列单独的 静止图像组成，其单位用帧或格来表示；
（1）本地影像视频格式
－MOV格式，美国Apple公司开发的一种视频格式，默认 的播放器是苹果的QuickTime Player。具有较高的压缩比率 和较完美的视频清晰度等特点，但其最大的特点还是跨平 台性，即不仅能支持Mac OS，同样也能支持Windows系列。
Avid Media composer非线性编辑软件支持该格式。
同步信号
)
地(色度)
S-Video四芯插头（座）
地(亮度)
2.视频的采集及数字化
视频采集卡的接口
莲花接头
2.视频的采集及数字化
视频采集卡的接口 IEEE1394接口
IEEE1394是一种外部串行总线标准，800Mbps的 高速。1394接口具有把一个输入信息源传来的数据向 多个输出机器广播的功能，特别适用于家庭视听的连接。 由于该接口具有等时间的传送功能，确保视听AV设备 重播声音和图像数据质量，具有好的重播效果。
人眼在观察景物时，光信号传入大脑神经，需经过一段短暂 的时间，光的作用结束后，视觉形象并不立即消失，而能继续保 留其影像0.1-0.4秒左右，这种现象被称为视觉暂留现象。
协议软件部培训PPT-H264视频编解码技术
2021/7/14
培训内容
• 视频编码标准H.263 – 协议结构
H.263有效载荷头定义了三种格式（模式A、模式B和模式C）。在模式A 中，在实际压缩H.263视频比特流之前存在4字节的H.263有效载荷头。 这样允许在GOB边界有分段。在模式B中，使用的是8字节的H.263有效 载荷头，且每个数据包从MB边界开始，没有PB帧选项。最后，模式C中 使用的是12字节的H.263有效载荷头，采用PB帧选项支持在MB边界的帧 分段。
4:4:4 ，Y、Cb 和Cr 具有同样的水平和垂直清晰度，在每一像素位 置，都有Y，Cb 和Cr分量，即不论水平方向还是垂直方向，每4个亮 度像素相应的有4个Cb和4个Cr色度像素。
4:4:4
4:2:0
4:2:2
Y Cb Cr
2021/7/14
• 视频编码的相关术语
1. 场和帧 2. 片和宏块 3. 片组 4. 档次和级 5. SP和SI 6. SPS和PPS 7. 图像序列号（POC） 8. RBSP和SODB
协议软件部培训PPTH264视频编解码技术
2021年7月14日星期三
•目标 •重点 •培训内容 •参考资料
2021/7/14
目录
培训目标 1. 掌握视频信息和视频编码的相关概念 2. 理解H.264编解码器的工作原理和关键算法 3. 掌握主流的H.264开源编解码器的架构和实
现 4. 掌握H.264视频数据RTP传输封包格式
1988年，ISO/IEC信息技术联合委员会成立了活动图像专家 组（MPEG，Moving Picture Expert Group）。1991年 公布了MPEG-1视频编码标准，码率为1.5Mbps，主要 应用于家用VCD的视频压缩；1994年11月，公布了 MPEG-2标准，用于数字视频广播（DVB）、家用 DVD的视频压缩及高清晰度电视（HDTV）。
培训内容
• 视频编码标准H.263 – 协议结构
H.263有效载荷头定义了三种格式（模式A、模式B和模式C）。在模式A 中，在实际压缩H.263视频比特流之前存在4字节的H.263有效载荷头。 这样允许在GOB边界有分段。在模式B中，使用的是8字节的H.263有效 载荷头，且每个数据包从MB边界开始，没有PB帧选项。最后，模式C中 使用的是12字节的H.263有效载荷头，采用PB帧选项支持在MB边界的帧 分段。
4:4:4 ，Y、Cb 和Cr 具有同样的水平和垂直清晰度，在每一像素位 置，都有Y，Cb 和Cr分量，即不论水平方向还是垂直方向，每4个亮 度像素相应的有4个Cb和4个Cr色度像素。
4:4:4
4:2:0
4:2:2
Y Cb Cr
2021/7/14
• 视频编码的相关术语
1. 场和帧 2. 片和宏块 3. 片组 4. 档次和级 5. SP和SI 6. SPS和PPS 7. 图像序列号（POC） 8. RBSP和SODB
协议软件部培训PPTH264视频编解码技术
2021年7月14日星期三
•目标 •重点 •培训内容 •参考资料
2021/7/14
目录
培训目标 1. 掌握视频信息和视频编码的相关概念 2. 理解H.264编解码器的工作原理和关键算法 3. 掌握主流的H.264开源编解码器的架构和实
现 4. 掌握H.264视频数据RTP传输封包格式
1988年，ISO/IEC信息技术联合委员会成立了活动图像专家 组（MPEG，Moving Picture Expert Group）。1991年 公布了MPEG-1视频编码标准，码率为1.5Mbps，主要 应用于家用VCD的视频压缩；1994年11月，公布了 MPEG-2标准，用于数字视频广播（DVB）、家用 DVD的视频压缩及高清晰度电视（HDTV）。
视频编码技术及H264标准精品PPT课件
熵编码原理 算术编码的唯一性和效率
• 长度为n的序列的算术编码的平均码长为：
lA P (x)l x
P (x ) lo g
P
1 (x
)
1
P
(
x
)
lo
g
P
1 (x
)
1
1
P (x ) lo g P (x ) 2 P (x )
H X n 2 n H X 2
n H X lA n n H X 2 H X lA H X n 2
Zeroleft: 当前非零系数之前所有零的个数，初始值为TotalZeros
HR.2un6_b4eforCe：A游V程 LC 下面两种情况不需要编码： 最后一个非零系数（反Z方向）前零的个数 没有剩余的零可以编码，∑ Run_before=total_zeros
本例题中：0 3 0 1 -1 -1 0 1 0 0 0 。。。。。
HEVC视频编码标准之熵编码
——基于上下文的自适应二进制算术编码CABAC （Context-based Adapting Binary Arithmetic Coding）
郑明魁
数字电视智能化技术国家地方联合工程研究中心
熵编码基础
目前的视频编码标准主要通过去除空间冗余、时间冗余与编码冗余 来实现压缩。编码器将多种算法有效的结合起来达到较高的压缩性能 ，主要相关技术包括预测编码、变换编码、量化和熵编码技术。
熵编码原理
1.算术编码 Arithmetic Coding（二进制）
在编码过程中，输入数据流中 的信源符号被分为大概率符号 (MPS)和小概率符号(LPS)。
LPS的概率记为Q， MPS的概率记为P=1-Q
熵编码原理 算术编码的唯一性和效率
IPTV系统架构及关键技术PPT课件
A 用户机顶盒开机后， 首先访问EPG服务 器，发送用户名、密 码、EPG版本信息
边缘节点
G2 面向用户 提供电播 节目
IP网
接入网
6
直播流程
卫星
A 卫星将信号 接收下来，
通过sdi线缆 传入播控系 统
SDI信号
卫星接收机
最终用户
B 播控系统经 过调度，将
sdi信号接 入到实时
编码器中
C 实时编码器
Portal服务器
离线编码器
D 流媒体服 务器将点 播片源 存入磁阵 中
流媒体服务器
3U
磁阵
C 在EPG服 务器中， EPG显示 新发布的 点播节目
EPG服务器
IP网
核心网
CDN管理服务器
E CDN管理 服务器将 点播节目 从中心节 点流媒体 服务器按 策略分发 到边缘节 点
F 边缘节点 接收点播 节目，并 向用户提 供服务
将广泛应用于流媒体,视频会议,视频电话, 移动通信
11
H.264/AVC、ISO MPEG4 Part 10
名称：H.264/ AVC（Advanced Video Coding－ITU-T）、MPEG4 PART 10（ISO）是不同组织对同一标准的不同命名；2003年11月发布为标准； 组织：2001 年12 月ITU-T和ISO在泰国Pattaya 成立 JVT（Joint Video Team） 视频联合工作组 ，H.264/AVC就是JVT的工作成果。 基础：H.264/AVC 作为MPEG-4 标准的扩展（MPEG-4 Part 10） 充分利 用了现有MPEG-4标准中的各个环节，H.264/AVC 就在现有MPEG-4 Advanced Simple Profile 的基础之上进行发展的。 效率：同等的图像质量条件下，H.264的数据压缩比能比MPEG-2高2-3倍， 比MPEG-4高1.5-2倍 应用：H.264/AVC 效率高，网络适应性强，能够制作出各种用途的视频，
PPT制作技巧-常见的几种高清视频编码格式
常见的几种高清视频编码格式高清视频的编码格式有五种，即H.264、MPEG-4、MPEG-2、WMA-HD以及VC-1。
事实上，现在网络上流传的高清视频主要以两类文件的方式存在：一类是经过MPEG-2标准压缩，以tp和ts为后缀的视频流文件；一类是经过WMV-HD(Windows Media Video High Definition)标准压缩过的wmv文件，还有少数文件后缀为avi或mpg，其性质与wmv是一样的。
真正效果好的高清视频更多地以H.264与VC-1这两种主流的编码格式流传。
H.264编码H.264编码高清视频H.264是由国际电信联盟(iTU-T)所制定的新一代的视频压缩格式。
H.264最具价值的部分是更高的数据压缩比，在同等的图像质量，H.264的数据压缩比能比当前DVD系统中使用的MPEG-2高2～3倍，比MPEG-4高1.5～2倍。
正因为如此，经过H.264压缩的视频数据，在网络传输过程中所需要的带宽更少，也更加经济。
在MPEG-2需要6Mbps的传输速率匹配时，H.264只需要1Mbps～2Mbps 的传输速率，目前H.264已经获得DVD Forum与Blu-ray Disc Association 采纳，成为新一代HD DVD的标准，不过H.264解码算法更复杂，计算要求比WMA-HD 还要高。
从ATI的Radeon X1000系列显卡、NVIDIA的GeForce 6/7系列显卡开始，它们均加入对H.264硬解码的支持。
与MPEG-4一样，经过H.264压缩的视频文件一般也是采用avi 作为其后缀名，同样不容易辨认，只能通过解码器来自己识别。
总的来说，常见的几种高清视频编码格式的特点是能够以更低的码率得到更高的画质，相同效果的MPEG2与H.264影片做比较，后者在容量上仅需前者的一半左右。
这也就意味着，H.264不仅能够节省HDTV的存储空间，而且还可以在手机等带宽较窄的网络上传输高质量的视频，可以说应用前途一片光明。
第四章 视频编码基础讲解
5）看成无穷阶马尔可夫信源，则信源熵：
H ( X ) 1.4比特/符号
信源相对熵：
H(X) Hmax ( X )
1.4 4.76
0.29
信源冗余度： E 1 H ( X ) 1 0.29 0.71
Hmax ( X )
第四章 视频编码基础
练习: 一个信源X和一个字母集合A如下
C 0.022 L 0.032 U 0.023
D 0.032 M 0.020 V 0.008 H1( X ) ቤተ መጻሕፍቲ ባይዱH01( X )
E 0.103 N 0.057 W 0.018 F 0.021 O 0.063 X 0.001 G 0.015 P 0.015 Y 0.016
27
p(xi )lb p(xi ) i1
（2）有损压缩：失真度编码或熵压缩编码。即丢 掉大量冗余信息来降低数字图像所占的空间，解码 图像和原始图像是有差别的，允许有一定的失真。
第四章 视频编码基础
2、按压缩编码算法原理分类
基于图像统计特性 基于人眼视觉特性(重要性) 基于内容(对象) 基于模型
(1) 基于图像信源统计特性的压缩方法，有预测编码、 变换编码、霍夫曼（Huffman）编码、算术编码、 游程编码等。
84
第四章 视频编码基础
4.3 熵编码 (Entropy Coding)
是无损编码，其基本原理是去除图像信源在 空间和时间上的相关性，去除图像信源像素值的 概率分布不均匀性，使编码码字的平均码长接近 信源的熵而不产生失真。
熵编码多用可变字长编码VLC实现，即对信 源中出现概率大的符号赋予短码，对出现概率小 的符号赋予长码，从而在统计上获得较短的平均 码长。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2.视频的采集及数字化
视频采集卡的接口 色差分量接口
分量视频信号(Component Video Signal)是指每个基色 分量作为独立的视频信号。一般用亮度-色差表示，如Y和Cr、 Cb，Y和I、Q，Y和U、V。使用分量视频信号是表示颜色的最 好方法。
分量信号接入口
2.视频的采集及数字化
视频采集卡的接口
➢高性能计算机：接收和记录编码后的数字视频 数据。
➢大容量存储设备：存储经过编辑修改的数字视 频文件。
2.视频的采集及数字化
视频采集卡的接口
复合端口 色差分量接口 S-Video信号端子 IEEE1394接口
2.视频的采集及数字化
视频采集卡的接口
复合端口
也称AV 接口，通常都是成对的白色音频接口和黄色的 视频接口，常用接头有BNC接头和莲花(RCA)接头。传输的 是亮度/色度(Y/C) 混合在一起的视频信号。易导致亮、色串 扰、清晰度降低等问题，是最差的视频信号。
同步信号)
地(色度)
S-Video四芯插头（座）
地(亮度)
2.视频的采集及数字化
视频采集卡的接口
莲花接头
2.视频的采集及数字化
视频采集卡的接口 IEEE1394接口
IEEE1394是一种外部串行总线标准，800Mbps的 高速。1394接口具有把一个输入信息源传来的数据向 多个输出机器广播的功能，特别适用于家庭视听的连接。 由于该接口具有等时间的传送功能，确保视听AV设备 重播声音和图像数据质量，具有好的重播效果。
图 隔行扫描方式
1.视频相关的基本概念
视频信号有模拟视频信号与数字视频信号之分。
模拟视频即指由连续的模拟信号组成视频图像，它的存储 介质是磁带或录像带；在编辑或转录过程中画面质量会降低。 数字视频是把模拟信号变为数字信号，它描绘的是图像中 的单个像素，可以直接存储在电脑硬盘中，因此在编辑过程 中可以最大限度地保证画面质量几乎没有损失。
S-Video信号端子
S端子信号，它同时传送两路信号：亮度信号Y和色度信 号C。由于将亮度和色度分离，色度对亮度的串扰现象也消 失。其图象质量优于复合视频信号，但低于分量视频信号。
S端子用四芯插头，一些计算机显卡或非线性编辑卡也
有用七芯插头，其外形与S端子一样，只是又包含了复合视
频信号。
色度
亮度(含
场：视频的一个扫描过程。有逐行扫描和隔行扫 描，对于逐行扫描，一帧即是一个垂直扫描 场；对于隔行扫描，一帧由两场构成：奇数场 和偶数场，是用两个隔行扫描场表示一帧。
1.视频相关的基本概念
（1）逐行扫描
实线为行扫描的正程，左→右；
虚线
逆程，右→左。
图 逐行扫描方式
1.视频相关的基本概念
（2）隔行扫描
2.视频的采集及数字化
数字视频的获取方法：
➢从现成的数字视频库中截取。 ➢利用计算机软件制作视频。利用计算机生成的动画， 如把flc或gif动画格式转换成avi等视频格式。 ➢把静态图像或图形文件序列组合成视频文件序列。 ➢通过视频采集设备获取数字视频。通过视频采集卡 把模拟视频转换成数字视频，并按数字视频文件的格 式保存下来。
600Mbit的存储空间只能存储90帧的视频图像信号，或 者说可以存储大约3.6 s的数字电视节目。
如果存储更高分辨率的高清数字电视信号，那存储时间 就更短了，大约只有几秒钟。因此对视频的处理、传输、存 储和显示提出了更高的要求。
ITU-R601——数字演播室标准 4:2:2格式中色差信号的取样为亮度信号的一半。
第3章 视频编码技术
1.视频信号的数字化 2.视频文件格式 3.视频压缩编码原理 4.视频压缩标准
学习目标
掌握视频数字化方法 了解视频文件格式 掌握视频压缩编码原理（预测编码、变换编
码、统计编码原理）
理解视频压缩标准（ MPEG标准 ）
3.1 视频信号的数字化
1.视频相关的基本概念
所谓视频（video frequency ），连续的图像变化每秒 超过24帧（frame）画面以上时，根据视觉暂留原理，人 眼无法辨别单幅的静态画面，看上去是平滑连续的视觉效 果，这样连续的画面叫做视频。即视频是由一系列单独的 静止图像组成，其单位用帧或格来表示；
① 模拟信号强调在时间上的连续性。 ② 模拟信号强调在幅值上的连续性。 ③计量和描述方式，一般采用十进制数。
1.视频相关的基本概念
但数字视频的数据量是非常惊人的，按照ITU-R601标 准4∶2∶2格式的PAL制数字化视频信号，每帧数据量为 720×576×8×2≈6.64Mbit，每秒数据量为 6.64×25≈165Mbit。
人眼在观察景物时，光信号传入大脑神经，需经过一段短暂 的时间，光的作用结束后，视觉形象并不立即消失，而能继续 保留其影像0.1-0.4秒左右，这种现象被称为视觉暂留现象。
1.视频相关的基本概念
帧：一帧是扫描获得的一幅完整图像的信号，是视 频图像的最小单位；“帧”在动画创作当中又
称 “格”。
帧率：就是每秒钟扫描多少帧。对于PAL制式电视 系统，帧率为25帧；而NTSC制式电视系 统，帧率为30帧。
2.视频的采集及数字化
视频图像的数字化
• 数字化方法 （1）先从复合彩色图像中分离出彩色分量，然后数字化。 （2）首先用一个高速A/D转换器对彩色全信号进行数字化, 然后在数字域中进行分离，以获得所希望的YCbCr，YUV，YIQ 或RGB分量数据。
Hale Waihona Puke 2.视频的采集及数字化2.视频的采集及数字化
数字视频的采集系统
➢视频源设备：录像机、电视机、影碟机等；
➢视频采集卡：对模拟视频信号进行采样、量化
和编码的设备；
2.视频的采集及数字化
视频采集卡的接口 视频采集卡的作用是将模拟摄像机、录像机等输出的模拟 视频信号输入电脑，并转换成电脑可辨别的数字化的视频数据 文件。 目前的视频采集卡是视频采集和压缩同步进行，并被压缩 成MPG格式文件。
1.视频相关的基本概念
视频信息和信号特点：
(1) 直观性：给人印象更深刻、生动、具体。 (2) 确定性：“百闻不如一见”。 (3) 高效性：人眼是一个高度复杂的并行信息处理系
统，能并行快速地观察一幅图像的细节，因此它获取视 频信息的效率要比语音信息高得多。
(4) 广泛性：人类接受的信息，80%来自视觉。