新一代视频压缩编码标准H264学习心得
第一章和第二章绪论和数字视频
1.一个是压缩比
2. 保持主观质量和客观质量信噪比（S/N）
视频压缩可能性的依据：
1.预测编码，根据帧内相关性和帧间的相关性，即找到相应的参考像素或参考帧作为预测值，已达到视频压缩编码。
2. 变换编码，视频信号在能量上包含着的大部分都是直流和低频部分（图像的平坦部分），少量的高频部分（图像细节）。
用数学变换后得到2维矢量空间，其中大部分的直流和低频是相同的，可以不必用码去表示，结果完成压缩编码
视频压缩技术基本结构
按照信源模型可将视频编码区分为基于波形的编码和基于内容的编码，
信源模型采用“一副图像由许多像素构成”，视频编码是基于波形的编码，其采用把预测编码和变换编码组合起来的基于块的混合编码把一副图像分割成块8x8(像素) 或者16x16，然后进行压缩处理
信源模型采用“一个分量有几个物体构成”，视频编码是基于内容的编码
块的编码方式在边界时会有高的预测误差和失真。
MPEG-4采用的编码方式就是既基于块的混合编码，也采用基于内容的编码方法
低于15帧的视频质量不高，一般要25要30 ，可视频电话会议可取15-20帧每秒。
数字视频
数值电视的优势。
数值电视的PCM原理：
取样，就是在时间轴上连续变化的模拟信号变为离散量的过程。
量化取样后得到的脉冲信号在时间上是离散的，但是在赋值上空间上仍然是连续的，比如可以取3.56，3.7812344等等，我们采用四舍五入将其变为有限个值。
这种将信号幅值由连续量变为离散量的过程称为量化。
由于四舍五入参数的失真称为“量化噪音”。
PCM编码对于量化后的信号，通常用二进制表示，这时的编码称为脉冲编码调制-即PCM 编码。
上述取样，量化，PCM编码都由A/D转换器完成，反之则由D/A转换器完成。
数字电视信号：
时间取样
隔行扫描帧图像由顶场底场组成一帧由一个顶场和底场组成，
帧和场的邻近行相关性并不相同：
帧的空间相关性强，时间相关性弱；场的时间相关性强，空间相关性弱
静态图像，运动量小的图像用帧编码，运动量多的用场编码
实际中要帧/场编码相结合
空间取样
在同一电视信号帧中，同一行由若干取样点构成，这些取样点称为像素，这些取样属于空间取样。
前提：一帧图像是静止的，每个像素处于同一时间不同空间上。
不同国家间标准电视格式不同（即扫描格式），为了不同国家点的视频通信，往往采用一个中间格式(CLF)
彩色空间
RGB YCbCr（YUY）
彩色电视取样格式 4:2:0
数字电视信号的编码参数：
量化值Qp(量化节距)一般取8位即8位bit表示一个取样值 8位取样即有258个灰度级；
取样频率;
视频信号的预处理
色彩差值
以Bayer图像阵列举例：
为降低成本，简化工艺，图像传感器一个像素点只能给出单色的色调值，不能同时给出G,R,B 的值，所以要根据周围的点的相关性来获得。
红色/蓝色点处的像素绿色分量
插值等于其相邻的四个像素点的绿色分量平均值。
例如，G8 = (G3+G7+G9+G13) / 4。
在绿色点处的红色/蓝色分量的插值
这分两种情况：一种情况是如果存在相邻的两个像素的红色/蓝色分量，就取红色/绿色分量的均
值，例如B7=(B6+B8)/2，R7= (R2+R12)/2。
另一个情况是周围没有相邻的红色/蓝色分量，就取对象
线方形的四角像素点处红色/蓝色分量的均值，R8=(R2+R4+R12+R14)/4，
B12=(B6+B8+B16+B18)/4。
色彩校正
伽马校正
光强度I和显示器加载电压P ywei 伽马值是非线性的需要伽马校正使其变为线性的
图像增强
图像增强作为一种重要的图像处理技术，目的无非就是两个：第一更适合人眼的感觉；第二有利于后续的分析处理。
图像增强主要包括直方图均衡、平滑滤波、中值滤波、锐化等内容。
一般情况下，图像增强既
可以在空间域实现，也可以在频域内实现对于消除相关性的理解，相关性就是说明有些值并不是它实际的值，只是根据相关性，由周围的值计算出来的，这里面是包含误差的，所以相关性也说明了有误差。
平滑滤波
图像的能量主要集中在其低频部分，噪声所在的频段主要在高频段，同时图像中的
细节信息也主要集中在其高频部分，因此，如何去掉高频干扰又同时保持细节信息是关键。
在空域法中，图像平滑的常用方法是采用均值滤波或中值滤波，对于均值滤波，它
是用一个有奇数点的滑动窗口在图像上滑动，将窗口中心点对应的图像像素点的灰度值用窗口内的
各个点的灰度值的平均值代替，如果滑动窗口规定了在取均值过程中窗口各个像素点所占的权重，
也就是各个像素点的系数，这时候就称为加权均值滤波；对于中值滤波，对应的像素点的灰度值用
窗口内的中间值代替。
图像蜕化
使图像的边缘变得更加鲜明经过平滑的图
像变得模糊的根本原因是因为图像受到了平均或积分造成的，因此可以对其进行逆运算（如微分运
算）就可以使图像变的清晰。
从频率域来考虑，图像模糊的实质是因为其高频分量被衰减，因此可
以用高通滤波器来使图像清晰。
图像锐化的技术有两种方法：微分法和高通滤波法。
每个块（B）又由8×8像素构成。
一帧QCIF图像由3个GOB组成。
视频信源编码器将视频信号编码压缩，主要采用混合编码方法；视频复合编码器将每帧图像数据编排成四层结构，并通过熵编码对视频数据进行进一步压缩输出；传输缓冲器和码率控制器用于保证输出码流尽量稳定；传输编码器用于视频数据的误码检测和纠正。
H263 有5种图像格式
H264视频信源编码框和H261相同，不同的是H264输入有多种格式，输出为H263码流MPEG-1 标准的功能：
（1）视频压缩编码，压缩后码率在1.5Mbps，可用于视频传输和视频存储；编码前必须将视频图像转换成逐行扫描图像。
（2）录像机的正放、图像冻结快进、快退和慢放功能以及随机存储功能。
MPEG-1 的图像类型和编码结构：
MPEG-1定义了3种图像类型：I,P,B图像，I 图像即帧内（Intra）图像，采用帧内
编码，不参考其它图像，但可作为其它类型图像的参考帧。
P图像即预测（Predicted）图像，
采用帧间编码，参考前一幅I或P图像，用作运动补偿。
B图像即双向预测（Bi- predicted）图像，参考前后两个方向图像。
双向预测编码解决了“暴露”问题，让图像能更柔和的出现，双向预测编码只适用于非实时性通信及数字广播电视中应用，不适用于实时性实现通信，因为实时性通信后一帧在当前编码时还没出现。
MPEG-1的编码结构
和H261
层次结构：
杂记： 720p的p是逐行扫描的意思分辨率是1280*720 1080i的i 是interlac的意思即隔行扫描的意思分辨率是1920*1080。
视频编码标准H265的性能优化
视频编码标准H265的性能优化一、视频编码标准H265概述H265，也称为HEVC（High Efficiency Video Coding），是继H264之后的新一代视频编码标准。
它由MPEG（Moving Picture Experts Group）和VCEG（Video Coding Experts Group）联合开发，旨在提供更高的压缩效率和视频质量。
H265的推出，不仅提升了视频传输和存储的效率，而且对整个视频产业的发展产生了深远的影响。
1.1 H265技术的核心特性H265技术的核心特性主要体现在以下几个方面：- 更高的压缩率：H265能够提供比H264更高的压缩率，理论上可以在相同的视频质量下减少大约50%的数据量。
- 更好的视频质量：H265支持更高的分辨率和色彩深度，能够提供更清晰、更细腻的视频画面。
- 支持更宽的色域和动态范围：H265能够支持更宽的色域和更高的动态范围，使得视频内容更加丰富多彩。
1.2 H265技术的应用场景H265技术的应用场景非常广泛，包括但不限于以下几个方面：- 4K和8K视频流：H265能够高效地编码4K和8K超高清视频，满足未来高清视频传输的需求。
- 视频监控：H265的高压缩率使得它非常适合用于视频监控领域，可以有效减少存储和传输成本。
- 网络视频服务：H265被广泛应用于网络视频服务，如视频点播、直播等，提供更流畅的视频体验。
二、H265编码标准的制定H265编码标准的制定是一个全球性的过程，需要全球范围内的视频技术专家和组织的共同努力。
2.1 国际视频编码标准组织国际视频编码标准组织是制定H265编码标准的权威机构，主要包括MPEG和VCEG。
这些组织负责制定H265编码的全球统一标准，以确保不同国家和地区的视频编码能够实现互联互通。
2.2 H265编码标准的关键技术H265编码标准的关键技术包括以下几个方面：- 编码单元划分：H265采用了更小的编码单元划分，如CU（Coding Unit）和TU（Transform Unit），以提高编码效率。
什么是H265
什么是H265 ?
如今一说到“高清”大部分的人都会想到H264，随着4K、PC、超大屏智能手机广泛运用，手机观看高清视频越来越普遍，那么技术上能不能跟上脚步呢？下面我们来认识一下H265的技术优势。
H265是一种视频压缩标准，前身为H264，H265为何效率增加一倍?其也是根据H.264数据压缩率在同一水平进行比较的结果。
在相同比特率下提供更更细的视频质量，其支持8KUHD分辨率高达8192x4320。
根据应用的要求，H.265编码器可减少计算的复杂性、提高压缩率，并降低编码时间。
尽管H.264可以在1Mbps带宽下传输标清内容，但H.265在1~2Mbps 下能够传送720P(1280*720)高清内容。
一些领先的企业已经展示H265相关产品，比如，云宙科技在2013年12月就对H265作出发布会，许多人认为其有可能取代H.264成为全球主要的压缩标准，很显然这是必然的。
为什么说H265比H264更高效?
H265/HEV视频编码与H264/AVC使用相同的方法，包括画面帧预测、变换编码、量化等。
但H265/HEVC包括编码单元(CUS)、预测单元(PU)和变换单元(TUS)。
如果峰值信噪比和视频质量作为衡量一个视频编码机制效率的主观评价标准，那么在这种主观评价中，H.265可提供更好的编码效率，比H.264比特流减少51%~74%。
由于人眼数据效果和视频质量的客观数据，大幅减少比特流显然是相当重要的数据结果。
不同编码清晰度效果大不同H.265比H.264性能更卓越。
视频编码技术及H264标准精品PPT课件
熵编码原理 算术编码的唯一性和效率
• 长度为n的序列的算术编码的平均码长为：
lA P (x)l x
P (x ) lo g
P
1 (x
)
1
P
(
x
)
lo
g
P
1 (x
)
1
1
P (x ) lo g P (x ) 2 P (x )
H X n 2 n H X 2
n H X lA n n H X 2 H X lA H X n 2
Zeroleft: 当前非零系数之前所有零的个数，初始值为TotalZeros
HR.2un6_b4eforCe：A游V程 LC 下面两种情况不需要编码： 最后一个非零系数（反Z方向）前零的个数 没有剩余的零可以编码，∑ Run_before=total_zeros
本例题中：0 3 0 1 -1 -1 0 1 0 0 0 。。。。。
HEVC视频编码标准之熵编码
——基于上下文的自适应二进制算术编码CABAC （Context-based Adapting Binary Arithmetic Coding）
郑明魁
数字电视智能化技术国家地方联合工程研究中心
熵编码基础
目前的视频编码标准主要通过去除空间冗余、时间冗余与编码冗余 来实现压缩。编码器将多种算法有效的结合起来达到较高的压缩性能 ，主要相关技术包括预测编码、变换编码、量化和熵编码技术。
熵编码原理
1.算术编码 Arithmetic Coding（二进制）
在编码过程中，输入数据流中 的信源符号被分为大概率符号 (MPS)和小概率符号(LPS)。
LPS的概率记为Q， MPS的概率记为P=1-Q
熵编码原理 算术编码的唯一性和效率
h264芯片
h264芯片H.264芯片，也被称为AVC（Advanced Video Coding），是一种视频压缩标准，被广泛应用于视频编码和解码设备中。
以下是关于H.264芯片的1000字介绍：第一部分：H.264芯片的背景和概述（200字）H.264是一种视频压缩标准，由国际电信联盟（ITU）和国际标准化组织（ISO）共同开发。
它被认为是当前最先进的视频压缩技术之一，具有卓越的压缩性能和视频质量。
H.264芯片是实现H.264视频编码和解码功能的专用芯片，其设计和优化旨在提高视频传输和存储的效率。
第二部分：H.264芯片的工作原理（300字）H.264芯片通过采用一系列算法和技术，将视频信号压缩为更小的比特流，以减少数据量并提高传输效率。
在视频编码方面，H.264芯片使用了多种技术，包括运动补偿、变换和量化等。
运动补偿技术通过在连续的视频帧之间检测和预测移动物体的位置，从而减少重复信息的传输。
变换技术将视频信号从时域转换为频域表示，以便更好地进行压缩。
量化技术通过减少视频信号的精度和细节，以减少比特流的大小。
在视频解码方面，H.264芯片将接收到的压缩比特流转换为可视的视频帧。
它通过反向过程解压缩比特流，恢复出原始视频信号。
解码过程主要包括解码器的控制、解码过程和图像恢复等步骤。
H.264芯片通常会集成在视频编码和解码设备中，如数字摄像机、视频会议系统和流媒体服务器等。
第三部分：H.264芯片的应用领域（300字）H.264芯片被广泛应用于多个领域，其中包括数字媒体领域、通信领域和安全领域。
在数字媒体领域，H.264芯片常用于数字摄像机和网络摄像机等设备，用于实时视频传输和存储。
它可以提供高质量的视频效果，并减少存储空间和带宽消耗。
在通信领域，H.264芯片被广泛应用于视频会议系统、手机和IP电话等设备，用于实时视频通信。
它可以提供更流畅和清晰的视频通话体验。
在安全领域，H.264芯片还可以用于视频监控系统和安防设备，实现高效的视频压缩和存储。
h265 编码格式
H265，也称为HEVC（High Efficiency Video Coding），是一种高效视频编码格式。
它是H264（AVC）的后继者，也是ITU-T和ISO/IEC联合开发的标准。
相比H264，H265可以在同样的视频质量下，使用更少的码率传输数据，实现更高的压缩率，同时支持更高的分辨率和比特率。
这使得H265在视频传输、视频会议、视频监控等领域有着广泛的应用。
H265编码采用了新的算法和技术，包括更多的预测模式、更好的运动估计和补偿、更高效的量化和熵编码等，以实现更高效的视频压缩。
与H264相比，H265还支持8K（7680x4320）和10K（10240x4320）分辨率的视频，以及更高的比特率和更多的色彩空间。
监控系统的视频压缩技术
监控系统的视频压缩技术随着科技的不断进步，监控系统的应用越来越广泛。
监控系统通过视频录像的方式为我们提供了宝贵的安全信息，但是随之而来的是海量的视频数据存储和传输问题。
为了解决这一问题，视频压缩技术应运而生。
本文将介绍监控系统的视频压缩技术的原理和应用。
一、视频压缩技术发展概述随着信息技术的快速发展，视频压缩技术也在不断进步。
早期的视频压缩技术主要采用基于帧间预测的压缩算法，如MPEG-1、MPEG-2等。
然而，由于监控视频的特殊性，这些算法无法满足实时性和低带宽要求。
随着H.264、H.265等先进视频编码标准的提出，监控系统的视频压缩技术得到了重大突破。
二、视频压缩技术原理视频压缩技术通过减少冗余信息和提高编码效率来实现视频数据的压缩。
其中，H.264和H.265是目前应用最广泛的视频编码标准。
1. H.264视频压缩技术H.264是一种先进的视频压缩技术，其核心原理是空间域和时间域的压缩。
在空间域，H.264通过比特平面编码和运动估计技术来减少冗余信息。
在时间域，H.264采用多帧运动估计和自适应量化技术来提高编码效率。
通过这些方法，H.264可以将视频数据压缩到较小的数据量，同时保持较好的图像质量。
2. H.265视频压缩技术H.265是H.264的升级版本，也被称为HEVC（High Efficiency Video Coding）。
相比于H.264，H.265在压缩效率方面有了显著提升。
H.265通过改进编码算法和引入新的编码工具，如帧内预测、变换和量化等，实现了更高的压缩比和更好的图像质量。
同时，H.265对于网络传输和存储资源的利用也更加高效。
三、视频压缩技术在监控系统中的应用监控系统中的视频数据往往需要长时间存储和实时传输，因此对于视频压缩技术的要求较高。
1. 存储通过视频压缩技术，监控系统可以将原始视频数据压缩到较小的数据量，从而节省存储空间。
对于大规模的监控系统来说，这意味着减少了硬盘和服务器的需求，降低了成本。
h265编码 内存占用率 -回复
h265编码内存占用率-回复H265编码是当前广泛应用于视频压缩领域的一种编码标准。
相比之前的H264编码，H265编码具有更高的压缩比和更低的码率，可以在相同画质下减少带宽占用。
然而，这种高效率的视频压缩算法是否会导致更多的内存占用呢？首先，我们需要了解H265编码的原理。
H265是一种基于块的压缩编码方式，它将视频分成一小块一小块的像素，然后对这些块进行高效的压缩和编码。
与H264相比，H265编码引入了更多的预测模式和变换技术，以进一步减少冗余信息。
这些技术包括运动补偿、帧内预测和变换编码等。
然而，由于H265编码引入了更多的预测模式和变换技术，它需要更多的内存来存储和处理这些信息。
在编码过程中，H265编码器需要使用内存来存储当前帧和参考帧的像素数据，以及其他编码参数和中间结果。
在解码过程中，内存同样被用来存储解码后的像素数据，以及其他解码参数和中间结果。
在实际应用中，H265编码的内存占用率可以通过调整编码器的配置参数进行控制。
例如，可以调整块的大小、运动估计的范围和精度等。
更大的块和更精确的运动估计可以提供更好的视频质量，但也会增加内存的使用。
因此，需要权衡视频质量和内存占用率之间的关系。
另外，不同的硬件平台和软件实现也会对H265编码的内存占用率产生影响。
通常，较新的硬件平台和优化的软件实现可以提供更高的性能和更低的内存占用率。
因此，在选择H265编码器时，需要考虑硬件平台和软件实现的特性和性能。
此外，H265编码的内存占用率还受到视频分辨率、帧率和码率的影响。
高分辨率、高帧率和高码率的视频需要更多的内存来存储和处理。
因此，在设计视频系统时，需要根据实际情况选择合适的分辨率、帧率和码率，以控制内存占用率。
总之，H265编码在提供更高的压缩比和更低的码率的同时，可能会增加内存的占用。
然而，通过调整编码器的配置参数、选择适合的硬件平台和软件实现，以及合理设计视频系统的分辨率、帧率和码率，可以控制H265编码的内存占用率。
H.264讲解
帧内预测
图4
帧内预测 16×16亮度预测模式
– 宏块的全部16×16亮度成分可以整体预测，有4种 预测模式，如表2和图5所示。
图5 16×16预测模式
帧内预测
表2 16×16预测模式
描 模式
述
模式0（垂直） 模式1（水平） 模式2（DC） 模式3（平面）
由上边像素推出相应像素值
由左边像素推出相应像素值
H.264/AVC编解码器 H.264解码器
– 由 图 1 可 知 ， 由 编 码 器 的 NAL 输 出 一 个 压 缩 后 的 H.264压缩比特流。由图2，经熵解码得到量化后的 一组变换系数 X，再经反量化、反变换，得到残差 Dn’。利用从该比特流中解码出的头信息，解码器 就产生一个预测块PRED，它和编码器中的原始PRED 是相同的。当该解码器产生的PRED与残差Dn’相加 后，就产生 uFu’ ，再经滤波后，最后就得到滤波 后的Fn’，这个Fn’就是最后的解码输出图像。
这样表示9中预测模式只需要8个值 (0 to 7)
帧内预测
帧间预测
树状结构运动补偿
– 每个宏块（16×16像素）可以4种方式分割：一个 16×16，两个16×8，两个8×16，四个8×8。其运 动补偿也相应有四种。而8×8分割还可以有四种方 式的分割：一个8×8，两个4×8或两个8×4及4个 4×4。这种分割下的运动补偿则称为树状结构运动 补偿。
当A (或者 B）的预测模式不可用时，
prediction mode of A＝ 2.
例如 A 和 B块的预测模式分别为 3 和1
most probable mode for block C =1
帧内预测
编码器为每个4x4 块发送一个标记 flag,解码器按照如下方式 解码 If flag==1, prediction mode=most_probable_mode If flag==0 If rem_intra4×4_pred_mode< most_probable_mode prediction mode=rem_intra4×4_pred_mode else prediction mode=rem_intra4×4_pred_mode+1
H264编码原理以及I帧、B和P帧详解，H264码流结构分析
H264编码原理以及I帧、B和P帧详解，H264码流结构分析H264码流结构分析/chenchong_219/article/details/379905411、码流总体结构：h264的功能分为两层，视频编码层（VCL）和⽹络提取层（NAL）。
H.264 的编码视频序列包括⼀系列的NAL 单元，每个NAL 单元包含⼀个RBSP。
⼀个原始的H.264 NALU 单元常由 [StartCode] [NALU Header] [NALU Payload] 三部分组成，其中 Start Code ⽤于标⽰这是⼀个NALU 单元的开始，必须是"00 00 00 01" 或"0000 01"。
其中RBPS有分为⼏种类型：NAL的解码单元的流程如下：2、 NAL Header：占⼀个字节，由三部分组成forbidden_bit(1bit)，nal_reference_bit(2bits)（优先级），nal_unit_type(5bits)（类型）。
forbidden_bit:禁⽌位。
nal_reference_bit：当前NAL的优先级，值越⼤，该NAL越重要。
nal_unit_type ：NAL类型。
参见下表⼏个例⼦：3、 ffmpeg解析H264流程分析这是⼀段实际的码流在上⾯的图⽚中,共有三个起始码:0x00 0000 01const uint8_t*ff_h264_decode_nal(H264Context*h, const uint8_t *src,int *dst_length, int*consumed, int length)中分析过程为：h->nal_ref_idc= src[0] >> 5;h->nal_unit_type= src[0] & 0x1F;此处src[0]即为06，写成⼆进制位0000 0110，则h->nal_ref_idc = 0，h->nal_unit_type = 6可以判断这个NALU类型为SEI，重要性优先级为0。
H.264和H.265技术知识大全2017-7-9
前言：目前很多摄像机采用了H.265的编码标准，H.264编码的摄像机逐渐减少，为什么H.265会流行？H.264和H.265有何不同？正文：一、什么是H.265H.265是ITU-TVCEG继H.264之后所制定的新的视频编码标准。
H.265标准围绕着现有的视频编码标准H.264，保留原来的某些技术，同时对一些相关的技术加以改进。
新技术使用先进的技术用以改善码流、编码质量、延时和算法复杂度之间的关系，达到最优化设置。
具体的研究内容包括：提高压缩效率、提高鲁棒性和错误恢复能力、减少实时的时延、减少信道获取时间和随机接入时延、降低复杂度等。
H264由于算法优化，可以低于1Mbps的速度实现标清数字图像传送；H265则可以实现利用1~2Mbps的传输速度传送720P（分辨率1280*720）普通高清音视频传送。
H.265旨在在有限带宽下传输更高质量的网络视频，仅需原先的一半带宽即可播放相同质量的视频。
这也意味着，我们的智能手机、平板机等移动设备将能够直接在线播放1080p的全高清视频。
H.265标准也同时支持4K(4096×2160)和8K(8192×4320)超高清视频。
可以说，H.265标准让网络视频跟上了显示屏“高分辨率化”的脚步。
二、什么是H.264H.264，同时也是MPEG-4第十部分，是由ITU-T视频编码专家组（VCEG）和ISO/IEC动态图像专家组（MPEG）联合组成的联合视频组（JVT，Joint Video Team）提出的高度压缩数字视频编解码器标准。
这个标准通常被称之为H.264/AVC（或者AVC/H.264或者H.264/MPEG-4AVC或MPEG-4/H.264 AVC）而明确的说明它两方面的开发者。
H.264最大的优势是具有很高的数据压缩比率，在同等图像质量的条件下，H.264的压缩比是MPEG-2的2倍以上，是MPEG-4的1.5～2倍。
举个例子，原始文件的大小如果为88GB，采用MPEG-2压缩标准压缩后变成3.5GB，压缩比为25∶1，而采用H.264压缩标准压缩后变为879MB，从88GB到879MB，H.264的压缩比达到惊人的102∶1。