基于IP的H.264关键技术

合集下载

H264中的码率控制技术研究及其进展

改进而来。算法采用与ＭＰＧ４相同的固定ＧＰ结Ｅ一Ｏ构，使用缓存液体流动模型、Ｄ线性预测、次率ＭＡ二失真模型等技术，Ｇ从ＯＰ层、层、本单元（ａｉ帧基ｂｓｃｕｉ层来逐级实现码率控制。ｎｔ）
质量，但这样要求缓存器容量大，增加了编码延时。
２４Ｈ２４中的码率控制．．６
ＭＰＧ２校验模型ＴＥ一Ｍ５中采用的码流控制方法将视频序列划分为图像组（Ｏ）ＧＰ内首帧编码为ＧＰ，ＯＩ，帧剩余帧编码为Ｐ帧或Ｂ帧。码率控制主要有三
现在，研究人员提出了多种Ｈ２４码率控制方．６案。目前ＪＴ参考软件Ｊ采用了ＪＴＨ１案中ＶＭＶ — ０７提
２００６年第１（第２４期）２期总０

维普资讯
有线电视技术
的码率控制算法，该算法是在ＪＴＧ１算法基础上Ｖ－Ｏ２
率适应传输要求的方法就是视频编码的码率控制机
制。
码率控制技术包括码率分配和码率实现两个部
分，率分配主要靠各种算法去估计，现方法主要码实
Ｈ．３校验模型Ｔ８中采用的码流控制方法２６ＭＮ
主要有两个步骤：帧层，据缓存充盈度分配当前帧根目标比特，决定是否跳帧等；宏块层，根据一个经验模型，所需的比特数由像素的标准方差、量化步长索引和两个模式参数决定，随编码器的运行实时更新。由于这种码率控制方法随时对缓存容量进行调整，以可采用较小容量的缓存器，编码延时降到最低，低将对时延的实时通信十分有利。

一种适用于H.264／AVC宏块级反变换编码的IP核设计

第ｌ３卷第１０期２００８年１Ｏ月
中国图象图形学报
ＪｕｎｌｏｍａｅａｄＧｒｐｉｓｏｒａｆＩｇｎａｈｃ
．２０ｔ０８
，
一
种适用于Ｈ．６／ＶＣ宏块级反变换２４Ａ编码的ＩＰ核设计
关键词反ＤＴ变换ＣＨａａａｄ反变换ｄｍｒＴ型结构ＩＰ核
中图法分类号：Ｐ０．Ｔ３１６
文献标识码：Ａ
文章编号：０６８６（０８）０２９０１０ —９１２０１ — ０ｌ — ４
ＤｅｉｎｏａｒｂｏｋＬｅｅｎｅｓａｓｏｍＰＣｏｅｆｒＨ．６／ｓｇｆａＭｅｏｌｅｖｌＩｖｒｅＴｒｎｆｒＩｒｏ２４ＡＶＣ
（ｎｔｕｅｆＩｇｏＩｓｔｔｏｅＣｍｍｕｉｔｎａｄＩｏｍｔｎＰｏｅｉｇｅａｔｅｔｌｔｎｎｉｅｒｇｉｍａｎｃｉｎｎｒａｉｒｃｓｎ，ＤｐｒｎＥｅｒｉＥｇｎｅｉａｏｆｏｓｍｏｆｃｏｃｎ
ＳａｇａＪａｔｎｎｖｒｉ，Ｓａｇａ０２０ｈｎｈｉｉｏｇＵｉｓｙｈｎｈｉ０４）ｏｅｔ２
Ｙｕ．ｎ。ｈｏｇＺＨＡＮＧ —ｉ，ＸＵｏｇＹＡＮＧＹｉｌｎＸｉｎ ”
，
’ Ｄｐｒｎｏｌｔｎｃｎｉｅｒｇｈｎｈｉｉｏｎｎｖｒｔ，Ｓａｇａ０２０（ｅａｔｔｆＥｅｒｉＥｇｎｅｎ，ＳａｇａａｔｇＵｉｓｙｈｎｈｉ０４）ｍｅｃｏｉＪｏｅｉ２

视频监控联网技术要求及测试规范

H.264 视频监控设备联网技术要求二零一零年十月十日引言经过多年的努力，我国高速公路网已基本形成，视频监控系统的实际应用也取得了长足的进步，片区监控系统已遍布全国各主要高速路段，初步形成了高速公路视频监控的基础网络。

然而，按照目前高速公路路网管理部门普遍采用的三级结构：省监控中心（省级）、片区监控中心（路级）以及路段/隧道监控所（站级），已建成的片区监控系统基本都集中于路级，即只能做到各片区监控中心监控本片区高速公路路段所有收费站和外场/隧道的视频图像，而各片区监控中心之间却相互独立、自成体系，彼此间缺少统一的规划和技术协调，不能在更大范围内（如一个省或者直辖市）有效实现监控网络的互联、互通和信息共享，尚未形成完善的、面向高速公路监控业务需求的全省高速公路视频联网综合监控的系统集成平台，无法适应当前交通领域数字化、网络化和智能化的发展趋势要求，影响了视频监控技术在高速公路交通管理体系中作用的发挥。

根据山西省内高速公路建设和管理的实际状况调研，各高速公路路段一般都是仅按照自身管理需求来建设视频监控系统，主要形成了以下四种视频联网方式：（一）、底端模拟而从片区中心实现MPEG-2 数字化视频联网方式；（二）、底端模拟而从片区中心实现H.264 数字化视频联网方式；（三）、从底端收费站实现MPEG-2 全数字化视频联网方式；（四）、从底端收费站实现H.264 全数字化视频联网方式。

由于各联网方式之间的显著差异，目前各片区中心与省监控中心的视频联网尚存在较多问题（九个片区中心中仅晋城片区实现了与省中心的视频联网），而各片区中心之间的信息共享也基本没有实现。

结合视频编解码技术的发展趋势和应用前景，考虑到山西省高速公路视频联网的管理和业务需求，山西省高速公路视频联网将逐步采用H.264 编码方式，同时为了兼容多家H.264 编解码产品实现行业内技术进步和公平竞争，采取由山西省制定中间层管理协议、各厂家根据协议对自己产品进行配置修改的“折中兼容”方式也将成为有特色的全省联网监控方案。

H.264标准中SP帧无缝切换技术的研究与实现

摘要近年来，随着宽带网络的发展和多媒体技术的进步，以及用户对网上多媒体信息需求的增长，视频流媒体技术受到了越来越多的关注。

为了提高压缩效率和增加网络友好性，Ｈ．２６４视频编码标准引入了一些新特色，其中包括新编码类型ＳＰ帧（和ｓＩ帧），ｓＰ帧（ＳＰ，ＳｗｉｔｃｈｉｎｇＰｒｃｄｉｃｔｉｖｅ—ｆｒａｍｅ）的主要特色：不同参考帧可以解码出相同重构帧。

因此利用ｓＰ帧技术生成的码流，能够在不同码率的码流间进行无缝切换，从而服务器能够根据用户的连接速度提供最好质量的服务。

本文论述了一个基于ｓＰ帧技术的码流无缝切换系统的设计与实现。

在该系统中，首先，对ＳＰ帧的性质和编解码方寨做了深入研究。

假定同一个序列以不同的码率编码成两个码流．在每个码流中切换点位置处的图象编码成ＳＰ帧，称为ＰｒｉｍａｒｙＳＰ帧，对于每个ＰｒｉｍａｒｙＳＰ帧，有个相应的ＳｅｃｏｎｄａｒｙＳＰ帧，这个ＳｅｃｏｎｄａｒｙＳＰ帧与ＰｒｉｍａｒｙＳＰ帧有等同的重构帧，ＳｅｃｏｎｄａｒｙＳＰ只在码流切换时发送（称为切换帧）。

Ｈ．２６４标准的ＪＭ模型只实现了ＰｒｉｍａｒｙＳＰ帧的编解码，～次编码仅完成一条码流，而对ＳｅｃｏｎｄａｒｙＳＰ帧的编码环境设置和编码算法都没有实现。

本文从ＪｖＴ提案描述的ＳｅｃｏｎｄａｒｙＳＰ帧的粗略框架出发，围绕“无缝切换”的中心目的，对图像的帧内宏块以“拷贝”的特殊形式编码．帧间宏块以新框架编码，同时对特殊的ＳＫＩＰ编码模式考虑适用性，以及滤波器的更新等，详细设计了一个ＳｅｃｏｎｄａｒｙＳＰ帧的编码算法。

第二，针对“码流切换”的研究重点，本文提出了一种高效的智能流文件框架。

从“快速，准确无误”的根本出发，对不同码率的基本码流块，码流间的切换帧块，关键帧块，在文件中进行合理安排。

此框架所产生的智能流文件结构清晰，管理方便，适用于常见流媒体服务器。

结台上述两个技术，最终实现了“～次编码可完成多条码流”且“多条码流可无缝切换”的系统。

H.264／AVC中CAVLC解码器IP核的设计

Ｋｅｒｓ：Ｈ．６；ａａｌｅｏｅ；ｙｗｏｄ２４ｖｒｂｅｄｃｄｒＣＡＶＬｄｃｄｒｉＣ；ｅｏｅ
摘
要：ＡＶＬＣｎｅｔＡｄｐｉｅＶａａｌｅＩｈｏｉｇ，于上下文的变长变码）Ｈ．６／ＣＣ（ｏｔｘ— ａｔｒｂｅＬｎｔＣｄｎ基ｖｉｇ是２ＡＶＣ的熵解码模块，性能优劣直接４其
Ｅ－ｉ：ｈｎｚｅｔｒ＠１６ｅｍｍａｌｚａｇｈｓｏｙ２．ｏ
ＡＩＭｉｇｊｇＺＮＧＺｅＤＥＧａ．ｓｎｏＡＶＬｅｏｎ－ｉ，ＨＡｈ，ＮＹｕｎＤｅｉｆＣｎｇＣｄｃｄｒＩｏｅｉ２４ＡＶｔｄｒ・ｏｕｅｎｉｅｒａ
Ｓｍ６１ｔｉｄｓｎｃｎｆｌｌｔｅｐｒｏａｃｅｕｒｍｅｔｏａｅｉｅｐｏｌｌｖｌ３０ｉＨ．６ｔｎａｄｉ．，ｓｅｉａｕｆｌｈｅｒｎｅｒｑｉｈｇｉｆｍｅｎｆｂｓｌｒｆｅ，ｅ．ｎｎｉｅ２４ｓａｄｒ．
ｉｇａｄＡｐｌａｉｎ，０７，３（０）１９１２ｎｎｐｉｔｓ２０４２：０ — １．ｃｏ
ＡｂｔａｔＣＡＶｉｈｅ￣ｏｙｓｒｃ：ＬＣｓｔｅｎｐｍｏｕｅｏ２４ＡＶＣ，ｉｈａａｆｃ２４ＡＶＣｅｏｅ ’ ｐｒｒｎｅｉｃｌ．ａｅｏｄｌｆＨ．６／ｗｈｃｃｎｆｔＨ．６／ｅｄｃｄｒＳｅｏｍａｃｄｒｔＢｓｄｎｆｅｙｅｉｉｇＣＡＶＬｅｏｅ，ｉａｅｒｐｓｓｒｈｔｃｕｅｏＡＶＬｅｏｅａｅｏＰｘｓｎｔＣｄｃｄｒｔｓｐｐｒｐｏｏｅａｃｉｔｒｆＣｈｅＣｄｃｄｒｂｓｄｎＦＧＡ．ｈｓａｃｉｃｕｅｕｅｈｉｐｒｉｅＴｉｒｈｔｔｒｓｓｔｅｄｓｅｖｅｓｃｎｒｌｔａｅｙｔｓｌｙｈｄｓｇｉｒｖｓｏｄｃｄｒｍｏｕｅ，ｎｄｓｇａａｌｌｒｇｓｒａｒｙｔｓｐｏｔｅｆｌｗｉｇｏｔｓｒｔｇｏｉｉｔｅｅｉｎ，ｏｍｐｆｍｐｏｅｓｍｅｅｏｅｄｌａｄｅｉｎｐｒｌｅｉｔｒａｏｕｐ￣ｈｏｌｎｅｅｏ

H.264标准（一）mp4封装格式详解

H.264标准（⼀）mp4封装格式详解在⽹络层，互联⽹提供所有应⽤程序都要使⽤的两种类型的服务，尽管⽬前理解这些服务的细节并不重要，但在所有TCP/IP概述中，都不能忽略他们: ⽆连接分组交付服务(Connectionless Packet Delivery Service) ⽆连接交付抽象地表⽰⼤多数分组交换⽹络都能提供的⼀种服务。

简单地讲，指的是TCP/IP灰暗⽹按照报⽂上携带的地址信息把短报⽂从⼀台机器传递到另⼀台机制。

因为⽆连接服务单独传递每个分组，所以不能保证可靠、有序地传递。

⽽且，由于⽆连接服务通常直接映射到底层的硬件上，所以⾮常有效。

更重要的是，有了⽆连接分组交换作为互联⽹服务的基础，使得TCP/IP协议协议可以适应多种⽹络硬件。

可靠的数据流传输服务(Reliable Stream Transport Service) ⼤多数应⽤程序要求得到⽐分组交换更多的服务，因为它们要求通信软件能够从传输错误、分组丢失或发送者与接受着之间路径上的交换机的故障中⾃动恢复过来。

可靠的传输服务处理了这些问题。

它允许⼀台计算机上的应⽤程序与另⼀台计算机上的应⽤程序之间建⽴⼀个"连接"，然后通过该链接发送⼤量数据，就像这是⼀个永久的直接硬件连接。

当然，在底层，通信协议把数据流分成⼀个个⼩报⽂来发送它们，⼀次⼀个，同时等待接受这发送确认接收的信息。

⽆连接交付系统最基本的互联⽹服务由⼀个分组交付系统组成。

从技术⾓度来讲，该服务被定义为不可靠的、尽最⼤努⼒交付的、⽆连接分组交付系统，类似于由运⾏在尽最⼤努⼒交付模式的⽹络硬件所提供的服务。

这种服务是不可靠的(unreliable),因为不能保证交付。

分组可能丢失、重复、延迟或不按序交付等，但服务不检测这种情况，也不提醒发送⽅和接收⽅。

服务是⽆连接的(connectionless),因为每⼀个分组都被独⽴对待。

从⼀台计算机发送到另⼀台上的分组序列，可能经过不同的传输路径，或者有的丢失有的到达。

IPC(网络摄像机)核心技术以及亮点功能

IPC核心技术谈及IPC的核心技术，还是需要从其软硬件构成谈起。

在硬件上，IPC主要是由光学器件、感光成像器件、IC芯片、电路板等构成；从软件上看，主要是包括视频编码压缩算法、视频分析算法及应用软件程序。

不同的公司采用不同的成像器件、芯片、开发不同的压缩算法，最终生产的IPC设备在性能表现上会有很大的差别。

(一)光学成像技术光学成像系统无论是在模拟摄像机还是在IPC系统中都是一个重要的环节，视频图像的质量与光学成像系统密切相关。

通常光学成像技术包括镜头技术及感光器件技术，一直以来，镜头技术以德国及日本的技术比较领先。

感光器件目前有CCD及CMOS两种，CCD感光器件目前占据对的市场份额。

CCD的主要优点是高解析、低噪音、高敏感、可大批量稳定生产等，日本公司的CCD 技术占全球主导地位。

CMOS急速自从20世纪80年代发明以来，初期主要用于低端、低品质市场，但随着CMOS技术的逐步成熟和完善，在高分辨率摄像头中，CMOS开始迅猛发展起来，CMOS技术目前是欧美公司的天下。

这两种传感器各有长短，甚至好多公司的IPC 产品线分别以CCD和CMOS传感器架构支撑，两条腿并行。

(二)视频编码算法视频编码算法不仅仅是DVS、DVR的核心技术，对于IPC一样是核心技术。

无论何种编码方式，其关键是“在有限的码流下实现高质量的图像，并具有良好地网络适应性”。

视频编码算法从早期的MJPEG，MPEG-4，发展到目前的H.264。

H.264因为具有良好地图形质量、编码效率及网络适应能力，是目前及未来一段时间编码算法的主流。

早期的IPC主要采用MJPEG算法，MJPEG编码方式比较简单，对芯片的处理能力要求不高。

采用帧内压缩方式，帧内间没有关系；图像质量好，适合于影像编辑。

但是由于不采用帧间预测技术，使得码流过高从而网络负荷较重，存储空间需求也比较大。

由于MJPEG 编码方式下对每帧图像独立压缩编码，因此，在部分地区可用来做法律证据。

h264是什么视频文件格式？

通DVD相当，5Mbps左右)?难道DVD的MPEG-2压缩技术真落伍了，导致用很大的数据量来压制，反而效果上还比不上数据量比它小很多的H2
64?问题1：低码率的H264对硬件要求高，一般的电脑配置根本看不了，看DVD则是P3就够了问题2：真正的H264 分辨率是720P、1080
I、1080P三种，没有960540的，转压后的H264质量和原版的没法比，原版的H264是胶片转压的，不是蓝光或 DVD转的，网上的哪些95
宽图像快速传输已成为视频压缩的两大难题。为此 IEO/IEC/和ITU-T两大国际标准化组织联手制定了新一代视频压缩标准H.264。H.264
和以前的标准一样，也是DPCM加变换编码的混合编码模式。但它采用“回归基本”的简洁设计，不用众多的选项，获得比MEPG-4好得多的压缩性能;
H.264加强了对各种信道的适应能力，采用“网络友好” 的结构和语法，有利于对误友和丢包的处理;H.264应用目标范围较宽，可以满足不同速率、
h264是什么视频文件格式?H.264是MPEG-4标准所定义的最新格式，同时也是技术含量最高、代表最新技术水平的视频编码格式之一，有的也称
AVC(高级视频编码)，是一种视频压缩标准。是一种被广泛使用的高精度视频的录制、压缩和发布格式。H.264的硬件应用-HD-DVD/蓝光(B
lu-ray)DVD论坛(DVDForum)和蓝光光盘协会(BlurayDiscAssociation)正在讨论能支持高清晰(HighDe
不同解析度以及不同传输(存储)场合的需求。在技术上， H.264标准中有多个闪光之处，如统一的VLC符号编码，高精度、多模式的位移估计，基于4
块的整数变换、分层的编码语法等。这些措施使得H.264 得算法具有很高的编码效率，在相同的重建图像质量下，能够比H.263节约50%左右的码率

H264 NAL层解析

编码视频序列
一个编码视频序列由一串连续的存储单元组成，使用同一序列参数集。每个视频序列可独立解码。编码序列的开始是即时刷新存储单元（ID R）。IDR是一个I帧图像，表示后面的图像不用参考以前的图像。一个NAL单元流可包含一个或更多的编码视频序列。
RTP协议：
实时传输协议（Real-time Transport Protocol，RTP）是在Internet上处理多媒体数据流的一种网络协议，利用它能够在一对一（单播）或者一对多（multicast，多播）的网络环境中实现传流媒体数据的实时传输。RTP通常使用UDP来进行多媒体数据的传输，但如果需要的话可以使用 TCP或者ATM等其它协议，整个RTP协议由两个密切相关的部分组成：RTP数据协议和RTP控制协议。实时流协议（Real Time Streaming Protoco l， RTSP）最早由Real Networks和Netscape公司共同提出，它位于RTP和RTCP之上，其目的是希望通过IP网络有效地传输多媒体数据。
存储单元：
一组指定格式的NAL单元称为存储单元，每个存储单元对应一个图像。每个存储单元包含一组VCL NAL单元，组成一个主编码图像，VCL NAL单元由表示视频图像采样的像条所组成。存储单元前面可以加一个前缀，分界存储单元，附加增强信息（SEI）（如图像定时信息）也可以放在主编码图像的前面。主编码图像后附加的VCL NAL单元，包含同一图像的冗余表示，称为冗余编码图像，当主编码图像数据丢失或损坏时，可用冗余编码图像解码。
边界定位。还有一种可选特性，在字节流中增加附加数据，用做扩充发送数据量，能实现快速边界定位，恢复同步 Case2：IP网络的RTP打包封装分组打包的规则
(1)额外开销要少，使MTU尺寸在100～64k字节范围都可以； (2)不用对分组内的数据解码就可以判别该分组的重要性； (3)载荷规范应当保证不用解码就可识别由于其他的比特丢失而造成的分组不可解码； (4)支持将NALU分割成多个RTP分组； (5)支持将多个NALU汇集在一个RTP分组中。 RTP的头标可以是NALU的头标，并可以实现以上的打包规则。一个RTP分组里放入一个NALU，将NALU(包括同时作为载荷头标的NALU头)放入RTP的载荷中，设置RTP头标值。为了避免IP层对大分组的再一次分割，片分组的大小一般都要小于MTU尺寸。由于包传送的路径不同，解码端要重新对片分组排序，RTP包含的次序信息可以用来解决这一问题。 NALU分割对于预先已经编码的内容，NALU可能大于MTU尺寸的限制。虽然IP层的分割可以使数据块小于64千字节，但无法在应用层实现保护，从而降低了非等重保护方案的效果。由于UDP数据包小于64千字节，而且一个片的长度对某些应用场合来说太小，所以应用层打包是RTP打包方案的一部分。新的讨论方案(IETF)应当符合以下特征： (1)NALU的分块以按RTP次序号升序传输； (2)能够标记第一个和最后一个NALU分块； (3)可以检测丢失的分块。 NALU合并一些NALU如SEI、参数集等非常小，将它们合并在一起有利于减少头标开销。已有两种集合分组： (1)单一时间集合分组(STAP)，按时间戳进行组合； (2)多时间集合分组(MTAP)，不同时间戳也可以组合。 NAL规范视频数据的格式，主要是提供头部信息，以适合各种媒体的传输和存储。NAL支持各种网络，包括： 1．任何使用RTP/IP协议的实时有线和无线Internet 服务 2．作为MP4文件存储和多媒体信息文件服务 3．MPEG-2系统 4．其它网 NAL规定一种通用的格式，既适合面向包传输，也适合流传送。实际上，包传输和流传输的方式是相同的，不同之处是传输前面增加了一个起始码前缀在类似Internet/RTP面向包传送协议系统中，包结构中包含包边界识别字节，在这种情况下，不需要同步字节。 NAL单元分为VCL和非VCL两种 VCL NAL单元包含视频图像采样信息，非VCL包含各种有关的附加信息，例如参数集（头部信息，应用到大量的VCL NAL单元）、提高性能的附加信息、定时信息等参数集：

H.264网络监控手机监控设置向导

4．手机监控采用辅码流技术，进行手机监控，可支持通道切换。

（以windows mobile手机系统为例）步骤一：DV R设置。

【主菜单】>【系统设置】>【编码设置】，选择启用辅码流；步骤二：启用手机监控功能。

【主菜单】>【系统设置】>【网络服务】>【手机监控设置】，设置端口号；备注：该端口号须进行路由器映射，方可这次手机访问；步骤三：安装配套的手机监控软件。

从光盘获取相应的客户端软件，（WINDOWS MOB ILE对应的智能手机监控客户端MEYE_WM.cab），在手机上进行安装；步骤四：安装成功后，在手机的【开始】>【程序】找到并运行相应的客户端软件（wind ows mob ile 为Moveeye），出现图14界面；图13 手机客户端界面步骤五：手机客户端设置，点击图14右上角设置键，出现图15界面：图14 客户端设置界面用户名：登录设备的用户名；密码：登录设备的密码；服务器：设备的公网I P地址或者域名；端口：为步骤二中设置的端口号；自动连接：选中自动连接时，当打开客户端时会自动连接设备，并调出默认通道的图像；备注：手机监控时DV R需要处于公网联网状态；1.1术语表DDNS（Dynamic Domain Name Server）：动态域名服务DNS（Domain Name Server）：域名服务器ADSL(Asymmetrical Digital Subscriber Loop)：非对称数字用户环线DVR（Disk V ideo Record）：硬盘录像机1.简单外网访问设置本功能可以在不需要申请复杂的动态DDNS域名也无需在路由器设置端口映射或者DMZ主机，通过自动获取的域名即可在公网访问设备。

注：使用本功能时，如果设备挂在路由器下面，请确保路由器的UPnP功能处于启用状态。

2.1启用UPNPUPNP设置在路由器“转发规则”-〉“UPNP设置”，启用该服务，如图：2.高级外网访问设置如果您的设备在工厂，而您想在家里访问设备，对设备进行远程监视，则需要进行外网访问设置。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

基于IP的H.264关键技术介绍了 IP网络应用环境，H.264的错误恢复工具；介绍如何在IP网络使用RTP分组传输H.264的视频技术和RTP载荷格式草案。 upsdn首页 > 嵌入式开发 > PMP开发

一、引言 H.264是ITU-T最新的视频编码标准，被称作ISO/IEC14496-10或MPEG-4 AVC，是由运动图像专家组（MPEG）和ITU的视频编码专家组共同开发的新产品。H.264分两层结构，包括视频编码层和网络适配层。视频编码层处理的是块、宏块和片的数据，并尽量做到与网络层独立，这是视频编码的核心，其中包含许多实现错误恢复的工具；网络适配层处理的是片结构以上的数据，使 H.264能够在基于RTP/UDP/IP、H.323/M、MPEG-2传输和H.320协议的网络中使用。

二、 IP网络对视频压缩的限制 1. H.264的应用场合在讨论基于IP的H.264之前，有必要先阐述一下H.264与IP网络有关的应用场合及其对传输和编解码器的要求。下面介绍对话应用、下载服务和流媒体应用三种场合。

对话应用，比如像视频电话和视频会议，有严格的时延限制，要求端到端时延小于1s，最好小于 100ms。编解码器的参数能实时调整，错误恢复机制要根据实际网络变化而改变。编解码的复杂度不能很高，比如双向预测的模式就不能被采用。

下载服务，可使用可靠的传输协议如FTP和HTTP将数据全部传输。由于这种应用的非实时性，编码器可以通过优化进行高效编码，而且对时延和错误恢复机制没有要求。

流媒体服务应用，对时延要求介于上面两者之间，初始化时延是10s以内。与实时编码相比对时延要求降低，编码器可以进行优化实现高效编码（比如双向预测）。然而通常流媒体服务使用不可靠的传输协议，所以编码时要进行差错控制并进行信道纠错编码。

本文主要讨论对话应用和流媒体应用，这两种应用基于IP网络。IP网络又可分为三种类型：不可控 IP网络（如 Internet）、可控IP网络（广域网）和无线IP网络（如3G网络）。这三种IP网络有不同的最大传输单元尺寸（MTUsize）、比特出错概率和 TCP使用标记。最大传输单元尺寸是网络层最大的分组长度，H.264编码时要使片的长度小于MTU尺寸，这样可避免在网络层再进行一次数据的分割。两个 IP节点之间的MTU尺寸是动态变化的，通常假定有线IP网络的MTU尺寸是1.5千字节，无线网络的MTU尺寸是100字节。可见要适用于无线网络的 H.264必须采用数据分割技术使得片的长度小于MTU尺寸。TCP传输控制协议能够解决网络拥塞引起的分组丢失问题，而在无线网络中，分组丢失是由于链路层错误引起的，TCP并非很好的解决办法，要采用差错控制协议。

2. H.264使用的协议环境对话应用和流媒体应用使用同一协议组，下面进行讨论。网络层协议：使用IP（网际协议）。每个IP分组单独从发方出发，经过一系列的路由器到达收方。 IP将大于 MTU尺寸的分组进行数据分割、重组。每个分组的传输时间都有所不同。IP头20个字节由校验码来保证，但数据没有保护。IP分组最大值为64千字节，但由于MTU尺寸的限制，一般没有这么大。

传输层协议：主要有两个协议，TCP和UDP。TCP提供面向字节的可靠传输服务，以重传和超时等机制作为差错控制的基础。由于对时延的不可预测，并不适用于实时通信传输。UDP提供不可靠的数据报传输业务。UDP头包含的校验数（8字节）可以发现和去掉含有比特错误的分组。UDP允许分组传输过程中出现丢失、复制、改序等。使用UDP协议时，高层必须使用错误恢复协议。

应用层传输协议：使用RTP（实时传输协议）。该协议和IP/UDP结合使用，是面向会话的协议。每个RTP分组包含RTP头标，载荷头标（可选）和载荷本身。RTP头标的内容见图1，基本选项占用12字节，标记位标记有同一时间戳的一组分组的结束。RTP协议使发送方将数据分为大小合理的分组，并将解码方观察到的网络特征反馈给发送方，使发送方可以动态调整比特率和抗误码机制。RTP分组和RTP载荷规范在第四部分讨论。

应用层控制协议：有H.245协议、SIP和SDP，或RTSP。这些协议可以实现流媒体的控制，收发方的协商和控制动态会话层。三、H.264的错误恢复工具错误恢复的工具随着视频压缩编码技术的提高在不断改进。旧的标准（H.261、H263、MPEG -2的第二部分）中，使用片和宏块组的划分、帧内编码宏块、帧内编码片和帧内编码图像来防止错误的扩散。之后改进的标准（H.263+、MPEG-4）中，使用多帧参考和数据分割技术来恢复错误。H.264标准在以前的基础上提出了三种关键技术：（1）参数集合，（2）灵活的宏块次序（FMO），（3）冗余片（RS）来进行错误的恢复。

1. 帧内编码 H.264中帧内编码的技术和以前标准一样，值得注意的是：（1）H.264中的帧内预测编码宏块的参考宏块可以是帧间编码宏块，帧内预测宏块并不像 H.263中的帧内编码一样，而采用预测的帧内编码比非预测的帧内编码有更好的编码效率，但减少了帧内编码的重同步性能，可以通过设置限制帧内预测标记来恢复这一性能。

（2）只包含帧内宏块的片有两种，一种是帧内片（Islice），一种是立即刷新片（IDRslice），立即刷新片必存在于立即刷新图像（IDRpicture）中。与短期参考图像相比，立即刷新图像有更强壮的重同步性能。

在无线IP网络环境下，为了提高帧内图像的重同步性能，要采用率失真优化编码和设置限制帧内预测标记。

2. 图像的分割 H.264支持一幅图像划分成片，片中宏块的数目是任意的。在非FMO模式下，片中的宏块次序是同光栅扫描顺序，FMO模式下比较特殊。片的划分可以适配不同的MTU尺寸，也可以用来交织分组打包。

3. 参考图像选择参考图像数据选择，不论是基于宏块、基于片，还是基于帧，都是错误恢复的有效工具。对于有反馈的系统，编码器获得传输中丢失图像区域的信息后，参考图像可以选择解码已经正确接收的图像对应的原图像区域作参考。在没有反馈的系统中，将会使用冗余的编码来增加错误恢复性能。

4. 数据的划分通常情况下，一个宏块的数据是存放在一起而组成片的，数据划分使得一个片中的宏块数据重新组合，把宏块语义相关的数据组成一个划分，由划分来组装片。在H.264中有三种不同的数据划分。

（1）头信息划分：包含片中宏块的类型，量化参数和运动矢量，是片中最重要的信息。（2）帧内信息划分：包含帧内CBPs和帧内系数，帧内信息可以阻止错误的蔓延。（3）帧间信息划分：包含帧间CBPs和帧间系数，通常比前两个划分要大得多。帧内信息划分结合头信息解出帧内宏块，帧间信息划分结合头信息解出帧间宏块。帧间信息划分的重要性最低，对重同步没有贡献。当使用数据划分时，片中的数据根据其类型被保存到不同的缓存，同时片的大小也要调整，使得片中最大的划分小于MTU尺寸。

解码端若获得所有的划分，就可以完整重构片；解码端若发现帧内信息或帧间信息划分丢失，可用的头信息仍然有很好的错误恢复性能。这是因为宏块类型和宏块的运动矢量含有宏块的基本特征。

5. 参数集的使用序列的参数集（SPS）包括了一个图像序列的所有信息，图像的参数集（PPS）包括了一个图像所有片的信息。多个不同的序列和图像参数集经排序存放在解码器。编码器参考序列参数集设置图像参数集，依据每一个已编码片的片头的存储地址选择合适的图像参数集来使用。对序列的参数和图像的参数进行重点保护才能很好地增强H.264错误恢复性能。

在差错信道中使用参数集的关键是保证参数集及时、可靠地到达解码端。例如，在实时信道中，编码器用可靠控制协议及早将他们以带外传输的方式发送，使控制协议能够在引用新参数的第一个片到达之前把它们发给解码器；另外一个办法就是使用应用层保护，重发多个备份文件，确保至少有一个备份数据到达解码端；第三个办法就是在编解码器的硬件中固化参数集设置。

6. 灵活的宏块次序（FMO）灵活的宏块次序是H.264的一大特色，通过设置宏块次序映射表（MBAmap）来任意地指配宏块到不同的片组，FMO模式打乱了原宏块顺序，降低了编码效率，增加了时延，但增强了抗误码性能。FMO模式划分图像的模式各种各样，重要的有棋盘模式、矩形模式等。当然FMO模式也可以使一帧中的宏块顺序分割，使得分割后的片的大小小于无线网络的MTU尺寸。经过FMO模式分割后的图像数据分开进行传输，以棋盘模式为例，当一个片组的数据丢失时可用另一个片组的数据（包含丢失宏块的相邻宏块信息）进行错误掩盖。实验数据显示，当丢失率为（视频会议应用时）10%时，经错误掩盖后的图像仍然有很高的质量。

7. 冗余片方法前边提到了当使用无反馈的系统时，就不能使用参考帧选择的方法来进行错误恢复，应该在编码时增加冗余的片来增强抗误码性能。要注意的是这些冗余片的编码参数与非冗余片的编码参数不同，也就是用一个模糊的冗余片附加在一个清晰的片之后。在解码时先解清晰的片，如果其可用就丢弃冗余片；否则使用冗余模糊片来重构图像。

四、H.264中实时传输协议（RTP） 1. RTP载荷规范在第二部分已经对H.264的网络协议环境作了阐述，这里要详细讨论RTP的载荷规范和抗误码性能。RTP通过发送冗余信息来减少接收端的丢包率，会增加时延，与冗余片不同的是它增加的冗余信息是个别重点信息的备份，适合于应用层的非等重保护。下边阐述与多媒体传输有关的3个规范。

（1）分组复制多次重发，发送端对最重要的比特信息分组进行复制重发，使得保证接收端能至少正确接收到一次，同时接收端要丢弃已经正确接收的分组的多余备份。

（2）基于分组的前向纠错，对被保护的分组进行异或运算，将运算结果作为冗余信息发送到接收方。由于时延，不用于对话型应用，可用于流媒体。