网络音视频实时传输技术AVB及飞思卡尔参考方案(rev1.0)-[企业与产品]

1以太网AVB技术概述

以太网音视频桥接技术（Ethernet Audio/Video Bridging，以下简称Ethernet AVB）是一项新的IEEE 802标准。其在传统以太网络的基础上，通过保障带宽，限制延迟和精确时钟同步，提供完美的服务质量，以支持各种基于音频、视频的网络多媒体应用。

Ethernet AVB致力于提供一套基于标准的方案来为演播室、影剧院、音乐会现场及娱乐系统等提供稳定可靠的音视频服务，以及提供低延时、供家庭及企业使用的同步音视频网络。其关注于增强传统以太网的实时音视频性能，同时又能够100%向后兼容传统以太网，是极具发展潜力的下一代网络音视频实时传输技术。它是一种架构在以太网三层网络基础上传输专业非压缩Audio、video信号的协议技术，能够支持目前大多数的专业视频信号格式，支持多达512通道的无压缩或多路压缩数据格式音频信号，支持在以太网上传输压缩的1080i/p高清视频信号，而它的带宽占用率只有130Mbit/s。

1.1AVB在汽车中的应用

近些年来，科技的飞速发展，让我们体会到了技术带来的种种便利和突破。随着各项技术在各个领地被引进汽车系统。汽车影音娱乐，高级驾驶员辅助系统，互联网技术等，在经过工业消费等领域的多年沉淀后，也开始逐步走入汽车市场。我们今天看到的车道偏离，自动泊车，自动驾驶等先进技术当下已经进入实质性导入阶段。未来的汽车将是互联的汽车、智能的汽车和智慧的汽车。以太网AVB技术在汽车上的应用在不久的将来会成为标准配置，我们将感受到由此带来的车内实时高清、实时传输的网络音视频所带来的优秀的用户感官体验。

AVB技术应用的优势可以体现在以下场景：

自动/辅助泊车：高清实时传输的视频流可以为驾驶员或者中央处理单元提供可靠的判断依据，有效的避免了因图像不清晰或者延迟给驾驶员或者中央处理单元带来错误的信息，导致驾驶员或者中央处理器的误判，进而产生不可预知的后果。

智能停车：当我们懒得下地库停车，或者着急上班但又没有找到车位时，高清音视频传输技术加上汽车处理器强大的数据分析能力以及数据中心的停车位信息等，可以帮助驾驶员或者汽车自己轻松寻找到车位。其原理就是对信息采集系统采集过来的汽车周边的实时高清影音信息进行分析，进而做出实时、精准、正确的判断，完全自动、自主或者辅助的完成智能停车。这种应用甚至可以实现汽车的自主加油、充电等动作。

音视频实时传输技术AVB

及飞思卡尔汽车应用参考方案

杨涛

（飞思卡尔半导体中国有限公司汽车电子FAE）

图1AVB 云架构

代，高清、超清的视频感官体验让我们为之震撼。汽车内的信息娱乐系统同样也将顺应潮流，提供给驾驶员及乘客越来越好的感官体验。

在安全领域，AVB 技术及图像处理技术也将会有广阔的发展空间和作为。可以使用视频图像分析技术对可能的路面威胁，如行人、汽车、障碍物等进行回避或者提示。而这一切都是建立在AVB 基础之上的，抛开AVB 技术，这一切也都是空中楼阁。

1.2以太网AVB 网络的构成

汽车内的AVB 传输技术可以分为两个阶段：第一个阶段是车内的AVB 传输，在车内实现通过以太网技术带来的低成本、高效率地传输音视频流。第二个阶段是实现汽车互联（车联网）的阶段，汽车将因为联网而变得更加智能化。我们可以远程通过音视频来实时控制汽车的行为，也可以让汽车通过云端复杂的数据处理完成更加智慧的行为，比如自己寻找车位，自己去加油等等。这些都离不开网络数据中心的数据支持，这也意味着汽车联网的大规模普及将会在未来几年内飞速地发展，不断地融入、丰富和改变我们的生活。

互联网“云”的概念早已不是什么新鲜概念，大数据、云计算和云存储等，早已经开始大规模在电商、通信和银行等行业内广泛应用。Ethernet AVB 建立的AVB 网络，称之为AVB “云”（Cloud），解决了在以太网上提供同步化低延迟的实时流媒体服务。在AVB “云”内，由于延迟和服务质量得到保障，能够高质量地提供实时的流媒体服务。同时，AVB 网络保持与传统以太网的兼容，能够连接到传统的交换机、集线器和终端设备。告别直接与硬件对话的“云计算”支持用户在任意位置、使用各种终端获取应用服务，所请求的资源来自“云”，而不是固定的有形的实体。当然“AVB 云”和我们时下流行的“云”概念还是有些区别的。一个是必须符合AVB 的各种标准，一个是广泛应用于全球的大数据处理的云。当然，我想在不久的未来，这两朵“云”将会为了在以太网上提供同步化低延迟的实时流媒体服务，需要建立AVB 网络，称之为AVB “云”。AVB “云”的建立需要至少速度在100Mbps 以上的全双工以太链路，这就需要能保障传输延迟的AVB 交换机（Switch）和终端设备（End Point），以及逻辑链路发现协议（IEEE 802.1AB -LLDP），用于设备之间交换支持AVB 的协议信息，如图1所示。

在AVB “云”内，由于延迟和服务质量得到保障，能够高质量地提供实时的流媒体服务。同时，AVB 网络保持与传统以太网的兼容，也能够连接到传统的交换机、集线器和终端设备。但由于集线器的半双工特性，以及传统以太网交换机不具有AVB 功能，无法完全保障其流媒体服务的实时性。因此在AVB “云”外，只保障普通的最大交付功能并与AVB 网络相连。

1.3以太网AVB 解决的问题

流媒体服务在如今的以太网上已经得到了广泛应用。虽然通过缓冲及自适应时钟恢复技术能够在一定程度上解决网络时延和抖动带来的问题，但这本身又会引入更多的延迟。而超过AV 应用本身所允许的误差范围，并且恢复的时钟也没有足够的精度对不同位置的AV 信号进行同步。为此，AVB 定义了高精度的时钟同步协议（IEEE 802.1AS），为以太网提供完美的低延迟、低抖动的时钟。为了解决网络中AV 实时流量与普通异步TCP 流量之间的竞争问题，AVB 定义了流预留协议（IEEE 802.1Qat），通过协商机制，在AV 流从源设备到不

带宽资源，以提供端到端的服务质量及延迟保障。

此外，依赖于时间同步的AV流在从源设备、途径不同交换机、再到达目的设备的路径中，还需要指定包转发及队列的算法，以避免交换机和设备端点中大量TCP等异步流量导致的抖动，并严格保持在250μs的时隙内转发AV流。

AVB规定了A类（Class A）和B类（Class B）两种音视频流，对应的以太网帧率（Frame Rate）分别为125μs和250μs。根据IEEE802.1D的规定，局域网中最大的网桥直径为7跳（Hops）。所以，在7跳的局域网环境中，每跳250μs的延迟将使得整个数据流量的最大延迟不大于2ms，这无疑使得流服务应用不需要依赖过多的缓存，降低对硬件资源的要求，使得更多资源紧凑的设备也能实现AVB的功能。

1.4IEEE80

2.1AVB标准概览及应用难点

我们知道AVB技术的先进性、可靠性，但是如何才能实现和保障，将是我们要面临的挑战。下面首先是AVB标准的简单介绍：

一、精准时间同步协议（Precision Time Protocol，简称PTP）--IEEE802.1AS：“Timing and Synchro-nization for Time-Sensitive Applications in Bridged Lo-cal Area Networks”；

二、流预留协议（Stream Reservation Protocol，简称SRP）--IEEE802.1Qat：“Virtual Bridged Local Area Networks-Amendment9：Stream Reservation Protocol（SRP）”；

三、队列及转发协议（Queuing and Forwarding Protocol，简称Qav）--IEEE802.1Qav：“Virtual Bridged Local Area Networks-Amendment11：Forwarding and Queuing Enhancements for Time-Sen-sitive Streams”；

四、音视频桥接系统（Audio/Video Bridging Systems）--IEEE802.1BA：“Local and Metropolitan Systems”。

此外，还有另外两个使用IEEE802.1AVB来提供高质量专业音视频的标准：

一、（二层）音视频桥接传输协议（Audio/Video Bridging Transport Protocol，简称AVBTP）--IEEE 1722：“Layer2Transport Protocol for Time Sensitive Applications in Bridged Local Area Networks”;

二、（三层）实时传输协议（Real-time Transport Protocol，简称RTP）--IEEE1733：“Layer3Trans-port Protocol for Time Sensitive Applications in Local Area Networks”

IEEE802.1AVB协议并没有规定我们如何对输入的视频流包进行分割处理，因此音视频的接收端并没有考虑如何去处理这些进来的数据流。到底是直接转发还是缓冲队列后转发？如果需要缓冲，到底需要多少RAM作为缓冲区域？后段转发的有可能多个数据流的各自时间片大小如何划分？优先权如何设定？音频流的格式很多，占用带宽最大的7.1声道32位数据将会占用12Mb/s带宽，我们如何处理多数据流的应用？在有操作系统的情况下，如何保证转发任务能够及时按时执行？这些都将是我们在系统设计过程中遇到的问题。

2飞思卡尔汽车AVB方案及具体实现

2.1概述

AVB系统在汽车中的应用可以是上文所述，在因特网的大框架下，实现精确时间传输音视频，在汽车内可以非联网形式独立存在。这只需要车内的各个主机和节点符合AVB的系统要求。如果要实现联网，只需要通过无线网络连接到外部的“AVB云”中去。图2是汽车AVB信息娱乐系统的架构。

2.2飞思卡尔AVB的参考方案的硬件环境

图3多摄像头系统应用框图

图2汽车AVB 信息娱乐系统架构

WXGA （1280×800），HD720P （1280×720），WVGA （752×480），600×400，CIF （352×288），QVGA （320×240）。图像传感器连接到MPC5604E 的视频编码模块，数据经过压缩处理后，由快速以太网模块（FEC）传输到Broadcom 交换机，然后最后汇总到PC 通过VLC media player 软件将图像显示出来。

主动安全和高级驾驶员辅助系统（ADAS）支持全景辅助泊车，提供给车辆的高质量的环视影像（通常是鸟瞰图）。为此，车身上将会安装高达5个拥有广角镜头的CMOS 摄像头。一个典型的安装是：在前保险杠的每一端都有一个摄像头，在每一个后视镜旁边各有一个，车的后备箱后边一个。环视

中的前摄像头不能和主动安全的前视摄像头复用，因为它们具有完全不同的光学需求。所有的摄像头连接到一个中央融合电子控制单元（ECU）进行优化和图像生成。

首先，如果没有直接进行光学转换的话，融合单元需要对每个图像进行广角变形和校正。下一步是图像的拼接———类似于当前市场上的很多数字摄像头的特性。用广域算法进行拼接，处理的复杂程度依据图像质量的不同而不同。原则上，相邻的图像间一

样的地方需要被辨识出来，可以通过匹配滤波器来实现。在确定如何将图像无缝地拼接起来之后，做一些后段处理，将重叠的区域平滑地融合在一起。最后，拼接的图像在三维网格模型上根据选择的视角呈现出生成的最终图像。

每个摄像头都连接到一个带有开关选择的ECU，接下来ECU 将以太网AVB 数据流混合，然后发送给中央处理单元。未来的系统有更多的ADAS 节点（比如摄像头和保险杠雷达），有可能会有两个专门的ADAS 选择开关。

每个摄像头通过并行数字接口（如图4所示）连接到一个mpc5604e 网关（图3）。被缓冲的原始数据和色彩成分通过垂直降低采样将YUV4：2：2图像降到YUV4：2：0。一个低延迟视频编码器将图像按照1:5/1:10或更高的比率进行压缩。这种压缩并非无损压缩，因此图像的质量将会随着压缩率的增加而降低。视频比特流随后缓冲到mpc5604e （专用的视频比特流缓冲区），然后再通过以太网AVB 链路被发送出去。

2.3飞思卡尔AVB 参考方案的软件环境

飞思卡尔AVB 软件库（Salsa Low Cost Refer-ence Kit Library）提供了基于以太网来提供传输音视频的功能函数库。其中包含了硬件视频传感器接口，摄像头配置和缓冲区管理。在以太网流软件包中AVB 或者UDP 视频流生成器和以太网底层驱动模块用来传送缓冲区中的视频数据。这个库可以用来

图5飞思卡尔AVB 系统上层连接框图

Salsa低成本参考套件库提供以下功能：●相机控制和配置功能；●broadrearch 物理层初始化；●UDP 或者流生成是一个接口。该软件库包含以下应用库：

●“libethercamavb”库，支持AVB 流生成；●“libethercamudp”库，支持UDP 流生成。

在PC 端，我们使用VLC media （一个可以读取文件，CD、VD、网络流、采集卡以及许多设备的自由的媒体播放器、编码器和流服务器）来对接收到的音视频图像进行处理。

2.4飞思卡尔AVB 系统视频网关处理器MPC5604E 参数性能简介

MPC5604E 单片机是一款适合做以太网网关系统的汽车级32位Powerpc 架构的单片机，通过以太网来接收和转发来自不同源和目的地的音视频数据。

●视频数据（8/10/12比特数据字）；●音频数据（6个立体声通道）；

●雷达数据（2×12比特＜1微秒每次采样，外部数字化，通过DSPI 读取）；

●其他串行通信接口，包括CAN、LIN 和SPI。以太网模块带宽为10/100兆比特/秒，支持精确的时间戳（IEEE1588）。在汽车中使用非屏蔽双绞线电缆来传输数据（通过以太网），从而大大降低了高带宽数据链路的物料成本。

视频编码器可以接受ITU-BT656类似的含有嵌入同步信号的兼容的视频流，或者有外部并行信号vsync 和href 的视频流。编码器将下降采样视频流成4：2：0格式，压缩采用JPEG 编码，然后将其存储在输出缓冲区。

同步器接收输入视频流，然后变换时钟成ipg_video_clk 时钟（128兆赫）。如果输入的视频流是类似ITU-BT656兼容的，将会被填充到视频提取或者解压单元。同步解压模块解压ITU-BT656类似同步（FF-00-00），然后发送视频到处理功能单元。如果视频流不是ITU-656兼容的，就不会放行到同步解压模块，而是直接放到后续处理模块。

2.5飞思卡尔AVB 系统解决方案所涉及的单片机和处理器

飞思卡尔作为全球领先的半导体公司之一，为汽车电子的各种应用提供了大量高性能、可靠和有针对性的控制器、处理器以及大量的的应用参考方案。以下是与AVB 系统相关的单片机、处理器的简单介绍。如有更多的需要，可以直接到飞思卡尔的官网查看相应产品的及应用参考方案。

MPC56xx/MPC57xx MCUs

高集成度（真正的单芯片解决方案，包含存储介质和供电模块，最低的系统成本开销）MCU 用来作为对标准的音频处理方案的网络接口（如DSP 或者只能编解码器），进行很少的音频采样处理或者不采样（例如放大器/混频器）

-e200z0或者e200z2核心的单片机-没有音频采样处理；

-e200z4或者e200z6核心的单片机-少量的音频采样处理，例如很少通道的MPC 解码。

中端集成度（需要外部NVM，内置1.5MB SRAM，很多情况下可以不再需要外部RAM）高达400MHZ的Cortex A5核心，拥有NEON SIMD引擎和集成的ASRC（Asynchronous Sample Rate Convert-er）硬件，允许中等吞吐量音频采样处理。

i.MX6家族处理器

最低集成度（需要外部NVM和DRAM）Lowest integration（external NVM and DRAM needed）。

最高4核1GHz Cortex A9@1GHz，包含NEON SIMD引擎和集成的ASRC（Asynchronous Sample Rate Converter）硬件，允许非常多的音频采样处理。