基于NiosII的嵌入式网络视频监控系统设计

产品设计与实现２００８６一、引言二、嵌入式网络视频监控系统现状传统的嵌入式网络视频监控产品主要存在处理和传输大量图像数据时速度较慢、图像数据占用存储空间过大、实时更新性较差、结构复杂、成本过高等问题。

笔者基于ＮｉｏｓＩＩ设计了一种低成本、采用Ｈ．２６４编码的嵌入式网络视频监控系统。

该系统充分利用ＦＰＧＡ的并行设计结构，对视频数据采用高压缩比的Ｈ．２６４标准编码，能很好地满足视频监控的实时性要求。

嵌入式网络视频监控系统主要分为ＰＣ嵌入式和非ＰＣ嵌入式两种。

其区别主要在于视频监控服务器。

ＰＣ嵌入式采用工控ＰＣ硬件架构，运行嵌入式操作系统，操作系统和应用程序固化在Ｆｌａｓｈ上，以保证操作系统和应用程序的运行稳定性；非ＰＣ嵌入式采用专用硬件架构，成本低、效率高、可扩展能力强，成为视频监控系统的主流产品。

其实现方案分为以下３种：它运行嵌入式操作系统，利用嵌入式微处理器强大的控制能力和外围扩展能力，对各类底层硬件的操作可利用驱动程序来完成，上层的应用程序只需调用相应的ＡＰＩ来实现。

其缺点在于ＭＣＵ的处理能力有限，如果在实现任务调度、同步等系统控制功能的同时，一并完成复杂的视频压缩算法，实时性将非常恶劣，这就需要采用专门的视频编码芯片完成视频压缩算法，为此，两个模块之间的同步、逻辑转换会出现问题，通常还需要外加可编程逻辑器件（ＣＰＬＤ）或ＦＰＧＡ来解决，其复杂度、体积和功耗都大大增加。

ＤＳＰ芯片的高速计算能力可实现实时，高效的，高质量的复杂视频压缩算法，其优点是体积小，算法改进容易，但实现任务调度、同步等系统控制功能，需要占用大量的资源，网络通信协议栈能够使用的运算资源、内存资源都受到很大的限制，而缺乏操作系统也给网络协议栈的实现带来困难。

为此，通常的解决办法是完成一个精简的ＴＣＰ／ＩＰ，实现一些必需的协议，例如ＩＣＭＰ，ＡＲＰ，ＩＰ，ＵＤＰ等协议的子集，满足一般数据传输的要求。

它将ＭＣＵ和ＤＳＰ／ＡＳＩＣ集成到一个芯片中，使视频压缩功能既有强大管理与控制能力，又有超强的数字信号处理能力，解决了ＭＣＵ与ＤＳＰ／ＡＳＩＣ的同步和逻辑转换问题。

此方案在减小设备体积的同时亦减小了系统功耗，将成为主流发展方向。

ＳｏＰＣ是Ａｌｔｅｒａ提出的一种灵活、高效的片上系统［１－２］［３－４］１、嵌入式微处理器ＭＣＵ＋ＡＳＩＣ方案２、ＤＳＰ＋ＦＰＧＡ方案３、ＳｏＣ统集成方案基于NiosII 的嵌入式网络视频监控系统设计裴建茹李伟重庆大学通信工程学院，重庆，４０００３０【摘要】【关键词】为了解决传统嵌入式网络视频监控系统处理和传输大量图像数据时速度较慢、结构复杂和成本过高的问题，设计了一种低成本嵌入式网络视频监控系统，采用ＦＰＧＡ的ＮｉｏｓＩＩ双ＣＰＵ架构，自定义硬件模块实现Ｈ．２６４视频数据压缩编码，能很好地满足视频监控系统实时性要求。

嵌入式网络视频监控ＮｉｏｓＩＩ处理器Ｈ．２６４标准帧内预测外接ＳＤＲＡＭ芯片ＡｌｔｅｒａＣｙｃｌｏｎｅＩＩＥＰ２Ｃ３５视频编码图像数据ＳＤＲＡＭ输入输出视频采集控制器网络接口模块模块Ｍｕｔｅｘ通信模块（Ｃ／ＯＳ－ＩＩ）ＮｉｏｓＩＩＮｉｏｓＩＩ３２ｂｉｔＨ．２６４硬件３２ｂｉｔ软核处理器编码模块软核处理器图像ＣＰＵ１ＴｒｉｓｔａｔｅＣＰＵ２数据Ｂｒｉｄｇｅ缓存外设ＳＲＡＭ外设接口接口模块Ｆｌａｓｈ模块接口外接Ｆｌａｓｈ芯片产品设计与实现２００８６设计方案，其实质是ＳｏＣ，常采用大容量ＦＰＧＡ作为载体，在一片ＦＰＧＡ中实现ＮＩＯＳ软核微处理器，也可嵌入ＡＲＭ等硬核处理器，使ＦＰＧＡ具有嵌入式系统的可编程能力。

因此，ＳｏＰＣ平台既拥有微处理器系统丰富的软件资源和出色人机交互能力，又具备ＦＰＧＡ系统的快速硬件逻辑特性，实现了软件系统和硬件系统的互补。

本系统的嵌入式视频监控服务器采用此方案设计。

嵌入式视频监控服务器是整个网络视频监控系统的关键部分，主要由视频采集、ＮｉｏｓＩＩ处理器系统、网络传输控制和人机交互外设组成，如图１所示。

设计中选用Ａｌｔｅｒａ公司的ＣｙｃｌｏｎｅＩＩＥＰ２Ｃ３５Ｆ６７２Ｃ６作为系统的核心芯片，ＤＥ２开发板为开发平台，将视频采集、ＮｉｏｓＩＩ处理器、网络传输控制与人机交互外设的接口模块均集成到一个ＳｏＰＣ系统。

其中，ＮｉｏｓＩＩ处理器系统要承担图像采集控制、图像的Ｈ．２６４压缩编码、网络服务等多项任务。

为保证实时性：一方面，依据ＮｉｏｓＩＩ的多处理器技术，采用双ＮｉｏｓＩＩ架构，在一块ＦＰＧＡ芯片中设计两个ＣＰＵ来分担任务，ＣＰＵ间通过共享特定资源的方式进行信息交互，从而实现协同工作与并行处理；另一方面，在充分分析Ｈ．２６４软件算法运行时间后，采用自定义模块对Ｈ．２６４编码器关键算法进行硬件加速。

摄像头采集到的ＰＡＬ制模拟图像数据从ＤＥ２开发板的视频输入接口输入，经模数转换芯片ＡＤＶ７１８１得到ＩＴＵ－ＲＢＴ．６５６格式的数字图像信号，并将其送入ＦＰＧＡ芯片。

为实时获取图像数据，设计了图像采集模块用于数字图像数据提取并通过Ａｖａｌｏｎ总线将数据按顺序存放到作为图像缓存的ＳＲＡＭ中。

如图２所示，ＣｙｃｌｏｎｅＩＩ芯片的片内存储量为４８３８４０ｂｉｔ，而一帧图像大小为１２２８８００ｂｉｔ，故不能用片内ＲＡＭ缓存整帧图像，为此，笔者使用两个３２０ｂｙｔｅ的双口ＲＡＭ作为行缓存进行乒乓切换，数据提取子模块将采集到的当前行写入其中行缓存Ａ时，总线接口子模块将行缓存Ｂ中的数据通过Ａｖａｌｏｎ总线写入到ＳＲＡＭ中，在采集下一行时则把图像行写入行缓存Ｂ，同时将行缓存Ａ中的数据通过总线进行传送。

Ｓｌａｖｅ１从端口用于ＣＰＵ１对采集模块进行使能与配置，用于启动采集模块和通知图像数据存放地址，并在当前帧采集完成时产生中断信号通知ＣＰＵ１进行数据拷贝，此时采集模块进入等待状态，当启动信号再次有效时进行下一帧图像的采集；ｍａｓｔｅｒ１主端口用于将行缓存中的数据按其在图像中的位置通过总线存放到ＳＲＡＭ的指定地址，使用主端口在没有ＣＰＵ干预的情况下自动存放采集到的图像。

为提高系统运行效率，笔者在嵌入式视频监控服务器中设计了两个软核处理器：ＣＰＵ１分担图像采集、图像数据的Ｈ．２６４压缩编码；ＣＰＵ２运行嵌入式实时操作系统Ｃ／ＯＳ－ＩＩ并支持ＴＣＰ／ＩＰ协议族，完成将编码数据组成网络发送帧的任务，同时负责接收网络客户端远程访问，对其进行有效管理。

由于ＣＰＵ１与ＣＰＵ２是同时运行的，双核架构实质上是为嵌入式视频监控服务器加入了一条深度为二级的流水线，使得图像处理与网络服务两大任务组同时进行。

如果处理一帧图像，图像处理任务组完成时间为Ｔ，网络服务任务组完成时间为Ｔ，采用传统单核系统架构时，全流程完成时间为Ｔ＋Ｔ，而采用双核架构，全流程完成时间缩短为ｍａｘ（Ｔ，Ｔ）。

在资源分配方面：ＣＰＵ１拥有独立总线ＡｖａｌｏｎＦａｂｒｉｃ１，ＣＰＵ２则拥有独立总线ＡｖａｌｏｎＦａｂｒｉｃ２，仅被其中一个ＣＰＵ访问的模块须连接到该ＣＰＵ配属的总线上，共享模块应当与两条总线都相连；另外，系统采用一块ＳＤＲＡＭ芯片作为内存，为实现双核共享同一三、嵌入式视频监控服务器设计μ１、视频采集模块２、ＮｉｏｓＩＩ双核架构１２１２１２图１嵌入式视频监控服务器ＳｏＰＣ结构图２视频采集模块结构功能示意图行缓存Ａ行缓存Ｂ写路选器行缓存数据写出子模块ＣＣＩＲ－６５６视频数据使能信号从端口数据提取同步信号ｓｌａｖｅ１配置数据子模块地址产生子模块写地址信号图你数据选路控制信号图像数据主端口行缓存ｍａｓｔｅｒ１读路选器同步信号产品设计与实现２００８６块内存芯片，将存储器分为两个相对独立的内存空间，分别配置给两个ＣＰＵ使用，以减少成本与电路复杂度。

为综合实时性、成本与实现难度等因素，设计中仅采用了帧内预测方式，编码器包括帧内预测模块，变换量化模块（包括反变换与反量化）和ＣＡＶＬＣ熵编码模块。

处理时以宏块（１６×１６）为单位，对亮度和色度块分别进行帧内预测、变换和量化，然后进行ＣＡＶＬＣ熵编码，图像的亮色比为Ｙ∶Ｕ∶Ｖ＝４∶２∶０。

从表１可以看出，用硬件实现１帧图像压缩编码约１５ｍｓ，较ＰＣ机实现有很大提高，而且硬件模块占用资源不到５０％，性价比较高。

由于帧内预测硬件模块较软件实现对系统性能提高较大，这里重点分析帧内预测模块硬件结构。

整个模块分为接口、亮度预测、色度预测、ＳＡＴＤ预测模式选择和图像重构等模块，如图３所示。

根据Ｈ．２６４帧内预测算法，帧内预测模块采用非率失真优化模式，通过接口模块从ＳＤＲＡＭ中读入１Ｍｂｙｔｅ数据，在亮度和色度预测模块进行预测后送入ＳＡＴＤ模块进行预测模式选择，输出预测残差及最佳预测模式，同时将预测结果与经过反ＤＣＴ变换和反量化后的残差值相加，经重构模块补偿重构后写回ＳＤＲＡＭ。

接口模块的４个ＲＡＭ用于存放读入的原始图像和用于预测的参考图像数据：ＲＡＭ０存放亮度预测像素，深度３２，地址０１５／１６３１分别存放上、左侧的预测参考像素；ＲＡＭ１存放当前宏块亮度原始值，深度为２５６；ＲＡＭ２存放色度预测参考像素，深度３２，地址０７存放上侧Ｃｂ预测参考像素，地址８１５存放左侧Ｃｂ预测参考像素，地址１６２３存放上侧Ｃｒ预测参考像素，地址２４３１存放左侧Ｃｒ预测参考像素；ＲＡＭ３存放当前宏块色度原始值，深度为１２８。

亮度预测模块可并行计算各宏块在所有模式下的预测值，针对帧内９种４×４预测模式下需ｎ，ｎ，…，ｎ时钟周期，针对４种１６×１６预测模式需ｍ，ｍ，ｍ，ｍ个时钟周期，则此宏块进行所有模式预测所需时间最大为ｍａｘ［１６×ｍａｘ（ｎ，ｎ，，ｎ），ｍａｘ（ｍ，ｍ，…，ｍ）］，软件实现１３种预测模式时间提高很多。

色度预测模块结构基本和亮度预测相同，采用４个模块并行计算色度８×８预测值。

同一个宏块的色度预测和亮度预测是并行执行的，根据色度要处理的数据比亮度少一半，在后面的整数变换中采用先处理色度，再处理亮度的方法，使得流水更加紧凑，减少等待时间，提高整个模块的运行速度。

帧内预测中代价函数计算是另一软件耗时的部分，其核心是Ｈａｄａｍａｒｄ变换，ＳＡＴＤ模块设计中采用流水线操作，在某些时刻段可实现两级流水，并通过多次例化一个组合逻辑子模块来降低硬件开销。

图４为其波形图。

从图４分析，对于４×４块，ＳＡＴＤ模块从ＲＡＭ每隔１个时钟周期读取第一排４个原始像素ａａ，８个时钟周期读完１６个像素值，从第３个周期开始流水，分别在第３，５，７，９周期，通过例化蝶形变换子单元计算出１６组临时变量，寄存在１６组临时寄存器中，从第１０个周期开始，每周期取用４路临时寄存器的值，仍通过例化同一个蝶形变换子模块进行第二次蝶形变换，分别在第１０１３个周期，计算蝶形变换的同时经过组合逻辑来各计算４路像素的绝对值之和，然后分别在第１１１４个周期时将输出和进行累加，然后得到最后的ＳＡＴＤ结果。