数字视频采集系统方案

预处理监控设备方案

概述

传统视频监控系统是通过摄像头等这些数据采集前端获取视频图片信息，仅提供视频的捕获、存储和回放等简单的功能；数据吞吐量大造成数据传输和服务器处理数据的压力大；需要大量的人力且准确度并不高；因此，智能视频监控系统应运而生。

本系统在视频采集前端搭建硬件平台，硬件平台中搭载图像处理算法，将摄像头传入的图片筛选出关键信息，通过物联网传入服务器中进行处理。利用算法提取关键信息可以减少传输的数据，从而能提高传输效率并且减小服务器的压力；同时在传输过程中把数据拆分成多个模块并行处理，也可大大提升传输处理速度，达到实时性、高效性的要求。

1硬件前端功能

1）采集图像信息；

2）实现算法对图像的灵活处理，并行高速传输；

3）提取、分类图像关键信息；

4）采用NB-IoT协议实现无线传输

2方案论述

2.1系统构成

图2.1是系统总体结构框图。

图2.1 系统总体结构框图

用CCD进行图像数据采集后，用视频解码芯片进行A/D转换，从模拟视频输入口输入的全电视信号在视频解码芯片内部经过钳位、抗混叠滤波、A/D转换、最后转换成BT.656视频数据流。

本系统中，对图像的处理分为两个阶段，第一个阶段为ZYNQ的双核ARM处理器部分通过算法对图像的处理；第二个阶段为ZYNQ的FPGA部分对数据的打包分类。为了尽可能提高性能并达到实时性要求，我们以ARM为中央处理核心，由FPGA实现系统控制。系统分为处理器模块、FPGA组模块和各总线接口模块等。其中处理器模块包含双核ARM、内存空间以及相应逻辑。处理器作为最小处理单元模块而存在，可以完成相应的处理子任务。

双核ARM作为从CPU做图像的处理（通过算法实现），两个处理模块在系统核心FPGA控制下并行运行。而FPGA作为系统中心，负责两个微处理器互相通信、互相协调以及它们与外界（通过主从总线和互连总线）的信息交换。同时，系统处理子任务可以由FPGA直接派发给处理器。灵活的FPGA体系结构设计是该系统有效性的保证。在实际应用中，可以根据系统的任务，通过配置FPGA控制两个微处理器按流水线方式运行，缩短系统的处理时间。另外，可以通过FPGA的配置扩展双ARM的工作方式，控制它们按MIMD方式并行处理同一输入图像。

最后经过处理过的图像通过NB-IoT协议发送到服务器端。

2.1.1 FIFO机制

为了加快ZYNQ的处理速度，本系统采用同步FIFO高速缓冲方案。FIFO即先进先出存储器, 也是一种专门用来做总线缓冲的特殊存储器。FIFO没有地址

总线, 它由外部通过同步或异步方式驱动内部写指针和读指针循环进行读写。FIFO也可以同时进行读写操作。本系统需要输入读写时钟, 将同步FIFO的读写操作同步到输入时钟信号，如图3.2所示：

图2.2 FIFO缓冲方案图

2.1.2 内存扩展

由于采集的图像是480×720且为24位真彩色的图像，每幅图像大小为0.98M， DM642内部有16KB的一级程序缓存，16KB的一级数据缓存和256KB的程序数据共享二级缓存。但这对于直接处理图像数据是不够的，因此扩展了两片32MB的SDRAM来存放原始图像数据，4 MB的FLASH来存放应用程序。二者都映射到DM642的外部数据空间。

2.1.3 NB-IoT

本系统采用NB-IoT协议将处理过的数据发送到服务器端。NB-IoT指窄带物联网技术，NB-IoT 支持低功耗设备在广域网的蜂窝数据连接，也被叫作低功耗广域网（LPWA），支持待机时间长、对网络连接要求较高设备的高效连接。具备强链接、高覆盖、低功耗、低成本的优点。非常适合本系统的实际需求。

2.1.4 图像压缩

在本系统中，图像压缩采用H.264标准。H.264具有很高的编码效率，在相同的重建图像质量下，能够比H.263节约50%左右的码率。H.264的码流结构网络适应性强，增加了差错恢复能力，能够很好地适应IP和无线网络的应用。

2.2硬件设计方案

2.2.1 监控前端设备

前端使用CCD摄像头，采集图像经过视频解码模块进行解码，最终生成FPGA可以识别的数字信号。

CCD摄像头选用几个指标如下：

分辨率：480H×720V

视场角：70度

图象速率：30帧/秒

工作电压：9V

夜视能力：0.05Lux

工作温度：-20℃～+60℃

2.2.2 芯片选择

本系统中采用FPGA进行实时图像处理，选用XILINX公司生产的ZYNQ系列FPGA进行工程总体设计，Z-7020芯片内部包含使用Artix?-7 FPGA 可编程逻辑和双核ARM Cortex?-A9 MPCore（主频高达1GHz），Zynq?-7000 系列器件将处理器的软件可编程能力与FPGA 的硬件可编程能力实现完美结合，与传统的SoC 处理解决方案不同，Zynq-7000 器件的灵活可编程逻辑能实现优化与差异化功能，使设计人员可以根据大部分应用的要求添加外设和加速器。

FPGA部分实现功能包括控制ADV7180以进行视频信号解码，视频实时图像处理算法的运行是在ZYNQ内嵌的ARM9中运行。ARM9中搭载Linux系统，可方便的运行多种语言的算法程序。FPGA中可以实现TU_656格式解码、YCbCr转RGB图像格式转换等

视频解码器解码模块选用ADI公司的ADV7180，这是一款经典的视频PAL解码模块，解码模块外围电路我们经过设计、修剪，可尽可能小型化。

2.2.3 FPGA芯片性能指标

本系统选用XILINX公司生产的ZYNQ ZC7Z020芯片。

作为C67x系统的芯片，其结构特点主要包括：

（l）逻辑资源足够，可直接在PL部分实现所有控制功能；

（2）高性能外部存储器接口（EMIF）提供了与 SDRAM、 SBSRAM和SRAM等同

步/异步存储器直接接口；

（3）片内提供多种外设：多通道DMA/EDMA控制器、SPI总线主/从模式接口、支持多种加载模式；；

（4）采用业界领先的Xilinx Zynq-7000 All Programmable SoC架构的处理器，一颗芯片上集成了ARM Cortex?-A9 双核CPU和Artix?-7 FPGA；

（5）采用基于Cortex?-A9的处理器系统，集成了内存控制器和大量的外设，可独立于可编程逻辑运行；

（6）基于ARM Cortex?-A9 的处理器系统，可用于控制可编程逻辑的配置，以实现在操作期间对可编程逻辑实现完整或部分重配置；

（7）支持Xilinx最新的Vivado开发套件，集成各类可编程开发工具；

（8）支持Linux、Android、FreeRTOS等操作系统；

（9）内置灵活的PLL锁相时钟电路；

（10）高度支持C/C++设计的各种算法。

3关键技术

1）在FPGA数据处理模块旁加一块NB数据发射模块，数据采集前端处理过的数据通过NB-IoT物联网的方式无线传输到服务器。经过几年的发展，NB-IoT在我国已经有了很大的规模，基站覆盖范围很广，基本可以囊括所有地区，同时数据处理能力也越来越强，解决了监控数据海量混杂和监控节点分布太广的问题。同时NB-IoT还具有低功耗、低成本、海量链接等优点，在本系统中使用NB-IoT是一个很好的选择。

2）本系统中的图像处理算法搭载在ZYNQ中的双核ARM处理器中，并且算法可以根据不同的应用场景替换，具有易维护、灵活性高、性能好等优点。