远程高清视频采集系统设计

成都理工大学

硕士学位论文

远程高清视频采集系统设计

姓名：狄旭明

申请学位级别：硕士

专业：测试计量技术与仪器指导教师：吴建平

20100601

远程高清视频采集系统设计

作者简介：狄旭明，男，1985年4月生，师从成都理工大学吴建平教授，2010年6月毕业于成都理工大学测试计量技术与仪器专业，获得工学硕士学位。

摘要

随着中国经济建设的快速发展，传统低分辨率的视频监控系统已经越来越满足不了人们对于安全的要求。而市面上的基于前端压缩编码的高清网络视频监控系统，虽然从某些方面已经达到了高清视频监控的要求，但因为其开发周期长、成本高、显示效果有缺陷、易受到干扰等一系列固有问题的存在，所以仍然有待改进。

通过对高清视频信号的采集和传输过程进行了深入研究，提出了基于千兆网络或光纤传输非压缩高清视频数据的解决办法。有效的解决了高清视频在采集、传输、显示过程中所出现的一系列问题。

整个系统的硬件电路分为三个部分，分别是图像采集部分，控制部分和数据传输处理部分。图像采集部分通过美光公司的一款带内部图像处理功能的COMS 图像传感器来实现高清视频图像的输出。由高性能单片机C8051F330通过I2C （Inter－Integrated Circuit）接口对图像传感器采集内部寄存器进行读写，实现对图像采集、数字处理等过程的控制。数据传输处理部分以一块FPGA（Field－Programmable Gate Array）芯片为核心，在内部通过以V erilog硬件描述语言和IP 软核模块相结合的逻辑设计模式完成对一行视频图像的分帧、打包然后通过千兆MAC逻辑模块将数据封装成MAC（Media Access Control）帧传出送入PHY芯片。数据包通过PHY后以千兆以太网或光纤进行远程传输。对FPGA设计时，首先通过Modelsim进行了逻辑设计的软件仿真，实现基本功能，然后将设计文件下载到FPGA内部通过Reveal内部信号扫描工具观察信号的完整性，最后通过上位机的网络测试工具Wireshark来实现数据包的分析功能，查看数据包的具体内容。

上位机测试软件调用Winpcap网络抓包工具监听网络端口，获取原始网络包。将数据包重新整理组合，调用DirectDraw图像显示工具进行图像显示。

整个系统能比较稳定的工作，具有成本低、开发周期短、不易受外界干扰等特点。通过光纤和千兆网络实现非压缩的视频图像传输的设计思想，具有一定的创新性，基本上解决了压缩传输系统图像质量差等问题，在以后的数字视频监控技术的发展过程中将为有比较广阔的发展空间。

关键词：数字视频监控高清视频FPGA Wireshark DirectDraw

Remote HD video capture system Design

Introduction of the author:Dixuming, male, was born in april, 1985 whose tutor was Professor Wujiangping . He graduated from Chengdu University of Technology in Metrology & Measurement Technology And Instrument major and was granted the Master Degree in June, 2010.

Abstract

In the wake of the rapid developments in China's economic construction，traditional video monitoring system with low resolution can not meet the people’demands for the safety. The high definition network video monitoring system sold on the market was designed by the technology of image compression coding. Though it had reached the god of exporting HD-Video, but it has some problems .For example, it need a long time for designing; has high-cost; has problems in video image quality and is easily disturbed, so the high definition network video monitoring system need to be improved.

In this article , I put forward a an improvement scheme of transport HD video data without been compressed through the GigE Vision or optical fiber. It solved the problems of HD video data in collection, transmission, display.

The hardware circuit described in this article consists of three parts. Power circuit was made by switching regulator power and linear regulated power, which can provide the stability power for the entire system without interference. In the circuit of image acquisition , I use a COMS image sensor with internal image processing functions which is producted by Micron Technology to capture HD video images.The high-performance MCU——C8051F330 is used to read and write the internal registers on the image sensor form the I2C interface. The MCU is used to gather, to control the processing of image acquisition, digital processing and other.FPGA is the core of data processing section.Through the design pattern of using the V erilog hardware description language, and IP logic module to pack and fram the date of video images in a line, And then use the logic module Gigabit MAC to pack data into a MAC frame and send into PHY chip. The packet through the PHY used Gigabit Ethernet or fiber for remote transmission. On FPGA design, first we can use Modelsim to simulate the logic design , to achieve the basic function, and then downloaded the design documents to the FPGA .I use the scan tool—DirectDraw to observed Internal Signal. At last I see the specific contents of the packet through the the network testing tool —Wireshark on host computer.

In addition, in order to verify the entire hardware system, this article introduces the design process of the test software on PC. By useing the Winpcap to monitor network ports and get raw network packets. After refresh the packet,I use image display tool—DirectDraw for image display.

Through the integrated debugging, this design basically achieve the topic purpose of desired. The system work more stably, has low cost, cost short development cycle. The ideal of transmit the video image without be compressed through the optical fiber and Gigabit networks has some innovative, this design has broad space of digital video surveillance for development in the future technology evolution .

Keywords: Digital video surveillance HD video FPGA Wireshark DirectDraw

独创性声明

本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得成都理工大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的人员对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。

学位论文作者签名：

年月日

学位论文版权使用授权书

本学位论文作者完全了解成都理工大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权成都理工大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。

（保密的学位论文在解密后适用本授权书）

学位论文作者签名：

学位论文作者导师签名：

年月日

第1章绪论

第1章绪论

1.1 概述

高清视频是指显示分辨率在720*1080以上的视频信号，是一类能给人带来高度清晰感官的视频信号。最早应用在数字电视技术中，后来随着发展被引用来作为高清摄像机的一种性能标准。本文主要围绕着高清图像在视频监控系统中的采集和传输方面的问题来展开讨论。

1.2 课题背景及选题意义

随着科技经济的不断发展，商业竞争的日益加剧。在物质生活和精神生活不断提高的今天，无论是各大企业、商场以及娱乐场所还是个人，都对自身商业利益及财产的安全问题越来越重视。能实时的通过视频监控重要的场合或事后经行视频回放追踪现场的监控技术已经成为社会大众所追求的共同愿望。而一套好的视频监控系统，恰好能满足人们在这方面的愿望。它不仅能直接提高各种场所的安全性，也给公安民警事后的办案取证带来了极大的便利，具有非常广阔的利用空间和市场价值。

目前的视频监控系统主要有模拟视频监控和数字视频监控两大类。

模拟视频技术经过几十年的发展已经非常成熟、性能已经趋于稳定，而且价格低廉易于实现，在实际工程中已经得到了广泛的采用。但模拟视频监控系统却存在很多限制和弊端：

1.传输距离短。由于模拟视频主要是通过同轴电缆进行传输，而同轴电缆

传输的距离不大于1Km，如果用双绞线的距离更短，这就决定了模拟视

频监控只适合于局部地区，如单个大楼、小的居民区以及其它小范围的

场所等；

2.视频易失真。由于模拟信号本身的连续性，传输过程中受干扰影响较大，

且信号不易恢复，可能会影响监控效果。

3.系统的扩展性较差且系统之间很难集成。对于已经建好的系统，如要加

入新的监控视频节点，往往是会影响到整个系统，新的设备很难添加到

原有的系统之中。而且各个系统运行也相互独立，之间没有一个可互通

的通讯控制协议。

近几年来，以计算机技术及图像视频压缩为核心的新型视频监控系统—数字视频监控系统，逐渐取代了模拟视频监控的市场主导地位。通过数字视频技术组

成都理工大学硕士学位论文

成的监控系统，以其显示分辨率高、视频传输距离远、系统易于扩展等特点解决了模拟视频监控系统存在的诸多弊端，因此迅速崛起成为视频监控领域的主流，也是以后视频监控发展的趋势。

但近几年来随着金融业、交通运输业等不断地发展，对视频监控的图像要求也不断的提高。“如何让我们看得更清楚”成为这些行业对视频监控系统提出的一个更高的要求。虽然数字视频监控系统已经得到了长足发展，但大多数系统仍停留在如标准化图像分辨率（CIF：352*288）、标准数字电视显示分辨率（D1：702*576）、全数字电视显示分辨率FULL D1（720*576）等较低的视频分辨率标准上。这些低分辨率的视频监控图像对于在闹市区、大型超市内、停车库的出入口、高速公路、体育场馆等需要分辨出犯罪嫌疑人体貌特征、行为细节或是要看清楚交通违法车辆号牌的应用场合的应用还远达不到清晰显示的要求。能输出更高分辨率的视频监控系统对调查取证、实时监控、细节分辨等过程有着非常大的帮助。

然而面对高清分辨率的视频监控系统，解决方案最主要的问题集中在视频信号的采集处理困难、传输带宽需求较高、传输质量难以保证、设计成本偏高等方面。因此如何以较低的设计成本完成高质量的高清数字视频信号采集传输是本次项目的研究重点。

1.3 高清视频标准

高清分辨率主要是指3种分辨率分别是720×1280的逐行扫描方式（720p）；1080×1920的隔行扫描方式（1080i）；1080×1920的逐行扫描方式（1080p）。对每一种显示方式，乘号前面的数指的是一帧图像垂直的扫描线条数；后面的是指每一行视频包含的像素个数。隔行扫描指的是每一行视频扫描完成后会空一行再扫描下一行视频。除了分辨率外，对于视频还有一个重要的描述参数—帧率。帧率是指每秒刷新的屏幕次数。帧率越高图像的动态效果会更好同时单位时间内输出的视频数据也会更多，相反帧率下降到一定程度显示出的视频图像就会让人感觉不连贯，人的肉眼要观测到连续的视频，输出帧率应大于每秒24帧。

1.4 国内外研究现状及发展状况

目前其实很多视频、安防方面的大型公司已经注意到监控摄像机向高清化发展的趋势，市场上也已经出现了一种基于网络的高清摄像机（IP Camera）[1]。实现过程大致是通过专用的视频压缩电路，以H.264（压缩编码算法）降低带宽，最后以IP包的方式通过10M/100M的以太网传输出去,高清网络的摄像机如图

第1章绪论

1-1所示：工作过程如图1-2所示：

H.264[2]压缩编码算法，同时也是MPEG-4第十部分，是由ITU-T视频编码专家组（VCEG）和ISO/IEC动态图像专家组（MPEG）联合组成的联合视频组近年来提出的一种具有高压缩比的数字编码算法。由于H.264编码具有很高的压缩效率，和对网络的高容忍度，所以非常适合应用在基于以太网传输的视频应用领域。

这种压缩编码方式解决的高清视频信号传输带宽高的问题，构成的视频监控系统具有组网灵活、扩展方便、传输介质要求低等优势。这种在监控系统图像采集前端先进行压缩编码再通过网线传输的方式也是目前在安防领域应用的最多的高清视频采集传输方案。

图1-1 高清网络摄像机

图1-2 高清网络摄像机的工作过程

但经过对这种网络高清摄像机的测试，和对基于它的监控系统结构的分析，发现这种视频采集传输方式有其固有的一些问题：

1.每一路的前端输出视频都需要完成H.264压缩编码，这需要用到一些视

频处理的专用芯片，如：TI公司的达芬奇系列DSP或Ambarella公司推

出的带H.264处理硬核的ARM9处理器等来完成，增加了系统硬件复杂

度﹑软件开发的难度以及摄像头的硬件成本；

2.实时视频数据经过了压缩模块经行编码需要花费一定的运算时间，会造

成一定延时，对实时性要求较高的应用场合不太适用；

3.H.264是有损压缩，因此在本地端监控显示器上还原出来的图像的锐度

﹑亮度﹑色彩饱和度等性能都会有所下降；

4.网线在恶劣环境中传输时，信号可能会受到外界干扰，对显示效果会有

一定影响；

成都理工大学硕士学位论文

5.使用这种方式构建的高清视频监控系统，需要配置专用的视频服务器。

而目前大多数用户还在使用的基于嵌入式DVR（硬盘录像机）为后端存

储管理核心的监控系统必须完全被淘汰，不利于保护用户的持续投资；

基于以上的各种情况，提出了一种通过光缆或千兆网线远程采集并传输非压缩的高清视频图像的解决方案。

1.5 研究内容

1.5.1 系统设计要求

本次课题设计要达到的性能要求：前端图像传感器以最少每秒25帧的速率采集，输出720p（1280*720）分辨率的视频图像数据。然后将一行视频数据按照不同要求分为多个数据包。每个数据包前面加入自定义的首部数据，形成一个新的数据包。以千兆以太网MAC帧的数据格式通过光纤或千兆网线进行远距离传输，最后在接收端通过转换模块转换成千兆以太网信号，送入计算机，由软件将视频数据重新组合显示。

1.5.2 工作的主要内容

本次课题完成的主要研究工作有：

1.制定本次课题设计要达到的性能标准和具体的实现方案；

2.用电子自动化设计软件完成硬件原理图及PCB板图的设计；

3.对FPGA（可编程门阵列）内部数字逻辑进行了设计；

4.进行了单片机对图像传感器和千兆网PHY芯片控制程序的开发；

5.简单的设计了上位机测试软件；

6.结合上位测试机软件，进行综合调试，分析实验结果。

1.5.3 研究方法

1.通过前期调查研究，参考了国内外大量相关的设计以及分析了各种

行业对视频监控的使用需求；

2.通过阅读器件的数据手册，对器件关键参数、性能及成本等方面综

合分析；

3.利用Protel DXP以及Cadence等电子设计软件完成硬件电路的设

计；

4.通过使用Verilog硬件描述语言来完成对数字逻辑的描述；

5.利用Lattice公司的FPGA开发平台—ispLEVER进行FPGA内部整

第1章绪论

体逻辑功能的设计；

6.通过Modelsim软仿真工具、Reveal logic analyzer内部信号扫

描工具来对FPGA的逻辑设计进行调试；

7.通过上位机分析工具Wireshark来对接收的数据包进行分析，检测

数据包的完整性；

8.通过利用通过Winpcap网络抓包工具和DirectDraw图像显示工具

的调用设计上位机测试软件，显示图像。

1.6 论文内容

第2章会重点描述本次设计中所利用到的图像传感器的成像原理，及其内部对图像进行的格式或图像质量上的处理。

本文从第3章开始说明设计的具体细节，首先是设计方案的整体描述，及设计原理和依据。然后会将整个系统分为图像采集模块，数据处理模块，千兆网及光纤发送模块以及控制模块四个部分分别描述其中的电路设计细节。最后会描述PCB文件的设计过程，及对本系统而言设计PCB板时需要注意的问题。

第4章会介绍ispLEVER开发平台的使用过程，然后会对本次在FPGA内部设计的各个逻辑模块进行介绍。

第5章会介绍单片对图像传感器和千兆网PHY层芯片的控制程序的设计以及与FPGA通讯程序的设计。

第6章会介绍Win32操作系统下的两个系统软件工具Winpcap DriectDraw，以及基于这两个工具的上位机测试软件的设计过程。

第7章会对整个软硬件的调试过程进行描述，以及对实验结果进行分析。

成都理工大学硕士学位论文

第2章CMOS图像传感器

2.1 CMOS传感器与CCD传感器

视频图像采集系统的核心是图像传感器。现在图像传感器主要有两种，CCD 图像传感器和CMOS图像传感器，由于两者在构造上的差异，造成二者在性能上的不同[15][18]。CCD的特点在于能充分保持信号在传输时不失真（专属通道设计），透过每一个像素集合至单一放大器上再做统一处理，可以保持视频信号的完整性；CMOS的制作较简单、成本较低、没有专门的通道，必须先行放大再整合各个像素的信号。

CMOS图像传感器出现的时间与CCD图像传感器几乎相同。但在早期CMOS传感器由于受到了当时设计水平和加工工艺的限制，而造成了图像质量差、成像分辨率低、响应速度慢、光谱响应率低、噪声降不下来和光照灵敏度不够等诸多问题，所以一直没有被人们所重视，技术发展也很缓慢。而相比于COMS 传感器因此CCD传感器有着光照灵敏度高、成像质量高、噪音低等特点，因而在过去很长一段时间内一直是图像传感器市场上的主流。但即便如此，CCD图像传感器依然有其固有缺点，由于加工工艺上的问题，图像感光元件和后端的信号处理电路不能集成在同一芯片上，因而基于CCD图像传感器组构成的监控摄像机体积庞大、功耗也比较高[19]。CMOS与CCD的区别如表2-1所示。

表2-1 CMOS与CCD图像传感器的区别[17]

性能类别CMOS图像传感器CCD图像传感器

半导体生产技术通用专用

单片集成能力可高度集成必须外接后端处理电路生产成本低高

电源需求单一电源需要多种电源

单片功耗低（仅为CCD的十分之一到百分之一）高

外围电路结构简单复杂

对光的灵敏度良好优秀

信噪比良好优秀

暗电流（PA/M2）1000 <10

成像方式依次读取像素对一帧图像一次性读取红外线灵敏度高灵敏度低

动态范围小于70db 大于70db

芯片体积小大

第2章CMOS图像传感器

但随着近年来半导体工业的不断发展，大规模集成电路技术及数字信号处理技术的不断提高，CMOS图像传感器在分辨率、成像质量、光电灵敏度、暗电流特性、动态范围、噪声等关键技术性能的不断提高。使得CMOS传感器的性能指标已与CCD传感器已经很接近。此外由于CMOS传感器本身体积小、功耗低、集成度高、生产成本低、加工工艺简单、可以设计成SOC产品等固有特点，都是CCD图像传感器所无法比拟的，所以很多国外的大型企业和科研机构又重新开始设计开发基于CMOS图像传感器的摄像系统。未来CMOS图像传感器将向着更高分辨率、更高灵敏度、更小型化、更宽动态范围、更多后端数字处理功能的方向发展。

2.2图像传感器输出图像色彩空间及相互转换

色彩空间[6]是描述使用一组值（通常使用三个、四个值或者颜色成分）表示颜色方法的抽象数学模型，它代表了一个色彩影像所能表现的色彩具体情况。常见的用于显示的色彩空间有RGB、YUV、BAYER色彩空间。

RGB是我们常见的一种色彩表示方式，每个像素点都有R（红色）、G（绿色）、B（蓝色）三个色彩分量，通过三个分量的组合表示一个像素的色彩。但RGB表示的色彩空间，需要的数据量庞大不易传输和保存。

YUV是被欧洲电视系统所采用的一种颜色编码方法。Y代表亮度信号，U 和V代表色差信号，U和V是构成彩色的两个分量，用这种表示方法的色彩空间叫做YUV空间或者叫YCbCr空间。采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量而没有U、V信号分量，那么这样表示的图像就是黑白灰度图像。彩色电视采用YUV空间正是为了用亮度信号Y解决彩色电视机与黑白电视机的相容问题，使黑白电视机也能接收彩色电视信号。此外YUV表示方法还有一个重要优点就是减少了视频数据储存空间和数据传输带宽。YUV(YCbCr)空间和RGB空间可以相互转换，转换公式如下[21]：

Y = 0.299 R + 0.587 G + 0.114 B

Cb = - 0.1687 R - 0.3313 G + 0.5 B + 128

Cr = 0.5 R - 0.4187 G - 0.0813 B + 128

反向转换公式为：

R = Y + 1.402 (Cr-128)

G = Y - 0.34414 (Cb-128) - 0.71414 (Cr-128)

B = Y + 1.772 (Cb-128)

而目CMOS传感器一般直接输出的图像色彩空间为BA YER空间，如图2-1所示。外部图像信息进入到CMOS图像传感器后通过彩色滤波阵列（CFA），传

成都理工大学硕士学位论文

感器获得图像的彩色信息。而以这样的方式，传感器采集的图像在每个像素的位置上只有一种颜色分量可以获得，在这种色彩空间模型表示的图像中，图像一半的像素分配给G分量，而R和B分量占了图像的另一半像素，G分量的像素个数是R、B分量的两倍。通过对比可以发现以BA YER色彩空间[7]构成的视频数据量是RGB的1/3，是YUV的1/2，传输时所占据的带宽也最少。然而由于每个像素缺少两个色彩分量显示效果很差，所以要复就必需通过相邻像素来估算，这个过程叫CFA插值。现在常用的插值恢复方法有两种，一种是双线性插值法，另一种是边缘检测法。双线性插值法是每个像素位置上缺少的彩色分量由其周围3x3邻域内所有具有相同颜色分量的像素累加求平均值来获得。这种计算方法的运算简单，易于软件实现。但有很大缺点，一是计算时没有考虑到不同彩色分量之间的关系；二是计算时忽略了图像的边缘，这样在图像的边缘时就会引入大量的错误数据造成图像边缘模糊以及复原成错误的颜色。边缘检测法，首先通过图像格式计算出图像边沿，然后再来对缺少的G分量进行插值。这种恢复方式会减少颜色出错的像素个数，同时也会提高图像的边沿锐化程度。它的缺点一是计算比较复杂，二是只能检测水平或垂直的图像边缘，对非规则图像的边缘检测不到。

本次选用的CMOS图像传感器—MT9D111，由于内部集成了数字处理器，在内部就可以进行BA YER色彩空间的转换，可以通过配置寄存器直接输出RGB 或YUV格式的图像数据。

图2-1 以BAYER色彩空间表示的图像数据

第2章CMOS图像传感器

2.3 MT9D111 CMOS图像传感器内部结构

设计中选用的是美光科技(Micron Technology)推出的这款200万像素并带有片上系统的图像传感器——MT9D111。

2.3.1 传感器性能特点及内部结构

MT9D111的技术特点为：

1.能实现最大1600x1200分辨率下15帧/秒(fps)的输出速率，在800x600

分辨率下的速率为30帧/秒；

2.集成自动对焦和光学变焦功能；

3.内部带有能实时JPEG编码器；

4.集成的微控制器提高了调节色彩的能力，增加了灵活性，增强了图像处

理的功能；

5.集成了图像流处理器；

6.支持机械快门；

7.完全自动化支持氙和LED型闪光灯，包括快速曝光自适应；

8.新型先进的色彩插值使色彩更逼真，细节更清晰；

9.新型高速自动白平衡同时带有灰度检测功能。

图2-2 MT9D111的内部结构图

图2-2 是MT9D111的内部结构图，从图上可以看出MT9D111的内部结构主要分为：

1.传感器内核（Sensor Core）；

2.图像流处理器（Image Flow Processor）；

3.内部微控制器（MCU）。

成都理工大学硕士学位论文

2.3.2传感器内核（Sensor Core）

传感器内核是由一块逐点扫描的图像传感器，它能输出一帧带有行消隐和场消隐的视频数据.同时片内集成了PLL，可从外部输入时钟产生系统主时钟。外部时钟输入的频率范围为6MHz—40MHz。寄存器默认设置时，系统像素时钟等于外部时钟，传感器内核结构如图2-3所示。

图2-3 传感器内核内部结构图

Sensor采用的是ASP型有源CMOS，APS 型CMOS中每一像素内都有对应的放大器。它的填充系数比以往的CMOS还要小，集成在表面的放大晶体管减少了像素元件的有效表面积，降低了芯片的封装密度，使40％～50％的入射光被反射。由于APS型CMOS像素内的每个放大器仅在此读出期间被激发，所以APS型的CMOS功耗非常低。收集到的模拟视频信号序列通过偏移校正和信号放大等模拟处理过程（Analog Processing）进入AD转换器，输出10位的数字信号。不过此时输出的视频数据是以Bayer色彩空间表示，需要通过后续的数字处理得到YUV或RGB的色彩空间数据。时序控制单元（Timing and Control）用于输出行消隐信号和场消隐信号。传感器内核模块中还有一系列的寄存器单元，通过I2C接口可以对其进行读写，来控制输出分辨率、输出帧率、行场消隐长度等重要参数。

2.3.3 图像流处理器（Image Flow Processor）

图像流处理器包含了两个处理部分，色彩管路部分和JPEG图像压缩编码部分。JPEG图像压缩编码是用在拍照功能上，本次设计中未涉及到所以不做介绍。色彩管路部分主要用于对采集到的图像，经行数字处理，得到想要的图像视频。具体可分为以下功能：

第2章CMOS图像传感器

1.透镜的阴影校正；

2.色彩插值；

3.对输出图像的过滤调整，及缩放；

4.对缺失图像的校正；

5.颜色校正；

6.Gamma校正；

7.色彩空间转换。

2.3.4 微控制器单元（MCU）

除传感器内核外，图像流处理器也是通过对其寄存器进行配置来实现其处理功能。但由于图像流处理器没有配置接口，所以只能将配置寄存器的数据及地址先写入到SRAM中去，由MCU处理后发到片内的寄存器总线上，传送到图像流处理器对应寄存器中去。整个系统采用统一编址，要将配置数据写入到SRAM 中去要先对地址为C6H的寄存器写入值C8H，将寄存器地址跳到SRAM的入口处，再通过串行总线写入相应寄存器值及对应地址。

成都理工大学硕士学位论文

第3章系统硬件设计

3.1整体设计方案

设计中由于不进行视频压缩编码，所以视频传输仍然需要比较大的带宽。因此对于远距离传输我们必须使用千兆网或光缆等带宽比较大的传输方式。当应用于距离相对较短且外部干扰不太大的的场合（小于1Km）时通过超五类千兆网线进行传输。当传输距离比较远，且周围环境比较恶劣的时后采用光纤发送。整个系统的硬件部分可分为电源模块、前端图像采集模块、单片机控制模块、基于FPGA的数据处理模块、千兆网和光纤的发送接口模块，共五个部分，系统总体结构如图3-1。

图像采集模块用于采集视频信号，采集后的视频数据进入FPGA，在FPGA内部通过自定义的帧格式将一行视频按规定长度分为多个数据包，每个数据包加入对应的自定义包头封装成新的帧包，由千兆网口或通过光模块发送出去。在接收端，将光纤信号转换为千兆网络信号，传输到上位机PC端，由上位机软件对图像经行重组并显示。单片机控制模块用于对PHY层芯片及图像传感器经行配置控制。硬件结构原理如图3-2所示。

图3-1 系统总体结构图

第3章系统硬件设计

图3-2 硬件结构原理图

3.2 图像采集模块

图像采集模块的作用是通过图像传感器采集图像数据，并对采集的图像数据进行数字处理。对于图像传感器的选择，在本次设计中从成本和可操作性等因素考虑选用了Aptina公司的CMOS图像传感器——MT9D111[5]。

3.2.1 图像传感器选型

MT9D111是一种1/3英寸、200万像素的CMOS图像传感器。它配有一个内嵌的微处理器，因此可以构成一个完全独立的相机系统。此外MT9D111带有所有图像处理所需的内存，可以在片内完成多种数字图像操作。MT9D111的SoC结构为

成都理工大学硕士学位论文

用户提供了新的功能，包括了一个能更有效进行图像处理的集成微控制器，从而避免了图像变形的全程重置，同时还起到了增强图像观看的像素重新分级的作用。微控制器还能增加器件调整色彩和其它图像处理功能的灵活性。同时集成的自动对焦和JPEG压缩功能，很大程度上节省了外部硬件电路设计的成本和空间。

具体的来说，MT9D1111的新特性包括了专业的图像流处理器、支持机械快门、有更好彩色和更清晰细致的色彩插补、10位片内ADC、快速暴光自适应、支持氙和LED型闪光灯、以及有灰度检测的非常快速的白平衡等，使得这款CMOS 能在很宽的照明条件下有更好的色彩。

3.2.2输出格式

MT9D111可以输出各种色彩空间图像格式的数据，包括了565RGB、555RGB 、444RGB、ITU-R BT.656 (YUV)、原始输出数据格式、JPEG 4:2:2、JPEG 4:2:0。具体这次项目中选用YUV 4:2:2的格式输出，其中“Y”表示明亮度，也就是灰阶值；而“U”和“V”表示的则是色度，作用是描述影像色彩及饱和度，用于指定像素的颜色。4:2:2指在一个像素中包含1个Y亮度信号和一个U或V的色度信号。

3.2.3 电路连接

MT9D111的控制管理接口通过I2C总线与外部MCU相连，MCU通过I2C总线对其内部寄存器进行设置以达到操作MT9D111的目的。而其它的控制数据接口直接与FPGA相连，管脚描述如下，电路图如3-3所示：

?MCLK:系统主时钟输入（由外部27MHZ的有源晶振提供）；

?Dout0—Dout7:八位并行数据输出；

? Frame_Valid:场消隐信号；

?Line_Valid:行消隐信号；

?PIXCLK:像素同步输出时钟；

? RST:测试引脚；

?SDATA:I2C控制接口的数据信号；

?SCLK: I2C控制接口的时钟信号。

第3章系统硬件设计

图3-3 图像传感器电路

D[7:0]是高速并行信号线，所以与FPGA连接时，之间必须接匹配电阻。同时I2C接口必须加上拉电阻。

数字视频信号的输出时序如图3-4。

图3-4 视频原始信号输出时序

配置管理接口的读写时序如图3-5所示。