嵌入式人脸识别器的GUI设计

2012，48（14）1概述达芬奇技术包含针对数字音视频优化的基于DSP （Digital Signal Processing ，数字信号处理）的系统解决方案，有四个基本组成，即处理器、软件、开发工具套件和支持。在具体的软件设计中，对于数字多种媒体系统的设计，围绕用户代码的主线程有四个部分，一是输入源数据，二是输出结果，三是算法处理实体，四是用户界面。达芬奇系统在底层以通用嵌入式实时操作系统为基础，通过构建达芬奇框架结构

来协调各部分工作流程[1]。嵌入式GUI （Graphic Us-er Interface ，图形用户界面）为嵌入式系统提供了一种应用于特殊场合的人机交互接口，嵌入式GUI 具备高度可移植性与可裁减性。本设计属于达芬奇系统开发的应用层软件用户界面设计，主要介绍其在ARM （Advanced RISC Machines ，先进精简指令集计算机）核上运行的Linux 应用GUI 程序的设计。嵌入式人脸识别器的GUI 设计

向征1，马争鸣2

XIANG Zheng 1,MA Zhengming 2

1.广东药学院医药信息工程学院，广州510006

2.中山大学信息科学与技术学院，广州510006

1.College of Medical Information Engineering,Guangdong Pharmaceutical College,Guangzhou 510006,China

2.College of Information Science and Technology,Sun Yat-sen University,Guangzhou 510006,China

XIANG Zheng,MA Zhengming.GUI design of embedded face recognition https://www.360docs.net/doc/0710894731.html,puter Engineering and Applications,2012,48（14）：79-83.

Abstract ：Qt/embedded is a graphical interface development tools embedded version.It is the whole object-oriented programming and has high run efficiency and good architecture and programming model.Davinci technology is a system solution for digital audio and video optimization based on Digital Signal Processing （DSP ）.It supports Linux in the embedded operating systems perfectly and it can realize complex design of graphical user interface system.It uses qt/embedded and Davinci technology to complete the graphical user interface design of the face recognition devices and realizes the display of the face detection results,the modification and update of the face data.In addition it realizes qt/embedded transplant on the DM6446successfully and it uses the Video Processing Front End （VPFE ）and Video Processing Back End （VPBE ）of the DM6446to realize the video acquisition and display effectively.Key words ：qt/embedded;Davinci technology;graphical user interface;DM6446;face recognition devices

摘要：Qt/embedded 是图形化界面开发工具的嵌入式版本，整体采用面向对象编程，拥有较高的运行效率和良好的体系架构和编程模式。达芬奇技术是基于DSP 的数字音视频优化的系统解决方案，它在嵌入式操作系统方面对Linux 的支持极为完善，可以实现复杂GUI 系统的设计。利用qt/embedded 和达芬奇技术完成了人脸识别器的图形用户界面设计，实现了人脸检测结果显示，人脸数据的修改和更新功能。另外成功实现了qt/em-bedded 在DM6446上的移植，并有效使用了DM6446的视频处理前端和视频处理后端实现视频采集和显示。关键词：qt/embedded ；达芬奇技术；图形用户界面；DM6446；人脸识别器

文章编号：1002-8331（2012）14-0079-05文献标识码：A 中图分类号：TP 311.52

基金项目：2010年度广东省教育部产学研结合项目（No.2010B090400013）。

作者简介：向征（1980—），男，讲师，研究领域：图像处理、嵌入式、软件工程；马争鸣（1957—），男，博士，教授，研究领域：移动通

信、图像处理、机器学习。E-mail ：rousseau2000@https://www.360docs.net/doc/0710894731.html,

收稿日期：2011-09-07修回日期：2011-10-27CNKI 出版日期：2012-01-12

DOI ：10.3778/j.issn.1002-8331.2012.14.017https://www.360docs.net/doc/0710894731.html,/kcms/detail/11.2127.TP.20120112.1655.007.html

Computer Engineering and Applications 计算机工程与应用

79

Computer Engineering and Applications 计算机工程与应用

2012，48（14）2TMS320DM6446芯片介绍

TMS320DM6446是一个高度集成的SoC （Sys-

tem on a Chip ，系统级芯片），是基于TMS320C64x+

的DSP 核和ARM926处理器，内部集成有视频加速

器、网络、外部存贮器接口等一系列专门应用于视频

的外设，DM6446的内部框图如图1所示。其中

ARM926是一个32位的精简指令集微处理器，流水

线结构，具有32位和16位两套指令集，能处理32位，16位或8位数据，内部还具有CP15协处理器，存储管理单元，16KB 的程序指令cache 和8KB 的数据cache 。TMS320C64x+是C64xDSP 的升级版，内部具有64个32位通用寄存器和8个独立功能单元，包括两个乘法器和6个算术逻辑单元，能在单周期内完成4个16位的乘、加运算。DM6446的DSP 片上具有32KB 的一级指令缓存，80KB 的一级数据缓存和64KB 的统一指令数据缓存[2]。作为一个SoC ，DM6446集成了片上外设。包括可配置的视频端口、外部存储器接口、32位的DDR 、SDRAM 控制器、16位的异步存储器控制器、支持静态RAM 、NOR 型和NAND 型的FLASH 、存储卡接

口、增强型DMA （Direct Memory Access ，直接内存存取）控制器、10/100Mb/s 的以太网控制器、串行接口、I2C 总线接口、音频串行接口、支持中断输入的可编程通用输入输出接口、异步串行口、支持硬件握手、USB2.0接口、脉宽调制器、ATA （Advanced Tech-nology Attachment ，先进技术附件）硬盘接口等。VPSS （Video Processing Subsystem ，视频处理子系统）是DM6446的重要组成部分。它有两个可配置的视频图形片上外设：1个VPFE （Video Processing Front End ，视频处理前端），用于视频输入；1个VPBE （Video Processing Back End ，视频处理后端），与VICP （Video Image Co-Processor ，图形协处理器）一起用于后端显示。视频处理前端包括一个CCD （Charge Coupled Device ，电荷耦合器件）控制器，一个预览引擎，一个直方图模块，一个自动曝光/白平衡/对焦模块和图像大小调整模块。视频处理后端包括一个画中画显示引擎和一个VENC （Video Encod-er Clock ，视频编码器）。画中画显示引擎能够同时独立显示两个视频窗口，视频编码器提供四路视频

数模转换。视频处理后端的视频图形协处理器分担DSP 核的通用视频和图形处理任务，使DSP 核能更好处理一般的视频和图形算法[3-4]。

3系统构成方案

本系统是以手持式人脸识别器作为开发应用对象。主要功能是在单机上实现人脸的识别判断。先

异步控制器EMIF/NAND/Smart Media 10bDAC

ATA/

Compact

Flash

DDR2控制器UART SPI I2C 音频串行口串行接口VYLNQ 程序/数据存储

PWM

看门狗

定时器通用定时器EMAC

With MDIO USB2.0PHY EDMA 互联片上外设系统

On-Screen 显示器视频编码器（VENC ）C64x DSP 600-MHz Core ARM926EJ-E 300-MHz CPU 10bDAC

10bDAC

10bDAC

后端前端

图像调整器

直方图/3A

预览器

视频处理子系统

ARM 子系统CCD 控制器视频接口视频/图形协处理器（VICP ）DSP

子系统DM644x 图1DM6446内部框图

80

2012，48（14）实时采集人脸画面，通过ARM 送入DSP 需要的人脸数据，并控制DSP 进行人脸识别，识别结果经DSP 返回到ARM 进行显示。系统结构如图2所示。系统引入视频处理子系统的硬件结构，包括视频前端的CCD 控制模块，RESIZER 模块，以及自动进行焦距、白平衡、曝光调整H3A 模块，视频后端包括OSD （On Screen Display ，在屏显示）、VENC 、视频DAC （Digital Audio Compress ，音频压缩）模块等。系统采用CCD 控制器控制YPBPR/RBG 输入、具有MAC-ROVISION 检测功能的NTSC/PAL/SECAM 4x10位数字视频解码器TVP5146对CCD 摄像机采集的A V 信号进行A/D 转换，并送DM6446处理。为适应不同大小图形处理和显示的需要，利用了VPSS 提供的RESIZER 模块实现硬件图像大小的转换。系统使用QT/Embedded 设计GUI ，完成用户沟通设置和结果显示。并使用Linux 操作系统的多线程调度实现DSP 图像处理API （Application Program-ming Interface ，应用程序编程接口）的调用，完成人脸识别算法。Qt/Embedded 是挪威Trolletch 公司的图形化界面开发工具Qt 的嵌入式版本，它通过Qt API 与Linux I/O 以及Framebuffer 直接交互，拥有较高的运行效率，而且整体采用面向对象编程，拥有良好的体系架构和编程模式。控制方面，系统使用

DM6446芯片I2C 总线与MSP430CPU 构成IR 控制部分，同时配置中文键盘输入等多种输入方式。系统采用芯片内部VPBE 带OSD 和VENC 的Analog/DACS 模块输出A V 信号实现用户界面显示。OSD 是图形用户的操作界面所在的显示层，OSD 模块会把显示其上的图像信息混合输入到VENC ，由VENC 转换成YCBCR 后输出到显示设备。显示设备使用720×480分辨率的带A V 信号TFTLCD [5]。4嵌入式人脸识别器的GUI 设计4.1软件设计内容本设计属于达芬奇系统开发的应用层图形用户界面设计。软件设计方面主要参考DVEVM （DM355数字视频评估板）提供的DEMO （demonstration ，演示）程序encode 、decode 进行改写，它原本是一个H264的压缩解压程序，程序包括视频的采集－>压缩－>解压－>显示的主要流程，在其基础上将压缩和解压程序适当地改用为人脸识别的算法程序。压缩和解压由DSP 来执行，这两部分实际是ARM 对DSP 的调用，将其相应改写成已经建立好的人脸检测和人脸识别的算法调用即可[6]。

在此基础上本文还利用QT/Embedded 的库进行QT GUI 设计，以实现人性化操作。程序主要分成三个线程，分别完成图像处理，视频显示和用户操作交互。（1）图像处理线程主要完成图像的采集并对相应用户进行人脸识别，并且返回检测数据到用户交互线程。图像处理还可以对人脸库进行新人脸数据

的录入。5.1节的视频数据采集方式是其中的一项关

键实现技术。

（2）视频显示线程负责把从FIFO （First In First

Out ，先进先出）存储器上读取到的数据写到frame-buffer 上来显示实时视频，它和用户操作界面属于不

同的显示设备，至于操作界面和视频的混合就由

DM6446的VPBE 来完成。5.2节网络下载数据库的实现是其中的一步，5.3节检测视频显示的实现是其核心处理方式。

（3）用户操作交互线程主要处理用户的输入要

求和结果显示。用户操作界面的主要功能分为：显示正在采集的人脸图像；显示信息提示；显示人脸检测结果；实现人脸库的修改；实现人脸库的增加和更新。图3是

整个程序的流程图。

4.2软件总体实现

用户界面软件运行在ARM 核上，它的主要任务

是控制输入输出设备，采集图像数据送入DSP ，并控制DSP 实现人脸检测和识别，数据库管理等。用户界面软件流程如图4所示。软件初始化好DSP 和人脸数据后，由ARM 处理器实时采集视频数据，然后

根据用户需要，将采集到的视频数据送入DSP 进行人脸的检测。检测到的结果将返回ARM ，对于不同的需要可以将检测到的人脸数据再送入DSP 进行识

别，或者将人脸数据保存成数据库文件，再送给DSP

训练出EHMM （Embedded Hidden Markov Model ，

马尔科夫模型）模型的数据。检测和识别的结果经

DSP 返回到图形用户界面显示，而训练得到的EHMM 模型的数据将会存储到相应的数据库。

图2系统结构方框图向征，马争鸣：嵌入式人脸识别器的GUI 设计

81

Computer Engineering and Applications 计算机工程与应用

2012，48（14）5核心技术实现在本系统的设计过程中，需要处理一些关键的技术性问题，下面是其中三种比较核心的技术实现方案。5.1视频数据采集方式系统的视频采集部分使用V4L2规范的视频驱动标准。V4L2是Linux 下开发视频采集设备驱动程序的一套规范，这套规范使用分层的方法给驱动程序的开发提供了清晰的模型和一致的接口。V4L2是一个两层驱动结构，上层是Videodev 模块，下层是Videodev 的客户端，Videodev 通过V4L2驱动程序的成员函数来调用V4L2驱动程序。其主要工作流程如下：（1）系统首先调用open （）来打开V4L2设备驱动，

fd=open （V4L2_DEVICE ，O_RDWR|O_NONBLOCK ，0）。

（2）若驱动打开成功，即可通过函数ioctl （fd ，VIDIOC_QUERYCAP ，&cap ）来取得视频设备的一些

基本信息（设备名称、支持最大最小分辨率、信号源信

息等），这里主要看其是否支持V4L2_CAP_VIDEO_

CAPTURE 和V4L2_CAP_STREAMING 。

（3）ioctl （fd ，VIDIOC_S_FMT ，&fmt ）函数设置视频采集的格式，如图像的大小，图像的数据格式等。

（4）如果视频采集设备支持裁剪，可使用ioctl （fd ，

VIDIOC_S_CROP ，&crop ）进行视频裁剪。（5）然后可以使用ioctl （fd ，VIDIOC_REQBUFS ，

&req ）来请求视频缓冲区，并通过buffers[numBufs].start=

map （NULL ，buf.length ，PROT_READ|PROT_WRITE ，MAP_SHARED ，fd ，buf.m.offset ）将视频缓冲映射到用户空间。这里申请3个数据帧缓冲，以备作视频处

理的缓冲，有效实现实时性。

（6）最后使用ioctl （captureFd ，VIDIOC_DQBUF ，&v4l2buf ）让视频数据移出一帧数据到数据缓冲，处理后使用ioctl （captureFd ，VIDIOC_QBUF ，&v4l2buf ）重新采集一帧数据到视频缓冲队列上。如此不断循环。最终实现视频的完整采集。

5.2网络下载数据库的实现

系统采用的数据库下载方式是基于TCP 传输层

图3程序流程图

加载DSP 程序初始化DSP 初始化人脸数据库开始创建视频采集和显示线程建立图形界面

进入消息循环调用DSP 人脸检测识别模块

响应用户输入

控制结束图4用户界面软件流程图结果82

2012，48（14）

协议，人脸数据库放到服务器上，通过网络连接下载到人脸识别器。下面介绍人脸识别器TCP客户端的实现。

首先通过socketfd=socket（AF_INET，SOCK_ STREAM，0）（SOCK_STREAM表明是TCP协议，SOCK_DGRAM代表的是UDP协议）建立TCP socket 文件描述符。设置好端口号连接的SERVIER IP后即可向服务器连接。由于TCP是阻塞型的，所以在调用连接前系统使用select（）系统调用实现非阻塞应用。利用https://www.360docs.net/doc/0710894731.html,_sec=0；https://www.360docs.net/doc/0710894731.html,_usec=1000000设置网络连接的等待时间。利用FD_ZERO（&rdset）清除rdset，使rdset中不包含任何文件描述符。利用FD_SET（socketfd，&rdset）把上面建立的网络文件描述符加入到rdset集合上。调用select（socketfd+1，&rdset，NULL，NULL，&tv）后，在tv（1秒）时间内，当socketfd有数据可以读取时，select（）函数返回，然后调用ret=connect（socketfd，（struct sockaddr*）&serveraddr，sizeof（serveraddr））；即可连接成功，若timeout后select（）等待了一秒后仍未有可读取数据，将返回错误信号，程序将会退出连接。最后程序调用send（）和recv（）函数发送命令和接收数据库文件。

5.3检测视频显示的实现

在视频的显示中，相应的标准Linux视频驱动程序是FBDEV，可以将一个显示设备的帧缓冲器映射到用户空间。在达芬奇系统中，DM6446独有的VPBE后端子处理系统上，显示设备FBDEV分成了的FB/0FB/1FB/2和FB/3，Video Window1作为检测视频显示窗口，OSD Window0作为操作界面的图形界面，OSD Window1作为属性窗口，可以通过设置其明度使显示在OSD上的图形交互界面和检测合理地结合在一起。图5是视频窗口的叠加原理。

最后使用视频末端子系统的VENC硬件处理，达到视频窗口和操作界面混合的效果，并经过视频末端的DAC模块输出视频信号。这样图形用户界面不需要再使用有限的ARM处理器资源来整合视频显示帧和一些显示控件的显示，从而提高系统的实时性[7-8]。

系统还增加了视频前端处理缩放器的驱动，将采集到的视频画面缩放到检测视频窗口的大小，这样既保持了所采集到的人脸数据尽量完整，又避免减少视频缩放所占用的CPU资源。使用这种方式显示经过缩小的D1的实时视频比起使用GUI库函数在OSD Window0上绘制视频效率高得多。

6总结

由于DM6446上ARM处理器的存在，基于达芬奇技术的系统开发将会带来更多的可操作性，图像用户界面将可以做得更灵活方便。本系统通过利用达芬奇技术以及Qt/Embedded实现了人脸检测结果显示，人脸数据的修改和更新功能，成功实现了QT/ Embedded在DM6446上的移植，并有效使用了DM6446的视频处理前端和视频处理后端实现视频采集和显示。

参考文献：

[1]Johnson M K，Troan E W.Linux应用程序开发[M].2版.

武延军，郭松柳，译.北京：电子工业出版社，2005.

[2]倪继利.QT及Linux操作系统窗口设计[M].北京：电子工

业出版社，2006.

[3]于明，范书瑞，曾祥烨.ARM9嵌入式系统设计与开发教

程[M].北京：电子工业出版社，2006.

[4]李方慧，王飞，何佩琨.TMS320C6000系列DSP原理与应

用[M].2版.北京：电子工业出版社，2003.

[5]大奖赛组委会.2006年TI DSP大奖赛获奖成果汇编[M].

北京：电子工业出版社，2007.

[6]Nefian A V，Hayes M H.Face recognition using an em-

bedded HMM[C]//IEEE International Conference on Au-dio Video Biometric based Person Authentication，1999：19-24.

[7]闫乐林.视频场景情感内容的未确知聚类研究[J].计算机工

程与应用，2011，47（30）：165-167.

[8]Nefian A V，Hayes M H.Maximum likelihood training

of the embedded HMM for face detection and recogni-tion[C]//IEEE International Conference on Image Pro-cessing，2000，1：33-36.

Window0

Window1

Window1

图5视频窗口叠加原理图

向征，马争鸣：嵌入式人脸识别器的GUI

设计

83