视频结构化技术方案

2、技术服务方案

2.1 建设内容

本次项目的主要建设内容：视频结构化，同时对接整合县局建设的监控视频前端等系统，通过后端建设平台实现视频分析、实战、案件研判、案件侦办等功能。

2.2 系统结构

本次项目设计的平台系统，采用先进的架构体系，实现智能监控，社会资源，案件侦查、研判等功能，同时与警用地理信息系统，警综系统等资源对接，实现地图展现，视频联动、案件侦查等功能。

系统建设在公安信息网和视频专网上，系统总体架构如图所示：

2.3 视频结构化

简单来讲，视频结构化技术是一种将视频内容（人、车、物、活动目标）特征属性自动提取技术，对视频内容按照语义关系，采用目标分割、时序分析、对象识别、深度学习等处理手段，分析和识别目标信息，组织成可供计算机和人理解的文本信息的技术。

从数据处理的流程看，视频结构化描述技术能够将监控视频转化为人和机器可理解的信息(如下图)，并进一步转化为公安实战所用的情报，实现视频数据向

信息、情报的转化。在视频结构化描述的内容方面，公共安全关注的视频信息主要是：人员、车辆、行为。

2.3.1 人员结构化

在视频中除了包括人员的面部精确定位、面部特征提取、面部特征比对，人员的性别、年龄等特征范围外，还可对人的衣着、运动方向，新增是否戴帽子、是否戴眼镜、是否背包、拎包、打伞、是否骑车等信息进行结构化描述。

2.3.2 车辆结构化

随着智能交通高清电警、卡口、虚拟卡口、停车场的广泛建设和应用、借助智能识别算法将电警、卡口、停车场出入口等场所的车辆相关结构化信息存入车辆主题库，包括车牌、车型、车牌颜色、车辆品牌、车辆类型、车身颜色、车标及遮阳板、是否系安全带、打电话、车辆年检标、摆件挂件、司乘人员的人脸。

基于这些车辆关键特征信息，形成上亿条过车记录数据，从而推动了后台大数据分析服务的发展应用和行业数据挖掘，形成隐匿车辆挖掘、套牌车辆筛选、初次入城、一车多牌、一牌多车、频繁过车、相似车辆串并、高危车辆积分模型、车辆行驶轨迹分析、时空碰撞等实战技战法的应用。在此基础上对车辆特征数据的大数据搜索，即可迅速找到所有符合条件的车辆信息，包括行驶时间与方向、行驶速度、车标、车牌、年款等，还可结合以图搜图的检索方法，在实战平台上调取相关视频和图像文件，快速查询到有关嫌疑车辆信息，还原车辆行驶的轨迹历史信息，实现嫌疑车辆在整个城市的全程运行轨迹查询或结合视频监控信息，

实现车辆全程化的可视化轨迹回放，以及对涉事车辆的精准布控和查询，也可以联合公安车辆管理信息库，实现车人关联。

2.3.3 行为结构化

行为结构化即在人员结构化基础上进行检索查询，包含人体行为如越界、区域、徘徊、遗留、聚集等多种行为特征描述。它可以解决快速目标查找问题，如将嫌疑人的截图输入至侦查系统中，利用人形检索的功能，系统会根据目标嫌疑人的衣着、颜色分布、体态特征快速地在案发点附近的多路摄像头中进行全局搜索，查找出相似的目标，并将结果以快照的形式输出，结合GIS地图进行时空研判分析，刻画出嫌疑人的行动轨迹。

经过视频结构化处理后，可以达到如下目的：

首先：是视频查找速度得到极大的提升。

视频结构化之后，从百万级的目标库中（对应数百到一千小时的高清视频）查找某张截图上的行人嫌疑目标，数秒即可完成；千万级目标的库中查找，几分钟即可完成（如果实现云化，速度会更快）。在结构化基础上进行检索查询，可以解决快速目标查找问题；

其次是存储容量极大的降低。

经过结构化后的视频，存储人的结构化检索信息和目标数据不到视频数据量的2%；对于车辆，不到1%；对于行为降得更多。存储容量极大地降低，可以解决视频长期存储的问题。

最后，视频结构化可以盘活视频数据，可作为数据挖掘基础。

视频经过结构化处理后，存入相应的结构化数据仓库，对各类的数据仓库可以进行深度的数据挖掘，充分发挥大数据作用，提升视频数据的应用价值，提高视频数据的分析和预测功能。

视频结构化面临的问题

作为一项视频处理的核心技术，算法对环境比较敏感，受环境干扰大，光线、杂物、恶劣天气、晃动都会影响实际效果，实现高效精准的视频结构化描述技术成为今后一段时间各公司/算法研究机构努力的方向。随着计算机视觉前沿技术的日益成熟，深度学习、高性能计算、海量训练数据、多维信息结合、大数据挖掘分析、目标跟踪、现有算法的优化都将有力快速推动视频结构化分析技术、算法效果的逐步提升。

2.4 对接服务

2.5.1 外部接口服务

根据需求，为实现公安对侦查数据进行共享整合，我司视频结构化平台支持与原有建设的视频侦查分析系统的数据对接能力，并提供相关技术方案描述数据对接实现方式，对接方案包含数据字典、功能分类、结构定义和交互流程等技术要求。

2.5.1.1 对接方式

系统与外部系统的对接方式以web service方式进行。

系统接口标准：

本系统采用SOA体系架构，通过服务总线技术实现数据交换以及实现各业务子系统间、外部业务系统之间的信息共享和集成，因此SOA体系标准就是我们采用的接口核心标准。主要包括：

服务目录标准：服务目录API接口格式参考国家以及关于服务目录的元数据指导规范，对于W3C UDDI v2 API结构规范，采取UDDI v2的API的模型，定义UDDI的查询和发布服务接口，定制基于Java和SOAP的访问接口。除了基于SOAP1.2的Web Service接口方式，对于基于消息的接口采用JMS或者MQ 的方式。

交换标准：基于服务的交换，采用HTTP/HTTPS作为传输协议，而其消息体存放基于SOAP1.2协议的SOAP消息格式。SOAP的消息体包括服务数据以及服务操作，服务数据和服务操作采用WSDL进行描述。

Web服务标准：用WSDL描述业务服务，将WSDL发布到UDDI用以设计

/创建服务，SOAP/HTTP服务遵循WS-I Basic Profile 1.0，利用J2EE Session EJBs 实现新的业务服务，根据需求提供SOAP/HTTP or JMS and RMI/IIOP接口。

业务流程标准：使用没有扩展的标准的BPEL4WS，对于业务流程以SOAP 服务形式进行访问，业务流程之间的调用通过SOAP。

数据交换安全：与外部系统对接需考虑外部访问的安全性，通过IP白名单、SSL认证等方式保证集成互访的合法性与安全性。

数据交换标准：制定适合双方系统统一的数据交换数据标准，支持对增量的数据自动进行数据同步，避免人工重复录入的工作。

2.5.1.2 数据库设计

1、设计依据

说明数据被访问的频度和流量，最大数据存储量，数据增长量，存储时间等数据库设计依据。

2、数据库选型

对数据库选型进行确认。

3、数据库种类及特点

说明系统内应用的数据库种类、各自的特点、数量及如何实现互联，数据如何传递。

4、数据库逻辑结构

说明数据库概念模式向逻辑模式转换所采用的方法论及工具，完成数据库概念模式向逻辑模式的转换。详细列出所使用的数据结构中每个数据项、记录和文件的标识、定义、长度及它们之间的相互关系。此节内容为数据库设计的主要部分。

5、物理结构设计

列出所使用的数据结构中每个数据项的存储要求、访问方法、存取单位和存取物理关系等。建立系统程序员视图，包括：

数据在内存中的安排，包括对索引区、缓冲区的设计；

所使用的外存设备及外存空间的组织，包括索引区、数据块的组织与划分；

访问数据的方式方法。

6、数据库安全

说明数据的共享方式，如何保证数据的安全性及保密性。

7、数据字典

编写详细的数据字典。对数据库设计中涉及到的各种项目，如数据项、记录、系、文卷模式、子模式等一般要建立起数据字典，以说明它们的标识符、同义名及有关信息。

2.5.1.3 交互流程

1、发现用户需要，建立明确需求

在用户反馈里收集到许多用户提出的想法，他们希望我们能提供帮助解决问题的产品；我们也可以主动去观察一些生活中的信息，为灵感的迸发做储备。

2、提出设计方案

通过调研，我们得到了大量数据信息，并建立了明确的需求，下一步就是开始提设计方案。

3、制作原型

考虑到做交互是一个迭代过程，为设计的产品做一份交互更新日志，记录下交互更新时间、版本名称、更新类型、更新内容、参考需求文档与交互负责人。

4、制作交互说明

在交互原型上注释，在图上写说明。

5、用户测试与评估

产品基本功能实现后，我们会做用户测试，设计是很主观的，并且会受各种因素影响，所以我们的产品难免会存在一些意料之外的问题，通过招募用户来使用我们的产品，我们能收集到一些使用场景中发现问题的反馈，并把这些整理成优化点，完善我们的产品。

2.5.1.4 接口双方责任

1、消息发送方

遵循本接口规范中规定的验证规则，对接口数据提供相关的验证功能，保证数据的完整性、准确性；

消息发起的平台支持超时重发机制，重发次数和重发间隔可配置。

提供接口元数据信息，包括接口数据结构、实体间依赖关系、计算关系、关联关系及接口数据传输过程中的各类管理规则等信息；

提供对敏感数据的加密功能；

及时解决接口数据提供过程中数据提供方一侧出现的问题；

2、消息响应方

遵循本接口规范中规定的验证规则，对接收的数据进行验证，保证数据的完整性、准确性。

及时按照消息发送方提供的变更说明进行本系统的相关改造。

及时响应并解决接口数据接收过程中出现的问题。

3、异常处理

对接口流程调用过程中发生的异常情况，如流程异常、数据异常、会话传输异常、重发异常等，进行相应的异常处理，包括：

对产生异常的记录生成异常记录文件。

针对可以回收处理的异常记录，进行自动或者人工的回收处理。

记录有关异常事件的日志，包含异常类别、发生时间、异常描述等信息。

当接口调用异常时，根据预先配置的规则进行相关异常处理，并进行自动告警。

2.5.2 第三方平台对接

整合车辆、人脸数据，通过与的脸系统、车辆系统以单点登录的方式实现一站式的登录体验。单点登录的定义是在多个应用系统中，用户只需要登录一次，就可以通过免登陆的方式访问所有相互信任的应用系统。

（1）与基础监控平台对接

主要以国标28181或厂商提供SDK的方式对接天网监控平台，本次项目采用国标28181方式，对接环境需要千兆网络。

首先需要确认对接平台厂商，然后确认其国标版本。需前端厂商提供基础监控平台的网关地址、端口和国标编码，前端厂商开放网关联调，配置我方平台的vas服务IP地址、端口和国标编码，对接完毕提供给平台调用。

（2）与pgis对接

首先确定对接PGIS厂商，然后由PGIS厂商提供PGIS的API服务地址，在平台前端配置PGIS地址适配，最后对地图上的特殊功能进行对接调试。