A001综合信息应用大数据平台

一、技术和产品介绍（一）综合信息应用大数据平台（1）、概述综合信息应用大数据平台是开发团队经过在行业内积累了十几年，自主研发的具有自主知识产权的大数据应用平台。

平台将行业内的数据与各类社会数据,建立统一的数据资源库；针对实战应用和基层需求、优化资源库存储模型，组织整理数据资源，建立出网状的客户统一视图；通过数据挖掘技术，针对各警种（部门）的业务特点，建立满足应用需求的数据模型，提高大数据应用的实时性、针对性、广泛性。

从相对成熟的信息应用技战法中提炼应用模型，通过人机交互，辅助民警更加有效地应用技战法，对分析各类违法犯罪行为人员进行重点的提示与跟踪，为业务部门和专项斗争提供数据支撑服务。

（2）、产品功能和架构1、总体架构系统总体架构分为信息资源统一采集管理和流程控制平台、信息资源综合应用平台、情报研判平台、统一发布展示和对外集成共享平台四个部分组成。

信息资源统一采集管理和流程控制平台解决数据来源问题。

数据来源包括公安内部业务数据和部门间信息交换与服务平台接入的社会其他部门业务数据。

信息资源综合应用平台建立综合资源库，通过抽取、清洗整合工具将数据接入到数据中心，从而形成综合信息资源库。

同时对综合信息资源库中的数据进行应用，包含各种信息的查询、比对、分析、预警等多种应用。

情报研判平台是在对综合资源库进行深度分析建立各种数据模型的基础上，建立各种分析引擎，从海量数据中挖掘出有价值的情报信息。

统一发布展示和对外集成共享平台是指系统的主要服务群体以及服务方式，对公安内的各业务警种开放并提供服务，可对其他系统提供比对、查询等标准服务，对其他需求的服务群体实行标准接口提供服务。

2、功能简介2.1数据整合功能数据整合支持对结构化数据（数据库ORACLE、SQLSERVER、DB2、SYSBASE、MYSQL等）、半结构化数据（HTML、TXT、EXCEL）、非结构化数据（文档文件、声音、图像、视频等）的全部抽取和增量抽取等多种数据同步方式，并整合到共享资源库中。

2.1.1数据抽取同步数据抽取同步一方面可实现对公安内网各业务系统中进行数据抽取归集到共享资源库中，另一方面可对归集的公安外资源信息，并整合到共享资源库中。

支持跨部门、跨业务的内、外网的信息资源有效整合，实现公安机关内部各业务部门共享数据及与公安工作有关的社会信息资源数据的汇集管理与服务。

其具体功能包括建立数据抽取、数据清洗、数据转换、数据集成、数据装载、数据核验等功能。

2.1.2数据清洗整合数据清洗、转换，目的是提高抽取的数据的数据质量，其中包含对非法字符的过滤、对标准代码的转换、对身份证和手机规则的校验、对身份证15位转换为18位等。

数据整合管理同样主要是依托数据清洗整合系统（ETL）对数据进行整合聚类，通过可发现的确定关联因素在若干数据之间建立物理静态的关联关系，并提取共通信息建立主信息源点，并且依次作为数据集市建立所需直接数据分类源。

2.2数据共享管理对于公安信息资源库中的各类数据资源，按照不同的应用需求提供灵活的数据共享服务，系统提供多元化的共享接口。

2.2.1共享资源配置管理共享资源配置管理主要是对可以共享的资源数据进行配置，挂接到系统当中，在需要对数据进行共享的时候管理员只需选择已挂接好的资源即可，其中共享资源配置管理主要有数据源挂接、应用挂接、数据表挂接、字段挂接。

2.2.2共享服务接口本系统将对外提供数据共享的服务接口，以减少各成形应用系统的开发工作量。

其中共享服务接口主要包含FTP数据共享接口、webservice共享服务接口、数据直接引入接口三种。

2.2.3元数据管理功能对元数据的管理系统将做到字段一级，对每一种元数据都形成对应的配置，例如：配置元数据库的表名称、中文表名称及其他含义，对元数据表字段的管理包含：字段名、字段中文名、标准代码转换、是否提供查询、是否显示、所属元数据、显示顺序、字段级别等信息进行管理。

对元数据能与其字段形成映射关系，便于用户使用和理解。

2.2.4数据质量管理系统提供数据质量指标的统计，包括数据集数据量大小，数据实体数据量大小，记录条数，字段在关系数据库中的空间利用率等。

通过建立完善的数据质量分析机制，实现对综合资源库或业务数据库的数据不断地进行数据校验、比对，完成不规范数据的清洗和过滤，保证数据安全可靠、不丢、不重。

2.2.5运行监控管理系统提供完善的监控管理功能，支持异常预警。

根据不同的监控指标，当系统发生异常时可通过多种方式向管理人员发布预警信息。

运行监控管理包括资源状态监控、数据库监控、运行状态监控、数据故障处理、监控预警、日志管理、监控展示等。

2.3数据应用功能2.3.1超级搜索系统超级搜索是基于结构化数据、网页数据、非结构化数据的一个全库搜索的系统，其中结构化数据包含了共享资源库中的所有数据以及其他本地的一些资源库数据，非结构化数据包含用户自定义或上传的一些文件例如，txt文件、xml文件等文件形式的数据，网页数据是利用网络爬虫对网页上的文本进行爬行从而形成网页全文库的一种数据。

用户输入关键词后，系统将把与关键词相关的所有信息都给找出来，不论数据存在于哪个库、哪个表、哪个字段或哪个文件中，只要数据库记录内容中包含该关键词信息，系统将把结果全部检索出来，用户可进一步点击分库、分类进行操作。

检索出的结果可按照相关度由系统进行智能排序。

2.3.2综合查询系统2.3.2.1要素查询要素查询是依据人、案、物、机构、地理五要素的分类原则，针对其中一类信息的查询。

例如当用户要查询某人的信息时，如果用户确切知道被查的信息在哪个业务数据库中时，可选择按应用查询方式；如果用户不知道被查的信息在哪个业务数据库中时，可选择人要素查询，即“所有人员”，系统会自动到所有与人相关的数据库中查询。

2.3.2.2综合查询用户根据具体应用要求，任意选择一个或者多个数据表进行检索，系统将只检索用户选定的数据表中的信息，并提供相关度排序展示。

复合关联是关联查询的一种方式，即复合条件关联。

以机动车档案信息为例，在机动车信息中，车牌号码、发动机号码、车驾号码都可以作为关联条件，如果按其中的某一项进行关联，称为“单项条件关联”；如果按三项条件同时关联，则称为复合关联。

又如，在常住人口信息中，可以按身份证号、姓名进行关联，如果按身份证号+姓名进行关联，则称为复合关联。

2.3.2.3分类查询分类查询是在数据归并整理和数据分类的基础上进行的，将各类查询功能进行了统一安排与分门别类，实现了查询项的全面展示与快速查找，满足了民警对各类单一业务的快速精确查询。

分类方式可以按五要素分类，也可以按业务警种即部门分类，也可以按数据种类如人员类，以及子级如人员类子级常口类、暂口类进行分类分级检索和钻取检索。

2.3.2.4思维记忆用户有选择性的将在平台中查询过的业务库查询条件保存起来，在思维管理里面可以将记忆过的思维进行碰撞。

2.3.2.5自定义查询用户可自定义查询条件，用户组合逻辑关系创建查询条件，对资源库数据进行查询，模块支持对多个关键词的“与”、“或”、“非”、“包含”、“完整匹配”等逻辑关系，用户通过该模块可实现对全文检索的高级应用。

2.3.2.6模糊检索对于要素查询、业务查询、关联查询等操作系统除了支持普通的精确搜索之外，同时均支持查询字段的模糊匹配操作，系统使用%作为模糊查询匹配符。

如查询常住人口信息中姓李的人员信息只需输入李%即可。

同时系统可支持左模糊匹配、右模糊匹配、全模糊匹配等模糊查询操作。

示例：示例：李%，*明，李?明%，44040?1980*11。

提供用户可以选择具体某数据表的单个/多个字段，形成查询表单，精确查询完全匹配的内容。

在实现精确查询的同时也支持模糊查询。

2.3.2.7轨迹查询根据身份证号、人员编号等关联信息的结果，按照事件的发生时间，进行时间排序，刑侦办案人员，可以迅速的发现一个人员的轨迹信息。

每条信息分别来自于什么样的数据源，以及事件的摘要信息内容。

轨迹信息包括暂住信息、入住旅馆信息、网吧上网信息、民航空港信息等。

2.3.2.8多库关联查询系统可在极短的时间内，根据人员身份证号、姓名等，将所有库中与该人相关的信息全部检索出来，并对动态信息按时间排序后展示给用户。

包含该人员的基本信息、前科劣迹、活动轨迹、个人财产、相关物品、社会属性和其他附属信息的挖掘，可全面展示个人的所有相关信息。

2.3.2.9业务关联检索业务关联检索借助数据挖掘及分析工具，理清数据间的联系关系，打通数据间联接的通道，实现能够展示二层以上等较为复杂的关联查询，达到从单一对象到多要素多对象的综合相关关系的多维展现。

同时，每一个通过关联查询所获得的新的对象又可以拓展出更多的相关信息。

通过提供对单一对象同其他对象相关关系的展现，建立多个对象之间的相关路径。

2.3.2.10档案信息查询人员档案信息查询根据数据库中记录的潜在关联关系，对某个具体人员进行关联查询，形成以此人为基础的七大类背景信息：主要包括人员基本信息、家庭关系信息、社会关系信息、从业情况、活动轨迹情况、通信工具信息、资产类信息。

每一类背景通常来自于多个表的多个字段内容，系统应根据潜在关联关系进行检索，并将信息按要求组织在一起，形成人员电子档案。

1)人员基本信息栏目2)相关证件栏目3)其他地址栏目4)其他基础信息5)前科劣迹栏目6)个人财产栏目7)社会关系栏目8)活动轨迹栏目9)互联网信息栏目车辆档案查询车辆档案分车辆基本信息、车主信息、违法记录、事故记录、车辆轨迹、被盗抢记录6个栏目展示人员的相关信息。

1)车辆基本信息栏目2)车主信息栏目3)违法记录栏目4)事故记录栏目5)车辆轨迹栏目6)被盗抢记录栏目2.3.2.11批量检索与比对分析（1）系统提供上传功能，用户可在页面将批量关键词数据文件上传；（2）根据关键词批量的检索与比对，命中结果的呈分布图展示；（3）提供任何阶段、任何中间数据结果的分表批量导出功能。

2.3.2.12漫游查询漫游查询是对异地数据的另一种查询方式，本系统可以通过路由向导，引导用户到不同地点进行查询。

如果用户确切知道被查的信息在哪个地市，可选择异地漫游查询方式；本系统可实现“单点登录、全网漫游”。

2.3.2.13异地共享查询根据各地市资源开放规则，以及有条件对等资源交换的原则，实现异地数据的检索访问。

实现思路如下：各地市管理员在本地设置可开放共享资源，并将这些资源的共享方式、共享范围、共享权限（简项或全部项）进行配置，并通过系统同步到中心共享信息存储表。

加入共享查询的地市可以通过WEBSERVICE方式，访问其他地市开放的资源。

其中各地市需提供一个WEBSERVICE用户，供外地市进行访问，访问的权限也就是各地提供给外地市的权限。