畜牧业数据云中心技术方案

畜牧数据云中心一、概述我国畜牧业在农业中的地位日益提高，畜牧业已经属于极大规模的产业。

2013年全国畜牧业总产值高达2.8万亿元，占农业总产值的比例超过40%，我国已成为世界上最大的畜牧业生产和消费国。

对于中国的2亿养殖户、上百亿只畜种、68万名兽医来说，所产生的数据量不仅巨大，而且类型丰富。

如果能够通过深度数据挖掘，产生的价值将不可估量。

畜牧业生产方式向以数据驱动智能化生产转变，正是在这个由传统向现代转变的关键阶段，畜牧兽医数据云平台建设举足轻重。

畜牧兽医数据云中心建设是针对XX省畜牧行业信息化发展现状和项目行业发展需要提出的，数据中心涵盖本次项目建设的全部业务系统、业务平台的基础数据、行业监管和服务数据、办公业务资源数据等数据，同时可作为原有业务数据库和未来业务系统的数据基础平台，包含了畜牧行业监管数据、畜牧业经济数据库、畜牧商业数据资源库等，逐步建成畜牧行业大数据中心。

二、平台总体架构三、数据资源规划数据资源是数据中心最重要的资源。

数据中心的数据资源分布状态具有阶段性，每个阶段都对应数据资源整合的不同阶段，体现数据资源的管理集中、有机分布的特点。

根据“基于数据，围绕数据，面向数据”的建设思路，我们进行数据资源体系的总体规划，然后具体描述共享型的共享数据库、操作型的业务数据库和分析型的历史数据库这三类数据资源的构建、维护和使用。

1、数据资源规划的总体思路数据资源规划的总体思路主要包括如下几个方面：★数据共享标准化首先共享数据是标准的，其次共享的方法和途径是规范的。

目前各系统数据资源数据库已经有多种存在方式，要解决系统间信息的互连、互通、互操作，必须针对共享数据建立共同遵守的标准规范，只有编码是统一的、格式是统一的、数据交换的方式是统一的，才能保证数据是一致的，才能实现对数据交换和数据共享的有效管理。

★业务数据相对独立各职能部门分管业务的范围和职责不同。

因此，系统在全局考虑、统一设计的同时，还要充分考虑不同业务部门自身的特点，在统一规划的前提下，保证支持不同业务活动的数据具有相对独立性，建立面向各部门进行联机事务处理的业务数据库。

★决策数据集成化建设数据中心的另一个目的就是将各部门的业务结果数据有机地集成在一起，进行综合查询和统计分析，为各级领导的决策提供有力的数据支持。

2、数据资源体系结构数据中心数据资源体系结构对公共服务系统、业务应用、决策分析提供支持，数据中心的数据库包含如下内容：★共享数据库，包含：地理信息基础数据、法人基础数据库、元数据库、标准代码库、共享业务数据(如果业务部门之间通过数据中心进行数据交换)。

★统计分析数据库，汇集各业务部门的统计分析数据，为决策提供数据支持。

★运行管理数据库，用于监控管理、节点管理、日志等。

★公共服务数据库，提供对公共服务系统的数据支持。

3、共享数据一致性的保证共享数据包括地理信息数据和法人基础数据及其元数据和标准代码数据、共享业务数据。

共享数据一致性问题是数据中心面临的关键问题。

从范围上划分，共享数据包括基础数据，基础数据包含基准数据。

★基准数据基准数据是指唯一表示自然人和法人的数据字段集合，自然人有身份证号码和姓名标识，法人有法人机构代码和名称标识。

★基础数据基础数据是指自然人和法人的常用基本信息，各业务部门日常管理都需要用到的面向主题的数据。

基础数据包括自然人和法人的基准数据和其他元数据。

基础数据一致性必须建立于基准数据一致性的基础上。

基础数据的一致性也需要通过数据共享与交换平台和相应的机制、管理办法来保证。

各部门按照业务职能明确元数据维护责任和权限，定期将在办理业务过程中更新的元数据项数据提供给数据中心；数据中心根据基准数据一致性的原则，对各业务部门提供的数据进行比对校验，正确的数据增加或更新到数据库中；各业务部门可以直接使用这部分数据作为支撑行政业务和行政管理的数据资源，也可以作为业务参考信息。

★元数据标准和标准代码数据元数据标准和标准代码数据由数据中心维护更新，并发布给各业务部门使用，由于业务部门系统内部沿用的代码可能与数据中心的发布版本不一致，业务部门需保证与其他业务部门进行共享交换的数据必须遵循数据中心的标准规范，而在系统内部可以采取逐步过渡迁移的方案，尽量减少影响业务运作。

★共享业务数据共享业务数据是指多个业务部门之间需要共享使用的数据，作为各业务部门进行行政管理的参考数据。

数据来源渠道包括业务部门、部级数据中心、省政府数据中心、市县区级数据中心等业务机构。

共享业务数据以业务数据的发生地管理部门为准。

这类数据由各业务部门按业务需求和协商的频度提供给数据中心，在数据中心处提供各部门查询。

由于这类数据量比较大，预计可以分业务、分批更新。

4、数据支撑平台数据中心支撑平台主要包括：数据共享交换子系统、目录管理服务子系统、共享数据管理子系统、共享业务管理子系统、系统配置管理子系统、系统安全管理子系统和数据检索子系统。

1）数据共享交换子系统数据共享交换子系统为全省各畜牧机关和业务部门提供数据交换服务。

主要功能包括：(1)交换管理提供交换节点、交换服务和交换桥接的配置、调度和检测功能；提供交换服务和交换桥接的日志查询和统计功能。

(2)交换服务提供共享域内交换节点之间的数据共享交换服务，包括采集、分发、汇总和转发；提供交换节点与业务系统之间的交换桥接服务，实现数据提供和获取；提供跨域交换服务，实现共享域之间通过对接节点进行数据交换。

数据交换引擎是数据共享交换平台的核心。

数据交换引擎主要包括服务处理和数据接口。

（一）服务处理数据交换引擎运行过程示意图如下：数据交换引擎运行示意图数据交换引擎接负责收并处理数据交换服务请求，实现数据的交换。

主要包括：（1）服务请求监听器服务请求监听器采用监听机制，实现对服务请求的并发接收。

（2）服务解释处理器服务解释处理器负责解释执行服务请求。

服务请求监听器把服务请求转发到解释处理器，服务解释处理器查询所请求的服务定义，根据服务定义产生执行序列并控制各个交换节点实现交换服务。

在数据交换压力大的时候，根据服务的优先级高低，控制交换服务的执行顺序，确保高优先级的服务优先执行。

（3）服务定义服务定义记录了服务的项选参数以及设置，描述了服务应该如何解释和执行。

交换服务可以定义服务优先级等信息。

（4）接口控制接口控制负责把命令序列发送到各个交换节点，控制交换节点上的数据接口，驱动数据交换的执行。

（5）传输管道数据的交换过程是在传输管道中进行的，传输过程分为三部分，数据输出，网络传输、数据输入。

在源节点的数据输出接口把数据由数据源读出，并根据服务配置经过数据加密、数据压缩等过滤器。

经数据输出接口输出的数据通过消息中间件传输到目标节点。

目标接点的数据接口接收到数据后反向经过各种过滤器把数据还原出来，然后写入到目标数据源。

（6）管道管理管道管理器负责管理数据交换过程中的传输管理，包括管理的创建、动态分配、撤消等操作。

（7）日志监控日志监控按级别记录数据交换引擎在运行过程中的事件记录，提供监控功能。

（二）数据接口数据共享交换平台支持三种数据接口方式：交换库方式、文件方式以及Web 服务方式，业务系统通过交换平台进行数据共享交换时，可以根据实际的情况选择合适的数据接口方式接入交换平台。

在接入节点时，根据实际情况选用一种或多种接口类型。

对于有业务系统存在，只要求提供或获取共享业务数据的情况，建议采用数据库类型接口；对于需要获取基础数据的情况，以及实时性要求高的情况，建议使用Web服务类型接口；文件类型接口根据实际情况决定是否采用。

2）目录管理服务子系统目录管理服务子系统是支撑平台的核心子系统，提供畜牧数据资源目录的注册管理以及数据资源的发现定位服务。

主要功能包括：(1)目录管理提供数据主题的管理功能，数据主题包含了对数据资源的语义信息和规格信息等；提供对目录层次结构的管理，包括系统自动管理以及手工管理两种方式。

(2)目录服务按部门、专项以及分类标签等方式浏览数据资源目录；提供数据资源的检索和统计功能。

3）共享数据管理子系统共享数据管理子系统是支撑平台的一个基础子系统，是实现数据资源共享交换的基础。

主要功能包括：(1)数据标准管理提供公共数据元、信息分类和代码的配置管理功能。

(2)数据源管理提供数据源的配置管理功能。

(3)数据质量管理提供对共享数据的质量管理功能，包括问题数据的查询、浏览和统计。

4）共享业务管理子系统共享业务管理子系统是支撑信息共享申请、授权业务开展的系统。

主要功能包括：(1)共享业务流程提供对共享业务流程的支撑功能，包括共享业务申请和审核。

(2)共享业务统计提供按部门、业务状态和业务时间等维度对共享业务统计功能。

5）系统配置管理子系统系统配置管理子系统是支撑平台的一个基础子系统。

主要功能包括：(1)共享域提供数据资源共享域的信息配置功能。

(2)全局配置提供组织机构、系统信息等全局配置功能。

6）系统安全管理子系统系统安全管理子系统是支撑平台的一个基础子系统。

主要功能包括：(1)用户管理提供用户、用户组、角色管理功能。

(2)权限管理提供基于角色（RBAC）的权限管理功能。

(3)操作日志提供用户操作日志的查询和导出功能。

5、数据共享交换平台1）交换网络结构一般数据交换有两种常见的交换结构：星型交换和网状交换。

在星型交换结构中，所有端节点都只与中心节点相关，通过中心实现数据交换；而网状交换结构中，数据可以在任意两个节点之间直接交换。

经过调研和分析，XX省畜牧局和地市县区级畜牧职能部门之间存在着复杂的数据共享和交换需求，并存在以下特点：（一）同一批共享数据通常需要共享给多个子系统；（二）对同一批数据，不同的子系统应用的需求存在差异；（三）各个子系统独自开发，技术平台不一，数据标准不一；（四）数据共享和交换要求进行备案。

因此，XX省畜牧局数据中心数据交换结构采用星型交换结构，如下图所示：2）交换概念模型交换概念模型由中心交换结点和端交换结点组成。

端交换结点接收和发送政务部门的交换信息。

中心交换结点管理交换网络内端交换结点的数据交换服务，并根据需求形成共享信息库。

交换的概念模型如下图所示：交换概念模型说明如下：（一）业务信息是由各畜牧部门产生和管理的畜牧数据资源；（二）交换信息是端交换结点用于存付参与交换的畜牧数据资源；（三）共享信息库是可以为多个端交换结点提供一致的畜牧数据资源的信息集中存储区。

任意一个端交换结点是可以按照一定的规则访问共享信息库。

（四）端交换结点是畜牧数据资源交换的起点或终点，完成业务信息与交换信息之间的转换操作，并通过交换服务实现畜牧数据资源的传送和处理；（五）中心结点主要为交换信息提供点至点、点到多点的信息路由、信息可靠传送等功能。

在两个端交换结点之间可以有0个或若干个中心交换结点；（六）交换服务是交换结点传送和处理畜牧数据资源的操作集合，通过不同交换服务的组合支持不同的服务模式。