企业大数据平台下数仓建设思路

企业大数据平台下数仓建设思路
企业大数据平台下数仓建设思路

企业大数据平台下数仓建设思路

本文章来自于阿里云云栖社区

摘要:介然(李金波),阿里云高级技术专家,现任阿里云大数据数仓解决方案总架构师。8年以上互联网数据仓库经历,对系统架构、数据架构拥有丰富的实战经验,曾经数据魔方、淘宝指数的数据架构设计专家。与阿里云大数据数仓结缘介然之前在一家软件公司给企业客户做软件开发和数仓开发实施,数仓开发和实施都是基于传统的

免费开通大数据服务:https://https://www.360docs.net/doc/5414984975.html,/product/odps

介然(李金波),阿里云高级技术专家,现任阿里云大数据数仓解决方案总架构师。8年以上互联网数据仓库经历,对系统架构、数据架构拥有丰富的实战经验,曾经数据魔方、淘宝指数的数据架构设计专家。

与阿里云大数据数仓结缘

介然之前在一家软件公司给企业客户做软件开发和数仓开发实施,数仓开发和实施都是基于传统的基础架构。2008年加入阿里进入淘宝数据平台部后,他开始接触分布式计算平台Hadoop。

初始时在Hadoop平台上构建数仓主要解决企业内部数据分析的需求,在2010年公司决定对外开放数据后,开始于2011年利用自建的数仓体系支持对外数据产品数据魔方、淘宝指数。后续在平台和产品上不停的丰富数据内容,同时离线和流式两套数据体系支持数据产品。

从2012年开始,之前在Hadoop上的数据体系搬迁到阿里云数加MaxCompute (原ODPS)(原文链接:

https://https://www.360docs.net/doc/5414984975.html,/product/odps?spm=5176.100239.blogcont67020.17.8 okFBH),并完成了数据体系的重构,此时介然负责平台基础数据的建设支持全

集团的上层数据应用。在2014年之后,公司开始对外服务,开始研究数据服务化和帮助外部用户如何利用阿里的平台实现大数据应用。

数仓上遇到的挑战:数据质量保障、稳定和重复性

在数据魔方、淘宝指数和阿里大数据数仓解决方案设计中,介然遇到了不少有挑战性的技术问题,主要集中在以下三点:

1.数据质量保障:随着业务的复杂度增加,数据源头的类型和数据量也会越来越多,经常会碰到某些数据源因为一些偶发的原因同步过来的数据质量出现问题。比如日志出现乱码、数据库因为切库造成数据同步量变少等等。这就要求在整个数仓体系的搭建过程中不只要完成数据业务逻辑的处理,还需要增加数据质量的监控。“我们在核心的数据处理流程中,增加数据质量监控代码,如果碰到数据量的突变或者核心指标的突变,会将数据处理流程暂停并预警,让数据运维人员处理数据质量问题后再进行后续数据流程的运行,保障有质量问题的数据不流到下游应用中。”

2.数据产出稳定性保障:随着数据量的增加、计算资源的逐渐饱和,业务数据最终产出的时间开始延迟,并有可能不能按照业务要求的时间点产出。“这个时候我们会分析数据产出的关键路径,找出关键路径下消耗时间最多的运行JOB,通过数据模型优化、计算任务拆解或者计算任务代码优化的手段减少任务产出的时间,同时保障整体产出时间满足预期。”

3.重复的数据处理代码:由于业务的特殊性,会对某种类型的数据加工操作需求非常多。比如计算交易中,TOP N的商家、TOP N 的品牌、TOP N的商品,商家中TOP N的商品、品牌中TOP N的商家等等。这类代码都是非常类似的,如果每个计算都独立任务,会造成计算资源的大量浪费。“我们通过特殊的代码框架,让一份基础数据中多种TOPN的数据可以在一次计算过程中产出,大大减少资源消耗,保障数据产出稳定。”

优秀数仓的三要素:清晰、保障和扩展性好

介然认为,优秀的数据仓库应该包含以下要素:

1.结构、分层清晰:不一定需要多少个分层和主题,但是一定要清晰。用数据的人能够很快找到需要数据的位置。

2.数据质量和产出时间有保障;

3.扩展性好:不会因为业务的些许变化造成模型的大面积重构。

而从系统架构、数据架构两个纬度来看,要想设计好大数据应用下的数据仓库,还应做到以下两点。

1.系统架构上:足够的容错性,减少不必要的系统间的强耦合。因为你会碰到各种问题,不要因为一个不必要的依赖造成数据无法产出。

2.数据架构上:简单、清晰、强质量控制。数据架构上扁平化的数据处理流程会对数据质量的控制和数据产出的稳定性提供非常好的基础。

互联网人转型做大数据数仓需要注意哪几个点?

对于之前做互联网数据仓库,现在想转型做大数据仓库的人,介然也提了一些建议,主要是四点:

1.不必再苛刻的精打细算:基于传统平台构建数仓时,为了照顾平台的处理能力,我们经常会构建多层数据结构,预先对不同粒度的数据做预先汇总,以方便使用者在使用数据时能够已最小的计算代价获得计算结果。这也造成了整个数据处理流程较长,步骤很多,问题追溯困难。新的大数据仓库基于分布式计算平台,平台的计算能力通常都比传统的平台强大很多。所以有时候需要时再计算数据,或者基于明细进行各粒度的数据汇总已经能够满足需求,并能够大大减少整体数据处理流程步骤,用计算的代价减少人工的成本,更划算,数据体系也更健壮。

2.不是模型层次越多越好:在传统的数仓架构中,大家都喜欢多数据模型进行分层设计,不同的模型层次拥有不同的数据域和作用域。这样设计固然看起来更清晰,但实际情况时多层之间可能存在重复数据,或者数据使用者在上层找不到完全切合的数据时,更愿意从底层的明细数据上自己去加工。一方面造成了数据使

用上的混乱,一方面也会让数据整个处理流程长度增加,对于数据的运维带来较大的成本消耗。合理的层次设计,及在计算成本和人力成本间的平衡,是一个好的数仓架构的表现。

3.质量是生命线:不再是你拿到的数据都是正确的,新的环境下的数据什么情况都会发生,而好的数仓架构需要有足够的容错性和质量保障。不要因为一条日志的乱码造成整个数据流程无法走通,也不要说一份日志50%的乱码你的程序还发现不了。在数据质量上投入再多的资源都不是浪费。

4.数据变成生产资料:传统的数据应用绝大部分都是以报表和BI分析的形式支持业务。也许你的报表晚出来会被老板骂一通,但是对业务的影响并不大。但是在新的数据应用场景下,数据已经变成生产资料,数据会服务化直接应用到业务系统中,也许一份数据的质量出现问题或者产出延迟,都可能对你的业务系统产生致命的影响。所以数仓开始承担新的使命。

如果你依然迷惑,欢迎来听听阿里是如何搭建一个好的数据仓库

介然称,本次分享会讲:在大数据的应用场景下,基于新的分布式计算平台的特征如何设计数据仓库。“会从应用需求、平台的特征、模型的设计、产品的应用几个角度来说明如何在阿里大数据平台下搭建一个好的数据仓库。”对于细节,他介绍到。

这位阿里云大数据数仓解决方案总架构师,非常希望大家来听本次分享:“不管你在什么平台上做过数据开发,或者公司开始做大数据应用,只要利用平台支持这个应用,都欢迎来一起讨论。”

精彩分享

大数据平台建设方案

大数据平台建设方案 项目需求与技术方案) 、项目背景 十三五”期间,随着我国现代信息技术的蓬勃发展,信息 化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新IT ”浪潮风起云涌,信息化应用进入一个“新常态”。*** (某政府部门)为积极应对“互联网+” 和大数据时代的机遇和挑战,适应全省经济社会发展与改革要求,大数据平台应运而生。 大数据平台整合省社会经济发展资源,打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台,以信息化提升数据化管理与服务能力,及时准确掌握社会经济发展情况,做到 “用数据说话、用数据管理、用数据决策、用数据创新”,牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析,实现企业信用社会化监督,建立规范化共建共享投资项目管理体系,推进政务数据共享和业务协同,为决策提供及时、准确、可靠的信息依据,提高政务工作的前瞻性和针对性,加大宏观调控力度,促进经济持续健康发展。 1、制定统一信息资源管理规范,拓宽数据获取渠道,整合 业务信息系统数据、企业单位数据和互联网抓取数据,构建汇聚式一体化数据库,为平台打下坚实稳固的数据基础。 2、梳理各相关系统数据资源的关联性,编制数据资源目录, 建立信息资源交换管理标准体系,在业务可行性的基础上,实现数据信息共享,推进信息公开,建立跨部门跨领域经济形势分析制度。 3、在大数据分析监测基础上,为政府把握经济发展趋势、

预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点,以大数据应用为核心,坚持“统筹规划、分步实施,整合资源、协同共享,突出重点、注重实效,深化应用、创新驱动”的原则,全面提升信息化建设水平,促进全省经济持续健康发展。 1、统筹规划、分步实施。结合我省经济发展与改革领域实际需求,明确总体目标和阶段性任务,科学规划建设项目。先期完成大数据平台的整体架构建设,后期分步完成业务系统的整合及相互间数据共享问题。 2、整合资源、协同共享。对信息资源统一梳理,建立经济发展与改革信息标准资源库和数据规范,逐步消灭“信息孤岛”,加快推进数据资源整合,建设共享共用的大数据中心,实现业务协同。 3 、突出重点、注重实效。以用户为中心,以需求为导向, 以服务为目的,突岀重点,注重实效,加强平台可用性和易用性。 4、深化应用、创新驱动。深入了解用户需求,密切跟踪信息技术发展趋势,不断深化应用、拓展新技术在应用中的广度和深度,促进跨界融合,丰富管理和服务手段。 四、建设方案 为了保证项目的顺利进行和建设目标的可行性,我们采取如下几种建设方案。 1、数据采集方案。 我们统一信息资源标准规范,建立多维度数据库,拓宽 数据来源,通过不同的方式汇聚数据,增强分析力度,提高 监测预警的准确性和时效性。 1、预留接口,支持其它系统各种数据的上传导入处理。 将现存有关经济运行业务系统中的历史数据和时效数据,过上传数据文件至服务器、分析提取有效数据导入服务器数

集团企业大数据云平台建设方案

集团企业大数据云平台建设方案

目录 第1章方案总述 (1) 1.1项目背景 (1) 1.2项目目标 (2) 1.3项目建设原则 (2) 第2章系统建设规划 (4) 2.1项目建设目标的理解 (4) 2.1.1 项目建设范围 (4) 2.1.1.1 业务范围 (4) 2.1.1.2 组织范围 (4) 2.1.1.3 数据范围 (4) 2.1.2 项目建设内容 (4) 2.1.2.1 基础数据平台 (5) 2.1.2.2 集团级指标体系 (6) 2.1.2.3 统一报表平台 (6) 2.2集团(企业)数据平台的建设目标 (7) 2.2.1 集团(企业)数据平台一期建设目标 (7) 2.2.2 集团(企业)数据平台二期建设目标 (7) 第3章整体设计方案 (8) 3.1系统设计方法论 (8) 3.1.1 方法论 (8) 3.1.2 设计原则 (10) 3.1.2.1 标准规范 (11) 3.1.2.2 开放性 (12) 3.1.2.3 可扩展性 (12) 3.1.2.4 高性能 (13)

3.1.2.5 可管理性 (14) 3.1.2.6 高可用性 (15) 3.1.2.7 安全性 (16) 3.1.2.8 可重用性 (17) 3.2数据平台技术体系 (18) 3.2.1 数据平台逻辑架构 (18) 3.2.1.1 数据集成区 (18) 3.2.1.2 集团分析型数据区 (19) 3.2.1.3 管理平台区 (19) 3.2.1.4 统一报表展现平台 (20) 3.2.1.5 ETL设计关键技术点说明 (20) 3.2.1.5.1.1 ETL处理策略 (20) 3.2.1.5.1.2 ETL处理流程 (21) 3.2.1.5.2 质量检核 (21) 3.2.1.5.2.1 ETL处理原则 (21) 3.2.1.5.2.2 ETL处理方法 (21) 3.2.2 数据采集设计 (21) 3.2.2.1 T+1数据采集 (22) 3.2.2.2 数据补录 (23) 3.2.2.2.1 检核规则管理 (24) 3.2.2.2.2 录入任务管理 (24) 3.2.2.2.3 数据录入 (26) 3.2.2.2.4 查询操作 (27) 3.2.2.2.5 录入任务审批 (28) 3.3数据平台数据体系 (28) 3.3.1 数据架构设计 (28) 3.3.1.1 源系统数据落地区 (29) 3.3.1.2 缓冲数据层(ODM) (30)

中国移动企业级大数据中心建设指导意见V1.1(终版)资料

中国移动企业级大数据中心建设指导意见 为进一步提高中国移动互联网战略的服务能力,对驱动企业管理的精细化、智能化,对外提供信息服务型产品,实现大数据开放后的运营和服务提升,公司决定在全国围实施中国移动企业级大数据中心建设工作,通过整合全公司数据资源,盘活数据资产,助力公司第三条曲线的拓展,以服务“增效、外增收”的整体企业战略,保证中国移动在激烈市场竞争中的可持续发展。 一、建设要求与重点 企业级大数据中心作为中国移动唯一、统一的数据采集、处理、服务和运营的平台,通过“统一采集、统一存储、统一管理、统一运营和统一服务”,形成集团及各省市公司“多节点”、“网状网”形态的数据和服务共享能力;具备独立机构以承担平台建维、数据交换、资产管理、应用开发、数据服务和数据运营职责。为企业、外部客户提供“按需”的服务能力,辅助企业决策,彰显数据价值。 企业级大数据中心的建设要求包括三方面: (一)建好组织:建立相对独立的、专业的企业级大数据中心管理机构,立足公司全局,全面负责企业级大数据平台的规划、建设、运维,以及数据资产管理、产品开发和数据运营等职能。 (二)搭好平台:企业级大数据中心满足中国移动全部数据“统一采集、统一存储、统一管理、统一运营、统一服务”的要

求,实现逻辑集中;全部数据的采集、处理和存储分布于多个节点,进行物理分散,同时实现关键数据资产的异地容灾备份。 (三)做好服务:企业级大数据中心能为集团各部门、专业基地(位置等)、专业公司(咪咕、互联网、政企、在线服务、物联网等)、各省公司及外部行业提供灵活的“按需”服务。 二、建设重点 企业级大数据中心建设重点要求如下: (一)企业级大数据中心的能力要求 为了承接大数据中心的基础平台管理、数据交换、资产管理、应用开发、数据应用、数据运营六个职责,在大数据平台技术架构层面提供数据基础服务能力、系统平台管理能力、数据资产管理能力和应用共享开放能力四个部分: 数据基础服务能力:数据基础服务能力是大数据平台的基础,包含数据采集功能、数据存储运算功能、数据交互功能。数据采集需包括来自BSS、OSS、MSS的基础数据、来自于用户上网行为的DPI二次解析数据以及来自外部的第三方数据的数据采集。数据存储运算功能可根据数据类型及应用采用不同类型的数据库技术实现对不同价值、规模、时效性的数据差异化存储和运算。数据交互功能是实现不同形式的数据存储之间的数据交互。 系统平台管理能力:大数据平台需具备系统平台管理能力,提供对大数据平台的软件和硬件资源的管理,包括诸如资源管

某大型企业大数据平台整体解决方案

某大型企业数据平台整体解决方案

目录 1项目概述 (15) 1.1建设背景 (15) 1.1.1集团已有基础 (15) 1.1.2痛点及需提升的能力 (15) 1.1.3大数据趋势 (16) 1.2建设目标 (16) 1.2.1总体目标 (16) 1.2.2分阶段建设目标 (17) 1.3与相关系统的关系 (18) 1.3.1数据分析综合服务平台 (18) 1.3.2量收系统 (19) 1.3.3金融大数据平台 (20) 1.3.4各生产系统 (20) 1.3.5CRM (20) 1.4公司介绍和优势特点 (20) 1.4.1IDEADATA (20) 1.4.2TRANSWARP (22) 1.4.3我们的优势 (24) 2业务需求分析 (27) 2.1总体需求 (27)

2.2.1数据采集 (29) 2.2.2数据交换 (29) 2.2.3数据存储与管理 (29) 2.2.4数据加工清洗 (30) 2.2.5数据查询计算 (31) 2.3数据管控 (32) 2.4数据分析与挖掘 (32) 2.5数据展现 (33) 2.6量收系统功能迁移 (34) 3系统架构设计 (35) 3.1总体设计目标 (35) 3.2总体设计原则 (35) 3.3案例分析建议 (37) 3.3.1中国联通大数据平台 (37) 3.3.2恒丰银行大数据平台 (49) 3.3.3华通CDN运营商海量日志采集分析系统 (63) 3.3.4案例总结 (69) 3.4系统总体架构设计 (70) 3.4.1总体技术框架 (70) 3.4.2系统总体逻辑结构 (74)

3.4.4系统接口设计 (83) 3.4.5系统网络结构 (88) 4系统功能设计 (91) 4.1概述 (91) 4.2平台管理功能 (92) 4.2.1多应用管理 (92) 4.2.2多租户管理 (96) 4.2.3统一运维监控 (97) 4.2.4作业调度管理 (117) 4.3数据管理 (119) 4.3.1数据管理框架 (119) 4.3.2数据采集 (122) 4.3.3数据交换 (125) 4.3.4数据存储与管理 (127) 4.3.5数据加工清洗 (149) 4.3.6数据计算 (150) 4.3.7数据查询 (170) 4.4数据管控 (193) 4.4.1主数据管理 (193) 4.4.2元数据管理技术 (195)

大数据平台建设方案

大数据平台建设方案 (项目需求与技术方案) 一、项目背景 “十三五”期间,随着我国现代信息技术的蓬勃发展,信息化建设模式发生根本性转变, 一场以云计算、大数据、物联网、移动应用等技术为核心的“新IT ”浪潮风起云涌,信息化应用进入一个“新常态”。*** (某政府部门)为积极应对“互联网+”和大数据时代的机遇和挑战,适应全省经济社会发展与改革要求,大数据平台应运而生。 大数据平台整合省社会经济发展资源,打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台,以信息化提升数据化管理与服务能力,及时准确掌握社会经济发展情况,做到“用数据说话、用数据管理、用数据决策、用数据创新”,牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析,实现企业信用社会化监督,建立规范化共建共享投资项目管理体系,推进政务数据共享和业务协同,为决策提供及时、准确、可靠的信息依据,提高政务工作的前瞻性和针对性,加大宏观调控力度,促进经济持续健康发 展。

1、制定统一信息资源管理规范,拓宽数据获取渠道,整合业务信息系统数据、企业单位数据和互联网抓取数据,构建汇聚式一体化数据库,为平台打下坚实稳固的数据基础。 2、梳理各相关系统数据资源的关联性,编制数据资源目录,建立信息资源交换管理标准体系,在业务可行性的基础上,实现数据信息共享,推进信息公开,建立跨部门跨领域经济形势分析制度。 3、在大数据分析监测基础上,为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点,以大数据应用为核心,坚持“统筹规划、分步实施,整合资源、协同共享,突出重点、注重实效,深化应用、创新驱动”的原则,全面提升信息化建设水平,促进全省经济持续健康发展。

企业大数据管理平台软件哪家好

大数据时代,企业大数据管理显得尤为重要。企业大数据管理分为企业自身的数据管理,如企业的客户、产品、销售、库存等数据和企业的外部数据管理,如产品服务的评价、情报信息、行业信息的收集等。所以选择一个好用的企业大数据管理平台软件对企业的发展非常重要。 移动互联网、社交媒体和其他来源的数据爆炸式增长,产生了海量的数据,企业会仔细收集这些数据,并将其存储起来,以便重复使用。数据已经作为企业重要资产被广泛应用于盈利分析与预测、客户关系管理、合规性监管、运营风险管理等业务当中。 大数据对企业有多重要? 1. 帮助企业了解用户 通过大数据分析技术,企业可以将客户、用户和产品进行有机串联,对用户的产品偏好,客户的关系偏好进行个性化定位,生产出用户驱动型的产品,提供客户导向性的服务。 从大数据技术方面来看,用数据来指引企业的成长,将不再单单是一句口号。通过运用大数据,不仅可以从数据中发掘出适应企业发展环境的社会和商业形态,用数据对用户和客户对待产

品的态度,进行挖掘和洞察,准确发现并解读客户及用户的诸多新需求和行为特征,这必将颠覆传统企业在用户调研过程中,过分依赖主观臆断的市场分析模式。 2. 帮助企业进行资源精准定位 通过大数据技术,可以实现企业对所需资源的精准定位,在企业在运营过程中,所需要的每一种资源的挖掘方式、具体情况和储量分布等,企业都可以进行搜集分析,形成基于企业的资源分布可视图,就如同“电子地图”一般,将原先只是虚拟存在的各种优势点,进行“点对点”的数据化、图像化展现,让企业的管理者可以更直观地面对自己的企业,更好地利用各种已有和潜在资源。 3. 帮助企业做好运营推广 以往企业品牌如果需要做市场预测,大多靠自身资源、公共关系和以往的案例来进行分析和判断,得出的结论往往也比较模糊;很少能得到各自行业内的足够重视。通过大数据的相关性分析,根据不同品牌市场数据之间的交叉、重合,企业的运营方向将会变得直观而且容易识别,在品牌推广、区位选择、战略规划方面将做到更有把握地面对。 通过大数据分析可以判断客户话题各类来源的占比,确定客户上网的习惯;信息的主要话题,以及相关媒体平台曝光量,企业可以针对性得选择并制定营销活动平台、推广方向等,提升企业运营效果。 4. 协助企业更好的开展服务

大数据平台建设方案

大数据平台建设方案 (项目需求与技术方案) 一、项目背景 “十三五”期间,随着我国现代信息技术的蓬勃发展,信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌,信息化应用进入一个“新常态”。***(某政府部门)为积极应对“互联网+”和大数据时代的机遇和挑战,适应全省经济社会发展与改革要求,大数据平台应运而生。 大数据平台整合省社会经济发展资源,打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台,以信息化提升数据化管理与服务能力,及时准确掌握社会经济发展情况,做到“用数据说话、用数据管理、用数据决策、用数据创新”,牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析,实现企业信用社会化监督,建立规范化共建共享投资项目管理体系,推进政务数据共享和业务协同,为决策提供及时、准确、可靠的信息依据,提高政务工作的前瞻性和针对性,加大宏观调控力度,促进经济持续健康发展。 1、制定统一信息资源管理规范,拓宽数据获取渠道,整合业务信

息系统数据、企业单位数据和互联网抓取数据,构建汇聚式一体化数据库,为平台打下坚实稳固的数据基础。 2、梳理各相关系统数据资源的关联性,编制数据资源目录,建立信息资源交换管理标准体系,在业务可行性的基础上,实现数据信息共享,推进信息公开,建立跨部门跨领域经济形势分析制度。 3、在大数据分析监测基础上,为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点,以大数据应用为核心,坚持“统筹规划、分步实施,整合资源、协同共享,突出重点、注重实效,深化应用、创新驱动”的原则,全面提升信息化建设水平,促进全省经济持续健康发展。

生产企业大数据平台建设项目建议书

大数据平台建设项目建议书

目录 第一章、项目背景..................... 错误!未定义书签。第二章、项目思路..................... 错误!未定义书签。第三章、建设内容与方案............... 错误!未定义书签。第四章、时间进度..................... 错误!未定义书签。第五章、项目预算..................... 错误!未定义书签。第六章、企业效益及社会效益........... 错误!未定义书签。第七章、结论......................... 错误!未定义书签。

第一章、项目背景 企业对信息化工作历来较为重视,也是省内较早开始实施信息化的大型企业。目前已经建成财务系统、生产调度系统、农务系统、供应链系统等:调度系统,2015年公司共投资了175万元,按集团分步建设、逐步投入的规划,完成了系统基本硬件与亚控平台软件的结合,构建了一个以明阳糖厂生产调度指挥中心为核心,生产信息能够上至集团,下至车间的生产调度网络系统。 农务系统,2005年开始实施,经过多次升级,现涵盖了计划、报蔗、派车、质检、过磅、结算、短信管理、移动应用等一系列模块,覆盖公司4家直属糖厂和大桥制糖公司,实现了农务统一的信息化管理。 供应链系统,利用用友NC供应链系统,以公司存货管理为核心的采、供、销、存供应链管理平台,实现物资、仓储、供应、销售、物流一体化业务协同处理平台,建立了公司对各直属厂工作的监督平台,总部可以实时对下属各公司的工作进行监督,实时对各公司的具体业务执行情况进行查看,及时的对下属公司进行指导和监督。 尽管在两化融合及企业信息化方面已取得了相当的成效,但在实际应用过程中仍然存在一些较为显著的问题。 (一)总部与下属糖厂未实现完全的集约管理 a)企业在原先六家糖厂的基础上,又收购了三博公司五家糖厂。三博五厂 由上海迁回南宁,在宜州设立管理下属五厂的二级管理总部。 b)从系统部署上分析,企业总部与原先六厂为一套架构,而三博总部与下 属五厂为一套架构,各自独立,暂未整合为一体。 c)为了保证各糖厂生产的稳定,企业总部与下属六厂之间仅在NC供应链、 OA、财务、人力等系统方面实现了集约管理,农务管理系统、生产调度 系统以及化验系统均由各厂自建,因此出现各厂建设系统的厂家不同, 使用的系统版本不同等现象。三博总部与下属五厂的关系亦如此。(二)总部及各厂之间的数据共享有限 a)由于大多数生产相关的系统均为各厂自建,因此不管是企业总部,或者

大数据中心建设方案a

工业产品环境适应性公共技术服务平台信息化系统建设方案

1. 平台简介 工业产品环境适应性公共技术服务平台是面向工业企业、高校、科研机构等 提供产品/材料环境适应性技术服务的平台。平台服务内容主要包括两部分,一 是产品环境适应性测试评价服务,一是产品环境适应性大数据服务。测试评价服 务是大数据的主要数据来源和基础,大数据服务是测试评价服务的展示、延伸和 增值服务。工业产品环境适应性公共技术服务平台服务行业主要包括汽车、光伏、 风电、涂料、塑料、橡胶、家电、电力等。 平台的测试评价服务依据 ISO 17025 相关要求开展。测试评价服务涉及 2 个 自有实验室、8 个自有户外试验场和超过 20 个合作户外试验场。见图 1 广 州 显 微 分 析 实 广 州 腐 蚀 分 析 实 广 州 花 都 户 外 试 海 南 琼 海 户 外 试 新 疆 吐 鲁 番 户 外 内 蒙 海 拉 尔 户 外 西 藏 拉 萨 户 外 试 武 汉 户 外 试 验 场 西 沙 户 外 试 验 场 沙 特 吉 达 户 外 试 海 南 三 亚 户 外 试 山 东 青 岛 户 外 试 美 国 凤 凰 城 试 验 美 国 弗 罗 里 达 试 其 它 合 作 试 验 场 验 室 验 室 验 场 验 场 试 验 试 验 验 场 验 场 验 场 验 场 场 验 场 场 场 图 1 环境适应性测试评价服务实验室概况 平台的大数据服务,基于产品环境适应性测试评价获取的测试数据以及相关 信息,利用数据分析技术,针对不同行业提供产品环境适应性大数据服务,包括 但不限于: (1)产品环境适应性基础数据提供; (2)产品环境适应性调研分析报告; (3)产品环境适应性分析预测; (4)产品环境适应性技术规范制定;

企业大数据平台下数仓建设思路

企业大数据平台下数仓建设思路 本文章来自于阿里云云栖社区 摘要:介然(李金波),阿里云高级技术专家,现任阿里云大数据数仓解决方案总架构师。8年以上互联网数据仓库经历,对系统架构、数据架构拥有丰富的实战经验,曾经数据魔方、淘宝指数的数据架构设计专家。与阿里云大数据数仓结缘介然之前在一家软件公司给企业客户做软件开发和数仓开发实施,数仓开发和实施都是基于传统的 免费开通大数据服务:https://https://www.360docs.net/doc/5414984975.html,/product/odps 介然(李金波),阿里云高级技术专家,现任阿里云大数据数仓解决方案总架构师。8年以上互联网数据仓库经历,对系统架构、数据架构拥有丰富的实战经验,曾经数据魔方、淘宝指数的数据架构设计专家。 与阿里云大数据数仓结缘 介然之前在一家软件公司给企业客户做软件开发和数仓开发实施,数仓开发和实施都是基于传统的基础架构。2008年加入阿里进入淘宝数据平台部后,他开始接触分布式计算平台Hadoop。 初始时在Hadoop平台上构建数仓主要解决企业内部数据分析的需求,在2010年公司决定对外开放数据后,开始于2011年利用自建的数仓体系支持对外数据产品数据魔方、淘宝指数。后续在平台和产品上不停的丰富数据内容,同时离线和流式两套数据体系支持数据产品。 从2012年开始,之前在Hadoop上的数据体系搬迁到阿里云数加MaxCompute (原ODPS)(原文链接: https://https://www.360docs.net/doc/5414984975.html,/product/odps?spm=5176.100239.blogcont67020.17.8 okFBH),并完成了数据体系的重构,此时介然负责平台基础数据的建设支持全

大数据中心建设的策划方案

大数据中心建设的策划方案 大数据中心建设不仅对广电网络现有的广播电视业务、宽带业务的发展产生积极作用,同 时为广电的信息化提供支撑,下面由学习啦为你整理大数据中心建设的策划方案的相关资料, 希望能帮到你。 大数据中心建设的策划方案范文一大型承载企事业、集团、机构的核心业务,重要性高, 不允许业务中断, 一般按照国标 A 级标准建设, 以保证异常故障和正常维护情况下, 正常工作, 核心业务不受影响。 数据中心机房基础设施建设是一个系统工程,集电工学、电子学、建筑装饰学、美学、暖 通净化专业、计算机专业、弱电控制专业、消防专业等多学科、多领域的综合工程。 机房建设的各个系统是按功能需求设置的,主要包括以下几大系统:建筑装修系统、动力 配电系统、空调新风系统、防雷接地系统、监控管理系统、机柜微环境系统、消防报警系统、 综合布线系统等八大部分。 一、建筑装修系统是整个机房的基础,它主要起着功能区划分的作用。 根据用户的需求和设备特点,一般可以将机房区域分隔为主机房区域和辅助工作间区域, 主机房为放置机架、服务器等设备预留空间,辅助工作间包括光纤室、电源室、控制室、空调 室、操作间等,为主机房提供服务的空间。 此外,数据中心机房装修需要铺抗静电地板、安装微孔回风吊顶等,确保机房气密性好、 不起尘、消防、防静电、保温等,以为工作人员提供良好的工作条件,同时也为机房设备提供 维护保障功能。 二、供配电系统是机房安全运行的动力保证。 计算机机房负载分为主设备负载和辅助设备负载。 主设备负载指计算机及网络系统、计算机外部设备及机房监控系统,这部分供配电系统称 为 “设备供配电系统,其供电质量要求非常高,应采用 UPS 不间断电源供电来保证供电的稳 定性和可靠性。 辅助设备负载指空调设备、动力设备、照明设备、测试设备等,其供配电系统称为“辅助 供配电系统,其供电由市电直接供电。 机房内的电气施工应选择优质电缆、线槽和插座。 插座应分为市电、UPS 及主要设备专用的防水插座,并注明易区别的标志。 照明应选择机房专用的无眩光高级灯具。 三、空调新风系统是运行环境的保障。 由于数据中心机房里高密度存放着大量网络和计算机设备,不仅产生大量的集中热量,而 且对环境中的灰尘数量和大小有很高的要求,这就对空调系统提出了更高的要求。 保证设备的可靠运行,需要机房保持一定的温度和湿度。 同时,机房密闭后仅有空调是不够的,还必须补充新风,形成内部循环。 此外, 它还必须控制整个机房里尘埃的数量, 对新风进行过滤, 使之达到一定的净化要求。

互联网+大数据中心机房建设方案

数据中心机房建设方案

目录 第一章概述 (5) 1.1机房建设需求概况 (5) 1.2引用标准 (5) 第二章机房装修 (6) 2.1设计内容 (6) 2.2顶棚装修工程 (6) 2.2.1净空 (6) 2.2.2天花材料 (7) 2.3地面装修工程 (7) 2.3.1各功能区地面装修要求 (7) 2.3.2活动地板的选用 (7) 2.3.3活动地板的安装 (8) 2.4墙面装修工程 (8) 2.5隔断工程 (8) 2.6门窗工程 (8) 第三章机房配电系统 (9) 3.1电源方案 (9) 3.2系统实施 (10) 3.3配电线路 (10) 3.4配电设备及材料 (10) 3.4.1 UPS设备 (10) 3.4.2 配电柜及开关 (10) 3.4.3 插座 (11) 3.4.4 配电线缆 (11) 3.4.5 线路敷设 (12) 3.5照明系统 (12) 3.5.1 市电照明系统 (12) 3.5.2 应急照明系统 (13)

第四章机房防雷接地系统 (13) 4.1概述 (13) 4.2雷电入侵电器设备的形式 (13) 4.3影响计算机系统的是感应雷 (14) 4.4防雷措施 (14) 4.4.1 机房接地系统 (14) 4.4.2 机房等电位连接 (15) 第五章机房空调系统 (16) 5.1机房空调 (16) 5.1.1设计思路 (16) 5.1.2空调配置 (17) 5.1.3送风方式 (17) 5.1.4设备安装 (18) 5.2新风系统 (18) 5.3排烟系统 (18) 5.3.1设计思路 (18) 5.3.2 产品特点 (19) 第六章综合布线系统 (19) 6.1概述 (19) 6.2布线系统技术方案 (20) 6.2.1机房布线系统建设内容 (20) 6.2.2产品选用 (20) 6.2.3机房布线实施 (20) 6.2.4系统组成 (20) 6.2.5工作区子系统设计 (21) 6.2.6水平子系统设计 (21) 6.2.7管理子系统设计 (21) 6.2.8线缆路由 (22) 第七章机房监控系统 (22)

兖矿集团大数据平台建设

兖矿集团大数据平台建设 完成单位:兖矿集团有限公司 兖州煤业股份有限公司 兖矿集团信息化中心 西安兖矿科技研发设计有限公司 一、项目承担单位基本情况 兖矿集团是以煤炭、煤化工、电解铝及机电成套装备制造、金融投资等为主业的省属国有企业。兖州矿区开发建设始于1966年,1976年7月成立兖州矿务局,1996年3月整体改制为国有独资公司,1999年5月成立兖矿集团。 二、大数据平台建设背景 近年来,兖矿集团作为传统能源企业必须对企业管理方式、运营方式、发展方式、业务流程进行颠覆性创新。企业的战略转型,信息化是重要支撑,加强企业管控必须有可靠的内、外部数据支持,因此在集团层面进行数据整合、统一数据标准成为迫切的需求。 三、大数据平台建设基本情况 (一)项目建设思路及目标 兖矿集团大数据平台建设,以兖矿集团改建国有投资公司

战略发展规划为指导,首先对兖矿集团信息化进行高阶诊断及业务流程优化,针对集团公司在计划、财务、投资等业务管理领域的信息化建设现状进行诊断分析。 然后根据信息化建设高阶诊断结果,列出兖矿集团信息化建设与业务流程优化问题清单。依据问题清单对集团各业务部门流程进行优化,在此基础上,建设大数据软件平台,利用大数据技术对重点流程进行分析,为兖矿集团公司改革提供支持。 (二)项目建设主要内容 矿集团信息化经过多年的发展,各业务应用系统已经基本建设完成,具备了良好的数据基础。针对数据没有整合,业务流程没有优化这些需求,兖矿集团大数据平台的实施主要按照信息化高阶诊断与业务流程优化、大数据软件平台实施两大部分内容开展。 1、信息化高阶诊断与业务流程优化 通过信息化高阶诊断旨在发现现有信息化管控模式、业务能力是否能够支撑集团公司战略转型,存在哪些问题,并提出整改方案。 诊断过程主要按照现状调研、问题诊断、领先实践对比分析、提出改进方案、对改进方案进行优先级排序五个步骤进行。 现状调研以现场访谈与问卷调查为主,对18个集团总部部

大数据中心建设方案

大数据中心建设方案 大数据中心建设不仅对广电网络现有的广播电视业务、宽带业务的发展产生积极作用,同时为广电的信息化提供支撑,下面由学习啦小编为你整理大数据中心建设的策划方案的相关资料,希望能帮到你。 大型承载企事业、集团、机构的核心业务,重要性高,不允许业务中断,一般按照国标A级标准建设,以保证异常故障和正常维护情况下,正常工作,核心业务不受影响。 数据中心机房基础设施建设是一个系统工程,集电工学、电子学、建筑装饰学、美学、暖通净化专业、计算机专业、弱电控制专业、消防专业等多学科、多领域的综合工程。机房建设的各个系统是按功能需求设置的,主要包括以下几大系统:建筑装修系统、动力配电系统、空调新风系统、防雷接地系统、监控管理系统、机柜微环境系统、消防报警系统、综合布线系统等八大部分。 一、建筑装修系统 是整个机房的基础,它主要起着功能区划分的作用。根据用户的需求和设备特点,一般可以将机房区域分隔为主机房区域和辅助工作间区域,主机房为放置机架、服务器等设备预留空间,辅助工作间包括光纤室、电源室、控制室、空调室、操作间等,为主机房提供服务的空

间。此外,数据中心机房装修需要铺抗静电地板、安装微孔回风吊顶等,确保机房气密性好、不起尘、消防、防静电、保温等,以为工作人员提供良好的工作条件,同时也为机房设备提供维护保障功能。 二、供配电系统 是机房安全运行的动力保证。计算机机房负载分为主设备负载和辅助设备负载。主设备负载指计算机及网络系统、计算机外部设备及机房监控系统,这部分供配电系统称为“设备供配电系统”,其供电质量要求非常高,应采用UPS不间断电源供电来保证供电的稳定性和可靠性。辅助设备负载指空调设备、动力设备、照明设备、测试设备等,其供配电系统称为“辅助供配电系统”,其供电由市电直接供电。机房内的电气施工应选择优质电缆、线槽和插座。插座应分为市电、UPS及主要设备专用的防水插座,并注明易区别的标志。照明应选择机房专用的无眩光高级灯具。 三、空调新风系统 是运行环境的保障。由于数据中心机房里高密度存放着大量网络和计算机设备,不仅产生大量的集中热量,而且对环境中的灰尘数量和大小有很高的要求,这就对空调系统提出了更高的要求。保证设备的可靠运行,需要机房保持一定的温度和湿度。同时,机房密闭后仅有空

GBASE企业级大数据平台-功能测试报告

GBASE企业级大数据平台功能测试报告

目录 1.基础功能 (4) 1.1.基础SQL功能测试 (4) 1.1.1.建立数据库 (4) 1.1.2.建表 (4) 1.1.3.建立,修改,删除视图 (4) 1.1.4.INSERT语句 (5) 1.1.5.SELECT 语句 (5) 1.1.6.DELETE (6) 1.1.7.UPDA TE (6) 1.1.8.join 关联查询 (6) 1.1.9.函数建立,修改,运行,删除 (7) 1.1.10.存储过程建立,修改,运行,删除 (8) 1.1.11.建用户,设置密码,删除用户,赋权限 (8) 1.2.数据加载 (9) 1.2.1.工具简介 (9) 1.2.2.启动dispatch服务 (10) 1.2.3.准备测试数据文件 (10) 1.2.4.建立ctl加载任务文件 (10) 1.2.5.导入命令 (11) 1.2.6.数据导出 (11) 1.3.数据库备份与恢复 (12) 1.3.1.简介 (12) 1.3.2.建立备份测试表 (12) 1.3.3.建立备份目录 (13) 1.3.4.登陆gcrcman工具,查看备份内容 (13) 1.3.5.第一次全备 (14) 1.3.6.第二次备份 (15) 1.3.7.第三次备份 (17) 1.3.8.备份注意事项 (19) 1.3.9.使用备份命令注意事项 (20) 1.3.10.清除数据,整理备份数据 (21) 1.3.11.第一次恢复到第三次备份状态 (21) 1.3.12.第二次恢复到第二次全备状态 (23) 1.3.13.使用恢复命令注意事项 (25) 1.3.14.删除备份点 (25) 1.3.15.使用删除命令注意事项 (26) 1.3.16.集群相关操作 (27) 1.4.jdbc连接8a集群未测试,没有直连的myeclips (27) 1.4.1.环境准备 (27) 1.4.2.测试JA V A程序 (27)

数据中心网络安全建设的思路

由于数据中心承载着用户的核心业务和机密数据,同时为内部、外部以及合作伙伴等客户提供业务交互和数据交换,因此在新一代的数据中心建设过程中,安全体系建设成为重点的主题。 数据中心安全围绕数据为核心,从数据的访问、使用、破坏、修改、丢失、泄漏等多方面维度展开,一般来说包括以下几个方面: 物理安全:主要指数据中心机房的安全,包括机房的选址,机房场地安全,防电磁辐射泄漏,防静电,防火等内容; 网络安全:指数据中心网络自身的设计、构建和使用以及基于网络的各种安全相关的技术和手段,如防火墙,IPS,安全审计等; 系统安全:包括服务器操作系统,数据库,中间件等在内的系统安全,以及为提高这些系统的安全性而使用安全评估管理工具所进行的系统安全分析和加固; 数据安全:数据的保存以及备份和恢复设计; 信息安全:完整的用户身份认证以及安全日志审计跟踪,以及对安全日志和事件的统一分析和记录; 抛开物理安全的考虑,网络是数据中心所有系统的基础平台,网络安全从而成为数据中心安全的基础支持。因此合理的网络安全体系设计、构建安全可靠的数据中心基础网络平台是进行数据中心安全建设的基本内容。 数据中心网络安全建设原则 网络是数据传输的载体,数据中心网络安全建设一般要考虑以下三个方面: 合理规划网络的安全区域以及不同区域之间的访问权限,保证针对用户或客户机进行通信提供正确的授权许可,防止非法的访问以及恶性的攻击入侵和破坏; 建立高可靠的网络平台,为数据在网络中传输提供高可用的传输通道,避免数据的丢失,并且提供相关的安全技术防止数据在传输过程中被读取和改变; 提供对网络平台支撑平台自身的安全保护,保证网络平台能够持续的高可靠运行; 综合以上几点,数据中心的网络安全建设可以参考以下原则: ●整体性原则:“木桶原理”,单纯一种安全手段不可能解决全部安全问题; ●多重保护原则:不把整个系统的安全寄托在单一安全措施或安全产品上; ●性能保障原则:安全产品的性能不能成为影响整个网络传输的瓶颈; ●平衡性原则:制定规范措施,实现保护成本与被保护信息的价值平衡; ●可管理、易操作原则:尽量采用最新的安全技术,实现安全管理的自动化,以减轻安全管理的负担, 同时减小因为管理上的疏漏而对系统安全造成的威胁; ●适应性、灵活性原则:充分考虑今后业务和网络安全协调发展的需求,避免因只满足了系统安全要 求,而给业务发展带来障碍的情况发生; ●高可用原则:安全方案、安全产品也要遵循网络高可用性原则; ●技术与管理并重原则:“三分技术,七分管理”,从技术角度出发的安全方案的设计必须有与之 相适应的管理制度同步制定,并从管理的角度评估安全设计方案的可操作性 ●投资保护原则:要充分发挥现有设备的潜能,避免投资的浪费; 数据中心网络安全体系设计 ?模块化功能分区 为了进行合理的网络安全设计,首先要求对数据中心的基础网络,采用模块化的设计方法,根据数据中心服务器上所部署的应用的用户访问特性和应用的核心功能,将数据中心划分为不同的功能区域。 采用模块化的架构设计方法可以在数据中心中清晰区分不同的功能区域,并针对不同功能区域的安全

集团公司大数据平台整体建设方案

集团公司大数据平台整体建设方案

目录 1项目概述 (11) 1.1建设背景 (11) 1.1.1集团已有基础 (11) 1.1.2痛点及需提升的能力 (11) 1.1.3大数据趋势 (12) 1.2建设目标 (12) 1.2.1总体目标 (12) 1.2.2分阶段建设目标 (13) 1.3与相关系统的关系 (13) 1.3.1数据分析综合服务平台 (13) 1.3.2量收系统 (14) 1.3.3金融大数据平台 (15) 1.3.4各生产系统 (15) 1.3.5CRM (15) 1.4公司介绍和优势特点 (15) 1.4.1IDEADATA (15) 1.4.2TRANSWARP (17) 1.4.3我们的优势 (18) 2业务需求分析 (21) 2.1总体需求 (21) 2.2数据管理 (22) 2.2.1数据采集 (23) 2.2.2数据交换 (23) 2.2.3数据存储与管理 (23) 2.2.4数据加工清洗 (24) 2.2.5数据查询计算 (24) 2.3数据管控 (25) 2.4数据分析与挖掘 (26)

2.6量收系统功能迁移 (27) 3系统架构设计 (28) 3.1总体设计目标 (28) 3.2总体设计原则 (28) 3.3案例分析建议 (29) 3.3.1中国联通大数据平台 (29) 3.3.2恒丰银行大数据平台 (36) 3.3.3华通CDN运营商海量日志采集分析系统 (48) 3.3.4案例总结 (53) 3.4系统总体架构设计 (54) 3.4.1总体技术框架 (54) 3.4.2系统总体逻辑结构 (57) 3.4.3平台组件关系 (59) 3.4.4系统接口设计 (64) 3.4.5系统网络结构 (68) 4系统功能设计 (70) 4.1概述 (70) 4.2平台管理功能 (70) 4.2.1多应用管理 (70) 4.2.2多租户管理 (74) 4.2.3统一运维监控 (75) 4.2.4作业调度管理 (94) 4.3数据管理 (96) 4.3.1数据管理框架 (96) 4.3.2数据采集 (98) 4.3.3数据交换 (101) 4.3.4数据存储与管理 (102) 4.3.5数据加工清洗 (120) 4.3.6数据计算 (121)

大数据平台数据治理体系建设和管理方案

XXX企业级省大数据平台数据治理子系统的 建设和管理方案

目录 1.范围 (5) 2.规范性引用文件 (5) 3.术语、定义和缩略语 (17) 4.总体说明 (23) 4.1.概述 (23) 4.2.目标 (23) 4.3.原则 (24) 5.数据治理体系 (25) 5.1.总体框架 (25) 5.2.组织架构 (26) 5.2.1.组织构成 (26) 5.2.2.角色职责 (27) 5.3.系统架构 (29) 5.3.1.系统功能框架 (29) 5.3.2.系统模块流程 (32) 5.4.系统边界 (33) 5.4.1.与企业级省大数据平台关系 (34) 5.4.2.与对外能力开放平台关系 (34) 5.4.3.与平台运维系统关系 (34) 6.数据治理核心模块 (35)

6.1.数据标准管理 (35) 6.1.1.背景 (35) 6.1.2.目标及原则 (37) 6.1.3.业务分类和定义 (37) 6.1.4.技术功能要求 (45) 6.1.5.本期建设范围及内容 (51) 6.1.6.实施要求 (52) 6.2.元数据管理 (52) 6.2.1.背景 (52) 6.2.2.元数据运营模式 (55) 6.2.3.元模型标准 (55) 6.2.4.元数据运维 (62) 6.2.5.本期重点建设内容 (63) 6.3.数据质量管理 (64) 6.3.1.与传统经营分析系统的区别 (64) 6.3.2.范围和原则 (66) 6.3.3.与其它功能模块的关系 (67) 6.3.4.本期数据质量功能需求 (70) 6.3.5.本期数据质量运维要求 (72) 6.4.数据资产管理 (73) 6.4.1.数据资产概述 (73) 6.4.2.数据资产范围 (75)

政务大数据平台建设方案.pdf

第一章需求分析和项目建设的必要性1.1 项目建设目标、内容 1.1.1 项目建设目标 电子政务公共数据开放共享平台项目建设目标是,依托统一的“云”数据中心建设统一的公共数据开放共享平台。集中机关各部门业务应用进行,制定相关的数据规范和信息交换标准,使机关各部门业务系统依托统一的开放平台进行开发建设。确保部门之间系统之间的互联互通、数据共享,为大数据分析提供数据依据。 1.1.2 项目建设内容 电子政务公共数据开放共享平台项目建设内容包含:一套标准规范、两个数据门户、四大应用平台、四大基础数据库和一个应用支撑平台。 具体建设内容包括: 1、一个应用支撑平台 为了对需要调用电子政务公共数据开放共享平台信息资源的政府部门应用系统进行有效管理,面向各类电子政务应用,规划建设统一的应用支撑平台,统一标准规范,通过用户管理、应用管理、服务管理等核心组件,可以对接入系统有效管理、实现统一认证及单点登录、统一消息服务。

2、两个数据门户 针对政府部门用户建设信息资源政务门户,针对企业、公众用 户建设信息资源开放门户。 3、四大应用系统 建设承载电子政务公共数据汇聚平台、数据治理平台、数据运 营平台和数据应用平台。 4、四大基础数据库 通过电子政务信息资源梳理,制定四大基础数据库的建库、入 库和管理规则,建立四大基础数据库管理平台,提供基础库内容管 理、数据处理、共享和应用功能。 四大基础数据库包括人口库、法人库、经济库和地理库。 5、一套标准规范 形成标准规范体系,包括管理制度、标准规范、数据标准等。 1.2 编制依据 1、中办、国办《2006-2020年国家信息化发展战略》; 2、国办《关于促进电子政务协调发展的指导意见》; 3、国务院《促进大数据发展行动纲要》; 4、《国家电子政务总体框架》; 5、《国家电子政务“十二五”规划》(工信部规〔2011〕567号); 6、《关于印发“十二五”国家政务信息化工程建设规划的通知》(发改高技〔2012〕1202号);

相关文档
最新文档