大数据咨询方法论白皮书

大数据咨询方法论白皮书Big Data Consultancy White Book

Catalogue 目录

大数据咨询的时代背景1

大数据咨询的定义和需求来源5大数据咨询的核心特征和挑战7大数据咨询的核心方法论9

大数据咨询工具：360o数据管家17 奇点云大数据咨询探索与实践19

大数据咨询的

时代背景

智能经济成为经济发展的新引擎

数字经济尚方兴未艾，智能经济却已经大步而来。

2019年政府工作报告，正式提出了「智能+」战略：「深化

大数据、人工智能等研发应用。打造工业互联网平台，拓展

“智能+”，为制造业转型升级赋能。」2019年5月，在全

球智慧物流峰会上，阿里巴巴CEO张勇也喊出了「数

智化」的口号：「未来的物流一定是从数字化到数智化，数智

世界将是我们共同面临的时代。」

人工智能（A I）将成为经济发展新引擎，已经成为全行业的

共识。普华永道报告认为，到2030年时，A I对全球经济的

贡献将高达15.7万亿美元，这超过了目前中国和印度的经

济总量之和；埃森哲分析报告称，2035年，A I将帮助人类

经济年增长率翻番；麦肯锡发布《人工智能对全球经济的影响》

报告，认为未来10年A I为全球G D P将贡献1.2%增

数据中台成为数字化转型的基础设施

数据中台演进的四个阶段

2 大数据咨询方法论白皮书随着越来越多的企业上云，如何更好地利用云计算、大数据和人工智能的力量就成为了他们探索的主题。要如何通过技术来赋能企业数字化转型？如何让技术投入产生业务价值？是否需要调整组织？企业提出了越来越多的问题。「数据中台」，狭义上，就是解决这一系列问题的基础设施。

2018年以来，随着阿里巴巴双中台架构的普及，越来越多的

企业把中台视为面向未来的企业进化必经之路，开始寻求数据中台服务公司的帮助。2019年，甚至可以称为数据中台

元年。

数据问题成为数字化转型的关键问题

随着企业把越来越多的业务和流程搬上云，以及使用了新的

数字技术进行研发、生产、制造和销售领域的革新，数据问题

开始大量暴露出来。

统计口径不一致导致的数据质量问题；采集技术问题导致采集的数据一半是空值；缺乏实时计算能力，不能提供实时数

据，导致管理的滞后性；数据分析和调研严重滞后于业务进

展，不能实时决策……

数据问题已经成为企业数字化转型的关键问题，数据资产

将成为企业核心的战略资产。只有数据问题被解决，企业才能真正实现数字化转型。

2019年9月，联合国发布了最新的《数字经济报告》，报告认为，数字经济扩张的驱动因素是数字数据和数字平台，

「在收集使用和分析大量数字数据的能力推动下，数字经济继续以极快的速度发展」。

从全人类的角度来看，2015年是数据增长的里程碑。2015 年一年产生的数据量，是人类过去历史上产生的数据量

的总和。从2015年之后，人类的数据量进入指数级增长，

每年增长40%-50%。随着数据量的增长，一个全新的「数据价值链」开始浮现。从数据采集、数据存储到数据治理再到数据应用，数据生产进入了全新的「数据工业时代」，海量非结构化的数据被结构化，从日志数据到视图声数据，人类开始以全新的数据视角审视这个世界。

并且，越来越多的数据产品、越来越多的数据生态开始在这个过程中被创造出来，商业数据、社会数据、政府数据前所未有地交融在一起，为人类创造新的价值。

Information Created Worldwide =

180

160

140

120 100 80 Expected to Continue Accelerating % Structured/Tagged 2015年之后，人类社会的数据量每年增长40%-50%。 2020: 过去历史上产生的数据量的总和。

2015: 12 ZB, 9%

2010: 2005: 2015年一年产生的数据量，是人类 Z e t a b t y t e s (Z B )

0 3

大数据咨询方法论白皮书

阿里巴巴的启示

数据智能是未来

2007年，阿里巴巴在战略会议上决定阿里未来要成为一家数据公司。但真正在数据上有所建树，却要把这个时间延后到2009年，阿里云也诞生在这一年。大体上可以把阿里的整个跨越过程分成三个阶段：

每天

处理数

据量

100

第一个阶段：

2009-2012年，关键词是「看见」

从2003年成立以来，淘宝收集了大量的数据，其中90%是和去I O E同步发生的，是阿里加大了对于

B（I

商业智能）的非结构化的日志数据，当有了这些数据之后，所有人都想看见

数据背后的真相：我的用户从哪里来，他们买了什么，为什么购

买，转化率如何……这些问题我们大体都可以归结为两个基本

问题：发生了什么？怎么发生的？

需求，用数据「看见」答案的B I，在这个阶段是阿里存储和

计算资源消耗的主力军。阿里巴巴也是第一个设立

CDO

（C h i ef D a ta O?ce r，首席数据官）的公司，第一任

C D O是后来的阿里巴巴CEO陆兆禧，有意思的是，后

来成立的数据平台部因此也习惯性被内部称为CDO。

如何连接买

家和卖家？

发生了什么？

怎么发生的？

为什么发生？

未来将发生什么？

能否用机器

来处理？

全面上云

50%的服务器用于处理

数据而不是处理业务

70%以上的GMV由机器运营

千人千面

数据平台部成立

从人指挥机器到机器指挥人

不去IOE会死

阿里云成立

人群定向对存储和

计算消耗最大

推荐算法对存储和

计算消耗最大

BI对存储和计算机

消耗最大

大数据咨询方法论白皮书

第二个阶段：

2012-2015年，关键词是「使用」

一个标志性的事件是2012年数据平台部的成立，这个被称为CDO 的部门，源于七公组建的数据平台团队，在这个团队手上，诞生了一系列数据分析和挖掘工具，包括在云端、数据魔方、淘宝时光机、淘宝指数、T C I F 等等。这里特别要提一下T C I F （淘宝消费者数据工厂），由现在奇点云的创始人行在创立，拉通了阿里巴巴所有的消费者数据，并且完成了3000+标签体系的建设，这些标签每个用阿里妈妈做精准营销的同学应该都见过，就是达摩盘里面那些勾选的选项。

2012年的标志性事件，就是T C I F 的存储和计算消耗量超过了B I ，以TC I F 为代表的人群定向成为了计算资源的消耗大户；另一个标志性的指标是，阿里巴巴有50%的服务器不再处理任何事务，而仅仅用于处理数据。

这个阶段，阿里巴巴开始真正实现了用数据预测未来的问题，更好地帮助业务去回答：为什么发生？未来将发生什么？第三个阶段：

2015年至今，关键词是「赋能」

同样，2015年也有两个标志性事件：一是阿里云数加平台的成立（行在创立），这代表阿里巴巴开始把内部形成的大数据能力外化，赋能社会去建立大数据能力；二是推出千人千面算法，推荐算法一跃成为了存储和计算资源的头号消耗大户。推荐算法不仅仅是我们看到的淘宝界面那么简单，在某种程度上，推荐算法让阿里巴巴跨越了「从人指挥机器到机器指挥人的奇点」，今天阿里巴巴75%以上的GMV 都由机器来运营，流量由机器来精准分配，相比之下，天猫淘宝等等全部合在一起也只有几千个运营小二，人效高得可怕。

“总结：

经过这三个阶段，我们可以认为，阿里

巴巴已经围绕数据完成了数据工业化

生产链条的搭建，并且围绕着数据链条

建立了丰富的数据生态——通过低成

本的业务在线化「连接」企业和客户，

再通过数据在线化「看见」业绩和顾客，

然后建立数据

「使用」能力来预测未来，最后用数据智能「赋能」业务转型成服务公司或者平台

公司。

包括最初的连接买家和卖家的阶段在内，连接-看见-使用-赋能四个阶段，让阿

里巴巴成功跨越数据指数级增长的奇点，

构建起数据智能的未来。

大数据咨询方法论白皮书

大数据咨询的定

义和需求来源

大数据咨询的定义

大数据咨询是由奇点云在实践过程中所提出的定义，我们认

为大数据咨询是在传统咨询以外，基于技术驱动数字化转

型的需求，通过咨询的方式，帮助企业更好地去规划数据智

能的未来，围绕数据构建企业的数字化转型能力和数据生

态，让数据真正发挥业务价值，更好地进行企业的战略规划、

组织设计和人才管理等等。

精选-大数据可视化平台产品白皮书

1 行业大数据电力行业应用特点：基于GIS 组件与动态组件的实时数据监控展示，基于静态组件的多样化报表分析展示。用电量预测：基于海量历史电量数据，规划区域面积、历史人口、历史国民经济数据、三产比例等变化情况，对区域用电量进行预测，作为进一步规划设计依据。空间负荷预测：基于全网中各小区的占地面积、用地类型、容积率，行业的建筑面积负荷密度、占地面积负荷密度，小区目标年占地面积、小区目标年建筑面积，总负荷值、行业负荷值等数值，对远景年负荷进行预测。多指标关联分析：从多个外部系统（如GIS ，PMS ，OMS 等）抓取所需数据的时间一致性切片，进行综合分析利用，从而支持规划设计。金融相关行业应用特点：基于矢量图组件与动态组件的实时资金交易数据监控展示，基于静态组件的多样化报表分析展示。资金实时流向分析：重点地区资金流向、重点行业资金流向、频繁且相近额度资金流向、季节资金流向、节假日资金流向、偶尔大额资金流向。数据辅助征信风控：通过连接大数据(包括P2P 平台、小额信贷机构、征信机构、银行、第三支付、互联网大数据等)、连接不同的应用场景，挖掘和探索虚拟经济形态下的网络和商务平台数据，提供去中心化分布式查询，打破行业内信息各自孤立而形成信息漏洞的现状，高效控制风险。业务拓展：客户挖掘、精准投放、二次开发、战略指导、全民分析等多种智能分析模型，为管理层的管理决策提供了最直接的数据依据，同时绚丽易读的可视化展现带来了清晰直观的产品体验，让管理层不再拍脑袋发愁。电子政务应用特点：基于GIS 组件的基础数据关联展示，基于静态组件的多样化报表分析展示。整合分析发现群众真实需求，并强化数据预测应用功能，助推政府采取更加人性化、便民化，更有 WYDC Viewer 产品白皮书四方伟业大数据分析Data Discovery 系列产品 WYDC Viewer 是Data Discovery 系列产品中的数据可视化分析展示平台，本白皮书介绍了大数据平台的基础架构，对 WYDC Viewer 的功能及要求做了简要介绍。成都四方伟业软件股份有限公司

数据中心交换机buffer需求分析白皮书

数据中心交换机 buffer 需求分析白皮书

目录 1引言 (3) 1.1DC 的网络性能要求 (3) 1.2国内OTT 厂商对设备Buffer 的困惑 (4) 1.3白皮书的目标 (4) 2Buffer 需求的经典理论 (5) 2.11BDP 理论 (5) 2.2Nick Mckeown 理论 (6) 2.3经典理论的适用性 (6) 3基于尾丢弃的buffer 需求 (9) 3.1丢包的影响 (9) 3.1.2丢包对带宽利用率的影响 (9) 3.1.3丢包对FCT 的影响 (12) 3.2大buffer 的作用 (13) 3.2.1吸收突发，减少丢包，保护吞吐 (13) 3.2.2带宽分配均匀 (14) 3.2.3优化FCT (15) 3.3DC 内哪需要大buffer (15) 3.4需要多大buffer (17) 3.5带宽升级后，buffer 需求的变化 (19) 3.6 小结 (19) 4基于ECN 的buffer 需求 (21) 4.1ECN 的作用 (21) 4.2ECN 水线设置 (23) 4.3基于ECN 的buffer 需要多大 (24) 5基于大小流区分调度的buffer 需求 (27) 5.1大小流差异化调度 (27) 5.2大小流差异化调度如何实现大buffer 相当甚至更优的性能 (27) 5.3基于大小流差异化调度的buffer 需要多大 (28) 6 总结 (28) 7 缩略语 (29)

1 引言 1.1DC 的网络性能要求近几年，大数据、云计算、社交网络、物联网等应用和服务高速发展，DC 已经成为承载这些服务的重要基础设施。随着信息化水平的提高，移动互联网产业快速发展，尤其是视频、网络直播、游戏等行业的爆发式增长，用户对访问体验提出了更高的要求；云计算技术的广泛应用带动数据存储规模、计算能力以及网络流量的大幅增加；此外，物联网、智慧城市以及人工智能的发展也都对DC 提出了更多的诉求。为了满足不断增长的网络需求，DC 内的网络性能要求主要体现在： ?低时延。随着深度学习、分布式计算等技术的兴起和发展，人工智能、高性能计算等时延敏感型业务增长迅速。计算机硬件的快速发展，使得这些应用的瓶颈已经逐渐由计算能力转移到网络，低时延已经成为影响集群计算性能的关键指标。因此，时延敏感型应用对DC 网络时延提出了更高的要求。目前DC 内，端到端5-10 微秒时延已经成为主流的目标要求。 ?高带宽高吞吐。数据时代的到来，产生了海量的数据，如图1-1。基于数据的应用（如图像识别）的推广，使得网络数据呈爆发式增长，小带宽已经无法满足应用对传输速率的需求。部分应用场景下，带宽成为制约用户体验的瓶颈。高带宽高吞吐对于提升大数据量传输的应用性能有着至关重要的影响。为了应对大数据量传输的应用需求，目前，百度、腾讯、阿里巴巴等互联网企业的DC 都已经全面部署100GE 网络，阿里巴巴更是规划2020 年部署400GE 网络。图1-1 数据中心内存储的实际数据数据来源：中国IDC 圈

工业大数据白皮书2017版

一张图读懂工业大数据 1. 工业大数据工业大数据是指在工业领域中，围绕典型智能制造模式，从客户需求到销售、订单、计划、研发、设计、工艺、制造、采购、供应、库存、发货和交付、售后服务、运维、报废或回收再制造等整个产品全生命周期各个环节所产生的各类数据及相关技术和应用的总称。工业大数据的主要来源有三类：第一类是生产经营相关业务数据。主要来自传统企业信息化范围，被收集存储在企业信息系统内部。此类数据是工业领域传统的数据资产，正在逐步扩大范围。第二类是设备物联数据。主要指工业生产设备和目标产品在物联网运行模式下，实时产生收集的涵盖操作和运行情况、工况状态、环境参数等体现设备和产品运行状态的数据。此类数据是工业大数据新的、增长最快的来源。第三类是外部数据。指与工业企业生产活动和产品相关的企业外部互联网来源数据。 2. 工业大数据的地位 2.1 在智能制造标准体系中的定位工业大数据位于智能制造标准体系结构图的关键技术标准的左侧，属于智能制造标准体系五大关键技术之一。

2.2与大数据技术的关系工业领域的数据累积到一定量级，超出了传统技术的处理能力，就需要借助大数据技术、方法来提升处理能力和效率，大数据技术为工业大数据提供了技术和管理的支撑。首先，工业大数据可以借鉴大数据的分析流程及技术，实现工业数据采集、处理、存储、分析、可视化。其次，工业制造过程中需要高质量的工业大数据，可以借鉴大数据的治理机制对工业数据资产进行有效治理。 2.3与工业软件和工业云的关系工业软件承载着工业大数据采集和处理的任务，是工业数据的重要产生来源，工业软件支撑实现工业大数据的系统集成和信息贯通。工业大数据技术与工业软件结合，加强了工业软件分析与计算能力，提升场景可视化程度，实现对用户行为和市场需求的预测和判断。工业大数据与工业云结合，可实现物理设备与虚拟网络融合的数据采集、传输、协同处理和应用集成，运用数据分析方法，结合领域知识，形成包括个性化推荐、设备健康管理、物品

社会医疗保险数据中心管理平台技术白皮书(20090730)

社会医疗保险数据中心管理平台技术白皮书创智和宇

目录 1简介 (4) 1.1应用背景 (4) 1.2范围 (4) 1.3参考资料 (4) 2系统概述 (5) 2.1医疗保险数据中心管理平台概述 (5) 2.2总体结构图 (5) 2.2.1医疗保险数据中心管理平台的的总体结构 (6) 2.2.2医疗保险数据中心管理平台的逻辑结构 (6) 2.2.3医疗保险数据中心管理平台的的网络拓扑结构 (7) 2.3.1数据库内部组成 (7) 2.3.2生产库定义（地市级） (7) 2.3.3交换库定义（地市级） (7) 2.3.4决策分析库（地市级） (8) 2.3.5决策分析库（省级） (8) 2.4 医疗保险数据中心管理平台与其他系统关系 (8) 2.4.1与本公司开发的社保产品关系及实现接口 (8) 2.4.2与其它公司开发的社保产品关系及实现接口 (8) 2.4.3与全国联网软件关系 (9) 3业务逻辑的总体设计 (9) 3.1数据抽取建立交换数据库 (9) 3.2数据分析与决策 (9) 3.3数据交换服务 (10) 4系统采用的关键技术 (11) 4.1数据抽取 (11) 4.2增量更新 (11) 4.2.1增量更新实现步骤 (11) 4.2.3 历史数据变化情况记录 (12) 4.3数据展现 (12) 4.4数据传输 (12) 4.4.1数据传输涉及的三大元素及关系 (12) 4.4.2数据传输策略总体设计思路. (12) 4.4.3数据传输策略总体设计方案图 (12) 4.4.4数据传输策略实现概要. (14) 4.4.5打包数据的来源 (14) 4.4.6传输策略的维护 (14) 5系统开发平台和运行平台 (14) 5.1开发平台 (14) 5.2运行平台 (14) 6医疗保险数据中心管理平台功能介绍 (15) 6.1参保情况管理 (16)

华为fusionsphere6.0云套件安全技术白皮书(云数据中心)

华为F u s i o n S p h e r e6.0 云套件安全技术白皮书(云数据中心) -标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII

华为FusionSphere 云套件安全技术白皮书（云数据中心）文档版本发布日期 2016-04-30 华为技术有限公司

华为FusionSphere 云套件安全技术白皮书 (云数据中心) Doc Number:OFFE00019187_PMD966ZH Revision:A 拟制/Prepared by: chenfujun ; 评审/Reviewed by: huangdenghui 00283052;zouxiaowei 00348656;pengzhao jun 00286002;youwenwei 00176512;yanzhongwei 00232184 批准/Approved by: youwenwei 00176512 2015-12-29 Huawei Technologies Co., Ltd. 华为技术有限公司 All rights reserved 版权所有侵权必究

版权所有 ?华为技术有限公司 2016。保留一切权利。非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。商标声明和其他华为商标均为华为技术有限公司的商标。本文档提及的其他所有商标或注册商标，由各自的所有人拥有。注意您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或暗示的声明或保证。由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。华为技术有限公司地址：深圳市龙岗区坂田华为总部办公楼邮编：518129 网址：

城市大数据平台白皮书》解读：智慧城市中的应用

《城市大数据平台白皮书》解读：智慧城市中的应用日前，中国信息通信研究院正式发布《城市大数据平台白皮书》，阐述了城市大数据的概念和内涵，分析了建设城市大数据平台对于破解智慧城市建设难题的意义，并介绍了我国城市大数据平台的发展现状。同时，白皮书还提出了城市大数据平台的通用技术架构，梳理了城市大数据平台的运营模式，并就城市大数据平台发展给出了相应的建议。什么是城市大数据? 随着数据处理技术的不断进步，人们对于数据应用的意识不断提高，人们生活和各行业运行产生的数据呈现爆发式增长，形成了城市大数据。城市大数据是指城市运转过程中产生或获得的数据，及其与信息采集、处理、利用、交流能力有关的活动要素构成的有机系统，是国民经济和社会发展的重要战略资源。用简单、易于理解的公式可以表达为：城市大数据=城市数据+大数据技术+城市职能。城市大数据的数据资源来源丰富多样，广泛存在于经济、社会各个领域和部门，是政务、行业、企业等各类数据的总和。同时，城市大数据的异构特征显著，数据类型丰富、数量大、速度增长快、处理速度和实时性要求高，且具有跨部门、跨行业流动的特征。按照数据源和数据权属不同，城市大数据可以分为政务大数据、产业大数据和社会公益大数据。政务大数据指的是政务部门在履行职责过程中制作或获取的，以一定形式记录、保存的文件、资料、图表和数据等各类信息资源。产业大数据指的是在经济发展中产生的相关数据，包括工业数据、服务业数据等。此外，还有一些社会公益大数据。当前，城市大数据多数为政务大数据和产业大数据，所以城市大数据的主要推动者应为一个城市的政府和相关的具有一定数据规模的企业。

为保障城市运转的安全高效，智慧城市建设需要对海量的数据资源进行收集、整合、存储与分析，并使用智能感知、分布式存储、数据挖掘、实时动态可视化等大数据技术实现资源的合理配置。因此，城市大数据是实现城市智慧化的关键支撑，是推动“政通、惠民、兴业”的重要引擎。新型智慧城市发展面临挑战数据驱动的新型智慧城市发展面临诸多问题。白皮书认为，虽然当前各级地方政府和企业都在积极探索智慧城市建设，但仍存在着特色不明、体验不佳、共享不足等问题。究其根源在于，未能实现城市大数据资源与城市业务的良好融合。具体而言，挑战包括三个方面：一是信息系统烟囱林立，阻碍数据共享;二是数据治理普遍薄弱，价值大打折扣;三是数据管理水平不一，缺乏整体联动。如何应对新型智慧城市建设中的困难和挑战?白皮书认为城市大数据平台的建设能够发挥积极作用，具体表现在三个方面。一、通过数据汇集加速信息资源整合应用第一，城市大数据平台建立了数据治理的统一标准，提高数据管理效率。通过统一标准，避免数据混乱冲突、一数多源等问题。通过集中处理，延长数据的“有效期”，快速挖掘出多角度的数据属性以供分析应用。通过质量管理，及时发现并解决数据质量参差不齐、数据冗余、数据缺值等问题。第二，城市大数据平台规范了数据在各业务系统间的共享流通，促进数据价值充分释放。通过统筹管理，消除信息资源在各部门内的“私有化”和各部门之间的相互制约，增强数据共享的意识，提高数据开放的动力。通过有效整合，提高数据资源的利用水平。二、通过精准分析提升政府公共服务水平在交通领域，通过卫星分析和开放云平台等实时流量监测，感知交通路况，帮助市民优化出行方案;在平安城市领域，通过行为轨迹、社会关系、社会舆情等集中监控和分析，为公安部门指挥决策、情报研判提供有力支持。在政务服务领域，依托统一的互联网电子政务数据服务平台，实现“数据多走路，群众少跑腿”;在医疗健康领域，通过健康档案、电子病历等数据互通，既能提升医疗服务质量，也能及时监测疫情，降低市民医疗风险。三、通过数据开放助推城市数字经济发展开放共享的大数据平台，将推动政企数据双向对接，激发社会力量参与城市建设。一方面，企业可获取更多的城市数据，挖掘商业价值，提升自身业务水平。

HC大数据产品技术白皮书

H3C大数据产品技术白皮书杭州华三通信技术有限公司 2020年4月

目录 1 H3C大数据产品介绍 (1) 1.1产品简介 (1) 1.2产品架构 (1) 1.2.1 数据处理 (2) 1.2.2 数据分层 (3) 1.3产品技术特点 (4) 先进的混合计算架构 (4) 高性价比的分布式集群 (4) 云化ETL (5) 数据分层和分级存储 (5) 数据分析挖掘 (6) 数据服务接口 (6)

可视化运维管理 (7) 1.4产品功能简介 (7) 管理平面功能： (12) 业务平面功能： (14) 2DataEngine HDP核心技术 (15) 3DataEngine MPP Cluster核心技术 (16) 3.1MPP + Shared Nothing架构 (16) 3.2核心组件 (16) 3.3高可用 (17) 3.4高性能扩展能力 (18) 3.5高性能数据加载 (18) 3.6OLAP函数 (19) 3.7行列混合存储 (19)

1H3C大数据产品介绍 1.1产品简介 H3C大数据平台采用开源社区Apache Hadoop2.0和MPP分布式数据库混合计算框架为用户提供一套完整的大数据平台解决方案，具备高性能、高可用、高扩展特性，可以为超大规模数据管理提供高性价比的通用计算存储能力。H3C大数据平台提供数据采集转换、计算存储、分析挖掘、共享交换以及可视化等全系列功能，并广泛地用于支撑各类数据仓库系统、BI 系统和决策支持系统帮助用户构建海量数据处理系统，发现数据的内在价值。 1.2产品架构 H3C大数据平台包含4个部分：第一部分是运维管理，包括：安装部署、配置管理、主机管理、用户管理、服务管理、监控告警和安全管理等。第二部分是数据ETL，即获取、转换、加载，包括：关系数据库连接Sqoop、日志采集Flume、ETL工具 Kettle。

互联网数据中心交换网络技术白皮书

互联网数据中心交换网络的设计 1 引言互联网数据中心(internet data center，IDC)是指拥有包括高速宽带互联网接入、高性能局域网络、提供安全可靠的机房环境的设备系统、专业化管理和完善的应用级服务的服务平台。在这个平台上，IDC服务商为企业、ISP、ICP和ASP等客户提供互联网基础平台服务以及各种增值服务。作为业务承载与分发的基础网络系统，就成为IDC平台的动脉。随着中国IDC产业不断发展和业务需求多样化，基础网络逐步发展出一套相对比较通用和开放的方案架构。 2 当前主要的IDC基础网络架构虽然各IDC机房各有度身定制的业务需求，网络设计也有各自的关于带宽、规模、安全和投资的考虑因素，但最基本的关注点仍然集中在高可靠、高性能、高安全和可扩展性上。 2.1 通用的IDC架构在整体设计上，层次化和模块化是IDC架构的特征，如图1，这种架构设计带来了整体网络安全和服务部署的灵活性，给上层应用系统的部署也提供了良好的支撑。图1IDC层次化&模块化设计架构分区结构采用模块化的设计方法，它将数据中心划分为不同的功能区域，用于部署不同的应用，使得整个数据中心的架构具备可伸缩性、灵活性和高可用性。数据中心的服务器根据用户的访问特性和核心应用功能，分成不同组，并部署在不同的区域中。由于整个数据中心的很多服务是统一提供的，例如数据备份和系统管理，因此为保持架构的统一性，避免不必要的资源浪费，功能相似的服务将统一部署在特定的功能区域内，例如与管理相关的服务器将被部署在管理区。分区结构另一个特点是以IDC的客户群为单位进行划分，将具体客户应用集中在一个物理或逻辑范围内，便于以区域模块为单位，提供管理和其它增值服务。层次化是将IDC具体功能分布到相应网络层、计算层和存储层，分为数据中心前端网络和后端管理等。网络本身根据不同的IDC规模，可以有接入层、汇聚层和核心层。一般情况下，数据中心网络分成标准的核心层、汇聚层和接入层三层结构。1）核心层：提供多个数据中心汇聚模块互联，并连接园区网核心；要求其具有高交换能力和突发流量适应能力；大型数据中心核心要求多汇聚模块扩展能力，中小型数据中心共用园区核心；当前以10G 接口为主，高性能的将要求4到8个10GE端口捆绑。2）汇聚层：为服务器群（server farm）提供高带宽出口；要求提供大密度GE/10GE 端口，实现接入层互联；具有较多槽位数提供增值业务模块部署。3）接入层：支持高密度千兆接入和万兆接入；接入总带宽和上行带宽存在收敛比和线速两种模式；基于机架考虑，1RU 更具灵活部署能力；支持堆叠，更具扩展能力；上行双链路冗余能力。

大数据态势感知系统白皮书_V2.0

目录一、安全现状及挑战 (2) 1.1安全现状 (2) 1.2面临挑战 (2) 二、安全态势感知系统 (3) 2.1方案概述 (3) 2.2方案内容 (4) 2.2.1典型网络状况 (4) 2.2.2态势感知工作流程 (5) 2.2.3态势感知功能组成 (5) 3、系统技术体系 (8) 3.1系统总体架构 (8) 3.2系统主要功能 (9) 4、系统部署方式 (10) 4.1部门级部署 (10) 4.2企业应用部署 (10) 4.3集团应用部署 (11) 4.4部署要求 (12) 五、系统优势 (12)

一、安全现状及挑战 1.1安全现状近年来，我国政府和企业信息化建设得到快速发展，越来越多的各类核心业务的开展高度依赖于信息技术应用，信息安全问题的全局性影响作用日益增强。为了保障国内各企事业单位的信息系统安全，国家出台了网路安全法，各行业和相关主管部门也出台了各类信息安全监控、审计作为保障信息系统安全的制度，相关的制度标准包括ISO/IEC17799、COSO、COBIT、ITIL、NISTSP800等。这些标准制度从不同角度提出信息安全控制体系，可以有效地控制信息安全风险。同时公安部发布的《信息系统安全等级保护技术要求》中也对安全监控、审计提出明确的技术要求。目前，很多政府企业在信息安全保障体系建设方面已经达到了一定的水平，先后建立了非法外联监控管理系统、防病毒系统、补丁分发系统、防火墙、入侵检测系统、漏洞扫描系统等，为客户端安全管理、网络安全管理和系统安全管理提供了技术支撑手段。 1.2面临挑战目前政府企事业单位通过各类安全产品建立起信息安全保障体系，但当前各种信息安全保障工作相对独立，各自为政，单点的工作开展的多，缺乏有效手段将这些安全工作有效串接，并未形成一个综合防御体系。这些安全设备往往产生大量违反安全策略和安全规则的告警事件，其中不乏大量的重复报警和误报警，且各类安全事件之间分散独立，缺乏联系，无法给安全管理员提供在攻击时序上和地域上真正有意义的指导，加重了安全运维人员的工作负担，所以通过购买更多的单点的安全设备已经无法保证企业的信息安全综合保障能力的提升。

数据中心空调系统节能技术白皮书

数据中心空调系统节能技术白皮书目录 1. 自然冷却节能应用 3 概述 3 直接自然冷却 3 中国一些城市可用于直接自然冷却的气候数据: 8间接自然冷却 8 中国一些城市可用于间接自然冷却的气候数据: 16 2. 机房空调节能设计 17 动态部件 17 压缩机 17 风机 18 节流部件 19 加湿器 19 结构设计 21 冷冻水下送风机组超大面积盘管设计 21 DX型下送风机组高效后背板设计 22 控制节能 22

主备智能管理 22 EC风机转速控制 23 压差控制管理 23 冷水机组节能控制管理 26 1.自然冷却节能应用概述随着数据中心规模的不断扩大，服务器热密度的不断增大，数据中心的能耗在能源消耗中所占的比例不断增加。制冷系统在数据中心的能耗高达40%，而制冷系统中压缩机能耗的比例高达50%。因此将自然冷却技术引入到数据中心应用，可大幅降低制冷能耗。自然冷却技术根据应用冷源的方式有可以分为直接自然冷却和间接自然冷却。直接自然冷却又称为新风自然冷却，直接利用室外低温冷风，作为冷源，引入室内，为数据中心提供免费的冷量；间接自然冷却，利用水（乙二醇水溶液）为媒介，用水泵作为动力，利用水的循环，将数据中心的热量带出到室外侧。自然冷却技术科根据数据中心规模、所在地理位置、气候条件、周围环境、建筑结构等选择自然冷却方式。直接自然冷却直接自然冷却系统根据风箱的结构，一般可分为简易新风自然冷却新风系统和新风自然冷却系统。简易新风直接自然冷却系统主要由普通下送风室内机组和新风自然冷却节能风帽模块组成。节能风帽配置有外部空气过滤器，过滤器上应装配有压差开关，并可以传递信号至控制器，当过滤器发生阻塞时，开关会提示过滤器报警。该节能风帽应具备新风阀及回风阀，可比例调节风阀开度，调节新风比例。该系统根据检测到的室外温度、室内温度以及系统设定等控制自然冷却的启动与停止。

社会信用体系大数据平台白皮书v1.0

社会信用体系大数据平台白皮书九次方财富资讯（北京）有限责任公司 2016年5月

目录第一章社会信用体系介绍 (3) 第二章发展现状及趋势 (6) 2.1社会信用体系建设现状 (6) 2.2大数据应用情况与趋势 (7) 2.2.1新形势下的大数据已成为社会信用体系创新的重要突破口 (7) 2.2.2开启大数据时代政务和社会管理新模式 (8) 2.2.3培育经济发展新引擎，打造区域性竞争优势 (8) 2.2.4打造诚信名片，树立行业标杆 (9) 第三章九次方社会信用体系大数据平台的特征 (10) 3.1遵循大数据十三五规划和大数据相关标准规范 (10) 3.2采用大型IT应用系统设计原则 (10) 3.3技术架构对数据结构变化的适应性 (11) 3.4数据采集源的易用性及业务变更的适应性 (12) 3.5注重指标体系及数据模型的设计 (12) 3.6大数据应用场景的可视化及参数化设计 (13) 3.7采用先进、成熟、实用的软件和技术 (13) 第四章九次方社会信用体系大数据平台的总体架构 (14) 4.1数据架构设计 (16) 4.2网络架构设计 (17) 第五章标准规范体系建设 (19) 5.1标准规范建设框架 (19) 5.2标准规范建设内容 (20) 5.2.1公共信用标准规范体系建设 (20) 5.2.2统一社会公共信用代码建设 (21) 第六章社会信用体系数据中心建设 (27) 6.1大数据公共信用信息数据库 (27) 6.2大数据公共信用信息共享与交换平台 (28) 6.3信用门户网站和手机应用 (28) 第七章大数据平台建设 (29)

7.1大数据采集平台 (29) 7.2大数据清洗平台 (30) 7.3大数据挖掘与分析平台 (33) 7.4大数据可视化平台 (35) 第八章应用系统建设 (37) 8.1公共信用信息综合查询 (37) 8.2市场公共信用监管 (37) 8.3信用服务展现 (38) 8.4个人征信信息查询 (39) 8.5企业征信信息查询 (40) 8.6小微企业信用评估 (40) 8.7交易对手信用风险预警 (41) 第九章社会信用体系大数据平台建设的核心要素 (42) 第十章结束语 (43)

Linkoop领象大数据平台白皮书

Linkoop 领象大数据平台白皮书 V3.0 Linkoop领象大数据平台为企业级大数据应用提供了数据全生命周期的解决方案，包含了数据集成、数据管理、数据安全、数据查询以及数据分析的整套分布式大数据平台和计算平台，帮助企业对海量数据进行采集、存储、治理、分析和挖掘，发现数据价值。 Linkoop领象大数据平台技术特点 ?业界领先的大数据计算能力不论是数据导入、清洗、查询、分析还是复杂的机器学习任务，Linkoop都将这些任务转化为Hadoop上的分布式计算任务，充分利用整个大数据集群的计算能力。Linkoop对计算任务中的关键操作进行了定制化开发和优化，如数据加载、多维关联等常用操作，在降低使用难度的同时提高了计算效率，优化后的处理性能可达Hive-tez的10倍以上，Spark的2-10倍。Linkoop在电信领域广泛应用，每天处理的新增数据量超过600TB，充分验证了平台数据处理的性能和稳定性。 ?全图形化的数据处理流程设计 Linkoop创新性地提供了数据处理流程的图形化开发界面，使得在大数据平台上的数据处理不需要编写Hadoop代码，只需要通过鼠标拖拽添加功能组件，设定功能组件的运行参数和功能组件之间的依赖关系，就能够完成大数据处理流程的定义。对于定义完成的数据处理流程，能直接生成计算任务，提交平台执行和监控。全图形化的使用界面大大降低了对大数据应用开发、实施和运维人员的技术门槛，减少了项目实施的周期和成本。 ?插件式功能扩展 Linkoop提供的功能组件既包括数据采集和ETL任务相关的数据抽取、清洗、脱敏、校验、转换等功能，也包括了数据分析所需要的多维关联、聚集、统计以及机器学习算法等功能。

工业大数据驱动智能制造

工业大数据驱动智能制造随着产业互联网和智能制造时代的到来，工业大数据技术将成为制造业转型升级的重要引擎，是驱动研发设计、生产过程、管理经营、服务运维智能化的关键要素 5月5日15时19分，一架在后机身涂有象征天空蓝色和大地绿色的大型客机，潇洒稳健地降落在第四跑道上。这是一个历史性的时刻――它标志着中华民族百年的“大飞机梦”终于取得了历史性突破。而C919的下线以及首飞，不仅仅是一个产品的成功研制，更是一种新模式新体系――智能制造的实践检验。 2015年5月，国务院印发《中国制造2025》规划，部署全面推进实施制造强国战略。规划提出，以加快新一代信息技术与制造业深度融合为主线，以推进智能制造为主攻方向。智能制造是一系列热点技术的总称，它是基于物联网、大数据、云计算等新一代信息技术，贯穿于研发、设计、生产、管理、服务等制造活动的各个环节，具有信息深度自感知、智慧优化自决策、精准控制自执行等功能的先进制造过程、系统与模式的总称。智能制造具有以智能工?S为载体、以关键制造环节智

能化为核心、以端到端数据流为基础、以全面深度互联为支撑四大特征，其目标是缩短研发周期、降低运营成本、提高生产效率、提升产品质量、降低资源能耗。 C919大型客机成功首飞意味着中国实现了民机技术集群式突破，形成了我国大型客机发展的核心能力，其中就包括工业大数据技术。中国商用飞机有限责任公司信息化中心主任王文捷介绍，大飞机一次飞行产生的数据量达到10个TB的量级，也就是说至少20台500G大硬盘的电脑才能装得下。而中国商飞公司，不仅要成功研制自主知识产权大飞机，还要成功运营大飞机制造商，从适航试飞到供应链管理，分分秒秒、日新月异的大数据堪称天量。专家表示，设计图纸将成为过去，飞机完全是在数字世界里设计的，3D几何数据模型以数字模型的形式呈现飞机。数字化样机将含有制造所需的全部信息，不仅含有产品几何体，而且还含有制造产品所需的信息，比如材料、技术要求、包含的标准件、授权发布的文件等。在装配阶段，数字化装配技术将实现飞机装配建模、装配序列建模、装配路径规划和装配过程分析。为此，中国商飞已经新合并成立信息化与管理创新部，并专门下设数据处，用数据驱动创新。如今，中国商飞建立起以零件号、版次、物料组等为基础的编码标准，给大大小

大数据可视化实时交互系统白皮书

目录第1章产品定位分析 (1) 1.1产品定位 (1) 1.2应用场景 (1) 1.2.1城市管理RAYCITY (1) 1.2.2交通RAYT (2) 1.2.3医疗RAYH (3) 1.2.4警务RAYS (3) 1.3产品目标客户 (4) 1.3.1政务部门 (4) 1.3.2公共安全部门 (4) 1.3.3旅游规划部门 (5) 1.3.4其他客户 (5) 第2章产品简介及优势 (5) 2.1软件产品系统简介 (5) 2.1.1系统概述 (5) 2.1.2系统组成 (6) 2.1.3系统对比 (7) 2.1.4内容开发分项 (7) 2.2主要硬件设备简介 (9) 2.2.1［R-BOX］介绍 (9) 2.2.2［R-BOX］规格 (10) 2.2.3设备组成 (11) 2.2.4现场安装需求 (11) 2.3产品优势 (12) 2.3.1专业大数据交互可视系统 (12) 2.3.2极其便捷的操作 (13) 2.3.3震撼绚丽的高清图像 (13) 2.3.4超大系统容量 (14) 2.3.5高安全可靠性 (14) 2.3.6优异的兼容扩展能力 (14) 2.3.7灵活的部署方式 (14) 2.4方案设计规范 (14) 2.4.1设计依据 (14) 2.4.2设计原则 (15) 第3章产品报价及接入方式 (16) 3.1产品刊例价 (16) 3.2接入注意事项及常见问题 (16) 第4章成功案例 (18)

重庆：城市服务可视化解决方案 (18) 成都：政务云数据可视化解决方案 (19) 深圳：城市综合数据可视化解决方案 (20) 世界互联网大会：大数据可视化 (20) 智能建筑：物联应用解决方案 (21)

2019年H3C大数据产品技术白皮书

H3C大数据产品技术白皮书杭州华三通信技术有限公司 2020年7月

目录 1 H3C大数据产品介绍................................................................... 错误!未定义书签。产品简介........................................................................ 错误!未定义书签。产品架构........................................................................ 错误!未定义书签。数据处理 ............................................................................ 错误!未定义书签。数据分层 ............................................................................ 错误!未定义书签。产品技术特点............................................................... 错误!未定义书签。先进的混合计算架构........................................................ 错误!未定义书签。高性价比的分布式集群................................................... 错误!未定义书签。云化ETL ................................................................................ 错误!未定义书签。数据分层和分级存储........................................................ 错误!未定义书签。数据分析挖掘...................................................................... 错误!未定义书签。数据服务接口...................................................................... 错误!未定义书签。可视化运维管理................................................................. 错误!未定义书签。产品功能简介............................................................... 错误!未定义书签。管理平面功能：................................................................. 错误!未定义书签。业务平面功能：................................................................. 错误!未定义书签。 2 DataEngine HDP核心技术......................................................... 错误!未定义书签。 3 DataEngine MPP Cluster核心技术 ......................................... 错误!未定义书签。 MPP + Shared Nothing架构 .................................. 错误!未定义书签。核心组件........................................................................ 错误!未定义书签。高可用............................................................................. 错误!未定义书签。高性能扩展能力 .......................................................... 错误!未定义书签。高性能数据加载 .......................................................... 错误!未定义书签。 OLAP函数..................................................................... 错误!未定义书签。行列混合存储............................................................... 错误!未定义书签。

数据中心空调系统节能技术白皮书

数据中心空调系统节能技术白皮书数据中心空调系统节能技术白皮书

目录 1.自然冷却节能应用 (3) 1.1概述 (3) 1.2直接自然冷却 (3) 1.2.1简易新风自然冷却系统 (3) 1.2.2新风直接自然冷却 (5) 1.2.3 中国一些城市可用于直接自然冷却的气候数据: (8) 1.3间接自然冷却 (8) 1.3.1间接自然冷却型机房精密空调解决方案 (8) 1.3.2风冷冷水机组间接自然冷却解决方案 (12) 1.3.3水冷冷水机组间接自然冷却解决方案 (15) 1.3.4 中国一些城市可用于间接自然冷却的气候数据: (16) 2.机房空调节能设计 (17) 2.1动态部件 (17) 2.1.1压缩机 (17) 2.1.2风机 (18) 2.1.3节流部件 (19) 2.1.4加湿器 (19) 2.2结构设计 (21) 2.2.1冷冻水下送风机组超大面积盘管设计 (21) 2.2.2DX型下送风机组高效后背板设计 (22) 2.3控制节能 (22) 2.3.1主备智能管理 (22) 2.3.2EC风机转速控制 (23) 2.3.3压差控制管理 (23) 2.3.4冷水机组节能控制管理 (26)

1.自然冷却节能应用自然冷却节能应用概述 1.1概述随着数据中心规模的不断扩大，服务器热密度的不断增大，数据中心的能耗在能源消耗中所占的比例不断增加。制冷系统在数据中心的能耗高达40%，而制冷系统中压缩机能耗的比例高达50%。因此将自然冷却技术引入到数据中心应用，可大幅降低制冷能耗。自然冷却技术根据应用冷源的方式有可以分为直接自然冷却和间接自然冷却。直接自然冷却又称为新风自然冷却，直接利用室外低温冷风，作为冷源，引入室内，为数据中心提供免费的冷量；间接自然冷却，利用水（乙二醇水溶液）为媒介，用水泵作为动力，利用水的循环，将数据中心的热量带出到室外侧。自然冷却技术科根据数据中心规模、所在地理位置、气候条件、周围环境、建筑结构等选择自然冷却方式。直接自然冷却 1.2直接自然冷却直接自然冷却系统根据风箱的结构，一般可分为简易新风自然冷却新风系统和新风自然冷却系统。简易新风自然冷却系统 1.2.1简易新风自然冷却系统 1.2.1.1简易新风自然冷却系统原理简易新风自然冷却系统原理简易新风直接自然冷却系统主要由普通下送风室内机组和新风自然冷却节能风帽模块组成。节能风帽配置有外部空气过滤器，过滤器上应装配有压差开关，并可以传递信号至控制器，当过滤器发生阻塞时，开关会提示过滤器报警。该节能风帽应具备新风阀及回风阀，可比例调节风阀开度，调节新风比例。

DreamBI大数据分析平台-技术白皮书

DreamBI大数据分析平台技术白皮书

目录第一章产品简介 (4) 一、产品说明 (4) 二、产品特点 (4) 三、系统架构 (4) 四、基础架构 (7) 五、平台架构 (7) 第二章功能介绍 (7) 2.1.元数据管理平台 (7) 2.1.1.业务元数据管理 (8) 2.1.2.指标元数据管理 (10) 2.1.3.技术元数据管理 (14) 2.1.4.血统管理 (15) 2.1.5.分析与扩展应用 (16) 2.2.信息报送平台 (17) 2.2.1.填报制度管理 (17) 2.2.2.填报业务管理 (33) 2.3.数据交换平台 (54) 2.3.1.ETL概述 (55) 2.3.2.数据抽取 (56) 2.3.3.数据转换 (56) 2.3.4.数据装载 (57) 2.3.5.规则维护 (58) 2.3.6.数据梳理和加载 (65) 2.4.统计分析平台 (67) 2.4.1.多维在线分析 (67) 2.4.2.即席查询 (68) 2.4.3.智能报表 (70) 2.4.4.驾驶舱 (74)

2.4.5.图表分析与监测预警 (75) 2.4.6.决策分析 (79) 2.5.智能搜索平台 (83) 2.5.1.实现方式 (84) 2.5.2.SolrCloud (85) 2.6.应用支撑平台 (87) 2.6.1.用户及权限管理 (87) 2.6.2.统一工作门户 (94) 2.6.3.统一消息管理 (100) 2.6.4.统一日志管理 (103) 第三章典型用户 (106) 第四章案例介绍 (108) 一、高速公路大数据与公路货运统计 (108) 二、工信部-数据决策支撑系统 (110) 三、企业诚信指数分析 (111) 四、风险定价分析平台 (112) 五、基于斯诺模型的增长率测算 (113) 六、上交所-历史数据回放引擎 (114) 七、浦东新区能耗监控 (115)

工业大数据技术架构白皮书

编写说明党的十九大报告中提出要“加快建设制造强国，加快发展先进制造业，推动互联网、大数据、人工智能和实体经济的深度融合”。再一次强调了运用新兴技术促进信息化和工业化的深度融合，以实现制造强国的战略目标。工业是国民经济的主导，每一次工业届的重大变革都会对社会发展形成重大的影响。我国政府高度重视并积极推动以互联网为代表的新一代新兴技术与工业系统深度融合，以加速工业体系的智能化变革。工业互联网的建设重点概括为“网络”、“数据”、“安全”三大领域，而“数据”是实现工业智能化的核心驱动。在工业领域中合理地运用大数据技术能有效促进企业信息化发展，提升企业生产运行效率、加速生产信息在制造过程中的流动、助力企业升级转型并形成全新的智能制造模式。为了加速新一代信息技术与传统产业的融合，工业互联网联盟（AII）针对工业领域的技术创新、标准制定、试验验证、应用实践等进行了一系列调查研究，在工业大数据领域也开展了相关工作，先后发布了《中国工业大数据技术与应用白皮书》，《工业大数据创新竞赛白皮书——风机结冰故障分析指南》等成果，以推动大数据技术在工业领域的深入应用。本白皮书从实际出发，在现有研究的基础上，结合生产过程中的经典案例，介绍和分析了工业生产环境中大数据技术的应用方法，为工业企业建设大数据系统提供了基础架构层面的建议和指导，从数据的采集与交换、集成与处理、建模与分析、决策与控制几个层面，形成完整的大数据管理与分析架构，供相关行业伙伴参考使用，适用于广义的工业领域，包括制造业、采伐工业、原材料工业以及其他衍生的工业范围。

目录第一章工业大数据系统综述 (1) 1.1 建设意义及目标 (1) 1.2 重点建设问题 (2) 第二章工业大数据技术架构概述 (3) 2.1 数据采集与交换 (5) 2.2 数据集成与处理 (6) 2.3 数据建模与分析 (8) 2.4 决策与控制应用 (9) 2.5 技术发展现状 (10) 第三章工业大数据技术架构实现 (12) 3.1 技术组件选择 (12) 3.1.1 数据采集 (12) 3.1.2 数据存储 (16) 3.1.3 数据计算 (17) 3.1.4 混合云架构 (18) 3.2 建设标准 (19) 3.2.1 基础业务能力 (19) 3.2.2 数据管理能力 (20) 3.2.3 运维管理能力 (21) 3.2.4 安全管理 (22) — 1 —