大数据技术(精品培训)
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
17
二、标准体系框架
n 大数据安全标准 数据安全作为数据标准的支撑体系，贯穿于数据整个生命周期的各个阶段。
抛开传统的网络安全和系统安全，大数据时代下的数据安全标准主要包 括通用要求、隐私保护两类标准。 n 应用和服务标准 应用和服务类标准主要是针对大数据所能提供的应用和服务从技术、功能、 开发、维护和管理等方面进行规范。主要包括开放数据集、数据服务平 台和领域应用数据三类标准。其中开放数据集标准主要对向第三方提供 的开放数据包中的内容、格式等进行规范；数据服务平台标准是针对大 数据服务平台所提出的功能性、维护性和管理性的标准；领域应用数据 指的是各领域根据其领域特性产生的专用数据标准，包括工业、电子商 务等领域。
二、标准体系框架
15
二、标准体系框架
n 基础标准 为整个标准体系提供包括总则、术语和参考模型、元数据等基础性标准。 n 技术标准 该类标准主要针对大数据相关技术进行规范。包括数据治理和数据质量两
类标准。其中，数据治理标准主要针对数据的收集、预处理、分析、可 视化、访问、能力成熟度评价模型等方面进行规范。数据质量标准主要 针对数据质量提出具体的管理要求和相应的指标要求，确保数据在产生、 存储、交换和使用等各个环节中的质量，为大数据应用打下良好的基础， 包括质量评价、数据溯源、质量检测等标准。
18
二、大数据参考模型
19
二、大数据标准化白皮书V2.0
20
二、研究报告
4、加强研究 Ø 《（英国）开放数据白皮书》 Ø NIST在大数据领域的相关研究报告：《大数据互操作性框架：第一卷：
定义》、《大数据互操作性框架：第二卷：大数据分类》、《大数据 互操作性框架：第四卷：安全与隐私》、《大数据互操作性框架：第 六卷：参考架构》、《NIST大数据互操作性框架：第七卷：大数据标 准路线图》。 Ø 为了更好的开展政府大数据开放共享和数据资产管理方面的标准化工 作，工作组正在开展《政府大数据分类分级》和《数据资产管理》的 相关研究工作，目前已经形成两份研究报告的初稿。
，互联网企业的技术优势难以顺畅地扩散到各行业 • 部门、地方和一些行业开始关注大数据资源建设 • 初级发展阶段，缺少典型性、共识性强的大数据应用； 数据资源开放方面： • 我国数据资源主要来源于互联网，业务、政务数据共享开放程度低
急需标准化，保证有序发展、开放共享
10
内容
• 大数据发展背景 • 标准化工作现状 • 下一步工作重点
16
二、标准体系框架
n 产品和平台标准 该类标准主要针对大数据相关技术产品和应用平台进行规范。包括关系型
数据库产品、非结构化数据管理产品、智能工具、可视化工具、数据处 理平台和测试规范六类标准。其中关系型数据库产品标准针对存储和处 理大数据的关系型数据库管理系统，从访问接口、技术要求、测试要求 等方面进行规范，为关系型数据库管理系统进行大数据的高端事务处理 和海量数据分析提供支持；非结构化数据管理产品标准针对存储和处理 大数据的非结构化数据管理系统，从参考架构、数据表示、访问接口、 技术要求、测试要求等方面进行规范；智能工具用来帮助用户对大数据 进行分析决策，包括ETL、OLAP、数据挖掘等工具，智能工具标准对智 能工具的技术及功能进行规范；可视化工具是对大数据处理应用过程中 所需用到的可视化展现工具的技术和功能要求进行规范；大数据平台标 准是针对大数据存储、处理、分析系统从技术架构、建设方案、平台接 口等方面进行规范；测试规范针对大数据的产品和平台给出测试方法和
培训资料
• 标题： • 培训人：xx
培训（精品培训）
内容
• 大数据发展背景 • 标准化工作现状 • 下一步工作重点
2
一、大数据催生了信息化3.0（智慧化阶段）
n数据规模更大，来源更丰富，类型更复杂，变化更快
信息化1.0
--2019 以单机应用为 特征的数字化
阶段
信息化2.0
--2019 以联网应用为 特征的网络化
数据应用 需求激增
以数据的深 度挖掘与融 合应用为特 征的智慧化
阶段
信息化3.0
4
二、 大数据的战略意义
大数据正在改变 人类的思维方式
传统思维
随机样本 精确求解 因果关系
全体数据 近似求解 关联关系
大数据思维 5
二、 大数据的战略意义
GDP
Ø改善民生：
大数据时代，信息技术不仅是行业发展的“倍增 器”、“催化器”，甚至会成为行业的颠覆者
11
一、大数据工作组概况
（一）组织架构
组长： 副组长： 秘书长： 联络员：
12
一、工作组概况
Ø 进一步扩大工作组规模
申请报名的成员单位170+家
Ø 成员单位管理
统一邮箱： 微信公众平台
Ø 建立联络关系
贵州省贵阳市政府、 中关村大数据产业联盟
Ø 建立大数据专家团队
13
一、工作组概况
（二）组织管理
7
三、 大数据产业生态链（技术）
大数据采集
大数据存储、 管理和处理
大数据呈现 和应用
大数据分析 和挖掘
8
三、 大数据产业生态链（商业）
9
四、 我国大数据产业发展现状
基础设施和分析方法方面： • 主要依赖国外技术和产品，核心技术方面仍是学习者和追随者 应用方面： • BAT在网络大数据具有优势：网站、微博、微信、搜索、交易数据等
阶段
信息化3.0
2019以数据的深度挖 掘与融合应用为 特征的智慧化阶
段
？
经历基础性变 革后的未来信 息技术支撑的
信息化
金税工程 3
一、 大数据催生了信息化3.0（智慧化阶段）
技术廉价化、互联网发展、 信息化建设长期积累，形成 了规模巨大的数据资源，且 仍将加速增长
大数据 现象出现
大数据应用的成功案例，激 发了基于数据，萃取知识、 指导实践的巨大需求
优化资源配置,健康医疗、就业、社保、教育、公共交通
Ø产业转型，创新业态：
颠覆传统产业,提高运行效率和决策能力,催生智能制造、
互联网金融等新业态
6
二、 大数据的战略意义
自主可控的大数据技术体系是不 可或缺的基础！
美国棱镜计划：电邮、即时消息、 视频、照片、语音、文件传输、视 频会议、社交网络等数据的收集与 综合分析
21
三、标准研制
（二）标准化工作进展 Ø 已立项标准
序号
计划号
Hale Waihona Puke Baidu
标准名称
1 20191191-T-469 信息技术 大数据 术语
2 20191190-T-469 信息技术 大数据 技术参考模型
二、标准体系框架
n 大数据安全标准 数据安全作为数据标准的支撑体系，贯穿于数据整个生命周期的各个阶段。
抛开传统的网络安全和系统安全，大数据时代下的数据安全标准主要包 括通用要求、隐私保护两类标准。 n 应用和服务标准 应用和服务类标准主要是针对大数据所能提供的应用和服务从技术、功能、 开发、维护和管理等方面进行规范。主要包括开放数据集、数据服务平 台和领域应用数据三类标准。其中开放数据集标准主要对向第三方提供 的开放数据包中的内容、格式等进行规范；数据服务平台标准是针对大 数据服务平台所提出的功能性、维护性和管理性的标准；领域应用数据 指的是各领域根据其领域特性产生的专用数据标准，包括工业、电子商 务等领域。
二、标准体系框架
15
二、标准体系框架
n 基础标准 为整个标准体系提供包括总则、术语和参考模型、元数据等基础性标准。 n 技术标准 该类标准主要针对大数据相关技术进行规范。包括数据治理和数据质量两
类标准。其中，数据治理标准主要针对数据的收集、预处理、分析、可 视化、访问、能力成熟度评价模型等方面进行规范。数据质量标准主要 针对数据质量提出具体的管理要求和相应的指标要求，确保数据在产生、 存储、交换和使用等各个环节中的质量，为大数据应用打下良好的基础， 包括质量评价、数据溯源、质量检测等标准。
18
二、大数据参考模型
19
二、大数据标准化白皮书V2.0
20
二、研究报告
4、加强研究 Ø 《（英国）开放数据白皮书》 Ø NIST在大数据领域的相关研究报告：《大数据互操作性框架：第一卷：
定义》、《大数据互操作性框架：第二卷：大数据分类》、《大数据 互操作性框架：第四卷：安全与隐私》、《大数据互操作性框架：第 六卷：参考架构》、《NIST大数据互操作性框架：第七卷：大数据标 准路线图》。 Ø 为了更好的开展政府大数据开放共享和数据资产管理方面的标准化工 作，工作组正在开展《政府大数据分类分级》和《数据资产管理》的 相关研究工作，目前已经形成两份研究报告的初稿。
，互联网企业的技术优势难以顺畅地扩散到各行业 • 部门、地方和一些行业开始关注大数据资源建设 • 初级发展阶段，缺少典型性、共识性强的大数据应用； 数据资源开放方面： • 我国数据资源主要来源于互联网，业务、政务数据共享开放程度低
急需标准化，保证有序发展、开放共享
10
内容
• 大数据发展背景 • 标准化工作现状 • 下一步工作重点
16
二、标准体系框架
n 产品和平台标准 该类标准主要针对大数据相关技术产品和应用平台进行规范。包括关系型
数据库产品、非结构化数据管理产品、智能工具、可视化工具、数据处 理平台和测试规范六类标准。其中关系型数据库产品标准针对存储和处 理大数据的关系型数据库管理系统，从访问接口、技术要求、测试要求 等方面进行规范，为关系型数据库管理系统进行大数据的高端事务处理 和海量数据分析提供支持；非结构化数据管理产品标准针对存储和处理 大数据的非结构化数据管理系统，从参考架构、数据表示、访问接口、 技术要求、测试要求等方面进行规范；智能工具用来帮助用户对大数据 进行分析决策，包括ETL、OLAP、数据挖掘等工具，智能工具标准对智 能工具的技术及功能进行规范；可视化工具是对大数据处理应用过程中 所需用到的可视化展现工具的技术和功能要求进行规范；大数据平台标 准是针对大数据存储、处理、分析系统从技术架构、建设方案、平台接 口等方面进行规范；测试规范针对大数据的产品和平台给出测试方法和
培训资料
• 标题： • 培训人：xx
培训（精品培训）
内容
• 大数据发展背景 • 标准化工作现状 • 下一步工作重点
2
一、大数据催生了信息化3.0（智慧化阶段）
n数据规模更大，来源更丰富，类型更复杂，变化更快
信息化1.0
--2019 以单机应用为 特征的数字化
阶段
信息化2.0
--2019 以联网应用为 特征的网络化
数据应用 需求激增
以数据的深 度挖掘与融 合应用为特 征的智慧化
阶段
信息化3.0
4
二、 大数据的战略意义
大数据正在改变 人类的思维方式
传统思维
随机样本 精确求解 因果关系
全体数据 近似求解 关联关系
大数据思维 5
二、 大数据的战略意义
GDP
Ø改善民生：
大数据时代，信息技术不仅是行业发展的“倍增 器”、“催化器”，甚至会成为行业的颠覆者
11
一、大数据工作组概况
（一）组织架构
组长： 副组长： 秘书长： 联络员：
12
一、工作组概况
Ø 进一步扩大工作组规模
申请报名的成员单位170+家
Ø 成员单位管理
统一邮箱： 微信公众平台
Ø 建立联络关系
贵州省贵阳市政府、 中关村大数据产业联盟
Ø 建立大数据专家团队
13
一、工作组概况
（二）组织管理
7
三、 大数据产业生态链（技术）
大数据采集
大数据存储、 管理和处理
大数据呈现 和应用
大数据分析 和挖掘
8
三、 大数据产业生态链（商业）
9
四、 我国大数据产业发展现状
基础设施和分析方法方面： • 主要依赖国外技术和产品，核心技术方面仍是学习者和追随者 应用方面： • BAT在网络大数据具有优势：网站、微博、微信、搜索、交易数据等
阶段
信息化3.0
2019以数据的深度挖 掘与融合应用为 特征的智慧化阶
段
？
经历基础性变 革后的未来信 息技术支撑的
信息化
金税工程 3
一、 大数据催生了信息化3.0（智慧化阶段）
技术廉价化、互联网发展、 信息化建设长期积累，形成 了规模巨大的数据资源，且 仍将加速增长
大数据 现象出现
大数据应用的成功案例，激 发了基于数据，萃取知识、 指导实践的巨大需求
优化资源配置,健康医疗、就业、社保、教育、公共交通
Ø产业转型，创新业态：
颠覆传统产业,提高运行效率和决策能力,催生智能制造、
互联网金融等新业态
6
二、 大数据的战略意义
自主可控的大数据技术体系是不 可或缺的基础！
美国棱镜计划：电邮、即时消息、 视频、照片、语音、文件传输、视 频会议、社交网络等数据的收集与 综合分析
21
三、标准研制
（二）标准化工作进展 Ø 已立项标准
序号
计划号
Hale Waihona Puke Baidu
标准名称
1 20191191-T-469 信息技术 大数据 术语
2 20191190-T-469 信息技术 大数据 技术参考模型