大数据平台开发技术指标以及技术标准体系

大数据平台开发技术指标以及技术标准体系

大数据平台性能标准：

数据中心联盟在2015年1月底公开发布了国内第一个大数据产品和服务基准测试规范《大数据平台基准测试技术要求》。

该基准测试规范的主要评价对象主要包括大数据软件平台(如基于开源Hadoop、Spark 平台的商业软件)、大数据软硬一体机和云端大数据服务三大类。规范根据大数据特点，精选了NoSQL、离线分析和实时交互分析等最具代表性的21个基本负载，能够考核平台在计算密集、I/O密集和混合任务等不同场景的表现。标准规定了数据生成、负载选择、测试指标、用例执行和测试配置。标准还从用户角度出发定义了多个维度的指标，不仅有基本的吞吐量质保，还有能耗、压力、扩展性、容错能力等多方面的指标，这些指标都是用户在选型和采购最关注的。

大数据平台开发技术指标现状

大数据平台开发技术标准

数据分析是大数据的特点和难点，标准较为缺乏;

在数据访问方面，目前在研究多项数据库、云数据存储和管理类标准，使用与大数据底层数据接口，但是尚缺乏数据导入、导出标准;

数据安全方面：部分现有标准使用，尚缺乏针对大数据的安全框架、隐私、访问控制类标准;数据质量是大数据应用和发展的基础，目前有多项在研标准，但均尚未发布，较为缺乏;

大数据产品和大数据平台

目前在研多项数据库、非结构化数据管理产品类标准，尚无针对大数据可视化工具、数据处理平台的标准;在大数据环境下，数据也已成为产品，而针对开放数据集、数据服务平台等新兴产品和服务形态，尚缺乏相应的标准。针对大数据，我国在数据管理、云计算、信息安全等方面，已经发布和在研一些标准，使用与大数据环境，提供一定的基础，但是缺乏标准化整体规划;数据分析、数据安全、数据质量管理等技术标准，数据处理凭条、开放数据集、数据服务平台类新兴产品和服务形态的标准较为缺乏

大数据平台开发技术标准体系

大数据标准体系表

本文作者：科技头版