魏凯中国信息通信研究院数据中心联盟
智慧教育公共服务平台项目建设方案
智慧教育公共服务平台项目建设方案（本文档为word格式,下载后可修改编辑！）目录第一章项目概况 (1)1.1 项目名称 (1)1.2 项目承担及参与单位 (1)1.3 项目负责人 (1)1.4 可行性研究报告编制单位 (1)1.5 编制依据 (1)1.6 建设目标 (2)1.7 建设内容 (3)1.8 总投资及来源 (3)1.9 建设地点 (3)1.10项目建设期 (3)1.11 效益分析 (3)1.12结论 (4)第二章项目建设的背景和必要性 (5)2.1 项目建设背景 (5)2.2 现状与差距 (6)2.2.1现状 (6)2.2.2差距 (7)2.3 项目建设的必要性 (7)2.4 项目建设的可行性 (8)2.4.1政策环境可行性 (8)2.4.2技术可行性 (9)2.4.3信息资源建设可行性 (9)2.4.4经济可行性 (9)2.4.5组织协调和人力资源可行性 (9)第三章项目承担单位 (11)3.2 机构职责 (11)3.3 组织结构 (13)第四章需求分析 (14)4.1 业务描述 (14)4.2 流程分析 (15)4.2.1智慧教育资源规划与决策支持平台需求分析 (15)4.2.2智慧教育公共信息服务平台与门户需求分析 (16)4.2.3智慧教育数据中心需求分析 (16)4.2.4智慧教育支撑保障体系需求分析 (16)4.2.5平安校园需求分析 (16)4.3 用户分析 (17)4.3.1教育部门需求分析 (17)4.3.2校领导需求分析 (17)4.3.3老师和学生需求分析 (17)4.3.4家长需求分析 (17)4.3.5职业培训对象需求分析 (17)4.3.6IT管理部门需求分析 (18)4.3.7业务管理部门需求分析 (18)4.4 功能需求 (18)4.4.1系统功能 (18)4.4.2功能需求 (19)第五章总体方案 (21)5.1 建设目标 (21)5.2 建设原则 (22)5.3 技术路线 (23)5.3.1云计算服务技术体系 (23)5.3.2J2EE架构 (23)5.3.3统一身份认证 (23)5.3.5共用数据中心 (24)5.4 建设内容 (24)5.5 系统总体框架 (25)5.5.1信息系统体系架构 (26)5.5.2信息系统技术架构 (27)5.5.3数据体系架构 (27)5.5.4基础实施体系架构 (28)5.5.5安全保障体系设计 (28)5.5.6运行维护体系设计 (29)5.5.7教育管理人员与专业技术人员培训 (29)5.6 建设地点 (30)第六章项目建设方案 (31)6.1 设计原则 (31)6.2 标准规范建设 (32)6.2.1建设原则 (32)6.2.2标准规范的总体框架 (33)6.2.3技术标准 (35)6.2.4管理规范 (35)6.2.5实现途径 (35)6.3 智慧教育数据仓库设计 (35)6.3.1智慧教育数据仓库总述 (35)6.3.2基础教育数据仓库 (36)6.3.3再教育（职业教育）数据仓库 (37)6.3.4教育资源共享数据仓库 (37)6.3.5专项业务数据仓库 (37)6.4 智慧教育智能化信息平台设计 (38)6.4.1“三通两平台” (38)6.4.2教育监管信息系统 (56)6.4.3教育规划与决策支持系统 (62)6.4.4智慧教育课件共享平台 (64)6.4.5电子书包 (65)6.5 智慧教育数据中心设计 (66)6.6 视频监控接入设计 (66)6.7 软件平台 (67)6.7.1操作系统 (67)6.7.2数据库 (67)6.7.3工作流软件 (68)6.7.4GIS软件 (68)6.7.5GIS终端引擎 (69)6.7.6防病毒软件 (69)6.7.7中间件 (69)6.7.8虚拟化软件 (70)6.8 终端设备 (71)6.9 虚拟化设计 (71)6.9.1虚拟化概述 (71)6.9.2虚拟化方案架构设计 (71)6.10 服务器虚拟化设计 (74)6.11 存储设计 (74)6.12 网络设计 (75)6.12.1网络系统设计原则 (75)6.12.2网络拓扑方案 (76)6.12.3网络虚拟化 (77)6.12.4网络质量保证设计 (78)6.13 安全设计 (79)6.13.1虚拟化安全需求 (79)6.13.2安全方案设计思路 (80)6.13.3安全方案总体框架 (81)6.13.4网络安全设计 (82)6.14 运行维护系统建设方案 (86)6.14.1运行支持与维护目标 (86)6.14.2运行维护机构和人员 (86)6.14.3运行维护相关制度建设 (88)6.14.4运行支持与维护服务工作内容 (88)6.14.5运行支持与维护服务工作流程 (94)6.15 其它系统建设方案 (95)6.15.1监督中心及配套工程设计 (95)6.15.2空调工程 (97)6.15.3大屏幕显示系统 (97)6.15.4监控坐席 (99)6.16 主要软硬件选型原则 (99)第七章项目组织机构和人员培训 (100)7.1 项目组织机构 (100)7.2项目实施机构 (100)7.3运行维护机构 (100)7.4技术力量和人员配置 (100)7.4.1综合协调组 (100)7.4.2技术保障组 (100)7.5人员培训方案 (101)7.5.1培训计划 (101)7.5.2培训目标 (101)7.5.3培训内容 (102)7.5.4培训时间 (102)7.5.5培训地点 (102)7.5.6培训方法 (102)7.5.7授课及内容 (103)第八章项目实施计划 (104)8.1 项目建设周期 (104)8.2 项目实施进度 (104)第九章投资估算与资金筹措 (106)9.1 投资估算的有关说明 (106)9.2 总投资估算及资金筹措 (106)9.2.1投资总估价 (106)9.2.2分项报价 (107)第十章效益与效果分析 (129)10.1 五年收益计划 (129)10.2 经济效益分析 (131)10.3 社会效益分析 (131)10.4 效果分析 (131)第十一章风险分析及化解 (133)11.1 技术风险及化解 (133)11.2 管理风险及化解 (133)11.3 人才风险及化解 (133)第十二章结论与建议 (135)12.1 结论 (135)12.2 建议 (136)12.2.1在协调上加大力度 (136)12.2.2在制度上进行规范 (136)12.2.3在资金上给予保障 (136)12.2.4在建设上稳妥推进 (136)12.2.5在效果上进行评估 (137)12.2.6在人才上加快培养 (137)第一章项目概况1.1项目名称项目名称：某某智慧教育公共服务平台项目建设1.2项目承担及参与单位项目建设单位：某某市某某区政府1.3项目负责人罗某某1.4可行性研究报告编制单位某某科技集团有限公司1.5编制依据➢《安全技术防范工程程序和要求》中华人民共和国公共安全行业标准GA/T 75－94。
软件定义存储在BSS中的应用展望
软件定义存储在BSS中的应用展望文｜邱钰，杨敬巍，张立成经过多年的建设和发展，移动运营商具备了较为成熟和完善的业务运营支撑系统（BSS ）等IT 支撑系统。
运营商在BSS IT 系统建设中，不同的应用通常会采用不同的架构来实现计算和数据的存储，如：采用高性能计算集群架构解决相关应用的计算瓶颈，采用云计算架构作为应用的弹性灵活的应用配置，对于核心数据库系统，采用物理机搭载磁盘阵列的架构。
如今，随着云计算、大数据、移动互联网等新兴信息技术的快速发展以及高清视频、大数据、物联网等各种新业务的规模落地应用，这些业务具有大量的数据要存入运营商的IT 支撑系统中，同时也要从IT 系统中读取大量的数据，这使得IT 系统的存储磁盘每秒钟具有大量的数据传送，这些大量数据的读写速度将受到传统存储架构I/O 性能的严重掣肘；其次，随着业务的扩展，存储资源的扩容不能匹配计算资源扩容，这将严重影响业务的快速发展；各IT 系统“烟囱式”建设，存在大量信息孤岛，数据资源无法共享。
各IT 系统各自建设存储等硬件设备，资源的总体利用效率较低，也导致运营商的IT 支撑系统架构越来越复杂。
现行的IT 支撑系统架构已不能适应新的业务需求的矛盾日益凸显。
一、软件定义存储最新的发展趋势图1 SDS需要具备的能力趋势存储最新发展的一个方向，其中包括“S D S ”即软件定义存储。
软件定义存储的主要思路就是要将传统定制化专用硬件从存储设计中彻底抛弃，存储就是在通用服务器上的一套软件，这就是软件定义存储这个概念背后的含义。
如今市场上还是有相当数量的“软件定义存储”产品。
有些是基于“纯软件”的，例如S c a l e I O 、C e p h 和V S A N 。
而有些则是与硬件“设施”绑定的，例如Vxrail 超融合方案。
如超融合解决方案通常在一套设备中整合了计算、网络、存储以及虚拟化管理程序等功能。
作者单位：中共成都市委党校第一，落实政策保障。
卫星应用助力数字经济新发展——2021 中国卫星应用大会召开
来自国家广播电视总局、国防科工局、工信部 无线电管理局、国家专用通信局、国家无线电监测 中心、自然资源部国家海洋卫星应用中心、北京邮 电大学、中科院空天信息创新研究院、中国信息通
信科技集团有限公司、中国电子科技集团有限公司、 中国航天科技集团有限公司、中国卫星网络集团有 限公司、中国卫通集团股份有限公司等机构和企业 的相关代表出席了开幕式。
广告
Copyright©博看网 . All Rights Reserved.
开幕式上，由主办方中国通信学会秘书长张 延川、大会主席吴劲风分别致辞。张延川秘书长表 示，新一轮科技革命和产业变革深入发展，全球科 技创新处于空前密集活跃时期，数字化浪潮迎来与 实体经济深度融合的新进程，加速重塑全球创新版 图和产业结构。“十四五”时期我国将进入新发展 阶段，党中央作出了加快形成以国内大循环为主体、 国内国际双循环相互促进的新发展格局的重大战略 部署，其中以科技创新催生新发展动能是重要路径。
今年大会的主题顺应了时代发展要求，紧扣 发展脉搏，通过中国卫星应用大会这个交流平台， 卫星应用产业界深度交流、碰撞思想，进一步探 讨了数字经济和卫星应用产业深度融合的契合点 和发力点。
展示卫星应用最新进展
卫星新技术论坛上，来自中国信息通信研究 院云计算与大数据研究所魏凯副所长、中国电子科 技集团孙晨华首席科学家、北京航空航天大学的景 贵飞博士、国家无线电频谱管理中心的李伟博士， 分别就“数字化技术的产业机遇”“低轨宽带星座 发展及关键技术”“地球观测系统发展及思考的报 告”“卫星互联网频轨资源发展应用与兼容问题的 思考”等课题进行了详尽阐述，展示出这些领域的 最新研究成果。中国信息通信科技集团副总裁陈山 枝 博 士 作 了 大 会 主 旨 报 告， 详 细 剖 析 如 何“ 辩 证 看待卫星互联网”的命题，从卫星与地面、5G 与 6G、固定与移动、投资与收益等多方面，全方位阐 述了卫星互联网在发展中必须面临的问题。
美欧发布数据战略对我国的启示
文/《信息通信技术与政策》2020年第4期作者：魏凯、闫树VIEW纵深观察为了应对信息技术时代在数据方面的发展和挑战，近期美国和欧盟相继出台数据战略，探索未来的数据发展之路。
2019年12月23日，美国白宫行政管理和预算办公室（OMB ）发布《联邦数据战略与2020年行动计划》（以下简称《联邦数据战略》），以政府数据治理为主要视角，描述了联邦政府未来10年的数据愿景和2020年需要采取的关键行动。
2020年2月19日，欧盟委员会公布了《欧盟数据战略》，以数字经济发展为主要视角，概述了欧盟委员会在数据方面的核心政策措施及未来5年的投资计划，以助力数字经济发展。
美国联邦数据战略聚焦数据资产自2012年以来，美国极力推动大数据领域前沿核心技术的发展和科学工程领域的发明创造，致力于打造有活力的数据创新生态。
在当前数据成为国家治理重要工具的背景之下，美国政府对于数据的重视程度进一步提升。
《联邦数据战略》包含两部分内容，一是描述美国联邦政府未来10年的战略愿景，二是美欧发布数据战略对我国的启示All Rights Reserved.提出2020年的具体行动。
1联邦政府未来10年的数据愿景（）核心目标是将数据作为战略资源开发此次的《联邦数据战略》确立了一致的数据基础设施和标准实践，对于数据的聚焦点从“技术”转移到“资产”。
《联邦数据战略》指出，如果联邦政府不能有效发挥其作为数据提供者和数据使用者的角色，那么将难以履行服务公众的角色。
（2）确立了政府机构如何使用联邦数据的长期框架《联邦数据战略》由使命、原则、实践三部分内容构成，并针对各项实践提出具体行动，从多个层面打造有序、高效的数据治理文化。
《联邦数据战略》计划有望从根本上改变联邦政府管理数据和使用数据的方式。
（3）从国家层面营造数据驱动的文化氛围《联邦数据战略》确立了40项数据管理的具体实践，分为三个层面：第一，重视数据并促进共享，如通过数据指导决策、促进各机构间数据流通等；第二，保护数据，如保护数据的真实性、完整性和安全性；第三，有效使用数据，如增强数据分析能力、促进数据访问形式多样化等。
“人工智能+”助力新质生产力
“人工智能+”助力新质生产力作者：王志琴来源：《中国新时代》2024年第05期“人工智能+”上升为一种行动，意味着我国正加强顶层设计，加快形成以人工智能为引擎的新质生产力。
医学设备智能出具检查报告、智能系统30秒内生成未来10天逐6小时全球天气预报、农田里的机器自动灌溉施肥……这些充满科技感的场景背后，都离不开这样一项技术——人工智能。
作为新一轮科技革命和产业变革的重要驱动力量，人工智能近年来在我国实现了快速发展。
2024政府工作报告首次提到“人工智能+”这个概念——“深化大数据、人工智能等研发应用，开展‘人工智能+’行动，打造具有国际竞争力的数字产业集群”。
与人工智能相关，政府工作报告强调，“适度超前建设数字基础设施，加快形成全国一体化算力体系”，体现了对数字经济发展的积极引导。
一个小小的“+”号，后面是无限的可能。
这代表着人工智能技术作为一种基础设施，将深度赋能实体经济，与各行各业相融合，进一步塑造发展的新动能、新优势，将新技术转化为新质生产力。
从人工智能到“人工智能+”人工智能（ArtificialIntelligence，简称AI），是指研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
人工智能可以理解为是用机器不断感知、模拟人类的思维过程，使机器达到甚至超越人类的智能。
人工智能被视为是新工业革命的催生者，科研领域的“皇冠明珠”。
2017年3月，人工智能首次被写入政府工作报告，预示着人工智能的发展篇章被正式翻开。
同年7月8日，《国务院关于印发新一代人工智能发展规划的通知》进一步明确了我国新一代人工智能发展的战略目标和重点任务。
2024年3月5日，李强总理在作政府工作报告时强调“大力推进现代化产业体系建设，加快发展新质生产力”“深化大数据、人工智能等研发应用，开展‘人工智能+’行动……”。
在政府工作报告中，从重视发展人工智能技术到提出“人工智能+”行动，人工智能在我国推进数字经济创新发展中扮演的角色正发生转变。
关键技术环节不断完善我国企业还需找准方向重点突破
关键技术环节不断完善
我国企业还需找准方向重点突破
■工信部电信研究院通信标准研究所魏凯“大数据”是未来影响各行业发展的最受瞩目的技术之一。
作为一种战略资源，大数据的
图1大数据公认的三个特征
———
每18个月全球新增信息量是之前全部信息量的总和（Jim Gray ）———数据量从TB 量级到PB 量级
———数据实时产生，要求高速采集、存储于处理
———交易、传感等数据需要实时分析而非批量分析———数据分析结果要求立竿见影而非事后见效
———大数据的异构和多样性，非结构化占80-90%———很多不同形式（文本、图像、视频、机器数据）
———无模式或者模式不明显，
不连贯的语法或句义体量Volume
多样性Variety
速度Velocity
图2谷歌的公共数据浏览器示例
期望寿命
生育率（%）10
98765432120
30
40
50
9080
70
60
2011（
一张图上，并可通过动画直观地展示出来。
图中比较大的两个点是印
淘宝也在做数据可视化。
它用图形展示出买家购物的流向，比
图3美国河流可视化
图4美国风图
要提高技术创新水平，尚需提炼重点突破的技术方向。
WT
理念是用数据来解决工业方面的。
中国通信标准化协会
ＣＣＳＡ首次成功举办“ｏｎｅＭ２Ｍ行业日”活动为了促进ICT行业与物联网应用行业的深度合作，推动物联网行业的发展，同时希望oneM2M能够倾听各行业的诉求，为各行业的发展提供更好的服务和支撑，oneM2M于2017年5月24日在深圳举行了首次“oneM2M行业日（oneM2M Industry Day）”活动。
此次活动由中国通信标准化协会（CCSA）主办并得到了华为技术有限公司的大力支持。
本次活动吸引了来自ICT、电力、交通、智能家居、汽车等领域的100余位国内外专家参与。
CCSA杨泽民秘书长在活动开幕式上致辞指出：“作为oneM2M的伙伴，CCSA欢迎来自其他行业和组织的专家参与本次活动。
中国对于整个ICT行业来说不仅是一个巨大的市场，还是一个巨大的制造基地，更是一个研发和技术创新的基地。
ICT行业技术快速发展，已经步入IoT/ M2M阶段，将服务于各大工业和行业。
通过今天的活动我们将了解国内外其他行业“大生意”的需求，探讨共赢的合作模式。
”来自电力、交通、汽车、智能家居等不同垂直行业以及标准开源组织的专家介绍了各行业当前的发展热点、IoT发展面临的挑战、对IoT平台的需求，并通过开放式的专题讨论邀请了产业链各环节代表做了深入的意见交换与观点碰撞。
“Industry Day活动是oneM2M发展中的重要一步，活动汇聚了各行各业关于oneM2M工作以及如何适应M2M/IoT领域中其他技术的意见。
”来自华为云核心网标准部门的高级总监Rouzbeh Farhoumand 指出，“活动为垂直行业的代表提供了一个表达他们对oneM2M的建议和需求的绝佳机会，非oneM2M会员也可以通过这个机会参与相关议题讨论，就标准如何重要以及标准如何推动行业发展分享他们的观点”。
从本次会议的主题演讲和专题讨论内容来看，oneM2M作为目前最为成熟的全球化开放物联网业务中间件标准体系，凭借其灵活的架构、丰富的API、多协议/网络接入能力和多样化的互联互通能力，可广泛应用于各垂直行业领域，以及跨领域的互操作场景。
全业务数据中心数据中台试点建设可行性研究报告
全业务数据中心数据中台试点建设可行性研究报告目录一、内容描述 (2)1. 研究背景与意义 (3)2. 研究目的与范围 (3)3. 研究方法与数据来源 (4)二、相关理论与实践综述 (5)1. 数据中心发展趋势 (7)2. 数据中台理论框架 (8)3. 国内外企业实践案例分析 (10)三、全业务数据中心数据中台试点建设需求分析 (11)1. 企业业务现状与痛点 (12)2. 数据需求分析 (13)3. 技术需求分析 (15)4. 运营需求分析 (17)四、全业务数据中心数据中台试点建设方案设计 (18)1. 总体架构设计 (19)2. 数据处理流程设计 (21)3. 数据中心规划与布局 (22)4. 数据中台功能模块设计 (23)5. 安全与隐私保护策略 (26)五、全业务数据中心数据中台试点建设可行性分析 (27)1. 技术可行性分析 (29)2. 经济可行性分析 (30)3. 社会效益可行性分析 (32)4. 风险评估与应对措施 (33)六、试点建设实施计划与建议 (34)1. 实施步骤与时间安排 (36)2. 资源保障与配置计划 (37)3. 试点目标与预期成果 (38)4. 试点建设过程中的关键问题与解决建议 (40)七、结论与展望 (41)1. 研究结论总结 (42)2. 对未来发展的展望 (44)3. 建议与意见征集 (45)一、内容描述本报告旨在对全业务数据中心数据中台试点建设的可行性进行全面深入的研究和分析。
随着信息技术的飞速发展，企业对于数据资源的依赖程度日益增强，数据已成为企业核心竞争力的重要组成部分。
为了更好地应对这一挑战，我们提出了在全业务数据中心建设数据中台的设想，并希望通过本次试点建设，验证其可行性和有效性，为企业的数字化转型提供有力支撑。
市场需求分析：通过调研企业对于数据资源的需求，分析全业务数据中心数据中台的市场前景和发展潜力。
技术可行性分析：评估当前信息技术的发展水平，探讨全业务数据中心数据中台所需的关键技术及其成熟度，分析技术实现的难易程度。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
180
150
140
100 20
0
数据来源：SINIA、NextGen Storage、BCG等，2015年
金融大数据的主要应用模式
客户 关怀
客户 分群
欺诈 防范
信用 评分ຫໍສະໝຸດ 创新舆情 感知精准 营销
风险 预警
详单 查询
…
改善
影像 存储
报表 升级
61.7%*的人认为提升运营效率是企业大数据应用的最明显效果
多变的/模糊的/离散的稳定的/清晰的/整合的
庞大的市场需求
崛起的厂商群体
在大数据产业崛起的初期，国内有必要也有条件 启动大数据基准测试标准研究
大数据基准测试 Big data benchmarking
Big Data Benchmark
BigdataBench TeraSort BigBench
*数据来源：中国信息通信研究院《中国大数据发展调查报告（2015年）》，2015年5月
数据仓库向分布式迁移
70%
是否将负载从传统数据仓库（如
61% Teradata/Oracle)向分布式架构（Hadoop等）迁
60%
移？
50%
40%
34%
30%
20%
10%
5%
0%
是
否，但计划在未来6个月迁移 否，未来6个月不会迁移
Source: Wikibon Q2 2014 Big Data Survey
金融大数据平台
大数据 应用
大数据 平台
详单查询 分析报表
离线建模
分群/推荐/评分
欺诈检测
NoSQL
(HTTP/REST)
HBase
OLAP（SQL/HQL）
Hive
Mahout
MapReduce
机器学习
（Java/Scala/R/Python）
1.更多用户 参与 电信 金融 政务
交通 工业
2.学术界共 同研究
应用场景与 案例研究
典型场景负载 端到端负载
3.与产业界 紧密互动
标准 开源工具
测试活动 宣传推广
谢谢！
• 交换机：华三48口万兆S5820X交换机
测试负载及数据规模
数据集 Wordcount文本 Naïve Bayes 文本
Kmeans 图 PageRank 图
Hive表 TeraSort
规模 2.8TB 158GB 迭代次数 17次 迭代次数 27次 2.9T(20亿条） 13.6TB
评价的指标
安全
加密 身份认证 权限管理
节点失效 备份恢复
容错
性能
10种典型负载 的吞吐量
部分测试结果
平均值
Hive MapReduce
HBase
负载 Aggregation
集群吞吐率 2,087 MB/s
单节点平均 139 MB/s/Node
TeraSort
1,258 MB/s
84 MB/s/Node
Read
MLlib
Spark SQL
Spark Stream
Spark
流处理
（Java/Python）
Storm
HDFS+YARN
数据源
抽取、加载 HDFS/JDBC/ODBC/FTP/Sqoop/Flume/Kafka…
业务数据
运营据
外部据
金融客户对大数据平台的需求
1. 性能：吞吐量和性价比，软硬件容量估算/选型 2. 易用性：集群部署，管理自动化，自动调优 3. 稳定性：连续48小时高负载 4. 水平扩展能力：是否线性和极限规模 5. 安全性：加密，权限，等级保护 6. 灾备能力：业务连续性和监管合规 7. 容错能力：节点失效与数据恢复 8. 多租户：混合负载与隔离效果 9. 接口支持：SQL\jdbc\odbc\java\R\Scala\Python
金融大数据平台与及其测试
魏凯 中国信息通信研究院/数据中心联盟 2015.7.30
提纲
• 金融大数据平台技术需求 • 大数据平台测试
金融业是数据密集行业
900
820
800
760
每100万美元收入的数据用量（GB）
700
650
600
490
500
460
400
300
300
200
230
220
220
200
科技有限公司、星环科技、中国电信
被测对象、测试负载和数据
测试数据
表
表
文本、图
测试负载 10个
Join Aggregation
Read Write Scan
TeraSort PageRank Wordcount
K-means Naïve Bayes
测试对象 SQL数据仓库
NoSQL数据库
MapReduce引擎
《大数据平台基准测试 第二部分：测试方法》
——10个测试用例，条件、流程、方法
中国信息通信研究院、中国科学院计算技术研究所、华为技术有限公司、中国移动通信集团公司、英特尔 （中国）有限公司、微软（中国）有限公司、IBM中集团有限公司、中兴通讯股份有限公司、世纪互联、上海优刻得信息
YCSB
LDBC
GridMix
PigMix
HiBench
TPC-DS
TPC-xHS
非标准、特定场景、产品偏向、非广泛认可…
大数据基准测试规范准制定
数据中心联盟大数据工作组 2014年6月启动，四次会议讨论 2015年1月28日，发布征求意见稿
《大数据平台基准测试 第一部分：技术要求》
——方法论、负载和数据需求、指标
71,7108 ops/s 7,1710 ops/s/Node
下一步标准规划
1. 总则 2. 基础测试规范
I. 性能 a. OLAP b. NoSQL c. ML d. Stream e. OLTP
II. 功能 a. 安全 b. 运维
3. 行业测试规范 I. 金融 II. 电信 III. 电网
大数据大数据技术和应用发展
全球首次标准化测试活动
.
. . . .
16台戴尔R730服务器
.....
华三S5820X 万兆交换机
• 测试环境（中国信息通信研究院实验室）
• 服务器：戴尔R730*16台 • CPU：2*英特尔至强 E5-2620 v3 2.4GHz,15M 缓存 • 内存4*16GB RDIMM, 2133 MT/s • 硬盘10*1.2TB 10K RPM SAS 6Gbps 2.5英寸 热插拔硬盘 • 网卡是2口万兆网卡
提纲
• 金融大数据平台技术需求 • 大数据平台测试
基准测试是不可或缺的标尺
开发
代表性、公平、可重复、成本低
研究
基准测试
选型
典型案例：
--计算机SPEC基准
1988年
如：SPEC CPU 2006
运维
调优
--数据库TPC基准
1988年
如：tpmC
对接需求与供给的桥梁
需求@用户
产品@供应商
共同定义基准测试