2018年江苏省高等职业院校技能大赛大数据技术与应用赛项竞赛规程

2018年江苏省高等职业院校技能大赛大数据技术与应用赛项竞赛规程

2018年江苏省高等职业院校技能大赛

大数据技术与应用赛项竞赛规程

一、赛项名称

大数据技术与应用

二、竞赛目的

本赛项的设置，是为适应大数据开发应用产业对高素质技术技能型人才的职业需求，赛项选取典型的大数据应用业务分析应用场景，重点检验参赛选手掌握大数据业务分析方法和数据分析能力、运用大数据平台及相关工具软件解决具体业务问题的能力，激发学生对大数据知识和技术的学习兴趣，提升学生职业素养和职业技能，展示职教改革成果及参赛师生良好精神风貌。

通过举办本赛项，可以搭建校企合作的平台，提升高职电子信息类及相关专业毕业生能力素质，满足企业用人需求，促进校企合作协同育人，对接产业发展，实现行业资源、企业资源与教学资源的有机融合，使高职院校在专业建设、课程建设、人才培养方案和人才培养模式等方面，跟踪社会发展的最新需要，缩小人才培养与行业需求差距，引领职业院校专业建设与课程改革。

三、竞赛内容

赛项以大数据技术与应用为核心内容和工作基础，重点考察参赛选手在Hadoop平台环境下，对于大规模并行数据处理以及内存计算技术的应用能力。具体包括：

1. 掌握Hadoop平台环境部署与基本配置，了解基于大数据计算平台的常见应用；

2.综合利用numpy、pandas、matplotlib、scikit 模块和MapReduce技术、分布式存储系统HDFS、分布式计算框架MapReduce/Yarn、数据仓库Hive、Python 等开发语言工具和技术，匹配和连接数据源，实现大数据的采集，提取、清洗、转换、分析、挖掘操作，产生分析结果，并且实现可视化呈现。

3.依据项目应用需求和分析结果，完成数据分析报告的编写。

4.竞赛时间4小时，竞赛连续进行。

参赛选手不得自带硬件设备、软件、移动存储、辅助工具、移动通信等进入竞赛现场。

（三）参赛队自行决定选手分工、工作程序和时间安排。

（四）所有参赛选手都必须携带参赛证件进行检录。参赛证件不包含身份证和学生证。

（五）参赛队在赛前10分钟进入竞赛工位并领取竞赛任务，竞赛正式开始后方可展开相关工作。参赛选手迟到超过竞赛时间一半不得入场。

（六）竞赛过程中，选手须严格遵守操作规程，确保人身及设备安全，并接受裁判员的监督和警示。如遇到设备或软件等故障，参赛选手应当举手示意；现场裁判应及时予以解决。如确因计算机软件或硬件故障，致使操作无法继续的，由现场裁判协同技术支持人员共同解决。

（七）若因选手因素造成设备故障或损坏，无法继续竞赛的，由现场裁判报告裁判长。裁判长有权决定中止该队竞赛；若因非参赛选手个人因素造成设备故障，由裁判长视具体情况做出裁决。

（八）竞赛结束或提前完成后，参赛队要确认已成功提交所有竞赛文档，由参赛队队长签字（签工位号）确认，参赛队在确认后不得再进行任何操作。

（九）竞赛结束或提前完成后，参赛队要确认已成功提交所有竞赛文档，由参赛队队长签字（签工位号）确认，参赛队在确认后不得再进行任何操作，经现场裁判确认后方可离开赛场

（十）成绩评定评分方法分为现场评分和结果评分，经裁判长、监督人员签字确认后予以公布。

（十一）竞赛过程不安排现场观摩。

（十二）其它未尽事宜，将在赛前向各领队做详细说明。

七、竞赛环境

1.竞赛场地。竞赛场地分为：竞赛现场、裁判员休息区、指导老师休息区、服务区。其中，竞赛现场又划分为：检录区、场内竞赛区、技术支持区。以上区域应保证良好的采光、照明和通风；

2.竞赛设备。场内竞赛区按照参赛队数量准备比赛所需的软硬件平台，为参赛队提供统一竞赛设备和备用设备。选手无需自带任何工具及附件。

3.竞赛工位。竞赛现场各个工作区配备单相220V/3A以上交流电源。每个

比赛工位上标明编号。

4.技术支持区。为技术支持人员提供固定工位、电源保障。

5.服务区。提供医疗等服务保障。

6.竞赛场地应符合消防安全规定，应急照明设施状态合格，赛场明显位置张贴紧急疏散图，赛场出入口专人负责。现场临时用电满足《施工现场临时用电安全技术规范》JGJ46-2005的要求。

八、技术规范

竞赛项目基础标准（见表2）和软件开发标准（见表3）如下：

（一）基础标准

标准内容

GB/T 11457-2006 信息技术、软件工程术语

GB8566-88 计算机软件开发规范

GB/T 12991-2008 信息技术数据库语言SQL第1部分：框架

20120567-T-469 信息技术云数据存储和管理第1部分：总则

20120568-T-469 信息技术云数据存储和管理第2部分：基于对象的云存储应用接口

GB/T 21025-2007 XML使用指南

GB/T 20009-2005 信息安全技术数据库管理系统安全评估准则已发布GB/T 20273-2006 信息安全技术数据库管理系统安全技术要求20100383-T-469 信息技术安全技术信息安全管理体系实施指南

标准内容

GB/T 8566 -2001 信息技术软件生存周期过程

GB/T 15853 -1995 软件支持环境

GB/T 14079 -1993 软件维护指南

GB/T 17544-1998 信息技术软件包质量要求和测试

（一）竞赛设备

设备类别数量设备用途基本配置

服务器1台。内嵌大数据实训管理系

统，提供大数据竞赛。

PC服务器

客户端每支参赛队伍3台。竞赛选手比赛使用。性能相当于

根据参赛团队数量，配备10%的备份机器。2.0GHZ处理器，4G以上内存，显示器要求1024*768以上

设备类别软件类别软件名称服务端竞赛系统运行操作系统Centos7.0

客户端桌面操作系统Windows7

虚拟环境Virtualbox 5.1

虚拟操作系统Ubuntu 14.04 LTS

大数据平台软件Hadoop 2.7.1

开发语言Python2.7.12

数据分析工具Pandas 0.9.12

Python集成开发环境pycharm-community-2016.3.2 浏览器Chrome/firefox

文档编辑器Office 2007及以上版本

比赛技术平台：《北京四合天地大数据实训管理系统》。

十、成绩评定

评分标准

考核环节考核知识点和技能点分值

Hadoop平台安装

部署Hadoop平台安装部署和基本配置。

15 HDFS常用操作命令（查询文件类别、上传、删除

文件、查询HDFS基本统计信息）。

Hadoop集群的性能调优。

数据抓取规则文件数据和关系型数据库数据抓取以及数据

同步（同Hadoop/Hive数据同步）。

30 掌握Hive数据仓库导入、导出以及同Hadoop数据

文件的转换，实现Hive数据管理常用命令。

能够通过Python编程，使用streaming和

MapReduce机制实现数据的抓取。