大数据技术与应用专业建设

大数据技术与应用专业建设
大数据技术与应用专业建设

大数据技术与应用专业建设

调研报告

自党的十八大以来,我国提出了实施国家大数据战略的重大决策。国务院和相关部门先后印发了《促进大数据发展行动纲要》、《大数据产业发展规划(2016~2020年)》等指导性文件。各部门、各地方高度重视,据不完全统计,我国已有20多个省级地方和10余个部委出台了本地区、本行业大数据发展规划,我国大数据发展已经正式驶入快车道。

2015年9月5日经李克强总理签批,国务院印发《促进大数据发展行动纲要》(以下简称《纲要》),系统指导我国大数据发展的国家顶层设计和总体部署大数据发展工作。《纲要》提出从政府大数据、新兴产业大数据、安全保障体系三个方面着手推进大数据领域十大工程建设,将我国大数据发展推向了另一个制高点。

职业教育服务经济与社会发展,必须紧跟产业发展步伐,随着经济增长方式转变而“动”,跟着产业结构调整升级而“走”,围着企业技能型人才需求而“转”,适应市场的需求而“变”。在大数据技术飞速发展的今天,职业教育必须紧跟大数据产业发展步伐。为了更好地了解相关行业企业对大数据人才的需求,促进大数据技术与应用专业教学及专业建设,大数据技术与应用专业教学资源库建设团队在国内外针对大数据在行业企业的需求开展了调研。

一、调研目的

1、了解大数据行业企业对大数据技术与应用专业人才的需求倾向、人才需求规格预测、就业预测、人才的市场定位等;

2、了解大数据行业企业对大数据技术与应用专业人才培养模式、培养目标的意见,以及对专业知识、岗位分工、职业技能等的要求;

3、了解往届相关专业毕业生在工作单位的表现及用人单位对往届毕业生的工作、岗位能力评价;

4、与相关企业建立校企合作模式,促进教学与社会实践的联系,为大数据技术与应用专业教学资源库的专业建设、课程体系建设及培养模式寻找更完善的发展方向。

二、调研方式

1.问卷调查:印制问卷涵寄或面交,请企业相关人员作答。

2.实地调研:教师到企业和用人单位实地调研。

3.座谈调研:邀请用人单位的技术人员、管理人员到系里开展座谈交流。

4.网上调查:到网上搜索有关人才需求、课程设计、教学计划等信息。

三、国内外大数据发展现状

(一)大数据产业呈现爆炸式增长

由IDC和EMC联合发布的《The Digital Universe of Opportunities : Rich Data and the Increasing Value of Internet of Things》研究报告中指出,2011年全球数据总量已达到1.8ZB,并将以每两年翻一番的速度增长,到2020年,全球数据量将达到40ZB,均摊到每个人身上达到5200GB以上。

图2-1 2014-2020年中国大数据市场规模及增速

在“2017年世界电信和信息化社会日大会”上,工信部总工程师张峰指出,我国的数据总量正在以年均50%的速度持续增长,预计到2020年,我国数据总量在全球占比将达到21%。美国市场研究公司IDC发布的报告称,全球大数据技术和服务市场将在未来几年保持31.7%的年复合增长率,2016年总规模达到238亿美元。

(二)大数据产业应用需求扩张

大数据产业应用包括了政府/公共事业、物流零售、文化娱乐、能源/制造、金融/保险、旅游、IT互联网电信等行业,可以看出大数据已经受到广泛的行业关注。

图2-2 大数据在中国的行业分布

参与大数据调查的行业中,来自能源/制造行业的最多,比例达44.9%,其次是政府与公共事业部,比例为17%,第三则是金融与保险行业,为10.3%。接下来,分别是物流零售(8.7%)、文化娱乐(6.3%)、IT/互联网/电信(5.8%)、旅游(3.36%)。与数据规模的调查数据相对比,我们发现50TB以上的数据容量主要分布在能源/制造(47.8%)、金融/保险(20.5%)与政府/公共事业(15.9%)。

从各个行业对大数据调研的参与程度其实已经可以反映出各行业对大数据的关注程度,能源/制造行业对于市场行情的数据更为敏感,历史的商品行情对于未来的产品设计、风险评估以及市场导向都有较强的参考意义。而随着政府与公共事业的服务意识的强加与转变,以及更智慧的执政与管理理念的带动,对于数据的管理与分析的需求也在日益加强。在金融与保险行业,则是传统的数据量大户,而在新时代更好更快的发现客户金融习惯,将是金融与保险行业未来竞争必须要做的事情。其次,物流零售的数据价值也在日益显现,成为排名第四的参与调查的行业,而新兴的,数据积累(尤其是非结构化数据)历史尚浅的文化娱乐、IT/互联网/电信行业则分列第五和第六。看来大数据已经成为众多行业关注和探讨的话题,其影响力已经覆盖了从传统的制造行业到新型的文化娱乐、IT、互联网行业。

(三)人才供不应求

美国人才招聘市场的数据分析领先者WANTED Analytics和Forbes对来自150个国家的10亿个岗位信息进行了统计,基于“数据分析”、“数据采集”、“数据挖掘”和“数据结构”四项技能的大数据专业人才市场需求分析,在对过去12个月美国就业市场“大数据”相关岗位的分析中发现:需要“大数据”技能的岗位空缺呈现高速增长。

麦肯锡全球研究所(MGI)和麦肯锡商业技术办公室在对医疗、公共、零售、制造业和个人定位等五个领域内详细研究了大数据发展趋势后发布的研究报告

预测:由于大数据的引入,会造成信息分析人才的缺乏,预计到2018年,仅美国就需要14~19万信息分析专业人才以及150万懂得大数据的管理人员和分析师。大数据不仅提高了产业价值,还能够大幅度的拉动就业。

随着各大公司纷纷上马大数据业务,对大数据人才的需要,市场上正处于十分旺盛的阶段。据Gartner预测,全球将新增440万个与大数据相关的工作岗位。大数据的发展也会催生出一些新职业如大数据分析师、首席数据官等,然而人才供给的缺乏正是大数据发展面临的一个瓶颈。目前企业发展大数据已步入初级阶段,不论是拓展大数据业务的百度、阿里、奇虎360等互联网公司,还是专业提供数据服务的大数据服务商,对专业的大数据人才均有较高的需求量。而今年,这一“人才荒”的情况正在愈演愈烈,从一定程度上说,人才匮乏已经成为制约大数据应用产业发展的重要因素。

图2-3 大数据人才市场需求分析

(四)大数据技术与应用专业系统化课程资源匮乏

就目前来看,在互联网上已经拥有了较多的单体资源,例如Java程序设计、MapReduce程序设计、Hadoop体系框架等课程资源非常丰富,但是缺少资源的系统性,很多学习者不知如何去养成职业岗位能力要求。从目前来看,建设一个大数据技术与应用领域的优质资源库,同时为学习者提出科学合理的学习建议,是非常有必要的。

四、典型工作岗位及能力分析

由于我国大数据产品正处于起步阶段,市场对技能型、操作性的人才需求相对较高,从统计数据上看,大数据行业求职者学历与招聘需求出现错位,主要表现为大专的招聘需求高于求职者占比,而硕士以上的需求则正好相反。

目前,大数据相关工作按照专业范围和工作特点大致可分为如下

1)、数据处理类:

该类职位要求对数据存储方式和数据存储结构有一定的理解,了解数据的定义,并且可以通过多种采集方式获取原始数据,按特定要求处理数据。该职位应了解基本的统计学方法,能应用统计学的工具,同时掌握大数据平台的相关操作技术,能将数据处理方法通过大数据平台实现。

对于企业来讲,这部分人群在工作中对专业的熟练程度要求也是非常高的,例如能熟练做出因子分析,聚类等基础技术处理,包括类似的各类数据统计处理技术。完成业务中数据的前期预处理和处理基础工作,提供高质量的数据供数据分析和解读。

2)、大数据运维类:

该类职位要求具备大规模服务器集群的运维能力,同时具备大型数据库运维能力。服务器运维包括维护并确保服务器的可用性,不断优化系统架构、提升部署效率和优化资源利用率等。数据库运维包括具备软件安装、配置优化、数据恢复和迁移、数据库故障排除、预防性巡检等一系列能力。

运维工程师面对的最大挑战是大规模服务器集群的管理问题,如何管理好几十万台服务器上的服务,同时保障服务的高可用性,是运维工程师面临的最大难题。因此,作为运维类工作,特别是大数据级的运维工作,职位要求应该具备扎实的基础知识。包括掌握如Java/Python等至少2种编程语言、熟练掌握常用的算法并能灵活运用、熟悉网络基础知识、深入理解Linux操作系统等。

同时,在大数据环境下,还应该掌握熟悉分布式计算或者存储系统。

3)、大数据技术支持类:

大数据技术支持类包括售前技术支持和售后技术支持。售前技术支持能够在大数据应用系统实施前遇到无法解决的问题时提供技术支持;售后技术支持能够在大数据应用系统部署完成后,为客户提供售后服务,帮助工程师诊断并解决大数据应用系统使用过程中出现的问题。

该类职位需要掌握大规模服务器集群知识,以及大数据相关基础。具体包括掌握至少1门编程语言、掌握Linux操作系统、掌握分布式计算和存储系统等。同时技术支持需要面对客户,应具备一定的沟通和团队协作能力。

校企专家通过对上述典型工作岗位的能力要求分析研讨,形成大数据技术与应用专业岗位职业能力分析表。

表3-4 大数据技术与应用主要工作任务描述

能力要求知识要求技能要求课程

大数据平台运维通过系统监

控、集群配

置等技术手

段,保证大

数据平台能

够长期稳定

的支撑企业

大数据业务

的工作能力

1、掌握计算机基础知识;

2、掌握网络基础知识、

中小型局域网组建和运

维技术;

3、掌握服务器及存储基

础知识,

4、掌握主流操作系统(如

Linux、Windows)

5、掌握主流数据库基础

技术(如oracle、MySQL、

NoSql等)

6、掌握脚本编写方法(如

shell、Python等)

1、能够配置和管

理网络设备,完

成网络搭建

2、能够配置和管

理服务器和存

储,完成相关设

备的维护

3、能够完成操作

系统的安装和配

4、能够完成大数

据平台的日常维

数据处理技

术(Python)

数据库基础

Linux操作

系统

大数据概论

网络技术

大数据平台

构建

大数据安全

管理

Hadoop综合

实训

云计算与虚

拟化

Spark综合

7、掌握Hadoop/Spark相关组件的基础理论知识及运维工具的使用;

8、掌握HDFS、Hbase、hive、yarn等组件的基本操作5、能够使用工具

完成大数据平台

的软硬件平台运

行状态监控

6、能够完成大数

据平台的故障应

急处理

实训

数据预处理通过数据抽

取、整理、

传输、加载、

校验等技术

手段,结合

工具,保证

高效的为大

数据分析提

供高质量的

数据资源的

工作能力

1、掌握计算机基础知识;

2、掌握主流数据库基础

技术(如Oracle、MySQL、

NoSql等)

3、掌握shell脚本编程,

熟悉Java、Python等开

发语言

4、掌握Hadoop/Spark相

关组件的基础理论知识

及运维工具的使用;

1、能够使用工具

从数据源抽取所

需数据

2、能够使用工具

对数据进行指定

操作,如转换、

清洗、校验等

3、能够使用工具

完成数据加载,

如传输、建库、

校验等

4、具备分布式

ETL过程调优能

应用程序开

发基础

(Java)

数据处理技

术(Python)

数据库基础

Hadoop综合

实训

Spark综合

实训

爬虫技术实

云计算与虚

拟化

概率论与数

理统计

数据清洗

大数据平台部署通过综合运

用服务器、

交换机、存

储、虚拟化、

云计算、大

数据等基础

知识,保证

快速、高效

的完成大数

据平台环境

等搭建和部

署的工作能

1、掌握计算机基础知识;

2、掌握网络基础知识、

中小型局域网组建和运

维技术;

3、掌握服务器及存储基

础知识,

4、掌握主流操作系统(如

Linux、Windows)

5、掌握主流数据库基础

技术(如Oracle、MySQL、

NoSql等)

6、了解大数据基础知识

和基本框架

1、能够配置和管

理网络设备,完

成网络搭建

2、能够配置和管

理服务器和存

储,完成相关设

备的维护

3、能够完成操作

系统的安装和配

4、能够完成大数

据平台的搭建、

测试及调优

数据库基础

Linux操作

系统

大数据概论

网络技术

大数据平台

构建

大数据安全

管理

大数据测试

技术

Hadoop综合

实训

Spark综合

实训

云计算与虚

拟化

可视化设计与开发通过数据可

视化报表技

术、商业智

能报表工

具、常用Web

开发框架以

及程序开发

语言,能够

进行可视化

应用的设

计、开发与

展示,直观

的为客户呈

现大数据的

价值

1、掌握主流操作系统(如

Linux、Windows)

2、掌握数据可视化报表

技术,如Echarts、

Highcharts等

3、掌握商业智能报表工

具的设计和使用

4、掌握Web开发框架和

程序开发语言,如PHP、

Java、HTML5、CSS、

JavaScript等

5、掌握数据库相关知识

1、能够使用Web

开发框架进行可

视化应用开发

2、能够根据行业

领域需求进行可

视化设计

3、能够使用BI

工具进行商业智

能报表设计、开

发与展示

应用程序开

发基础

(Java)

数据处理技

术(Python)

数据库基础

大数据概论

数据结构与

算法

软件工程

Web开发技

大数据可视

化技术

大数据分析

技术

流式计算技

术实训

大数据测试

技术

概率论与数

理统计

大数据后台

应用开发实

OLAP数据分

析实战

大数据仓库

与数据挖掘

大数据应用开发通过对大数

据进行分析

处理、结合

软件开发流

程,按照业

务需求完成

大数据应用

开发的相关

软件设计与

实现的工作

能力

1、掌握软件工程和软件

开发基础知识

2、掌握数据库开发基础

知识

3、了解大数据开发平台

4、掌握开发环境的设置

5、掌握HDFS文件存储

操作

6、掌握

MapReduce/Spark编程

7、了解专业领域的数据

分析方法

1、能够搭建好

大数据程序开发

的环境

2、能够根据用

户需求利用开发

语言进行大数据

分析和预处理

3、能够进行大

数据应用程序开

4、能够完成功

能性测试

应用程序开

发基础

(Java)

数据处理技

术(Python)

数据库基础

大数据概论

数据结构与

算法

软件工程

Web开发技

大数据可视

化技术

大数据分析

技术

流式计算技

术实训

大数据测试技术

概率论与数理统计

大数据后台应用开发实战

OLAP数据分析实战

大数据仓库与数据挖掘

大数据售后技术支持具备综合型

的大数据相

关基础知

识,快速故

障分析定

位、基本日

志阅读理解

的能力,结

合项目文

档,对大数

据平台完成

故障排查,

采取相应措

施,保障大

数据平台稳

定高效运行

1、掌握计算机基础知识;

2、掌握网络基础知识、

中小型局域网组建和运

维技术;

3、掌握服务器及存储基

础知识,

4、了解主流操作系统(如

Linux、Windows)

5、了解主流数据库基础

技术(如Oracle、MySQL、

NoSql等)

6、掌握Hadoop/Spark相

关组件的基础理论知识

及运维工具的使用;

7、了解大数据基础知识

和基本框架

8、项目实施文档撰写和

项目管理知识

1、能够熟练使用

Hadoop、Saprk

等大数据组件和

模块的功能

2、可以根据大数

据常见组件安装

部署手册进行系

统部署并解决安

装部署中的基础

问题;

3、能够根据项目

售前技术方案与

客户沟通业务具

体需求,撰写项

目实施方案和测

试方案;

4、具有项目整体

管理能力,能够

进行项目整体规

划、执行、风险

管理、项目验收

等项目管理相关

工作,熟练使用

常见项目管理工

具如project等;

5、了解网络的交

换技术、路由技

术以及出口技术

等,可以完成中

小型网络的规划

与设计;

6、能够熟练使用

Linux、Windows

等常见操作系统

7、能够使用

Oracle、

SqlServer、

MySQL、NoSQL等

主流数据库

数据处理技

术(Python)

数据库基础

Linux操作

系统

大数据概论

网络技术

大数据平台

构建

大数据安全

管理

Hadoop综合

实训

云计算与虚

拟化

Spark综合

实训

大数据文档编写参与产品开

发和项目运

行全过程

中,综合运

用大数据相

关技术知

识,按照正

确格式和行

业要求,完

成大数据产

品和相关项

目文档编写

的综合职业

能力

1、掌握计算机基础知识;

2、掌握网络基础知识、

中小型局域网组建和运

维技术;

3、掌握服务器及存储基

础知识

4、掌握主流操作系统(如

Linux、Windows)

5、掌握主流数据库基础

技术(如Oracle、MySQL、

NoSql等)

6、掌握脚本编写方法(如

shell、Python等)

7、掌握Hadoop/Spark相

关组件的基础理论知识

及运维工具的使用;

8、掌握HDFS、Hbase、

Hive、Yarn等组件的基本

操作

能够按照正确格

式和行业要求书

写文档

数据处理技

术(Python)

数据库基础

大数据概论

软件工程

大数据测试

技术

概率论与数

理统计

大数据系统测试通过大数据

测试工具,

实现对大数

据应用的功

能、性能和

可靠性的测

试,输出测

试文档,辅

助分析并反

馈测试结果

1、掌握主流操作系统,

如Linux、Windows

2、掌握主流数据库基础

技术,如Oracle、Mysql、

Nosql等

3、掌握测试脚本编写方

法,如shell、Python等

4、掌握Hadoop/Spark相

关组件的基础理论知识

5、掌握大数据相关测试

方案及流程

6、熟悉自动化测试工具

的使用,如bigtop、

hibench等

1、能够完成测试

文档编写(如测

试用例、测试报

告等)

2、能够完成测试

脚本编写,协助

开发人员或系统

维护人员完成

bug修复与调优

3、能够使用自动

化测试工具完成

大数据系统相关

测试工作

应用程序开

发基础

(Java)

数据处理技

术(Python)

数据库基础

大数据概论

软件工程

大数据测试

技术

概率论与数

理统计

大数据安全通过数据安

全相关技术

手段和策

略,保证大

数据合理化

1、掌握数据安全理论知

2、掌握主流操作系统和

系统安全保证技能,如

1、能够对数据进

行细粒化授权管

理与配置

2、能够熟练管理

系统认证

应用程序开

发基础

(Java)

大数据概论

网络技术

管控的安全管

理,避免恶

意入侵、伪

装盗取和内

部越权访问

等行为造成

任何数据损

失,全方位

保护大数据

的安全

Linux、Windows

3、掌握HDFS、HBase、

Yarn、Hive等大数据相关

组件的基本操作

4、掌握大数据安全功能

使用,如数据授权、安全

策略制定、统一认证功

能、数据加密、数据审计

kerberos组件和

通过LDAP、AD对

用户进行统一认

证管理

3、能够对大数据

系统进行审计管

4、能够对HDFS

数据、元数据和

其他敏感数据进

行加密操作

5、能够制定和实

施大数据安全策

大数据平台

构建

大数据安全

管理

大数据测试

技术

Hadoop综合

实训

Spark综合

实训

云计算与虚

拟化

五、调研总结

综上所述,市场对大数据人才的需求量日益加大,但是高校的专业培养却供不应求。为了适应大数据产业的快速发展,2016年9月,教育部向普通高等学校、高等职业教育(专科)专业目录增补13个专业,其中就包括大数据技术与应用专业,正式批准“高职”《大数据技术与应用》专业作为《普通高等学校高等职业教育(专科)专业目录 2016 年增补专业》(专业代码:610215)。经过一轮探索后,国家开始加大力度,扩大面积,积极寻找和催生大数据专业人才的培养方式来填补大量人才缺口,但仍不满足需求。

各大高职院校的大数据技术与应用专业均处于起步阶段,人才培养课程体系不够完善,教学科研资源匮乏,专业师资力量不足。因此,建设大数据技术与应用专业教学资源库势在必行。

附件1:

关于大数据技术与应用专业人才培养方案的

调查问卷(院校版)

尊敬的学校领导/老师:

您好!我们现正在进行高职学校大数据技术与应用专业教育教学情况的问卷调研,目的是要通过调研掌握大数据技术与应用专业人才培养的情况,用以指导今后工作,耽搁您一些时间请您填写我们的问卷,希望了解您对这些问题的一些看法和评价。谢谢!

学校名称:

学校联系电话:

一、大数据技术与应用专业相关情况

1.贵校在开办软件技术专业/专业群的过程中遇到过哪些困难?()(可多选),其中最大的困难是()(单选)

A.招生困难; B.实践环节难以开展;C.学生就业困难;D.经费不足;

E.没有困难;

F.其它(请注明);

2. 贵校软件专业/专业群学生学习的积极性表现为()

A. 非常积极;

B. 比较积极;

C. 一般;

D. 不愿学习;

3. 贵校软件专业/专业群学生对未来的就业前景的认识是()

A.非常好;B.比较好;C.一般;D.不理想;

4.贵校认为在大数据技术与应用专业人才培养模式中应重点关注学生()

A.当前就业;

B.升学;

C.兼顾就业和升学;

D.中高职衔接班;

E.多岗迁移就业;

F.职业发展。

5.贵校在校企合作方面学生顶岗实习一般如何安排。

A.校方安排;B.企业安排;C.学生自主选择; D.其他。

6.贵校在校企合作方面学生顶岗实习一般如何安排在什么时间。

A.第五学期;B.第六学期;C.根据学校需要安排;D.根据企业需要安排。

5.贵校认为大数据技术与应用专业学生毕业后主要从事的岗位有()(可多选,请在下表相应位置打√)

岗位大数据

运维师

大数据

处理工

程师

大数据

开发工

程师

云计算

运维工

程师

大数据

广告销

大数据媒体

营销工程师

数据

处理

数据测

试工程

数据安

全控制

二、大数据技术与应用专业学生能力具备的职业能力

请您对表格中所列能力项对大数据技术与应用专业学生未来发展的重要程度作出评判,在相应的内容处打“√”。

序号类别能力项(请写出您认为的)非常重要比较重要一般不重要

1 职业能力

2

专业

能力大数据运维师

3

大数据处理工

程师

4 大数据开发工

序号类别能力项(请写出您认为的)非常重要比较重要一般不重要程师

5

云计算运维工

程师

6

大数据广告销

7 数据处理员

8

数据测试工程

9

其他能力

(请说明)

三、大数据技术与应用专业课程

以下是大数据技术与应用专业的专业课,请您对其重要程度作出评判;此外,以下课程贵校是否都有开设,请在开设的课程后打“√”,未开设的课程可不做重要程度评判。

序号课程非常比较

一般不重要

贵校是否已

开设

重要重要

1 Java程序设计

2 Linux操作系统

3 网络与云计算基础

4 数据库基础

5 大数据导论

6 Hadoop平台配置实训

7 数据建模

8 数据分析

9 项目管理文档编制技巧

10 可视化表达工具

11 Python程序设计

12 数据挖掘基础

13 算法设计基础

14 互联网+创新创业案例分析

15 数据清洗

除以上课程外,贵校还另外开设了或者您认为还需要开设哪些专业课,主要作用(目的)为何?

其它专业课主要作用(目的)1

2

3

四、大数据技术与应用专业及专业群教师对教学资源的获取情况

1.贵校大数据技术与应用专业及专业群建设和教学过程中,最希望得到哪些硬件教学资源?()A.专业实训设备; B. 图书资料; C 参考文献;D. 场地。

2. 贵校软件技术应用专业及专业群教师希望获取哪些基本教学资源()

A.教材;B. 电子教案;C.题库;D. 学生实训手册;E. 教学大纲;F. 其他。

3. 贵校大数据技术与应用专业及专业群教师想获取哪些辅助教学资源()A.教学软件;B. 视频;C. 案例;D. 动画;E.微课件;F.其他。

五、大数据技术与应用专业及专业群教师在自身提高方面的情况

1. 贵校大数据技术与应用专业及专业群教学中的最大困难是什么?()

A 教学资源不足

B 缺少指导教师

C 学生学习兴趣不足

D 其它

2. 目前大数据技术与应用专业及专业群教师提高自身专业水平的途径主要()A.学历教育深造;B.自发科研活动;C.参加学术会议;D.参与企业实践;E.学校组织科研活动;F.参加培训班;G.各类资格考试;H.国内外校际访问交流;I.到企业挂职。

3. 将来贵校大数据技术与应用专业及专业群教师应如何提高自身专业水平()A.学历教育深造;B.自发科研活动;C.参加学术会议;D.参与企业实践;E.学校组织科研活动;F.参加培训班;G.各类资格考试;H.国内外校际访问交流;I.到企业挂职。

4. 目前贵校大数据技术与应用专业及专业群教师认为最需提高自己的是()A.教学方法; B.专业知识; C.职称; D.专业技能。

六、以下是贵校教学模式方面的情况,请填写。

1、目前贵校在教学中,是否使用过以下的教学方法:(单选)

(1)演示法经常用□B偶尔用□没用过□(2)讲授法经常用□B偶尔用□没用过□(3)任务驱动教学法经常用□B偶尔用□没用过□(4)多媒体教学法经常用□B偶尔用□没用过□(5)实训操作教学法经常用□B偶尔用□没用过□(6)启发式教学法经常用□B偶尔用□没用过□(7)案例教学法经常用□B偶尔用□没用过□(8)项目教学法经常用□B偶尔用□没用过□(9)情境教学法经常用□B偶尔用□没用过□(10)自学辅导法经常用□B偶尔用□没用过□

2、从各类教学方法的课堂效果来看,哪种教学方法较受学生欢迎:(最多选五项)演示法□实训操作教学法□项目教学法□多媒体教学法□情境教学法□讲授法□任务驱动教学法□案例教学法□启发式教学法□自学辅导法□3.贵校软件技术专业老师是否尝试运用新型教学模式:(单选)

一直在尝试摸索(尝试的是教学模式)□;公开课时有所尝试□

已有构思,暂未实施□;未考虑过□

4.贵校教学模式对学生学习效果如何()(单选)

(1)对专业知识很有效□;较有效□;一般□;效果较小□;无效果□

(2)对专业技能很有效□;较有效□;一般□;效果较小□;无效果□

(3)对职业道德很有效□;较有效□;一般□;效果较小□;无效果□

(4)对综合能力很有效□;较有效□;一般□;效果较小□;无效果□

七、以下是贵校评价模式方面的情况,请填写。

1、目前贵校软件技术专业教育教学主要采用的评价方式有哪些()(最多选五项)

纸笔考试或考查□;德育考核□;作业、作品实践考核□;观察记录□;课堂表现□;实训考试或考查□;档案袋评价□;企业对学生实习的反馈□;其他。

2、贵校目前的评价模式能否激发学生的学习激情和动力()(单选)

总是□;经常□;一般□;极少□;不能□

3、你认为有效的评价模式对促进学生专业学习的效果如何()(单选)

非常有用□;比较有用□;一般□;不太有用□;没有用□。

4、在软件技术专业教育教学中,你认为学生表现的评价主体应包括哪些()(最多选三项)

教师评价□;学生自评□;小组互评□;行业评价□;企业评价□;家长评价□;其他

5、贵校现在常使用的教学评价内容侧重的是_________(可以多选)

专业知识□;专业技能□;职业素质□;综合能力□;□其他____________

6、贵校在教学评价中曾对哪些方面进行改革(可以多选)

评价方法□;评价主体□;评价对象□;其他__________

7、贵校在教学评价改革中,哪方面的改革最有效(单选)

评价方法□;评价主体□;评价对象□;其他__________

8、你认为在目前的软件技术专业教育教学评价中最有待改进的是()(最多选三项)

大数据应用技术课程介绍

大数据应用技术网络课程 1课程目标 通过讲解几种主流大数据产品和技术的特性、实现原理和应用方向,并组织实习项目,使学员了解并初步掌握目前流行的大数据主流技术(采集、存储、挖掘等),了解其特点以及使用的场景,具备一定的大数据系统架构能力,并能自行开展简单的大数据应用开发。 2课程内容 本次课程讲解的大数据产品和技术包括:hadoop、storm、flume等,其中以hadoop为主要培训内容。 3培训课程列表 1.hadoop生态系统 (1)HDFS (2课时) (2)MapReduce2 (2课时) (3)Hive (1课时) (4)HBase (2课时) (5)Sqoop (1课时) (6)Impala (1课时) (7)Spark (4课时) 2.Storm流计算(2课时) 3.Flume分布式数据处理(2课时) 4.Redis内存数据库(1课时) 5.ZooKeeper (1课时) 4培训方式 学员以观看录像、视频会议等方式进行学习,搭建集中环境供大家实习,并设置作业和答疑环节。每周视频课程约2个课时,作业和实习时间约需2-3小时,课程持续10周左右。

5课程内容简介 大数据技术在近两年发展迅速,从之前的格网计算、MPP逐步发展到现在,大数据技术发展为3个主要技术领域:大数据存储、离线大数据分析、在线大数据处理,在各自领域内,涌现出很多流行的产品和框架。 大数据存储 HDFS、HBase 离线大数据分析 MapReduce、Hive 在线大数据处理 Impala、Storm(流处理)、Spark、Redis(内存数据库)、HBase 数据采集 Flume等 辅助工具 Zookeeper等 5.1Hadoop 1)HDFS 介绍: Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同 时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的 系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大 规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系统 数据的目的。HDFS是Apache Hadoop Core项目的一部分。 培训内容: HDFS设计的思路 HDFS的模块组成(NameNode、DataNode) HADOOP Core的安装 HDFS参数含义及配置 HDFS文件访问方式 培训目标: 使学员掌握HDFS这个HADOOP基础套件的原理、安装方式、配置方法等2)MAPREDUCE 介绍: MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(归约)",和它们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会

大数据的概念、技术及应用

大数据的概念、技术及应用1 概述 1.1 大数据的概念和特点 1.1.1 大数据的基础 1.1.2 大数据如何“与时俱进”? 1.1.3 大数据发展趋势 人工智能 物联网结合 各个行业的深入 1.2 大数据的技术基础 1.2.1 从数据仓库开始 1.2.2 HADOOP 生态圈 1.2.3 与云计算的关系 1.2.4 数据运维能力提升 1.3 大数据的应用举例 1.3.1 大数据提升客户分析能力 1.3.2 大数据提升产品分析能力 1.3.3 大数据提升管理水平 1.3.4 大数据提升各行业“智慧” 1.4 大数据下的人工智能(AI) 1.4.1 什么是人工智能

1.4.2 人工智能改变哪些行业? 1.4.3 大数据下的人工智能有何不同? 1.4.4 人工智能的“颠覆” 1.5 大数据如何精细化管理 1.5.1 量化管理的引出 1.5.2 大数据如何提升“量化”的维度和深度1.5.3 从艺术到技术 1.5.4 自动驾驶到自动管理? 1.6 电信企业的大数据“商机” 1.6.1 从网络运营到数据运营 1.6.2 提炼“内功” 1.6.3 提升外部管理能力 1.6.4 扩展增值产品运营市场 2 大数据的行业解决方案应用案例 2.1 基础应用范围 2.2 石油行业应用案例 2.3 交通行业应用案例 2.4 旅游行业应用案例 2.5 金融行业应用案例 2.6 电信行业应用案例 2.7 互联网行业应用案例等

3 大数据技术基础 3.1 从数据仓库开始 3.1.1 数据仓库的“集中” 3.1.2 数据仓库的模型标准化3.1.3 大数据的演进 3.2 HADOOP 生态圈 3.2.1 开源社区概述 3.2.2 开源改变了什么?3.2.3 HADOOP 生态圈内容3.2.4 HADOOP 的技术原则3.2.5 HADOOP 的运维3.3 HADOOP 基础 3.3.1 HDFS 的原理 3.3.2 MAP/REDUCE 原理3.3.3 YARN 原理 3.4 HIVE/HBASE 技术 3.4.1 HIVE 的原理 3.4.2 HBASE 的原理 3.4.3 两者的关系 3.5 SPARK 技术 3.5.1 基本原理

大数据技术与应用基础教学大纲

大数据技术与应用基础》教学大纲 时:60 码: 适用专业: 定: 核: 准: 、课程的地位、性质和任务 大数据技术的发展,已被列为国家重大发展战略。而在过去的几年里,无论是聚焦大数据发展的《促进大数据发展行动纲要》,还是《“十三五”规划》中都深刻体现了政府对大数据产业和应用发展的重视。目前国内大数据发展还处于加速期、转型期,数据与传统产业的融合还处于起步阶段,各行业对大数据分析和挖掘的应用还不理想。但随着市场竞争的加剧,各行业对大数据技术研究的热情越来越高,在未来几年,各领域的数据分析都将大规模应用。 本课程在注重大数据时代应用环境前提下,考虑大数据处理分析需求多样复杂的基本情况,从初学者角度出发,以轻量级理论、丰富的实例对比性地介绍大数据常用计算模式

的各种系统和工具。考虑到当前大数据发展处于起步并逐步赶超先进的阶段,其应用领域 丰富广泛,在教学过程中应注重掌握大数据分析的实践操作。本课程通过丰富简单易上手 的实例,让学生能够切实体会和掌握各种类型工具的特点和应用。 、课程教学基本要求 1 . 了解大数据的发展和基本概念,理解并掌握大数据的特征及主要技术层面。 2 . 掌握Scrapy 环境的搭建,了解网络爬虫获取数据的过程,熟悉爬虫项目的创建。 3 . 深刻了解hadoop的基础理论,理解并掌握Hadoop单机及集群环境的部署方法。 4 . 掌握HDFS的基本概念和HDFS在hadoop中的作用,理解并识记HDFS勺使用,了解 HDFS的JAVA API接口及数据流原理;让学生明白Map过程与Reduce过程这两个独立部分各自的原理及合作途径,知道如何独立编写满足自己需求的Map Reduces序。 5.理解HBase中涉及的基本概念,掌握HBase的简单应用;让学生了解数据仓库的基 础概念,熟悉Hive与HDFS Map Reduced接的关心。 6.熟悉Spark和RDM基本概念,熟悉spark接口的使用,解决实战时的步骤及思路。 7.明白Hadoop和Storm之间的差别,掌握对Storm的使用。理解Apex的工作过程并能简单应用。 8. 了解Druid 的基本概念、应用场景以及集群架构,掌握批量数据加载、流数据加载 的操作。了解Flink 的重要概念和基本架构,掌握Flink 简单的使用实例。

计算机网络技术专业大数据应用方向

计算机网络技术专业(大数据应用方向) 人才培养方案 一、专业名称与代码 (一)专业名称:计算机网络技术(大数据应用方向) (二)专业代码:610202 二、入学要求 高中阶段教育毕业生或具有同等学力者。 三、修业年限 全日制3年。实行弹性学制,学生可通过学分认定、积累、转换等办法,在2-6年内完成学业。 四、职业面向 五、培养目标及培养规格 (一)培养目标 培养思想政治坚定、德技并修、全面发展,适应区域经济建设和社会发展各产业领域岗位需要,具有良好的职业素质,掌握大数据系统运维、大数据采集与处理、Python大数据分析、数据可视化等方向等知识和技术技能,面向大数据应用领域的高素质技术技能人才。 (二)培养规格 1.素质 (1)具有正确的世界观、人生观、价值观; (2)崇尚宪法、遵守法律、遵规守纪;具有社会责任感和参与意识;

(3)具有良好的职业道德和职业素养; (4)崇德向善、诚实守信、爱岗敬业,具有精益求精的工匠精神; (5)尊重劳动、热爱劳动,具有较强的实践能力; (6)具有质量意识、绿色环保意识、安全意识、信息素养、创新精神; (7)具有较强的集体意识和团队合作精神,能够进行有效的人际沟通和协作,与社会、自然和谐共处; (8)具有职业生涯规划意识; (9)具有良好的身心素质和人文素养; (10)具有良好的生活习惯、行为习惯和自我管理能力。 2.知识 (1)计算机及网络系统的维护和管理的知识; (2)云计算与大数据环境的配置与运维的知识; (3)中小型数据库的安装、配置、维护、管理的知识; (4)数据采集、清洗、分析、存储各阶段的系统配置和程序开发技术; (5)WEB系统开发、数据可视化WEB图表知识; (6)网站前台界面设计与与制作以及模板设计与开发; (7)具有技术推广和用户支持所需要的市场营销和人际交往知识。 3.能力 具有包括口语和书面表达能力,解决实际问题的能力,终身学习能力,信息技术应用能力,独立思考、逻辑推理、信息加工能力等。 (1)具有计算机及网络操作与应用能力; (2)具有大数据操作与应用能力; (3)具有一定的中小型大数据项目运维及管理能力; (4)具有较强的数据分析及故障排错检测的能力; (5)具有一定的大数据项目招投标能力; (6)具有较强的中小型大数据项目预、决算能力; (7)具有一定的大数据项目招标、投标、签订合同的能力; (8)具有编写大数据相关技术文档和管理相关技术文档的能力; (9)具有较强Hadoop 技术框架操作以及程序设计能力; (10)能够对数据进行常规的统计分析、报表分析能力。 六、典型工作任务与职业能力 215 / 13

大数据技术与应用专业详细解读

大数据技术与应用专业详细解读 大数据技术与应用专业是新兴的“互联网+”专业,大数据技术与应用专业将大数据分析挖掘与处理、移动开发与架构、人软件开发、云计算等前沿技术相结合,并引入企业真实项目演练,依托产学界的雄厚师资,旨在培养适应新形势,具有最新思维和技能的“高层次、实用型、国际化”的复合型大数据专业人才。 专业背景 近几年来,互联网行业发展风起云涌,而移动互联网、电子商务、物联网以及社交媒体的快速发展更促使我们快速进入了大数据时代。截止到目前,人们日常生活中的数据量已经从TB(1024GB=1TB)级别一跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别,数据将逐渐成为重要的生产因素,人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。大数据时代,专业的大数据人才必将成为人才市场上的香饽饽。当下,大数据从业人员的两个主要趋势是:1、大数据领域从业人员的薪资将继续增长;2、大数据人才供不应求。 图示说明:2012-2020年全球数据产生量预测 专业发展现状 填补大数据技术与应用专业人才巨大缺口的最有效办法无疑还需要依托众多的高等院校来培养输送,但互联网发展一日千里,大数据技术、手段日新月异,企业所需要的非常接地气的人才培养对于传统以培养学术型、科研型人才为主要使命的高校来说还真有些难度。幸好这个问题已经被全社会关注,政府更是一再提倡产教融合、校企合作来创办新型前沿几

乎以及“互联网+”专业方向,也已经有一些企业大胆开始了这方面的创新步伐。据我了解,慧科教育就是一家最早尝试高校校企合作的企业,其率先联合各大高校最早开设了互联网营销,这也是它们的优势专业,后来慧科教育集团又先后和北京航空航天大学、对外经济贸易大学、贵州大学、华南理工大学、宜春学院、广东开放大学等高校在硕、本、专各个层次开设了大数据专业方向,在课程体系研发、教学授课及实训实习环节均有来自BAT以及各大行业企业一线的技术大拿参与,所培养人才能够很好地满足企业用人需求。 专业示例 笔者在对慧科教育的大数据技术与应用专业做了专门研究,共享一些主要特色给大家参考: 1.培养模式 采用校企联合模式,校企双方(即慧科教育集团和合作校方)发挥各自优势,在最大限度保证院校办学特色及专业课程设置的前提下,植入相应前沿科技及特色人才岗位需求的企业课程。 2.课程体系 笔者对慧科教育的大数据技术与应用做了专门研究,现分享一下慧科专业共建的课程给大家参考。慧科教育集团的专业课程重在培养学生的理论知识和动手实践能力,学生在完成每个学期的理论学习后,至少有两个企业项目实战跟进,让学生在项目中应用各类大数据技术,训练大数据思路和实践步骤,做到理论与实践的充分结合。 大数据专业的课程体系包括专业基础课、专业核心课、大数据架构设计、企业综合实训等四个部分。

大数据分析技术与应用_实验2指导

目录 1实验主题 (1) 2实验目的 (1) 3实验性质 (1) 4实验考核方法 (1) 5实验报告提交日期与方式 (1) 6实验平台 (1) 7实验内容和要求 (1) 8实验指导 (2) 8.2 开启Hadoop所有守护进程 (2) 8.2 搭建Eclipse环境编程实现Wordcount程序 (3) 1.安装Eclipse (3) 2.配置Hadoop-Eclipse-Plugin (3) 3.在Eclipse 中操作HDFS 中的文件 (7) 4.在Eclipse 中创建MapReduce 项目 (8) 5.通过Eclipse 运行MapReduce (13) 6.在Eclipse 中运行MapReduce 程序会遇到的问题 (16)

1实验主题 1、搭建Hadoop、Eclipse编程环境 2、在Eclipse中操作HDFS 3、在Eclipse中运行Wordcount程序 4、参照Wordcount程序,自己编程实现数据去重程序 2实验目的 (1)理解Hadoop、Eclipse编程流程; (2)理解MapReduce架构,以及分布式编程思想; 3实验性质 实验上机内容,必做,作为课堂平时成绩。 4实验考核方法 提交上机实验报告,纸质版。 要求实验报告内容结构清晰、图文并茂。 同学之间实验报告不得相互抄袭。 5实验报告提交日期与方式 要求提交打印版,4月19日(第10周)之前交到软件学院412。 6实验平台 操作系统:Linux Hadoop版本:2.6.0或以上版本 JDK版本:1.6或以上版本 Java IDE:Eclipse 7实验内容和要求 (1)搭建Hadoop、Eclipse编程环境; (2)运行实验指导上提供的Wordcount程序; (3)在Eclipse上面查看HDFS文件目录; (4)在Eclipse上面查看Wordcount程序运行结果; (5)熟悉Hadoop、Eclipse编程流程及思想; 程序设计题,编程实现基于Hadoop的数据去重程序,具体要求如下: 把data1文件和data2文件中相同的数据删除,并输出没有重复的数据,自己动手实现,把代码贴到实验报告的附录里。 设计思路: 数据去重实例的最终目标是让原始数据中出现次数超过一次的数据在输出文件中只出现一次。具体就是Reduce的输入应该以数据作为Key,而对value-list则没有要求。当Reduce 接收到一个时就直接将key复制到输出的key中,并将value设置成空值。在MapReduce流程中,Map的输出 经过shuffle过程聚集成后会被交给Reduce。所以从设计好的Reduce输入可以反推出Map输出的key应为数据,而

大数据技术与应用专业建设

大数据技术与应用专业建设 调研报告 自党的十八大以来,我国提出了实施国家大数据战略的重大决策。国务院和相关部门先后印发了《促进大数据发展行动纲要》、《大数据产业发展规划(2016~2020年)》等指导性文件。各部门、各地方高度重视,据不完全统计,我国已有20多个省级地方和10余个部委出台了本地区、本行业大数据发展规划,我国大数据发展已经正式驶入快车道。 2015年9月5日经李克强总理签批,国务院印发《促进大数据发展行动纲要》(以下简称《纲要》),系统指导我国大数据发展的国家顶层设计和总体部署大数据发展工作。《纲要》提出从政府大数据、新兴产业大数据、安全保障体系三个方面着手推进大数据领域十大工程建设,将我国大数据发展推向了另一个制高点。 职业教育服务经济与社会发展,必须紧跟产业发展步伐,随着经济增长方式转变而“动”,跟着产业结构调整升级而“走”,围着企业技能型人才需求而“转”,适应市场的需求而“变”。在大数据技术飞速发展的今天,职业教育必须紧跟大数据产业发展步伐。为了更好地了解相关行业企业对大数据人才的需求,促进大数据技术与应用专业教学及专业建设,大数据技术与应用专业教学资源库建设团队在国内外针对大数据在行业企业的需求开展了调研。

一、调研目的 1、了解大数据行业企业对大数据技术与应用专业人才的需求倾向、人才需求规格预测、就业预测、人才的市场定位等; 2、了解大数据行业企业对大数据技术与应用专业人才培养模式、培养目标的意见,以及对专业知识、岗位分工、职业技能等的要求; 3、了解往届相关专业毕业生在工作单位的表现及用人单位对往届毕业生的工作、岗位能力评价; 4、与相关企业建立校企合作模式,促进教学与社会实践的联系,为大数据技术与应用专业教学资源库的专业建设、课程体系建设及培养模式寻找更完善的发展方向。 二、调研方式 1.问卷调查:印制问卷涵寄或面交,请企业相关人员作答。 2.实地调研:教师到企业和用人单位实地调研。 3.座谈调研:邀请用人单位的技术人员、管理人员到系里开展座谈交流。 4.网上调查:到网上搜索有关人才需求、课程设计、教学计划等信息。 三、国内外大数据发展现状 (一)大数据产业呈现爆炸式增长 由IDC和EMC联合发布的《The Digital Universe of Opportunities : Rich Data and the Increasing Value of Internet of Things》研究报告中指出,2011年全球数据总量已达到1.8ZB,并将以每两年翻一番的速度增长,

大数据技术及应用.doc

A:2015 年 8 月 31 日:《促进大数据发展行动纲要》B: 2015 年 12 月 29 日:《“互联网+”行动的指导意见》C: 2017 年 7 月 8 日:《新一代人工智能发展规划》D: 2017年4月10日:《云计算发展三年行动计划(2017- 2019 年)》E: 2015 年5 月 8 日:《中国制造2025》 2.【判断题】人工采集效率低、成本高、错误多。自动化采集 靠技术实现,效率高、采集的数据量大。对错 3.【多选题】数据资源向信息、知识、价值转换的流程可以概 括成 5 个环节:()()()()()正确答案:[A,B,C,D] A:数据采集B:数据存储C: 数据处理D: 数据分析与挖掘E: 知识应用 4.【判断题】由于数据采集都是在多点进行的,数据存储也从 传统中央磁盘存储变成分布式云存储。云存储的优点是容量大、 费用低。对错

5.【判断题】数据是所表达的对象或事件的信息的载体,记录 了对象的属性特征。对错 6.【多选题】数据采集可以划分为()和()。 A: 人工采集B:自动化采集 7.【多选题】大数据有 3 个显著的特征: A:数据规模大B:数据变化快C:数据类型复杂 8.【多选题】大数据时代是()()()() 4 大技术领域齐 头并进发展的时代,也可称作“大智移云”时代。 A:大数据B:人工智能C: 移动互联网(或物联网) 云计算

9.【判断题】目前大数据存储的另一趋势是向数据中心集中, 以便于大数据的管理、集成和综合分析。对错 10.【多选题】大数据的产生是由于信息技术及应用的不断发 展和进步的几个阶段: A: 从信息系统应用的发展来看,80 年ERP系统用于企业管理,数据规模在MB;B: 90 年度信息技 术用于客户管理,即CRM 系统,数据规模达到GB 级;C: 2000 年互联网时代的Web技术使企业数据达到TB级;D: 近年来,互联网+物联网在企业中应用使数据达到PB级

大数据技术与应用基础_教学大纲

《大数据技术与应用基础》教学大纲 学时:60 代码: 适用专业: 制定: 审核: 批准: 一、课程的地位、性质和任务 大数据技术的发展,已被列为国家重大发展战略。而在过去的几年里,无论是聚焦大数据发展的《促进大数据发展行动纲要》,还是《“十三五”规划》中都深刻体现了政府对大数据产业和应用发展的重视。目前国内大数据发展还处于加速期、转型期,数据与传统产业的融合还处于起步阶段,各行业对大数据分析和挖掘的应用还不理想。但随着市场竞争的加剧,各行业对大数据技术研究的热情越来越高,在未来几年,各领域的数据分析都将大规模应用。 本课程在注重大数据时代应用环境前提下,考虑大数据处理分析需求多样复杂的基本情况,从初学者角度出发,以轻量级理论、丰富的实例对比性地介绍大数据常用计算模式的各种系统和工具。考虑到当前大数据发展处于起步并逐步赶超先进的阶段,其应用领域丰富广泛,在教学过程中应注重掌握大数据分析的实践操作。本课程通过丰富简单易上手的实例,让学生能够切实体会和掌握各种类型工具的特点和应用。 二、课程教学基本要求 1. 了解大数据的发展和基本概念,理解并掌握大数据的特征及主要技术层面。 2. 掌握Scrapy环境的搭建,了解网络爬虫获取数据的过程,熟悉爬虫项目的创建。 3. 深刻了解hadoop的基础理论,理解并掌握Hadoop单机及集群环境的部署方法。 4. 掌握HDFS的基本概念和HDFS在hadoop中的作用,理解并识记HDFS的使用,了解HDFS 的JAVA API接口及数据流原理;让学生明白Map过程与Reduce过程这两个独立部分各自的原理及合作途径,知道如何独立编写满足自己需求的MapReduce程序。 5. 理解HBase中涉及的基本概念,掌握HBase的简单应用;让学生了解数据仓库的基础概念,熟悉Hive与HDFS、MapReduce直接的关心。 6. 熟悉Spark和RDD的基本概念,熟悉spark接口的使用,解决实战时的步骤及思路。

大数据技术与应用专业讲课稿

大数据技术与应用专业 建设方案 北京四合天地科技有限公司 2018年6月

目录 1项目背景 (4) 1.1行业背景 (4) 1.2政策导向 (5) 2人才培养方案 (6) 2.1行业人才需求 (6) 2.2大数据岗位设置 (9) 2.2.1Hadoop运维工程师 (9) 2.2.2大数据开发工程师 (9) 2.2.3数据采集工程师 (10) 2.2.4系统开发工程师 (11) 2.3大数据人才基本技能要求 (11) 2.4人才培养目标 (12) 2.5人才培养策略 (12) 3教学现状分析 (13) 3.1教学科研难以保证 (13) 3.2实训环境缺失 (13) 3.3实训内容不足 (13) 4课程体系建设 (14) 4.1培养目标 (14) 4.2课程设置 (14) 5实训室建设 ............................................................................................... 错误!未定义书签。 5.1设计理念..................................................................................................... 错误!未定义书签。 5.1.1以就业为导向...................................................................................... 错误!未定义书签。 5.1.2以能力为本.......................................................................................... 错误!未定义书签。

大数据技术与应用专业人才培养方案

附件: 2017年大数据技术与及用人才培养方案 一、培养目标 本专业培养适应生产、建设、服务和管理第一线需要的,德、智、体、美等方面全面发展的,具有大数据行业对应岗位必备的科学文化知识及相关专业知识,以大数据系统运维与管理、数据处理、数据分析、应用系统开发能力为目标,系统掌握大数据技术与应用专业基本理论、大数据分析挖掘与处理、移动开发与架构、软件开发、云计算技术等前沿技术,旨在培养适应新形势下新兴的“互联网+”专业,具有良好职业道德和敬业精神的高素质技能型专门人才。 二、学制及招生对象 (一)学制:三年 (二)招生对象:高中毕业生和中职毕业生 三、人才培养规格 (一)职业面向、预期工作岗位名称 1.主要岗位 本专业大数据基础类岗位:大数据文档编写、大数据采集清洗与转换; 大数据技术类岗位:大数据系统搭建与运维、海量数据库管理、大数据软件开发、大数据可视化、大数据分析; 2.相关岗位 大数据销售服务类岗位:大数据营销、大数据呼叫、大数据售后服务。 3.进阶岗位 大数据技术公司管理岗位和高级技术岗位 (二)起薪标准 4500元/月 (三)人才质量标准 1.知识要求 毕业生应具有大数据技术与应用专业必要的基础理论知识,掌握从事本专业领域实际工作的基本能力和基本技能;具备适应生产、管理、服务一线岗位需要的工作能力,具备良好的职业道德与素养。

①掌握本专业培养目标所要求的基础理论知识、专业知识和技能; ②具备一定的英语知识,能够借助工具书阅读理解本专业所使用的常用计算机英语, 包括技术性文档和资料; ③掌握计算机方面的专业基础知识,能适应信息化建设; ④掌握Linux平台下大数据平台搭建,数据库系统搭建、优化、管理等方面的专业技 能; ⑤掌握大数据技术与应用专业基本的专业技能,能满足大数据岗位的基本素质。 2.能力要求 通过三年的学习,学生应具备从事本专业领域相关工作的能力。 ①熟练操作办公自动化软件; ②具备计算机组装、计算机软硬件故障的判断与定位以及故障排除的能力。 ③具备办公自动化设备维护的能力;具备数据库系统管理维护的能力; ④具备非结构化数据处理能力; ⑤具备数据仓库管理基本能力; ⑥具备OOP程序设计能力; ⑦具备Web应用开发能力; ⑧具备Linux Server、Hadoop项目管理维护的能力; ⑨具备数据挖掘、数据清洗、数据可视化的处理能力。 3.素质要求 ①政治思想素质: 热爱祖国,拥护党的基本路线。遵纪守法,善于独立思考,勇于创新的精神。具备良好的职业道德与素养。 ②文化素质: 具有一定的文化素质修养,诚实守信、礼貌待人、为人谦逊的文明习惯;具有自尊自强、爱岗敬业、勤奋好学、追求进步的品格;具备良好的人际交往与勾通和工作协调能力。 ③业务素质: 掌握大数据技术与应用专业的基础理论知识;掌握计算机组装与维护、办公自动化软件操作、办公自动化设备维护、计算机网络系统维护及管理、关系型/非关系型数据库系统维护及管理、Windows/Linux服务器系统配置管理等方面、各类大数据平台搭建管理维护的专业技能的能力。

《大数据分析方法与应用》教学大纲

《大数据分析方法与应用》课程教学大纲 课程代码:090542008 课程英文名称:Big Data Analysis: Methods and Applications 课程总学时:40 讲课:40 实验:0 上机:0 适用专业:应用统计学 大纲编写(修订)时间:2017.6 一、大纲使用说明 (一)课程的地位及教学目标 本课程是应用统计学专业的一门专业课,通过本课程的学习,可以使学生学会选用适当的方法和技术分析数据,领会大数据分析方法和应用,掌握复杂数据的分析与建模,使学生能够按照实证研究的规范和数据挖掘的步骤进行大数据研发,为就业与继续深造打下必要而有用的基础。 (二)知识、能力及技能方面的基本要求 1.基本知识:掌握数据挖掘流程、随机森林树的回归算法、基于预测强度的聚类方法、朴素贝叶斯分类、高维回归及变量选择、图模型等。 2.基本能力:要求能在真实案例中应用相应的方法。 3.基本技能:掌握复杂数据的分析与建模。 (三)实施说明 1. 本大纲主要依据应用统计学专业2017版教学计划、应用统计学专业专业建设和特色发展规划和沈阳理工大学编写本科教学大纲的有关规定并根据我校实际情况进行编写的。 2. 课程学时总体分配表中的章节序号在授课过程中可酌情调整顺序,课时分配仅供参考。打“*”号的章节可删去或选学。 3. 建议本课程采用课堂讲授、讨论相结合的方法开展教学,通过讨论等方式强化重点,通过分散难点,使学生循序渐进的掌握难点。 4.教学手段:建议采用多媒体等现代化手段开展教学。 (四)对先修课的要求 本课程的先修课程:应用多元统计分析。 (五)对习题课、实践环节的要求 通过案例讲解算法,鼓励学生演示分析思路和分析收获,使学生有机会诊断问题,并学会选用适当的方法和技术分析数据。 (六)课程考核方式 1.考核方式:考查 2.考核目标:在考核学生基础知识、基本技能,基本能力的基础上,重点考核学生的分析能力、解决实际问题能力。 3.成绩构成:本课程由平时成绩和结课报告的质量评定优、良、中、及格和不及格。 (七)参考书目: 《大数据分析:方法与应用》,王星编,清华大学出版社,2013. 二、中文摘要 《大数据分析方法与应用》是高等学校应用统计学专业的一门选修的专业课。本课程着重介绍了统计学习、数据挖掘和模式识别等领域的各种大数据分析方法。课程主要内容包括大数据分析概述、数据挖掘流程、随机森林树、基于预测强度的聚类方法、贝叶斯分类和因果学习、高

大数据技术原理与应用 林子雨版 课后习题答案

第一章 1.试述信息技术发展史上的3次信息化浪潮及具体内容。 2.试述数据产生方式经历的几个阶段 答:运营式系统阶段,用户原创内容阶段,感知式系统阶段。 3.试述大数据的4个基本特征 答:数据量大、数据类型繁多、处理速度快和价值密度低。 4.试述大数据时代的“数据爆炸”的特性 答:大数据时代的“数据爆炸”的特性是,人类社会产生的数据一致都以每年50%的速度增长,也就是说,每两年增加一倍。 5.数据研究经历了哪4个阶段?

答:人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。 6.试述大数据对思维方式的重要影响 答:大数据时代对思维方式的重要影响是三种思维的转变:全样而非抽样,效率而非精确,相关而非因果。 7.大数据决策与传统的基于数据仓库的决策有什么区别 答:数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力,能结合历史数据和实时数据实现查询分析和自动规则触发,从而提供对战略决策和战术决策。 大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。 8.举例说明大数据的基本应用 答: 9.举例说明大数据的关键技术

答:批处理计算,流计算,图计算,查询分析计算 10.大数据产业包含哪些关键技术。 答:IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。 11.定义并解释以下术语:云计算、物联网 答:云计算:云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力,用户只需要在具备网络接入条件的地方,就可以随时随地获得所需的各种IT资源。 物联网是物物相连的互联网,是互联网的延伸,它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起,形成人与物、物与物相连,实现信息化和远程管理控制。 12.详细阐述大数据、云计算和物联网三者之间的区别与联系。

大数据处理技术的总结与分析

数据分析处理需求分类 1 事务型处理 在我们实际生活中,事务型数据处理需求非常常见,例如:淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。这类系统数据处理特点包括以下几点: 一就是事务处理型操作都就是细粒度操作,每次事务处理涉及数据量都很小。 二就是计算相对简单,一般只有少数几步操作组成,比如修改某行得某列; 三就是事务型处理操作涉及数据得增、删、改、查,对事务完整性与数据一致性要求非常高。 四就是事务性操作都就是实时交互式操作,至少能在几秒内执行完成; 五就是基于以上特点,索引就是支撑事务型处理一个非常重要得技术. 在数据量与并发交易量不大情况下,一般依托单机版关系型数据库,例如ORACLE、MYSQL、SQLSERVER,再加数据复制(DataGurad、RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。 在数据量与并发交易量增加情况下,一般可以采用ORALCERAC集群方式或者就是通过硬件升级(采用小型机、大型机等,如银行系统、运营商计费系统、证卷系统)来支撑. 事务型操作在淘宝、12306等互联网企业中,由于数据量大、访问并发量高,必然采用分布式技术来应对,这样就带来了分布式事务处理问题,而分布式事务处理很难做到高效,因此一般采用根据业务应用特点来开发专用得系统来解决本问题。

2数据统计分析 数据统计主要就是被各类企业通过分析自己得销售记录等企业日常得运营数据,以辅助企业管理层来进行运营决策。典型得使用场景有:周报表、月报表等固定时间提供给领导得各类统计报表;市场营销部门,通过各种维度组合进行统计分析,以制定相应得营销策略等. 数据统计分析特点包括以下几点: 一就是数据统计一般涉及大量数据得聚合运算,每次统计涉及数据量会比较大。二就是数据统计分析计算相对复杂,例如会涉及大量goupby、子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写SQL脚本才能实现. 三就是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外,目前越来越多得用户希望能做做到交互式实时统计; 传统得数据统计分析主要采用基于MPP并行数据库得数据仓库技术.主要采用维度模型,通过预计算等方法,把数据整理成适合统计分析得结构来实现高性能得数据统计分析,以支持可以通过下钻与上卷操作,实现各种维度组合以及各种粒度得统计分析。 另外目前在数据统计分析领域,为了满足交互式统计分析需求,基于内存计算得数据库仓库系统也成为一个发展趋势,例如SAP得HANA平台。 3 数据挖掘 数据挖掘主要就是根据商业目标,采用数据挖掘算法自动从海量数据中发现隐含在海量数据中得规律与知识。

大数据技术原理及应用

大数据技术原理及应用 (总10页) -CAL-FENGHAI.-(YICAI)-Company One1 -CAL-本页仅作为文档封面,使用请直接删除

大数据技术原理及应用 大数据处理架构—Hadoop简介 Hadoop项目包括了很多子项目,结构如下图 Common 原名:Core,包含HDFS, MapReduce和其他公共项目,从Hadoop 版本后,HDFS和MapReduce分离出去,其余部分内容构成Hadoop Common。Common为其他子项目提供支持的常用工具,主要包括文件系统、RPC(Remote procedure call) 和串行化库。 Avro Avro是用于数据序列化的系统。它提供了丰富的数据结构类型、快速可压缩的二进制数据格式、存储持久性数据的文件集、远程调用RPC的功能和简单的动态语言集成功能。其中,代码生成器既不需要读写文件数据,也不需要使用或实现RPC协议,它只是一个可选的对静态类型语言的实现。Avro系统依赖于模式(Schema),Avro数据的读和写是在模式之下完成的。这样就可以减少写入数据的开销,提高序列化的速度并缩减其大小。 Avro 可以将数据结构或对象转化成便于存储和传输的格式,节约数据存储空间和网络传输带宽,Hadoop 的其他子项目(如HBase和Hive)的客户端和服务端之间的数据传输。 HDFS HDFS:是一个分布式文件系统,为Hadoop项目两大核心之一,是Google file system(GFS)的开源实现。由于HDFS具有高容错性(fault-tolerant)的特点,所以可以设计部署在低廉(low-cost)的硬件上。它可以通过提供高吞吐率(high throughput)来访问应用程序的数据,适合那些有着超大数据集的应

大数据技术与应用

附件25: 高职电子信息大类大数据技术与应用赛项 技能竞赛规程、评分标准及选手须知 一、竞赛容 赛项名称:大数据技术与应用 赛项容:以大数据技术与应用为核心容,重点考察参赛选手在Hadoop平台环境下,对于大规模并行数据处理以及存计算技术的应用能力。具体包括: 1. 掌握Hadoop平台环境部署与基本配置,了解基于大数据计算平台的常见应用; 2.综合利用numpy、pandas、matplotlib、scikit 模块和MapReduce技术、分布式存储系统HDFS、分布式计算框架MapReduce/Yarn、数据仓库Hive、Python 等开发语言工具和技术,匹配和连接数据源,实现大数据的采集,提取、清洗、转换、分析、挖掘操作,产生分析结果,并且实现可视化呈现。 3.依据项目应用需求和分析结果,完成数据分析报告的编写。 二、竞赛方式 本赛项为团体赛,每支参赛队由3名参赛选手组成。 三、竞赛时量 竞赛时间4小时,竞赛连续进行。 四、名次确定办法 名次确定办法原则上按照竞赛总成绩从高分到低分排序确立选手名次。总成绩相同时,完成时间较短者名次列前;成绩和完成时间均相同时,操作过程较规者名次列前。 五、评分标准与评分细则 1.评分标准 本赛项总分为100分,采取分项计分制(表1)。

2.评分细则 竞赛成绩评定实行“裁判长合权负责制”,负责组织评分裁判进行成绩评定。评分裁判负责对参赛队伍(选手)的比赛作品、比赛表现按赛项评分标准进行评定。成绩评定根据竞赛考核目标、容对参赛队或选手在竞赛过程中的表现和最终成果做出评价。 本赛项的评分方法为现场评分和结果评分,现场评分为5分,由现场裁判根据参赛队的操作规以及综合表现情况进行评分;结果评分为95分,依据赛项评价标准,对参赛选手提交的竞赛成果进行评分。

大数据处理技术发展现状及其应用展望

. ,.. 大数据处理技术发展现状及其应用展望 一、定义 著名的管理咨询公司麦肯锡曾预测到:“数据,已经渗透到当今每一个行业和业务职能领域, 成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者 盈余浪潮的到来。”这是大数据的最早定义。业界(于2012年,高德纳修改了对大数据的定义)将大数据的特征归纳为4个“V”(量Volume,多样Variety,价值Value,速Velocity),或者说特点有四个层面:第一,海量数据量。大数据计量单位至少是PB级别;第二,数据 类型繁多。比如,网络日志、视频、图片、地理位置信息等等都是囊括进来。第三,商业价 值高。第四,处理速度快。 在大数据时代,三分技术,七分数据,得数据者得天下。在大数据时代已经到来的时候要用 大数据思维去发掘大数据的潜在价值。Google利用人们的搜索记录挖掘数据二次利用价值, 比如预测某地流感爆发的趋势;Amazon利用用户的购买和浏览历史数据进行有针对性的书 籍购买推荐,以此有效提升销售量;Farecast利用过去十年所有的航线机票价格打折数据, 来预测用户购买机票的时机是否合适。 大数据分析相比于传统的数据仓库应用,具有数据量大、查询分析复杂等特点。对于“大数据”(Big data)研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具 有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 二、大数据的技术 技术是大数据价值体现的手段和前进的基石。我将分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。 2.1、云技术 大数据常和云计算联系到一起,因为实时的大型数据集分析需要分布式处理框架来向数十、 数百或甚至数万的电脑分配工作。可以说,云计算充当了工业革命时期的发动机的角色,而大数据则是电。 云计算思想的起源是麦卡锡在上世纪60年代提出的:把计算能力作为一种像水和电一样的 公用事业提供给用户。如今,在Google、Amazon、Facebook等一批互联网企业引领下,一 种行之有效的模式出现了:云计算提供基础架构平台,大数据应用运行在这个平台上。 业内是这么形容两者的关系:没有大数据的信息积淀,则云计算的计算能力再强大,也难以找到用武之地;没有云计算的处理能力,则大数据的信息积淀再丰富,也终究只是镜花水月。 那么大数据到底需要哪些云计算技术呢?这里暂且列举一些,比如虚拟化技术,分布式处理技术,海量数据的存储和管理技术,NoSQL、实时流数据处理、智能分析技术(类似模式识

大数据技术及应用

大数据技术及应用 【摘要】:随着互联网技术的飞速发展,特别是近年来云计算、物联网、社交网络等新兴服务促使人类社会的数据种类和规模正以前所未有的速度增长,大数据时代正式到来.数据从简单的处理对象开始转变为一种基础性资源,如何更好地管理和利用大数据已经成为普遍关注的话题.大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,数据管理方式上的变革正在酝酿和发生.对大数据的产生背景和基本概念进行剖析,并对大数据的主要应用作简单对比.在此基础上,阐述大数据处理的基本框架,并就云计算技术对于大数据时代数据管理所产生的作用进行分析.最后归纳总结大数据时代所面临的新挑战。 【关键字】:大数据发展趋势应用机遇和挑战 一、大数据时代的背景 半个世纪以来,随着计算机技术全面融入社会生活,信息爆炸已经积累到了一个开始引发变革的程度。21世纪是数据信息大发展的时代,移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围,各种数据正在迅速膨胀并变大。互联网(社交、搜索、电商)、移动互联网(微博)、物联网(传感器,智慧地球)、车联网、GPS、医学影像、安全监控、金融(银行、股市、保险)、电信(通话、短信)都在疯狂产生着数据。2011年5 月,在“云计算相遇大数据”为主题的EMC World 2011 会议中,EMC 抛出了Big Data概念。正如《纽约时报》2012年2月的一篇专栏中所称,“大数据”时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉。哈佛大学社会学教授加里·金说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。” 二、什么是大数据 大数据(Big Data)是指那些超过传统数据库系统处理能力的数据。它的数据规模和转输速度要求很高,或者其结构不适合原本的数据库系统。为了获取大数据中的价值,我们必须选择另一种方式来处理它。数据中隐藏着有价值的模式和信息,在以往需要相当的时间和成本才能提取这些信息。如沃尔玛或谷歌这类领先企业都要付高昂的代价才能从大数据中挖掘信息。而当今的各种资源,如硬件、云架构和开源软件使得大数据的处理更为方便和廉价。即使是在车库中创业的公司也可以用较低的价格租用云服务时间了。对于企业组织来讲,大数据的价值体现在两个方面:分析使用和二次开发。对大数据进行分析能揭示隐藏其中的信息。例如零售业中对门店销售、地理和社会信息的分析能提升对客户的理解。对大数据的二次开发则是那些成功的网络公司的长项。例如Facebook通过结合大量用户信息,定制出高度个性化的用户体验,并创造出一种新的广告模式。这种通过大数据创造出新产品和服务的商业行为并非巧合,谷歌、雅虎、亚马逊和Facebook它们都是大数据时代的创新者。(一)大数据的4V特征 大量化(V olume):企业面临着数据量的大规模增长。例如,IDC最近的报告预测称,到2020年,全球数据量将扩大50倍。目前,大数据的规模尚是一个不断变化的指标,单一数据集的规模范围从几十TB到数PB不等。简而言之,存储1PB数据将需要两万台配备50GB硬盘的个人电脑。此外,各种意想不到的来源都能产生数据。 多样化(Variety):一个普遍观点认为,人们使用互联网搜索是形成数据多样性的主要原因,这一看法部分正确。然而,数据多样性的增加主要是由于新型多结构数据,以及包括网络日志、社交媒体、互联网搜索、手机通话记录及传感器网络等数据类型造成。其中,部分传感器安装在火车、汽车和飞机上,每个传感器都增加了数据的多样性。 快速化(Velocity):高速描述的是数据被创建和移动的速度。在高速网络时代,通过基于实现

相关文档
最新文档