大学专业解读系列:大数据专业

大学专业解读系列:大数据专业
大学专业解读系列:大数据专业

早在1980年,未来学家阿尔文?托夫勒在《第三次浪潮》一书中,就将大数据誉为“第三次浪潮的华彩乐章”。现在的大数据更是站在互联网的风口浪尖上,是公众津津乐道的热门词汇。同时这股热潮也催热了大学里的大数据专业。

你经常在APP上进行购物,会留下很多的浏览行为,APP就根据你的行为来判断你的兴趣,然后再把你喜欢的内容和相关购物信息推荐给你;当你出门的时候,你可能需要看一下地图APP,因为你想知道现在道路的拥堵情况是怎样的。大数据与我们的生活息息相关。

“大数据”(Big Data)指一般的软件工具难以捕捉、管理和分析的大容量数据。“大数据”之“大”,并不仅仅在于“容量之大”,更大的意义在于:通过对海量数据的交换、整合和分析,发现新的知识,创造新的价值,带来“大知识”、“大科技”、“大利润”和“大发展”。简单地说,大数据是用新系统、新工具、新模型,对大量、动态、能持续的数据进行挖掘,形成具有洞察力和新价值的巨型数据集合。

专业解析

什么是大数据?

进入互联网时代,中国的网民人数已超7亿,大数据的应用涉及到生活的方方面面。例如,你在网站上买书,商家就会根据你的喜好和其他购书者的评价给你推荐另外的书籍;手机定位数据和交通数据可以帮助城市规划;甚至用户的搜索习惯和股市都有很大关系。

在谈到大数据的时候,人们往往知道的就是数据很大,但大数据≠大的数据。对外经济贸易大学信息学院副院长华迎教授介绍:“现在的大数据包括来自于多种渠道的多类数据,其中主要来源网络数据。数据分析不是新的,一直都有,但是为什么叫大数据呢?主要是因为网络数据的格式、体量、价值,都超出了传统数据的规模。对这些海量信息的采集、存储、分析、整合、控制而得到的数据就是大数据。大数据技术的意义不在于掌握庞大的数据信息,而在于对这些数据进行专业化处理,通过‘加工’实现数据的‘增值’,更好地辅助决策。”

本科专业中和大数据相对应的是“数据科学与大数据技术”专业,它是2015年教育部公布的新增专业。2016年3月公布的《高校本科专业备案和审批结果》中,北京大学、对外经济贸易大学和中南大学3所高校首批获批开设“数据科学与大数据技术”专业。随后第二年又有32所高校获批“数据科学与大数据技术”专业。两次获批的名单中显示,该专业学制为四年,大部分为工学。

数据科学与大数据技术是个交叉性很强的专业,很难说完全归属于哪个独立的学科。所以,不同的学校有的是信息学院申报,有的是计算机学院牵头申报,有的设在统计学院,还有的在经管学院。像北京大学这个专业是放在理学下,授予理学学位。大多数是设在工学计

算机门类下,授予的是工学学位。数据科学很早就存在,是个比较经典的学科,现在和大数据技术结合形成了这个专业。目前教育部设定的本科专业名称为“数据科学与大数据技术”,专科名称是“大数据技术与应用”。

数据科学与大数据技术专业

本科专业中和大数据相对应的是“数据科学与大数据技术”专业,它是2015年教育部公布的新增专业。2016年3月公布的《高校本科专业备案和审批结果》中,北京大学、对外经济贸易大学和中南大学3所高校首批获批开设“数据科学与大数据技术”专业。随后第二年又有32所高校获批“数据科学与大数据技术”专业。两次获批的名单中显示,该专业学制为四年,大部分为工学。

“数据科学与大数据技术是个交叉性很强的专业,很难说完全归属于哪个独立的学科。所以,不同的学校有的是信息学院申报,有的是计算机学院牵头申报,有的设在统计学院,还有的在经管学院。像北京大学这个专业是放在理学下,授予理学学位。大多数是设在工学计算机门类下,授予的是工学学位。”华迎教授说:“数据科学很早就存在,是个比较经典的学科,现在和大数据技术结合形成了这个专业。目前教育部设定的本科专业名称为‘数据科学与大数据技术’,专科名称是‘大数据技术与应用’。”

数据科学与大数据技术学什么?

以对外经济贸易大学该专业为例,专业知识结构包括数学、统计、计算机和大数据分析四大模块,具体课程设置如下:

数学:数学分析一、数学分析二、高等代数、离散数学。统计学:概率论与数理统计、多元统计分析、随机过程。计算机:数据结构、计算机组成原理、操作系统、数据库系统原理、C++程序设计、Java程序设计、Python与大数据分析、科学计算与Matlab应用、R语言等。大数据分析:数据科学导论、机器学习与数据挖掘、信息检索与数据处理、自然语言处理、智能计算、推荐系统原理、大数据分析技术基础、数据可视化、大数据存储与管理、大数据分析实践等课程。

数据科学与大数据技术”专业强调培养具有多学科交叉能力的大数据人才。该专业重点培养具有以下三方面素质的人才:

①理论性人才,主要是对数据科学中模型的理解和运用;

②实践性人才,主要是处理实际数据的能力;

③应用性人才,主要是利用大数据的方法解决具体行业应用问题的能力。

华迎教授介绍:“数据科学与大数据技术是一门实践性很强的新兴交叉复合型学科,无论是开设在哪个学院下,数学、统计学、计算机三大块课程是必须得有。各高校在这几门背景学科的基础上,交叉融合其他的专业知识技能。如我校在数学、统计学、计算机知识体系模块中又增加了体现学校特色的财经类行业应用和外语模块,以提升学生的行业应用能力和国际化水平。根据各校偏重的专业方向,课程设置有所差异,感兴趣的同学可以具体查看各校的专业和课程设置情况。”

报考指南

在本科专业中,大数据所对应的专业是“数据科学与大数据技术”,该专业是教育部2016年公布的新增专业,北京大学、对外经济贸易大学和中南大学3所院校首批获批开设“数据科学与大数据技术”专业;2017年又有32所高校获批“;2018年3月,教育部公布的审批结果中,共有250所院校获批开设“数据科学与大数据技术”专业。该专业学制为四年,大部分为工学。

数据科学与大数据技术是个交叉性强、跨学科的专业,很难说是完全归属与那个独立的学科。高校牵头申报的学院不同,培养重点和授予的学位可能不一样。因为课程来自于不同的学院,也有高校是联合一些学院单独成立机构来申报。从名单可以看出,在大部分开设院校中该专业都属于工学类,有个别院校将其归属在理学门类,授予理学学位。

有志于学习数据科学与大数据技术专业的学生,可以从大学的传统优势领域和行业背景考虑选择。比如,复旦大学的大数据技术本科专业是设在大数据学院下;北京大学是在数学院开设了该专业,偏数学的内容更多一些。对外经济贸易大学该专业设在信息学院,因为财经是学校传统优势,专业还会偏重经济、金融等相关学科领域的知识。

录取分数不低

从2018年数据科学与大数据技术专业的录取情况看,该专业的录取分数还是比较高的。录取分数线如下图所示(2015年陕西理工一本线480,2016年为470,2017年是449。)

重庆理工大学理学院院长李波介绍,学校理学院有金融数学、数学与应用数学、信息与计算科学、应用统计学、应用物理学、新能源科学与工程专业,数据科学与大数据技术是2017年获批后开设的。尽管该专业属于本科二批招生,但首批数据科学与大数据技术专业所招73名学生的平均分超一本线20分左右,并且第一志愿录取率达百分之百。

只招理科生注意大类招生

考生报考时要注意,目前获批开设的院校并非在所有省都有招生计划,还有的高校是按大类招生。如北京邮电大学该专业2017年本科就是按计算机大类招生。随着各省高考改革的实施,越来越多的省份加入新高考的序列,未来会有更多的高校施行按大类招生。

值得注意的是,数据科学与大数据技术只招理科生,但女生的比例并不低。据华迎教授介绍:“第一年招生时,我们以为这纯工科专业绝大部分都会是男生报考,录取后发现女生还是很多的,女生比例大概占了这个专业总人数的一半儿。”重庆理工大学2017年的首批73名学生中,男生45人,女生28人,女生比例占总人数38%。

2016年2月,教育部公布增设“数据科学与大数据技术”专业。北京大学、中南大学、对外经贸大学等3所高校率先开设本科的大数据专业。

2017年,中国人民大学、北京邮电大学、复旦大学等32所高校成为第二批成功申请该专业的高校。第二批高校清单如下:

另外值得注意的是,现在开设大数据专业的学校有280多所,预计2019年还会增加,985/211类院校的大数据专业质量比较可靠,一本大学一本情况下质量也比较好,二本类院校一定要认真判断,从这个学校的行业背景,发展历史,优势专业和特点方以及地理位置进行分析。至于三本院校,一定要慎重,三本院校还是报考这个学校发展比较成熟的专业比较好,不要盲目跟风。高职高专,选择国家示范类和省级示范类高校就行了。

专业与就业

行业增速快人才缺口180万

随着移动互联网和智能终端的普及,信息技术与经济社会的交汇融合,引发了数据迅猛增长。新摩尔定律认为,人类有史以来的数据总量,每过18个月就会翻一番。而海量的数据蕴含着巨大生产力和商机。

2011年至2014年四年间,我国大数据处于起步阶段,每年均增长在20%以上。2015年,大数据市场规模已达到98.9亿元。2016年增速达到45%,超过160亿元。预计2020年,我国大数据市场规模将超过8000亿元,有望成世界第一数据资源大国。但数据开放度低、技术薄弱、人才缺失、行业应用不深入等都是产业发展中亟待解决的问题。

根据领英发布《2016年中国最热职位人才报告》显示,有六类热门职位的人才当前都处于供不应求状态,稀缺程度各有不同,其中,数据分析人才的供给指数最低,仅为0.05,属于高度稀缺。

中国商业联合会数据分析专业委员会资料显示,未来3至5年,中国需要180万数据人才,但截至目前,中国大数据从业人员只有约30万人。同时,大数据行业选才的标准也在不断变化。初期,大数据人才的需求主要集中在ETL研发、系统架构开发、数据仓库研究等偏硬件领域,以IT、计算机背景的人才居多。随着大数据往各垂直领域延伸发展,对统计学、数学专业的人才,数据分析、数据挖掘、人工智能等偏软件领域的需求加大。

大数据主要就业方向

2015年9月国务院印发《促进大数据发展行动纲要》,系统部署大数据发展工作。《纲要》明确提出了七方面政策机制,其中第六条就是加强专业人才培养,建立健全多层次、多类型的大数据人才培养体系。目前,大数据主要有三大就业方向:大数据系统研发类、大数据应用开发类和大数据分析类。具体岗位如:大数据分析师、大数据工程师等。

“大数据分析师是用适当的统计分析方法对收集来的大量数据进行分析,强调的是数据的应用,侧重于统计层面内容会多一些。比如做产品经理,可以通过数据建立金融模型,来推出一些理财产品。而大数据工程师则侧重于技术,主要是围绕大数据平台系统级的研发,偏开发层面。”华迎教授介绍:“我们把大数据分析在业务中使用的流程总结起来,分为以下几个步骤:数据获取和预处理、数据存储管理、数据分析建模、数据可视化。在这个应用流程中,毕业生可以根据自己的兴趣和特长,在不同的环节选择就业。”

从事岗位:

大数据系统架构师

大数据平台搭建、系统设计、基础设施。

大数据系统研发工程师

负责分布式系统中间件的开发和改进、参与大数据平台管控系统的研发工作、包括大规模非结构化数据业务模型构建、大数据存储等设计问题、根据客户大数据处理应用和服务要求,编写需求分析报告及技术解决方案。

数据可视化工程师

具备良好的沟通能力与团队精神,责任心强,拥有优秀的解决问题的能力。建立企业整体数据可视化方案、提升整个团队的数据可视化能力、增强现有数据产品的可视化展现与分析能力。开发基于数据可视化的全新数据产品,为客户商业生态提供数据服务。

hadoop开发工程师。

解决大数据存储问题。

数据挖掘工程师

做数据挖掘要从海量数据中发现规律,这就需要一定的数学知识,最基本的比如线性代数、高等代数、凸优化、概率论等。经常会用到的语言包括Python、Java、C或者C++,我

自己用Python或者Java比较多。有时用MapReduce写程序,再用Hadoop或者Hyp来处理数据,如果用Python的话会和Spark相结合。

报考大数据专业前你需要看完这些

当前大数据行业真的是人才稀缺吗?

学了几年后,大数据行业会不会产能过剩?

大数据行业最终需要什么样的人才?

“热门专业”填报,有哪些注意点?

接下来就为您一一分析:

当前大数据行业真的是人才稀缺吗?

对!未来人才缺口150万,数据分析人才最稀缺。

先看大数据人才缺口有多大?

根据LinkedIn(领英)发布的《2016年中国互联网最热职位人才报告》显示,研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。

其中数据分析人才最为稀缺、供给指数最低。同时,数据分析人才跳槽速度也最快,平均跳槽速度为19.8个月。

而清华大学计算机系教授武永卫去年透露了一组数据:未来3-5年,中国需要180万数据人才,但目前只有约30万人。

大数据行业未来会产能过剩吗?

提供大数据技术与应用服务的第三方公司面临调整,未来发展会趋集中

关于“大数据概念是否被过度炒作”的讨论,其实2013年的夏季达沃斯就有过。彼时支持“炒作”观点的现场观众达54.5%。对此,持反对意见的北京大学光华管理学院副教授苏萌提出了三个理由:

不同机构间的数据还未真正流动起来,目前还只是数据“孤岛”;

完整的生态产业链还未形成,尽管通过行为数据分析已能够分辨出一个消费者的喜好,但从供应到购买的链条还没建成;

数据分析人才仍然极度匮乏。

4年之后,舆论热点已经逐渐从大数据转向人工智能,大数据行业也历经整合。近一年间,一些大数据公司相继出现裁员、业务大调整等情况,部分公司出现亏损。那都是什么公司面临危机呢?

基于数据归属,涉及大数据业务的公司其实有两类:一类是自身拥有数据的甲方公司,如亚马逊、阿里巴巴等;另一类是整合数据资源,提供大数据技术与应用服务的第三方公司。目前行业整合出现盈利问题的公司多集中在第三方服务商。

对此,LinkedIn(领英)中国技术副总裁王迪表示,第三方服务商提供的更多的是技术或平台,大数据更多还是让甲方公司获益。

在王迪看来,大数据业务要产生规模效益,至少要具备三点:算法、计算平台以及数据本身。“第三方大数据创业公司在算法上有一技之长,而计算能力实际上已经匀化了,传统企业如果用好了,和大数据创业公司没有区别,甚至计算能力更强,而数据获取方面,很多数据在传统行业内部并没有共享出来,第三方大数据公司获取这些数据是比较困难的,最后可能谁有数据,谁产生的价值更高。”说白了,数据为王。

在2013年,拿到千万级A轮融资的大数据企业不足10家,到2015年,拿到千万级以上A轮融资的企业已经超过30家。直到2016年互联网资本寒冬,大数据行业投资热度有所减退,大数据行业是否也存在产能过剩?

王迪认为,目前的行业整合属于正常现象,“经过市场的优胜劣汰,第三方服务领域会出现一些做得比较好的公司,其他公司可能被淘汰或转型做一些垂直行业应用。从社会来看,总的需求量一定是增加的,而对于供给侧,经过行业自然的洗牌,最终会集中在几家优秀的行业公司。”

需要什么样的大数据人才?

今年3月份,教育部公布了第二批获准开设“数据科学与大数据技术”的高校名单,加上第一批获批的北京大学、对外经济贸易大学、中南大学,一共35所高校获批该专业。今年开始,部分院校将招收第一届大数据专业本科生。

大数据人才培养涉及到两方面问题:

交叉性学科的人才培养方案是否与市场需求相匹配;

学科建设的周期与行业快速更新之间的差距怎样弥合。

对于第一个问题,“电商热”时期开设的电子商务专业是一个可吸取经验的样本。2000年,教育部高教司批准了第一批高校开设电子商务本科专业。作为一个复合型专业,电子商务的本科教学涵盖了管理、技术、营销三方面的课程。电子商务领域人才需求量大,但企业却无法从电子商务专业中找到合适的人才,原因何在?

职业规划专家姜萌认为,并不是某一个专业对应一个行业热点,而是一个专业集群对应一个行业热点。“比如电子商务专业,我们到电子商务公司里会发现,不是学电子商务的人在做这些工作,而是每个专业各司其职,比如计算机、设计、物流管理、营销、广告、金融等等。现在行业的复合型工作都是由一个专业集群来完成的,而不是一个人来复合一堆专业特点。”

大数据专业的人才培养也同样走复合型路线,复旦大学大数据学院的招生简章显示,学院本科人才培养以统计学、计算机科学和数学为三大基础支撑性学科,以生物学、医学、环境科学、经济学、社会学、管理学等为应用拓展性学科,具备典型的交叉学科特征。

LinkedIn(领英)中国技术副总裁王迪指出,“从企业应用的角度来看,大数据行业里从事相关职能的同学背景是各异的,大数据作为一个人才培养方向还在探索中,在这个阶段,高校尝试开设硕士课程是很好的实践,但开设一类的本科专业还为时过早。”

另一方面,专业人才培养的周期较长,而行业热点不断更新轮替,中间产生的时间差使得新兴专业的志愿填报具备了一定风险。

王迪认为,“从今天的产业实践上看,大数据领域依然是从现有专业中挑选人才,教育和市场发展总是有一定差距的,学生本科四年,加上硕士阶段已经是七年之后的事情了,产业已经演进了很多,而教学大纲并不会跟进得那么快。”

因此,尽管大数据的应用前景毋庸置疑,但在人才培养层面,复合型人才培养方案会不会重走电子商务专业的老路?学校教育如何赶上行业发展速度?这些都是值得进一步商榷的问题。

面对热门专业,志愿填报需要注意啥?

了解了大数据行业、公司和大数据专业后,姜萌对于考生填报像大数据相关的热门专业,提出了几条建议:

报考热的专业和就业热的专业并不一定是重合的,比如软件、计算机、金融,这些专业的就业率实际并没有那么高,地质勘探、石油、遥感等专业,虽然报考上是冷门,但行业需求大,就业率更高。

选择热门专业,更需要考虑就业质量。专业就业好,是统计学意义,指的是平均收入水平高,比如金融专业的收入,比其他纯文科专业的平均收入较高,但落实到个体层面,就业情况就不一样了,尤其像金融专业是典型的名校高学历好就业,但对于考试成绩较低的同学来说,如果去一些普通院校、专科院校学习金融,最后就业情况可能还不如会计专业。

志愿填报,除了专业,城市因素也很重要:如果想从事金融、互联网的工作,更适合去一线城市,如果是去三、四线城市的学生可以考虑应用面比较广的专业,就是各行各业都能用到的专业,比如会计专业,专科层次的会计和985层次的会计都有就业渠道。如果先选择报考城市,也可以针对所在城市的行业特点选择专业,比如沿海城市外贸相对发达,选择国际贸易、外语类专业就业情况更好,比如武汉有光谷,选择光电类专业更好就业。

最终家长和考生更需要考虑个人与专业匹配的问题,金融、计算机等热门专业不是所有人都适合学,好专业不见得对所有个体都是好的。

HR如何招聘大数据专业人才?

优秀的数学家可以成为顶尖的数据科学家,但光是会在笔记本上写公式可不行,他们还必须熟练地运用计算机来处理数据。如果他们的所有经验都来自学术机构,当他们面对现实问题时,可能会束手无策。寻找有实践经验的人,不要在这方面妥协。

在当今这个时代,解雇员工同样代价不菲,错误的招聘会使你的公司倒退几个月。所以,在寻找优秀的数据科学家时,你也应该警惕蹩脚数据科学家的迹象。如果发现以下10个迹象中的任何一个,你都应该迅速远离。

如今,数据科学家已是炙手可热,那些曾经对其毫无所知的企业,眼下也开始在全世界搜寻最好的数据科学家。问题在于,优秀数据科学家的标准是什么?和其他东西一样,数据科学家也是良莠不齐,招聘他们是一项重要的投资,如果选了个“次品”,你会付出沉重的代价。凭借一批出色的数据科学家,Facebook为自己的社交媒体平台注入了富有创造力的新功能,令用户为之兴奋。

过去10年里,数据呈现爆炸式增长。大数据扑面而来,普通人很难弄懂它的含意,更别提加以利用了。但数据科学家能从中提取出有价值的信息。对一家公司来说,数据科学家的雇用成本很高,由于这方面的人才供不应求,他们的薪水会迅速上涨。

1. 糟糕的数学背景

许多计算机专家和程序员都会把自己说成是数据科学家,但实际上,真正出色的数据科学家通常拥有数学背景。优秀的数学家可以成为最好的数据科学家,但数学不好的程序员不行。蹩脚的数学家无法有效地分析数据,而这恰恰是数据科学家的首要任务。

2. 计算机知识贫乏

没错,优秀的数学家可以成为顶尖的数据科学家,但光是会在笔记本上写公式可不行,他们还必须熟练地运用计算机来处理数据,要熟悉Spark和其他系统。如果你的数据科学家坚持要求配一名助手,因为他用不来电脑,那么你应该继续寻找,去雇用其他人。

3. 没有全能型人才

一个人集统计学家、开发员、数学家和其他身份于一身,并不意味着他能成为一名数据科学家。几乎可以肯定的是,他拥有跨领域知识,能够根据不同的职位需求来推销自己。他也许什么都会,但可能什么都不精。

4. 纯粹的学术派

你需要有实践经验的人。如果他们的所有经验都来自学术机构,当他们面对现实问题时,可能会束手无策。寻找有实践经验的人,不要在这方面妥协。

5. 缺乏团队精神

数据科学家将和其他人共事,所以你不会想要一个不合群的人,即便他再怎么聪颖过人。数据科学家应该真正地融入团队,了解整体情况,做出全面改进。而如果他们不能和其他人融洽相处,就做不到这一点。

6. 缺乏商业知识

数据科学家不能只会运用理论。他们还要重视经过验证的技巧,运用可靠的传统方法。这些都来自于实践经验。

数据科学家需要参加商务会议,通过演示向高级管理层阐述分析结果。因此,在雇用一名数据科学家之前,要确保他拥有一定的商业知识,这一点非常重要。

7. 不熟悉工具

你面前的那个人拥有丰富的技术知识,但他们能否运用这些知识?如果他们没有实际运用过SAS、R、Scala、Python或其他计算机语言,他们可能只会像一个“绣花枕头”,中看不中用。

他们必须能够利用工具来阐释和转化信息流。

8. SAS成瘾者

有些SAS开发人员会把自己包装成数据科学家,但他们不是。数据科学家应该掌握多项技能,对于某个具体的问题,他们可以运用多种不同的系统。而蹩脚的数据科学家在遇到任何问题时,都只会采用同一种技能,他们希望用一种语言就能解决所有问题,这是不切实际的。

9. 没有理科学位

这是个不好的迹象,因为数据科学属于理科范畴。你也可能自学成才,但如果有人能秉持科学原则,并且掌握了分析学的一般性应用,还毕业于名牌大学,此人更有可能给企业带来价值。最好能拥有硕士学位。如果在其他领域还拥有一技之长,此人将是一只潜力股。

10. 不会用通俗语言来解释

数据科学家应该能用通俗易懂的日常用语来解释最复杂的问题,不能与现实世界脱节,这会导致你的解决方案无法被人理解,而且你需要花费一定的时间和精力来克服语言障碍。

虽然有很多重要的数据科学技能可以后天习得,但有些却是天生的。那些妨碍你进入数据科学领域的因素常常无法改变或纠正。对数据科学的热情以及掌握一定的技能,这是成功的关键。如果你只是假装有兴趣,或者并不具备重要的技能,总有一天,你会原形毕露。

相关主题
相关文档
最新文档