大数据在高校的应用与思考

摘要：随着大数据时代的到来，高校教育将发生深层次的变革。介绍了大数据的定义和高校信息系统中存在的大数据，分析了大数据在高校教育中的应用，并对可能存在的问题做了初步探讨。

关键词：大数据；高校教育；数据挖掘

中图分类号：TP392文献标志码：A 文章编号：1671-6191（2013）02-0084-04

0引言

2009年出现了一种新的甲型H1N1流感病毒，这种流感病毒结合了导致禽流感和猪流感的病毒的特点，在短短几周之内迅速传播开来。在甲型H1N1流感爆发的几周前，互联网巨头谷歌公司的工程师们在《自然》杂志上发表了一篇引人注目的论文，它准确预测了H1N1流感的爆发，这令公共卫生官员们和计算机科学家们都感到震惊。这篇论文介绍了谷歌通过观察人们在网上的搜索记录来实现这个预测的方法，而这种方法以前一直是被忽略的。谷歌保存了多年来所有的用户搜索记录，而且每天都会收到来自全球超过30亿条的搜索指令，如此庞大的数据资源足以支撑和帮助它完成这项工作。谷歌公司的预测与官方数据的相关性高达97％，和疾控中心一样，他们也能判断出流感是从哪里传播出来的，而且他们的判断非常及时，不会像疾控中心一样要在流感爆发一两周之后才可以做到[1]。惊人的是，谷歌公司的方法根本不需要分发口腔试纸和联系医生———它是建立在大数据的基础之上的。2012年3月29日，美国政府宣布了“大数据研究和发展倡议（Big Data Research and Development Initiative ）”，以推进从大量的、复杂的数据集合中获取知识和洞见的能力，并承诺政府将为此投资超2亿美元，许多重要国家机构都将参与其中。2012年7月10日，联合国发布大数据政务白皮书《大数据促发展：挑战与机遇》，指出各国政府应当使用极大丰富的数据资源，更好地响应社会和经济指标。日本总务省于2012年7月新发布“活跃ICT 日本”新综合战略，提出正针对大数据推广的现状、发展动向、面临问题等进行探讨，以期对解决社会公共问题做出贡献。随着互联网上数据的不断增多，海洋一般浩瀚的网络数据已成为一种战略资源。大数据技术的目标就是从这些数据中挖掘信息、判断趋势、提高效益。“大数据”是继物联网、云计算之后IT 产业又一次颠覆性的技术变革。

1什么是大数据

大数据也称巨量资料，是指那些大小已经超出了传统意义上的尺度，一般的软件工具难以捕捉、存储、管理和分析的数据。人类可以通过大数据的交换、整合和分析，发现新知识，增长新智慧，创造新价值。大数据具有4V 特点，即数量（Volume ）、多样性（Variety ）、速度（Velocity ）和价值（Value ）。

1)数量。数量也许是与大数据最相关的特征，是指数据规模“巨大”。当前数据已经从TB （1024GB ＝1TB ）级别跃升到PB （1024TB ＝1PB ）、EB （1024PB ＝1EB ）乃至ZB （1024EB ＝1ZB ）级别。以脑科学为例，用电子显微镜重建大脑中的突触网络，1mm 3大脑的图像数据就超过了1PB 。社交网络Facebook 每天大数据在高校的应用与思考

桑庆兵

（江南大学物联网工程学院，无锡214122）

收稿日期：2013-04-18

作者简介：桑庆兵（1973－），男，安徽明光人，江南大学物联网工程学院副教授，硕士生导师，研究方向为图像视频质量评价、神经网络、模式识别。

南通纺织职业技术学院学报（综合版）Journal of Nantong Textile Vocational Technology College Vol.13，No.2Jun.2013

第13卷第2期

2013年6月

要处理25亿条消息、五百多TB 的数据，上传3亿张照片，每半个小时扫描的数据大约为105TB 。当今世界数据量正以前所未有的速度增加，通常认为数据量达到Terabyte 和Petabyte 之间就称为大数据。美国罗格斯—新泽西州立大学熊辉教授认为大数据的“大”是相对的。他举例说，10MB 的数据量并不大，但要在1ms 之内对10MB 数据完成复杂的数据挖掘分析，可能就会超越目前常用设备的数据处理能力。因此，大数据的“大”只是相对的概念，不只是量大，而且对处理的速度也提出了苛刻的要求。信息技术的发展使得信息采集的成本大大降低，这是数据快速增长的主要原因。

2)多样性。多样性是指管理多种数据类型的复杂性，包括结构化、半结构化和非结构化数据。随着传感器、智能设备和社会协同技术的爆炸性增长，数据的类型无以计数，包括文本、微博、传感器数据、音频、视频、点击流、日志文件等。

3)速度。数据在运动中，创建、处理和分析的速度在持续加快。加速的原因是数据创建的实时先天性，以及需要将流数据结合到业务流程和决策过程中的要求。速度影响数据时延———从数据创建或获取到数据可以访问的时间差。目前，数据以传统系统不可能达到的速度在产生、获取、存储和分析。对于对时间敏感的流程，例如实时欺诈监测或多渠道“即时”营销，某些类型的数据必须实时地分析，以对业务产生价值。

4)价值。价值密度低，商业价值高。以视频为例，连续不间断的监控过程中，可能有用的数据仅仅有一两秒。如随着物联网的广泛应用，信息感知无处不在，信息虽海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。

2高校信息系统中的大数据

高校信息系统也是数据生产大户。麦肯锡全球研究中心的最新数据显示，仅2009年，美国国家教育部的某信息系统的数据库就膨胀至269P 字节（1个P 字节等于10亿个M 字节）。这个庞大程度，直接入选当年全美10大数据生产贡献量排名。中国的万人大学非常多，在高校里学生的学籍、选课、成绩、借书、上网、论坛、微博和吃饭刷卡等等都会产生大量数据，教师的基本信息、上课课件和视频、远程教育课程等等也会产生大量数据，还有设备、机房和图书等信息，所以高校信息系统通常都是很庞大的，多年运营下来，已经积累很多数据，这就是高校信息系统中的大数据。高校中的大数据有很高的教学与科研价值，能够改变教育领域的授课和学习模式。用大数据可以帮助教学管理，辅助海量数据的科研计算，做招生推广活动，做学位管理工作等等。在这个信息非常宝贵的时代，高校的师生们都将从大数据技术中获取收益。3

大数据在高校中的应用3.1个性化学习

因材施教、个性化学习是教育所追求的最高目标，但在传统的班级授课制中要实现这一点是很难的。将大数据挖掘并与学习内容相结合，在线学习系统就可以以可视化的方式来指导学习者的学习和个性化发展，这样系统就实现了个性化学习功能。学生在自己的学习平台上的多媒体学习资料（文本和音视频）、学习进展、互动信息、自主学习信息这些个性化信息，能帮助学生完善知识结构并加快学生对自身兴趣爱好的挖掘和特长的培养。虽然单个学生的各种数据（结构、非结构）量并不一定很大，但在整个教育信息化的大背景下，这种学习方式要基于大数据才能更好地实现。大数据时代的到来，将带来更具针对性、个性化的教育，可以尽早将人的天赋、创造力释放出来。可以预见，未来个性化学习终端，将会更多地融入学习资源云平台，根据每个学生的不同兴趣爱好和特长，推送相关领域的前沿技术、资讯、资源乃至未来职业发展方向等等，并贯穿每个人终身学习的全过程[2]。

3.2预测

大数据的核心就是预测。它把数学算法运用到海量的数据上来预测事情发生的可能性。亚马逊可以帮我们推荐想要的书，谷歌可以为关联网站排序，淘宝知道我们的购物喜好，而QQ 的朋友推荐可以猜出我们认识谁。这些预测系统之所以能够成功，关键在于它们是建立在海量数据的基础之上的。此外，随着桑庆兵：大数据在高校的应用与思考85第2期

86南通纺织职业技术学院学报（综合版）2013年

系统接收到的数据越来越多，通过记录找到最好的预测模式，可以对系统进行改进。当然，同样的技术也可以运用在高校预测招生生源情况、就业情况，预测学生的各种需求情况以及学校的将来发展状况等。

3.3舆情分析

舆情分析就是根据特定问题的需要，对针对这个问题的舆情进行深层次的思维加工和分析研究，得到相关结论的过程。网络时代的高校舆情存在于BBS论坛、微博、聊天室等等，这些都是典型的大数据。在某个事件发生后，广大同学和老师会通过各种途径了解到事情的真相，随后而来的便是纷如雨下的评论，或支持或反对，或理性或感性，或热情参与或冷眼旁观。当一种论调得到大家的认同后，舆情甚至可以对事件的走向发生重大的影响。而一旦有心人可以从这舆情中分析出些什么，得到些什么，那么就可以做出一个正确的决定。如果在信息传递极其不便的古代，舆情就相当于一条大江，那么在现代信息高度发达的年代，舆情已经从一条大江变成了汪洋大海，其对高校政治思想工作和高校稳定性的重要性不言而喻。正因如此，舆情分析的价值就凸现了出来。

3.4在高校教学质量评估中的应用

教学评估是每个高校定期要做的项目，目的是通过教学评估发现教学中存在的问题，及时地调整教学方案和手段，以提高教学质量，从而培养出顺应社会发展要求的学生。把大数据技术引入到教育领域的评估系统中，不仅提高了教育管理的科学性，而且增强了教育数字化建设的实效性。将基于大数据挖掘的智能算法应用于教学质量评估中，从教师教学的效果，多媒体课件的使用，学生和教师的互动，教学与教学场所等因素中找出其中的内在联系，能为教学部门提供决策支持信息，为教师提供准确的反馈信息，使之更好地开展教学工作，提高教学质量。该领域的研究具有一定的潜力，许多学者都在这方面发现新的智能算法，以此帮助高校有效快速地提高教学质量[3]。

3.5有助于提高教师的教学能力

过去的教学因为没有大量数据的支撑，该教什么全凭教师跟着感觉走。现在，我们可以将教师的教学视频挂在网上，通过深度分析学生在观看教学视频的过程中在哪些地方停顿或者教学视频哪些地方重放的频次比较高，来找出学生不明确或者课程吸引人的地方，帮助教师改进教学、确定教学重点。这必然会引导教师改革教学方式。

3.6有助于高校专业培养方向的拓展

面对“大数据”带来的挑战与机遇，国内首个“大数据技术与应用”软件工程硕士专业华丽登场。继2012年9月北京航空航天大学成立大数据科学与工程国际研究中心后，作为布局大数据战略方向的另一重要举措，北京航空航天大学计算机学院、北京航空航天大学软件学院、工信部CSIP移动云计算教育培训中心三大权威机构整合优势资源，联合创办了国内第一个“大数据科学与应用”软件工程硕士专业。国内的各高校可以设置大数据专业或方向，有助于将来学生更好地就业。

4关于大数据的一些思考

4.1个人隐私保护

大数据如同一把双刃剑，社会因大数据使用而获益匪浅，但公民的个人隐私却没能得到全面保护。近年来侵犯个人隐私案件时有发生，如谷歌泄露个人隐私事件，盛大云数据丢失事件。2011年韩国三大门户网站之一Nate和社交网络“赛我网”遭到黑客攻击，致使3500万用户信息泄露。这些事件严重侵犯了用户的合法权益。在高校中同样存在着学生和老师的隐私保护问题。如果说互联网时代人们的隐私受到了威胁，那么大数据时代这种威胁无疑只会加深，不会减少。大数据的价值潜力，使得个人信息被更多采集、更久存储、更彻底利用。甚至有些看似无关紧要的信息，关联在一起就能精准定位到具体的某个人。大数据时代，不管是告知与许可、模糊化还是匿名化，这三大隐私保护策略都失效了。因此，需要设立新的模式来保护个人隐私，这个模式应该更着重于强调数据使用者为其行为承担责任。

4.2高校大数据的质和量

目前高校大数据普遍存在的问题是数据的质和量都不高。许多高校的数据分析、利用仍停留在初级水平，数据很难被发掘利用也反映了在系统建设和使用过程中的数据不准确、不精确、不一致等诸多质量问题。专家表示，要进行数据分析，首先必须有充足的有质量的数据。之所以说现在做数据挖掘的时机是成熟的，是因为高校，尤其是一些大型高校拥有大量的教学、管理、科研等数据，这为从各个层面进行数据分析提供了信息基础。此外，最近几年移动互联网技术、微博等SNS 网站的推出，使学校拥有了很多可用的、有价值的海量数据。这也意味着，要进行信息挖掘，必须充分扩展应用，掌握更多的数据。

4.3大数据的虚火

从大数据概念出现，到如今成为各界热炒的话题，有关大数据出现泡沫的言论已经开始陆续出现。市场调查公司Gartner 最新调查报告显示，大数据炒作已经接近预期最高值，大数据泡沫即将破灭。2001年前后的互联网行业也出现过泡沫，但是泡沫过后，行业迎来了新的洗牌，也留下了很多好的公司。如果大数据泡沫破灭，那么也会留下一些有价值的东西。但是就目前来说，大数据或许只是虚火的概念，需要冷静地对待它。

5结语

2013年被称为中国的大数据元年，未来的十年，将是大数据引领下的智慧科技时代。不管你是否意识到它的存在，大数据都将越来越快地改变我们这个时代，包括我们的生活方式。就像互联网通过给计算机添加通信功能而改变了世界，大数据也将改变我们生活中最重要的方面，因为它为我们的生活创造了前所未有的可量化的维度。大数据已经成为新发明和新服务的源泉，而更多的改变正蓄势待发。

对于大数据分析在高校中的应用前景，存在两个方面的关键因素。首先，业务和技术的紧密结合非常重要。业务需求是所有数据分析的目的，做数据分析要先挖掘出分析什么，拥有了需求，高校才能有针对性地对数据进行分析，把数据深层次的价值挖掘出来，让它们为决策服务。其次，数据分析对于技术人员的要求很高，要求他们不仅精通技术，也要熟悉校园网业务。尽管大数据在高校中有着广阔的应用前景，但是不可否认，从目前的情况来看还存在着一些问题，还需要进一步地修正、探索。

参考文献：

[1]

维克托·迈尔－舍恩伯格.大数据时代[M].杭州：浙江人民出版社，2012.[2]

查欣.基于数据挖掘的高效管理信息系统的设计与实现[J].中国现代教育装备，2008（2）：53－55.[3]吕红.基于数据挖掘技术的高校教学质量考评研究[J].理工高教研究，2007（5）：94－97.

（责任编辑：胡梅）

Application of Big Data in Higher Education

SANG Qing-bing

(School of IoT Engineering ，Jiangnan University ，Wuxi 214122，China)

Abstract ：With the advent of the era of big data ，profound changes will take place in colleges and universi -ties.Big data defined ，the paper presented the big data in university information system and discussed its ap -plication in higher education.Possible problems in the application are then analyzed as well.Key words ：big data ；higher education ；data mining 桑庆兵：大数据在高校的应用与思考87第2期