高校大数据及其处理架构

高校大数据及其处理架构

高校中汇聚着大量的信息，从学生角度来看，包括联系方式等基本信息，食堂消费、住宿晚归等生活信息，选课、课后作业、借阅图书、成绩等学习信息，参与的社团、竞赛、讲座等第二课堂信息；从教师角度来看，包含教学任务、课件等教学信息，论文著作、科学研究数据等科研信息；从管理者的角度来看，包含学校的资产信息、师资信息、招生就业信息等。同时随着移动互联网以及物联网等新技术的兴起，学校师生主动产生和由设备自动收集的信息越来越多，如微博、微信等社交信息，各类搜索点击记录信息等。上述信息存在着数据量大、结构复杂、产生频率快的特点。这导致利用常用软件工具捕获、管理和处理此类数据所耗费时间超过了可容忍的时间。

大数据的处理流程与一般数据的处理过程类似，可以定义为在合适工具的辅助下对广泛异构的数据源进行抽取和集成，将结果按照一定的标准统一存储，利用合适的数据分析技术对存储的数据进行分析从中提取有益的知识，并利用恰当的方式将结果展现给终端用户。具体来说可以分为数据抽取与集成、数据分析和数据展示。

数据抽取与集成

大数据的数据来源非常广泛，既包括传统的关系型数据库，也包括XML 等半结构化数据，以及以视频、音频、文本和其他形式存在的非结构化数据。数据抽取和集成要解决的主要问题就是收集各种碎片化的数据，对数据进行清洗，保证数据质量，同时根据时间演进不断更新数据模式，确定数据实体及其之间的关系，最终将数据按照统一的格式进行存储，以便提供给上层用来进行数据分析。

目前高校已经基本建立了完备的管理信息系统、学习管理系统等，在统一数据中心中积累了大量的结构化数据；同时各类系统中还散布着大量的半结构化和非结构化数据。半结构化和非结构化的数据经过一定处理后，可以转化为更容易分析使用的结构化数据。

数据分析

经过抽取和集成得到的数据，需要经过分析挖掘其潜在的价值。传统的数据挖掘、机器学习、统计分析等方法仍然可以用来对数据进行分析，只是需要根据大数据的特征进行调整。首先，为了实现对海量数据的分析，需要依Map/Reduce 模型，将数据拆分处理，然后再将结果汇总，一个完整的分析可能会经过多层类似的处理过程；其次，大数据的应用通常具有实时性的特点，数据的价值会随着时间的流逝而递减，因此分析方法需要平衡处理的效率和准确率；最后，大数据一般构建在云计算平台之上，分析方法需要考虑与云计算平台的集成或做为一种云服务。

数据展示

数据分析得到的分析结果，需要以直观可理解的方式呈献给最终用户，在大数据时代，数据分析产生的结果有可能也是非常大量的，且结果之间的关联关系复杂、数据维度更多，数据可视化技术通过更加适合人类思维的图形化的方式展示数据分析结果，已经被证明是展示数据分析结果非常有效的方法。常见的可视化方法有：多维叠加式数据可视化、数据在空间、时间坐标中的变化和对比等，当然要将枯燥的信息转换为美丽的、令人印象深刻的图形，需要较高的技术素养和艺术素养。

. 数据来源

传统的就业分析一般从就业单位、就业地区、所在院系专业、性别、签约类别、就业年份等维度来分析，得到的只是一般意义上的统计结果，对于指导单个学生的就业以及预测未来的就业情况发挥的作用比较有限。应用大数据分析技术，就可以将学生就业模型涉及到的学习情况、社团信息、生活信息、校外实习、参加的竞赛及获奖情况、所投公司当年的招聘计划、历届学生在所投公司的表现等众多的信息进行收集。以上海财经大学为例，可以从图1 所示的各类系统中抽取学生的各类信息，构成就业分析模型所需的各类数据。

2. 数据抽取与存储

针对数据来源的不同，我们采取不同的数据抽取方式，对于结构良好的各信息系统的数据，我们采用ETL 工具如InformaticaPowercenter、Kettle 将数据抽取到HBase 数据库中；对于Web 网页这类非结构化数据，通过Nutch 进行抓取，Solr 对数据进行索引后存储到Hbase 数据库中，示意图如图2 所示。Hbase 数据库是一个开源的高可靠性、高性能、可伸缩、并非建立在关系模型基础上的分布式数据库，用以存储大规模结构化数据。

. 数据分析

将就业分析模型所需的数据存储在Hbase 数据库后，可以利用Hive 对Hbase中的数据进行查询和分析。Hive 提供了一种简单的类SQL 查询语言，十分适合数据仓库的统计分析。通过Hive 我们可以实现传统数据仓库所实现的对就业数据的汇总统计分析，而且可以容易的扩展其存储能力和计算能力。

除了数据统计分析之外，我们还可以利用Mahout 这个机器学习工具对数据进行监督学习和无监督学习。监督学习使用先验知识对数据进行分类；无监督学习则由计算机自己学习处理数据，并在做出判断后给予一定的激励或惩罚。在进行就业分析时，我们可以使用Mahout 已经实现的具体方法。首先是协作筛选，通过分析已就业学生的成绩、参加的社团活动、关注的行业、性格特点、就业单位、就业岗位等，计算学生之间的相似度，为即将毕业的学生推荐适合的就业单位和岗位，提供个性化的服务；其次是聚类，这是一种无监督的机器学习方法，我们可以通过不同的维度将未能及时就业的学生进行分析，从中找出其共同的特点，再通过比较在校学生的相关属性，及时对学生给出预警，以便其在后续的学习和生活中加以改进，如图3 所示。

4. 数据展示

在数据展示层，我们可以使用Tableau 软件将分析的结果进行可视化的展示，Tableau 将数据与美观的图表完美地结合在一起，它包含非常多的预定义的图表格式，同时还可以将时间、地图等多种维度在单一的图表中进行展示。

学习行为分析

为了支持学生的自主学习，高校一般都有自己的学习管理系统如Blackboard、Sakai 等。这些学习管理系统为学生、教师提供了课程学习和交流的空间。美国教育部教育技术办公室认为教育数据分为键击层（keystroke level）、回答层（answer level）、学期层（session level）、学生层（student level）、教室层（classroom level）、教师层（teacher level）和学校层（school level），数据就寓居在这些不同的层之中。一般高校每年的开课数在数千门，学生数在数万人，产生的数据量非常大。应用大数据分析技术使得监控学生的每一个学习行为变为了可能，学生在回答一个问题时用了多长时间，哪些问题被跳过了，为了回答问题而作的研究工作等都可以获得，用这些学生学习的行为档案创造适应性的学习系统能够提高学生的学习效果。

学科规划

促进学科交叉融合发展，构筑有生命力的学科生态，打造凸显核心竞争力的高水平学科是学校学科规划的重要任务。借助大数据分析技术，充分收集各学科的教学状态数据、科研项目数据、前沿发展动态等信息，从而分析学科建设存在的不足，确定学科未来发展的方向，发掘出潜在的具有国际视野的学科带头人。

心理咨询

论坛、微博等平台上每天都会产生由评论、帖子、留言等数据，这些数据集反映了师生的思想情况、情感走向和行为动态，对这些数据进行科学的存储、管理并使用大数据技术进行有效的分析利用，建立师生思想情感模型，对掌握师生心理健康程度，有针对性地加强对师生的心理辅导有着重要的意义。

校友联络

校友资源犹如一座座宝藏，对高校的发展建设有着不可替代的重要作用，是高校工作的重要组成部分。有效地把校友联络起来、团结起来，对学校的建设和发展具有重要意义。利用传统的管理方法，仅校友信息收集就要耗费大量的时间和精力。利用大数据技术，收集各类社交网站上的非结构化数据，通过分类、聚类等数据挖掘方法，确定校友身份并收集其联系方式、参加的活动信息等，可以大大提高校友数据收集的效率，为以后利用校友资源提供良好的基础。

大数据在高校应用的美好前景令人神往，但目前大数据的应用还存在很多应用难点，主要有数据集成困难、数据分析方法有待改进和数据隐私问题。

数据集成

在很多高校中，因为管理信息系统设计时未考虑到对一些过程数据的收集，导致在分析时缺乏必要的数据来源，需要对应用系统进行扩展；同时对于定义良好的结构化数据很多高校也尚未很好的集成。在大数据时代，异构的数据类型、广泛存在的数据来源、参差不齐的数据质量给数据集成带来了新的挑战。高校应该探索融合结构化、半结构化、非结构化数据的统一模型，同时提高数据采集的质量，强化数据文化。

数据分析方法

半结构化和非结构化数据的迅猛增长，给传统的聚类、关联分析等数据挖掘技术带来了巨大的冲击和挑战。一方面，很多应用场景要求数据的实时分析；另一方面缺乏对半结构化和非结构化数据的先验知识，难以构建其间的关联关系。高校需要紧密跟踪业界对大数据分析方法的研究动态，同时通过高校间的协作沟通探索新型的数据分析方法。

数据隐私

大数据分析的数据基础必然建立在获取更多个人信息之上，而且通过分析还可以使数据之间产生关联关系，进而揭示更多的个人隐私。然而为了保护隐私就将所有数据加以隐藏，那么数据的价值就无法体现。这种矛盾在相当长的时间内必将一直存在，需要通过技术和制度的完善逐步解决。

移动互联、MOOC 等技术的不断兴起给高校的发展带来了极大的挑战，为了应对这种挑战，高校应当充分发挥大数据在其中的支撑作用。在人才培养、科学研究和管理等方面广泛收集过程数据，结合可视化技术充分分析和挖掘蕴含在数据之中的丰富价值。同时我们需要在高校内倡导和强化数据文化，建立持久运作的收集、分析数据并将分析结果转换为教育决策和实践的体系，真正发挥大数据在高校发展中的价值。

（作者单位为上海财经大学信息化办公室）

大数据对高校信息公开的推进作用

摘要】自从大数据概念提出以来，便掀起了信息界的一场数据革命，在大量数据公开于大众的时代，高校信息公开也正在被认定是依法治校的必然结果，是现代大学制度的基本要求。大数据对于高校信息公开具有重大的推进作用，使其公开透明。大数据对高校信息公开发展的推进值得关注和研究。

【关键词】大数据；高校信息公开；数据挖掘

1 大数据时代来临

大数据是信息革命的又一里程碑，引起了信息领域越来越多的关注。特别是，在今年3月奥巴马政府宣布推出“大数据的研究和发展计划” 意在推进和改善美国联邦政府有关部门的数据收集、数据组织技术，从而提高从海量数据中获取知识和洞见的能力。将大数据提升到了全球性战略发展的高度。

1.1 认识大数据

2011年5月，全球知名的咨询公司麦肯锡发布了《大数据：创新、竞争和生产力的下一个前沿领域》报告，在这份报告中，大数据作为一个概念被首次提出，该报告还指出“数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产要素；而人们对于海量数据的运用将预示着新一波生产率的增长和消费者盈余浪潮的到来”。通过比较其在各研究结构、数据科学家以及维基百科中的的概念可以得到较为一致的认识，即：大数据是一种数据量很大、数据形式多样化的非结构化数据。

1.2 大数据创造的巨大价值

数据正在成为一种资源和一种生产要素，大数据将在各行各业引发各类创新模式。面临海量增长的数据，各种存储器、数据库、系统架构、人工智能、数据挖掘分析以及信息通讯等方面都在不断地涌现突破性的技术，大数据正在引发着信息界的一场无声的革命。大数据将提升电子政务的效率，将削减信息孤岛的现象，使得数据共享成为可能，使得信息公开得到推进。

1.3 大数据在高校信息公开中的应用

随着公众对电子政务认知力的提升，高校信息公开的能力和范围引起了越来越大的争议。高校作为公共部门，需要用数据向其特定的信息用户提供所需的信息，并且提供横向或者纵向的比较，这在过去几乎是不可能的，但是随着大数据时代的来临，数据挖掘能力和人工智能开始飞速发展，越来越多的人工智能软件被开发和应用，这无疑对高校信息公开起着极大的推进作用。

2 高校信息公开的发展现状

2.1 我国高校信息公开现状简述

高校信息公开既关乎与百姓利益密切相关的教育公正，又是政府信息公开制度的必要组成部分与具体落实手段。目前，我国虽然对于高校信息公开已经有了一定的认识，也已经有了相关领域的专家和学者对这一课题进行研究，但是我国的高校信息公开政策松散又不正式，技术也不完善，因此，我国目前高校信息公开工作进行的并不十分顺利，与公众对高校信息公开的期望相差甚远。

2.2 高校信息公开的重要性

2.2.1 高校信息公开是依法治校的必然结果

在当今法治环境下，公众对于透明政府，透明办公的要求日益增强，尤其是高校，为了保证广大师生，社会各界对于其工作的参与和监督，必须实行高校信息公开制度。目前，尽管学生参与高校事物管理还不是很普遍，但是高校是学生学习生活的地方参与学校的管理是体现学生，教职工应有的权利和客观必然的发展规律。公众对高校的质疑也应依靠高校信息

公开来解决，高校应建立起透明的信息公开制度，将政务向社会公开，接受来自社会的监督。

2.2.2 高校信息公开是现代大学制度的基本要求

高校既是法律授权的组织同时也是提供公共服务的组织，其在活动时都在利用国家的公共资源，因此在运行中理应最大限度地向公众提供政务信息，接受公众的监督。此外，教育国际化也使得高校面临的极大的竞争压力，这就需要加强对外交流与合作，借鉴国际办学的理念，发达国家的高等教育的开放性和透明性对我国的高等教育提出了挑战，因此我国也必须构建符合国际惯例的大学治理结构，逐步实行信息公开，否则必将在外来优质教育资源的冲击下使得我国高校在竞争中错失良机而浑然不知！

2.3 现阶段高校信息公开的不足之处

2.3.1 缺乏数据的横向、纵向比较机制

当信息用户在高校网站提取自己所需的信息的同时，网站返回的数据缺乏必要的横向、纵向比较机制，我们的高校应该借鉴这一机制，充分运用大数据带给我们的便利之处，在特定领域，例如教职工管理信息、学生成绩管理工作、招生工作、就业工作等方面开启数据比较机制，采用先进的数据挖掘、人工智能技术，更好的为信息用户提供服务。

2.3.2 监督机制缺乏，操作性差

《高等学校信息公开办法》中规定：“国务院教育行政部门开展对全国高等学校推进信息公开工作的监督检查。省级教育行政部门应当加强对本行政区域内高等学校信息公开工作的日常监督检查。高等学校主管部门应当将信息公开工作开展情况纳入高等学校领导干部考核内容。”由此可见，虽然《办法》要求对各高校的信息公开工作进行监督和检查，并将该高校的信息公开工作纳入到高校的领导干部考核内容中，但是对如何开展检查、具体的考核方式、标准以及责任承担均无明确的规定，难以有效地落实与开展，使得高校信息公开的监督检查机制难以发挥其应有的保障作用。因此，高校应该开展有效的监督系统，定期利用数据反馈技术，将用户提供的反馈信息进行统一的整合和分析，并以此作为高校信息公开工作的考核和评估指标之一。

3 基于大数据时代对高校信息公开的推进

3.1 大数据对于高校信息公开的推进作用

3.1.1 大数据推进高校信息资源进一步开放，使得高校信息开发利用效率倍增。被割裂储存于不同部门的数据在统一平台上开放，数据创新应用就将会不断的涌现，高校信息的附加价值就会被充分的发掘。越来越成熟的信息分析和数据挖掘工具使得被公开的信息将得以有效利用和开放应用。

3.1.2 大数据真正整合了高校各部门的信息鸿沟，有效的提高了办公效率，降低学校运行成本。在高校中各部门之间的信息纷繁复杂，技术上也存在一定的障碍，随着大数据技术的发展，使得各部门之间的信息在内部纵向、横向都得以流畅协同。并且，由于利用大数据技术，数据获取、处理以及分析的响应时间大幅度减少，因此校内工作效率明显提高，同时又减少了开支，降低了学校的运行成本。 3.1.3 大数据促进高校和公众互动，让办公透明，帮助学校进行社会监督。越来越多的国家和组织利用其开展与学生间的互动，利用其的在线交互让学生以及社会群体成为高校政务的节点，建立透明的高校。高校BBS，论坛等以其开放性、互动性赢得了高校学生的青睐，除了在这些社交平台上能够得知学生以及教职工的真实想法，化解高校管理者与学生之间的矛盾外，社交平台上产生的数据又能帮助高校解决一些实际的难题。高校可以利用其对学生群体，教职工群体，包括对高校关注的社会群体进行细分，对不同的群体实施针对性的服务，并制定相应的政策。

3.1.4 大数据可以提高高校管理中有关决策的科学性和准确性，提高高校预测预警能力以及应急响应能力。高校在运行过程中不应该遵循经验和直觉，应依赖数据和分析进行决策，现在大数据又超越了传统的信息分析方法，不但可以对纯数据进行分析挖掘，对言论、图表

等都可以进行深度挖掘和人工智能，它可以进行动态监测。大数据的深入以及广泛应用会给高校带来科学并且精确的决策支持。

3.2 基于大数据时代对高校信息公开制度的几点构想

3.2.1 进一步完善高校信息公开平台建设，提升在线服务与互动性。除了校内网络等信息公开网络平台以外，还应该注意开辟其他类型的信息公开平台，并建立健全的数据反馈机制，使得高校信息在公开的同时能够得到及时有效的反馈，并将反馈的数据进行整合和分析，以增强高校信息公开的服务性，从而便于针对不同的群体制定相对应的服务和政策。

3.2.2 信息整合和公开手段多元化发展。随着高校信息公开的不断发展，公众的信息需求也是多变的，而信息公开不可能将所有的海量信息一一呈现在用户面前，这就需要多元化的信息整合能力，在大数据发展的今天，信息挖掘，处理分析和整合的技术在不断的发展和完善，必将有一天运用到高校信息公开中，将海量信息逐一进行整合、匹配，并根据用户的需求将不同的数据和信息提交给不同的信息需求群体。

3.2.3 将软件即服务（Saas）运用到高校信息公开中，Saas是一种全新的IT应用模式，利用互联网打造专业的Saas平台，将此平台运用到高校信息公开中是一个大胆的设想，一方面，为信息用户（例如学生，教职工或者社会群体等）提供便捷的软件管理与服务，高校作为公共部门，应该将信息公开作为一种服务，并且为其特定的信息用户提供相应的服务；另一方面，就像打开自来水龙头就能用水一样，信息用户可以方便地利用高校信息化系统，大幅度降低了门槛与风险，也就能更好的应用高校信息公开服务。

4 结束语

大数据对高校信息公开有着极大的推进作用，大数据的技术方法还将继续飞速的发展，高校信息公开也将随之不断推进，在转型的政务公开新阶段，要充分认识大数据的作用，加快大数据的研发和应用，推进高校信息公开的不断发展。

【参考文献】

[1]Big Data is a Big Deal[EB/OL].http：//https://www.360docs.net/doc/5f3957836.html,/blog/2012/03/29/big-data-big-deal.

[2]邵红.高校信息公开理论探讨及具体措施[J].Education Research，2012：978-979.

[3]马海群.我国大学信息公开政策的法律依据及问题分析[J].现代情报，2011 （3）.

[4]藤田英典.走出教育改革的误区[M].张琼华，等译.人民教育出版社，2001：181.

[5]马海群.国外大学信息公开制度建设及对我国的启示[J].中国教育研究，2009（9）：50-52.

[6]丁健.浅析大数据对政府2.0的推进作用[J].中国信息界，2012（9）：12-14.

[责任编辑：杨扬]