高校大数据平台解决方案-高校智慧校园解决方案

高校大数据平台解决方案、高校智慧校园解决方案

1.项目概况

近年来，随着信息技术产业的蓬勃发展，高校的信息化建设工作也受到了广泛关注。推进高校信息化建设，打造数字化校园已成为各高等院校的普遍共识。由于信息化建设初期缺乏统一规划，数据标准各异，业务系统各自为政，导致数据非集成化并形成了许多的信息孤岛，这使得大量数据无法共享和利用，获得更大价值。

数据共享交换平台是整个数字化校园建设的重要组成部分，利用平台对校园内散乱分布的数据进行集成化整合，同时将原来分散、利用率低下的信息资源进行数据挖掘，对于学校的发展战略和决策支持具有重要意义。

另外，数据共享交换平台的建设是高校信息化建设下一阶段——智慧校园建设的工作基础。完成对学校内大数据有机的整合和继承管理，掌握学校各项活动中发生的庞大、海量数据，并利用大数据处理技术对这些信息资源进行挖掘、整理、分析，为学校的发展提供决策支持，是大数据时代下支撑学校改革、发展的重要手段。

2.智慧校园建设方案！高校统一数据中心解决方案平台设计目标及思路

大数据时代的教育带有“大教育”的特性，具有全员（从全日制学生到全民，面向所有人）、全程（从学前教育到终身教育，服务各个教育阶段）、全方位（家庭、学校、社会三位一体教育，无所不在的教育，虚实结合的教育）等特点。随着在线平台的推广和普及，越来越多的老师将自己的授课视频放上网。互联网上的眼睛将使所有错误无所遁形，在无数人的编辑之下，知识传播的形式将不断优化、效率会不断提高。在数据的不断累积当中，视频将会沉淀下来，成为经典的学习材料。

目前，建设以全局数据为基础的数据共享交换平台已成为各高校信息化建设的核心内容。通过其建设可以有效消除信息孤岛，节约人力、物力、财力成本，提高工作效率。各职能部处可以通过该平台获取其他业务部门的数据信息，通过对数据的交换、共享、分析、挖掘，为广大师生提供更加完善的服务，为高校建设以及科学管理提供重要的依据。

3.需求分析及概述

3.1产品架构

3.1.1概述

教学大数据平台包含4个部分：

第一部分是运维管理，包括：安装部署、配置管理、主机管理、用户管理、服务管理、监控告警和安全管理等。

第二部分是数据ETL，即获取、转换、加载，包括：关系数据库连接Sqoop、日志采集Flume、ETL工具Kettle。

第三部分是数据计算。MPP采用分析型分布式数据库，存储高价值密度的结构化数据；Hadoop存储非结构化/半结构化数据和低价值密度结构化数据。计算结果都存到数据仓库，数据仓库中的数据可直接用于分析和展示。数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合，用以支持经营管理中的决策制定过程。

第四部分数据服务，包括：机器学习、数据挖掘、数据检索、数据可视化、即席分析、SQL和API，为应用层提供服务和中间件调用。

3.1.2数据处理

对于大数据管理平台，应该建立一套标准化、规范化的数据处理流程，例如：如何采集内部和外部数据、结构化和非结构化数据；如何清洗采集来的脏数据和无效数据；如何对不同来源的数据进行打通；如何对非结构化的数据进行结构化加工；如何在结构化数据的基础上进行商业建模和数据挖掘等等。大数据管理层在一条数据总线上构建了一条完整的大数据处理流水线。这条流水线从数据的采集、清洗到加工处理，把原始杂乱无章的数据加工成结构化的数据组件，供上层的大数据应用来拼装调用，让企业拥有创造数据资产的能力。

3.1.3数据分层

（1）ODS层：数据来源于各生产系统，通过ETL工具对接口文件数据进行编码替换和数据清洗转换，不做关联操作。未来也可用于准实时数据查询。

（2）轻度汇总层：主题域内部基于明细层数据，进行多维度的、用户级的汇总。

（3）明细数据层：主题域内部进行拆分、关联。是对ODS操作型数据按照主题域划分规则进行的拆分及合并。

（4）信息子层：报表数据、多维数据、指标库等数据来源于汇总层。汇总层：主题域之间进行关联、汇总计算。汇总数据服务于信息子层，目的是为了节约信息子层数据计算成本和计算时间。

（5）应用层：应用系统的私有数据，应用的业务数据。精细化营销做为大数据平台的一个上层应用，由大数据平台提供数据支撑。

3.1.4数据交换

没有集成后台的内容就没有所谓的一站式、个性化服务，因此后台系统的集成和互连是建立公共技术支持服务平台的重中之重。由于公共技术支持服务平台各类应用系统在应用范围、构建方式、系统结构、数据资源等方面存在一定的差异，因此也需要建立统一的数据交换平台，采用Web Services和SOA技术，实现各业务系统之间、数据中心和开发域之间的数据交换、数据整合。

数据整合平台，可提供应用之间的信息交换，提供数据格式定义、数据转换、数据路游、业务规则定义和业务流程编辑等具体业务服务。数据交换平台需要解决的是系统整合问题，要求系统间的异构接口、异构数据、和系统间的流程调度。

3.2数据服务与使用

3.2.1ashboard-数据大展应用

大数据平台Dashboard依靠不同样式的图例报表来可视化收集到的大量数据，良好的仪表板设计可以提供数据的相关性，用于帮助决策。Dashboard需确保仪表板显示的数据相关和简洁，并且在显示方式上经过深思熟虑后用于数据大展应用。下图是我们为东北财经大学制作的教学大数据分析平台的Dashboard页面。

3.2.2数据展现

3.2.2.1学生基础分析

将学生基础信息有关的数据整合并通过合理的图例进行展示，便于相关教师及学生查看和分析。当前我们完成了近40个关于学生基础信息的图例，分别是：民族分布情况、性别分布统计、年龄段分布统计、政治面貌分布统计、违纪处分统计、户口性质比例统计、来源统计、学制统计、学历分布统计、奖学金统计、学习形式统计、状态分布、学籍状态统计、生源地统计、助学金统计、科类统计、入学年级统计、招生类别统计、招生批次统计、勤工俭学统计、入学方式统计、欠费分析/横向对比、来源学校分析、贷款统计、历年各学科学生数量、数分布统计、历年学生年龄分布、历年生源地分布、历年学生民族分布、学费减免统计、历年录取分数分析、招生计划完成情况分析、历年各专业学生数量和就业分析等。下图将展示大数据分析平台中的部分学生基础信息图例。

3.2.2.2科研基础分析

将科研基础信息有关的数据整合并通过合理的图例进行展示，便于进行整个学校科研水平的分析和研究。当前我们完成了近30个关于科研基础信息的图例，分别是：科研机构概况统计、科研人员性别组成、科研人员年龄分布、科研人员学历组成、科研人员职称组成、科研人员民族组成、科研人员政治面貌、科研人员学位组成、科研人员类别组成、科研人员变化趋势、各机构科研成果统计、各机构成果获奖统计、经费使用分布、科研经费使用趋势、各机构排名统计、个人排名统计、进行项目预警、近两年获得省级以上的科研项目成果情况、高级人才近五年科研产出、各机构科研人员比对、各机构下项目情况和各机构人员对比等。下图将展示大数据分析平台中的部分科研基础信息图例。

3.2.2.3教学基础分析

将教学基础信息有关的数据整合并通过合理的图例进行展示，便于进行整个学校学生水平以及毕业情况的分析和研究。当前我们完成了近40个关于教学基础信息的图例，分别是：成绩详细统计分析、各学院学霸统计分析、各学院学年总学时变化趋势、各专业中不同科目成绩排名及趋势分析、学校开设课程情况统计、网络学习统计分析、按教学课时量对教学部门排名、各专业中科目成绩排名及历年趋势、教职工教学任务统计、各院系成绩情况对比、教师数据与结构统计、各专业中不同科目挂科率排名及趋势、学生就业情况分布、学生考研情况分布、全校领导年龄分布、各专业中不同科目挂科率排名及趋势、校领导在职年限分析、教师培养培训统计、教职工教学任务统计、学生获论文奖统计分析、实践教学统计分析、专业建设统计分析、教学管理队伍统计分析、新生录取变化规律分析、学风建设统计、新生录取情况统计、不同学历的入党率分析、经费的投入与利用情况统计、教学基本设施统计、课程与教学统计分析、教育教学水平统计分析、学生就业率及其变化趋势分析、质量监控统计分析和各类学生监控报告分析等。

3.2.2.4人事基础分析

将人事基础信息有关的数据整合并通过合理的图例进行展示，便于进行整个教职工基本情况的分析和研究。当前我们完成了近20个关于人事基础信息的图例，分别是：教职工专业及科类统计、教职工人员类别统计、教职工年龄段统计、教职工职称统计、教职工民族统计、教职工性别统计、教职工政治面貌统计、教职工学历统计、教职工学位统计、教职工来源统计、教职工总量情况分析、教职工职称详细分析、教职工人事调动统计、教职工考核结果统计、教职工奖励结果统计、教职工地缘关系分析、各院系师资建设水平和教职工学院结果分析等。

3.2.2.5一卡通消费分析

将校园一卡通消费信息有关的数据整合并通过合理的图例进行展示，便于进行学生消费和其他动态情况的分析和研究。当前我们完成了近20个关于一卡通消费信息的图例，分别是：学生消费习惯分析、学生低消费预警分析、消费点统计分析、就餐学生人数统计、学生消费趋势分析、学生每餐消费额分析、学生月消费分析、学生消费按购物点排序、餐厅学生月消费分析、各购物点学生人数统计、学生就餐时间段分析、学生人均消费额分析、各卡机消费情况分析、学生消费按餐厅排序和学生一卡通充值分析等。

3.2.2.6资产基础分析

将学校资产信息有关的数据整合并通过合理的图例进行展示，便于进行学校资产信息查看和管理分析。当前我们完成了近15个关于资产基础信息的图例，分别是：资产总体基本情况、设备来源统计分析、设备类型统计、设备情况全方位统计分析、设备仪器维修统计、5W，10W，40W以上大型仪器清单、5W，10W，40W以上贵重仪器清单、对比统计全校设备价值生均投入比、分院系持有大型仪器价值横向对比、对比统计各院系设备价值生均投入比、分院系持有大型仪器数量横向分析、5W，10W，40W以上大型仪器清使用单位信息、设备购置统计和5W，10W，40W以上贵重仪器使用信息等。

3.2.2.7图书馆基础分析

将图书馆基础信息有关的数据整合并通过合理的图例进行展示，便于进行图书馆藏书借书等信息查看和管理分析。当前我们完成了近15个关于图书馆基础信息的图例，分别是：生均图书册数、按书类统计图书利用率、按借书量对各院排名、各院系专业图书馆借阅对比排名、对藏书按照图书分类进行分类统计、历年书资金投入统计分析、对藏书按照馆藏类别进行分类统计、借阅频次高的书进行排名、按书类统计图书流通率、借书高峰时借书多的书类分析、借书高峰分析、借阅人员排名、每月借阅TOP10、图书资产投入及各藏书类别占比和图书馆出入高峰期分析等。

3.2.2.8宿舍基础分析

将宿舍基础信息有关的数据整合并通过合理的图例进行展示，便于进行宿舍管理分析。当前我们完成了近10个关于宿舍基础信息的图例，分别是：宿舍入住率分析、宿舍出入分时段统计、宿舍楼入住统计、学生宿舍入住明细下钻分析、各学院学生宿舍分布和宿舍各院系入住组成占比统计等。

3.2.3数据分析

3.2.3.1学生基本情况分析

支持从人数、性别、年龄、专业、民族、政治面貌等方面进行历年与学生相关的详细分析统计。利用导入生源分析表进行历年录取分数分析、完成计划情况分析、来源学校分析以及就业统计分析（如就业总体情况等）。

3.2.3.2教职工基本情况分析

支持教职工总量情况、教职工职称情况进行详细的统计分析。

3.2.3.3资产设备情况分析

支持设备、设备类型、设备购置、设备仪器维修等方面进行统计分析，以便相关领导及时掌握全校的设备情况。

3.2.3.4校园一卡通使用情况分析

支持消费习惯分析、消费趋势分析、消费点统计分析等功能。如就餐方面：就餐人数统计、餐厅月消费分析，根据阈值进行就餐预警。

3.2.3.5学生住宿情况分析

支持各种图形、表格形式，以院系、班级等不同维度展示在校生住宿情况，通过与现有一卡通宿舍门禁系统联动，统计学生进出宿舍状况。预留与学校同步部署的宿舍管理系统接口。

3.2.3.6生源数据分析

根据各地区新生的报到率和在校的学习表现，调整生源地分布和招生策略。在分析过程

中针对省内生源，可以把生源地分析粒度缩小到县、镇甚至校级;外省生源可以把分析粒度扩大到省甚至大地区。并根据分析结果指导招生部门开展考前宣讲、优惠政策制定等，以提高学校的生源质量。

3.2.3.7就业数据分析

通过对学生专业分布和就业数据的分析，了解各专业在校学生的结构分布以及毕业生的就业动态，并探索建立合理的信息共享模式，使用人单位和高校有更流畅的信息交流。也可以建立毕业生的职业数据跟踪，更好地引导在校学生的就业分流，发挥毕业生对在校学生的职业指导作用。使学校制定的就业政策能及时反映就业市场需求，提高毕业生的社会竞争力。

3.2.3.8图书馆借阅分析

通过对图书借阅和电子阅览室使用数据的分析，了解学生的阅读模式和阅读频率，以及对数字资源的内容需求，为调整图书的类型和改进阅读服务提供依据。可以对学生阅读内容、阅读数量、借阅习惯和学业状况、能力表现进行相关性分析，以便更好地引导学生的书籍阅读和书籍推荐。

3.2.3.9其他综合分析模型

学生成绩与图书馆借阅相关性分析、学生成绩与图书馆进出次数相关性、学生成绩与吃早餐次数相关性分析、教职工职称与科研成果相关性分析、教职工来校年份与科研成果分析、教职工引进人才方式与科研成果相关性分析、不同岗位、学科门类下的科研成果产出分析、资产投入与科研产出的产出比分析、教职工教学任务量与科研产出相关分析、学生成绩与教师网络课程、精品课程以及教职工职称的相关性分析、低消费学生与助学金发放的交叉分析。

3.2.4数据挖掘（决策支持）

3.2.

4.1一卡通数据分析

通过对一卡通消费数据的分析，分析学生的日常用餐和生活消费模式，为勤工俭学、贫

困生资助、奖学金和助学金发放等提供数据依据，确保各项补助尽可能合理地发放。可以对学生的消费模式(消费时间、消费内容)进行分类。和健康数据相结合，为师生提供个性化的健康饮食建议;和教学数据结合，探索生活模式和学业成绩的相关度。

3.2.

4.2上网行为分析

通过对网络流控数据和访问数据的分析，追踪不同用户的上网习惯、访问内容、软件使用等。协助发现校园流行趋势、技术动态和热点事件，以及对可能存在的病毒和舆论事件进行控制和预警。也可以和学业成绩、健康数据进行相关度分析，以便学校开展适时的培训和指导，引导学生形成健康的网络使用习惯。

3.2.

4.3行为预警

学生行为预警直接关注的就是学生在校期间的异常表现，包括思想和行为的各个方面。预警信息收集主要通过学生信息员、生活辅导员、任课教师等预警链条识别学生在情绪、学习、行为上的表现，通过网络信息搜集团队检测学生在微信、微博、贴吧、论坛上的不良言行，从而形成多层次、全方位的预警信息收集系统，及时捕捉苗头性信息，及时发现异常表现，以便转递给预警主体做进一步的决策。当前主要从学生疑似未住宿预警、学生疑似未不在校预警、学生晚寝晚归预警、学生低消费预警、学生预警每月关注TOP10、学生预警趋势分析、学生就餐高峰、洗浴高峰预警和学生就业预警等方面进行数据挖掘。

3.2.

4.4学生全景分析（我的大学生活）

数据只有在流转中才能体现其价值，有价值的数据才能引起使用者的关注，使数据权威生产者变被动为主动地去维护数据，以保证数据有效性。大数据可应用于对学生群体或者个人的全景分析中，尽可能多的收集关于学生在校事件的多维度数据，从而帮助在校学生或已经毕业的学生回顾自己在校生涯各种值得纪念的大事件。例如：某日某人成绩为全系较好，考了xx分；xx年xx月xx日，获得学院x等奖学金；xx年xx月xx日，入学以来第一次挂科，科目是xx；xx年xx月xx日，第一次去图书馆借书，书名是xx；xx年xx月xx日，发表的第一篇论文被收录，论文名称xx；xx年xx月xx日，入学第一次参加xx会议，会议名称xx；xx年xx月xx

日，第一次参加xx志愿者活动，获益匪浅；xx年xx月xx日，第一次参加xx协会xx职位竞选，竞选成功/失败；xx年xx月xx日，参加xx研究生考试，最终考分为xx；xx年xx月xx日，参加xx研究生考试，考入xx大学研究生院的xx专业；xx年xx月xx日，发表的第一篇论文被收录，论文名称xx；大学四年学生卡在各方面的使用频率；大学四年，每个学期去图书馆的次数（占比）；大学四年，每个学期在食堂的消费（占比）；大学四年，每个学期借书总量（占比）；大学四年，每个学期成绩排名（占比）以及大学四年，每个学期的上网时间（占比）等。

3.2.

4.5教师全景分析（我的大学生活）

校园信息化过程中产生的数据来自于不同的层次和分类，既有人事、财务、资产、科研等常规管理型业务产生的结构化数据，又有多媒体教学资源等非结构化数据；既有用户使用网络产生的行为数据，又有物联网、移动互联网感知到的位置数据等。这些数据围绕着面对教师的服务与管理而产生。

大数据可应用于对教师群体或者个人的全景分析中，尽可能多的收集关于教师在职期间事件的多维度数据，从而帮助在职教师或已退休教师回顾自己在职生涯各种值得纪念的大事件。例如：xx年xx月xx日，入职后发表的第一篇sci论文是xx；xx年xx月xx日，承接第一个国家基金项目xx；xx年xx月xx日，承接第一个国家科研项目xx；xx年xx月xx日，目前为止承接了xx个大型科研项目；xx年xx月xx日，入职后带的每一届学生的考研率情况；xx年xx月xx 日，入职后带的每一届学生的就业率情况；xx年xx月xx日，入职后获得的第一个奖项是xx；xx年xx月xx日，入职后第一次受到表彰是xx；xx年xx月xx日，入职后承接的科研项目是xx；入职后，xx学年上过很多堂课，总计xx；入职后，各学年教学评估成绩分布/占比等。

3.2.

4.6我的关系网（六脉关系挖掘）

结合校园网的社交系统，通过大数据可以有效的实现对关系网的挖掘。通过相关算法，利用校园网用户的互动行为，来自动挖掘出用户的不同社交圈子。该挖掘算法具备以下条件：

1.对于某个校园网用户A来说，可以挖掘出其所属的多种社交圈子，比如用户既有同事关系圈，也有所属的专业兴趣圈。

2.对于另外一个用户B来说，可能同时属于用户A的不同社交圈子，比如B既是A的大学同学，也同时与A在校学生会的一个共同部门任职，那么B应该同时出现在用户A的两个不同兴

趣圈里。

3.不使用用户隐私数据，出于保护用户隐私的目的，挖掘算法只使用用户公开行为和信息。也就是说，挖掘算法只会使用互动关系这种公众完全可见的公开信息。

4.社交圈可解释，即可以通过简洁的方式描述社交圈子的性质或者特点，目前是通过给每个圈子打上不同的标签来进行区分。

3.2.5教学大数据

3.2.5.1总体设计

教学质量评估一定围绕着教务系统和教学平台展开，同时依托整体校情数据，建立多维度的数据分析、挖掘模型，然后代码实现可视化结果，最终用于监督指导教学质量改善。

总的原则是采用螺旋上升的建设步骤，有的资源充分利用，急缺的资源想办法建设，锦上添花的资源逐步完善，搭建动态维度的数学模型。总体规律是数据量越大、维度越多，分析结果就越准确。

教学质量评估基础模型

3.2.5.2学生评教优化模型

解决恶意评教、不同专业班级差异、评教区分度不够等问题。具体包括学生评教、教师互评、专家督导团评教、管理人员评教等多数据维度分析。

一、学生评教模型优化具体步骤:从学生、教师、班级三个角度来对原始数据进行筛选和优化。

1、从学生角度，剔除恶意评教数据。首先，计算出每位学生对每位老师的各项评分的最终平均得分总分ZF(包括教学内容、教学态度、教学方法等)。在某班(以下均指授课班级)对某位教师的评教结果中，剔除前3%高分及后3%低分。(班级人数大于20人。)当班级人数小于20人时，不做剔除，保留所有评分。

2、从班级角度，由于各班级对不同老师评教标准差异较大，需将各班级评分统一映射到标准分数模型上进行比较。当完全按学生所打的原始分数对老师进行排序评价时，由于没有考虑到班级之间、学科之间、以及评估者判断标准存在的差异，会导致评估结果差异较大，因此这种方法并不能客观地反映某一老师真实的评教结果。改进方法:

a.设立一个标准班级评分模型如将标准评分区间段的最高值设为Ma分,最低值设为