智慧校园建设方案!高校统一数据中心解决方案
智慧校园整体解决实施方案

智慧校园整体解决实施方案智慧校园是以信息技术为支撑的综合管理和服务平台,旨在提升学校管理的智能化水平,提高学校教育教学质量,构建现代化的教育体系。
为了实现智慧校园的目标,下面是一个整体的解决方案。
一、基础设施建设:1.网络建设:提供高速稳定的宽带网络,覆盖整个校园的教学楼、宿舍楼、图书馆等区域。
2.信息化设备配备:为教室、图书馆、实验室等场所提供一定数量的智能终端设备,如电脑、平板电脑等。
3.无线网络覆盖:在校园内建设无线网络,方便师生随时随地接入互联网进行学习和教学。
4.数据中心建设:建设一个统一的数据中心,用于集中管理和存储学校的各类信息数据。
二、教学管理系统:1.学生管理系统:建立学生信息数据库,记录学生的个人信息、课程成绩、考勤情况等。
2.教师管理系统:建立教师信息数据库,记录教师的个人信息、课程安排、教学评估结果等。
3.课程管理系统:实现课程的排课、选课和调课等功能,方便学生和教师进行课程安排。
4.考务管理系统:实现考试计划的制定、考试成绩的录入和查询等功能。
三、教学资源管理:1.电子课本:将课本数字化,供学生在线阅读,提供更加便捷的学习方式。
2.教学资源共享平台:建设一个教学资源共享平台,教师可以将自己的教案、课件等资源上传到平台上,供其他教师使用和借鉴。
3.在线学习平台:建设一个在线学习平台,学生可以通过该平台进行课程学习,进行在线作业、答疑等。
四、校园门禁管理:1.人脸识别门禁系统:引入人脸识别技术,实现对校园各个出入口的智能门禁管理,确保校园的安全。
2.一卡通系统:实现学生和教工的一卡通功能,包括进出校园的刷卡记录、电子钱包功能等。
五、信息安全管理:1.建立信息安全管理体系:制定一套完善的信息安全管理制度和办法,防止信息泄漏和恶意攻击。
2.数据备份与恢复:建立定期备份数据的机制,确保数据的安全性和可恢复性。
六、家校互动平台:1.家校沟通平台:建设一个家长与学校进行沟通和交流的平台,提供学生的学习情况、考试成绩等信息。
高校智慧校园大数据建设整体解决方案

数据处理与分析
总结词
数据处理、数据分析
详细描述
高校智慧校园大数据建设需 要采用高效的数据处理和分 析方案。通过分布式计算和 流数据处理等技术。对海量 数据进行快速、高效的处理 和分析。挖掘数据的潜在价 值
总结词
可视化、可操作
详细描述
高校智慧校园大数据建设需 要采用可视化的数据分析工 具。将数据处理结果以图表 、仪表板等方式呈现给用户 。提供直观、可操作的分析 结果
建设成果
上海交通大学智慧校园建设取得 了显著成果,实现了全校范围内 的智能办公、教学管理、科研管 理等方面的智能化,提高了学校 整体运行效率。
06
总结与展望
工作成果总结
建立完善的大数据平台
通过自主研发和整合,成功构建了一套稳定、安全、易用的大数 据平台,支持多种数据源的接入,提供全面的数据处理和分析功 能。
智慧校园与大数据的契合
智慧校园的建设离不开大数据技术的支持,大数据技术的应 用能够实现对校园各类数据的深度挖掘、分析和利用,为智 慧校园的建设提供强有力的支撑。
解决方案的必要性
01
整合共享数据资源
通过建设统一的大数据平台,能够实现校园各类数据的整合与共享,
提高数据使用效率和管理水平。
02
提高决策支持水平
加强数据安全与隐私保护
随着数据量的增加,需要更加重视数据的安全和隐私保护,建立健全的数据安全保障体系 ,确保数据的安全可靠。
推动智慧校园建设
结合物联网、云计算、移动互联网等技术,进一步推动智慧校园建设,实现校园各领域的 智能化管理和服务,提升校园的便捷性和安全性。
THANK YOU.
03
建设成果
北京大学智慧校园建设取得了显著成 果,实现了全校范围内的安防监控、 教学管理、科研管理、学生管理等方 面的智能化,提高了学校整体运行效 率。
高校智慧校园云数据中心解决方案

分散的资源和业务驱动的服务需求
校区A数据中心
院系N数据中心
校区B数据中心
院系A数据中心
高校数据中心建设面临的主要问题
高校正渐渐成为黑客猖獗的领域之一。
环境构建复杂
新应用部署需要需要进机房,动网络,时间长新应用没有统一规划:存储、备份、可靠性拓扑结构越来越复杂,新增系统布线困难
科研创新受制
各院系各部门存在大量信息孤岛无法共享部门间信息化标准不统一,互通困难资源的总体利用效率低,平均只有约20%
…
数据融合
颠覆式演进:数据库平台变更,带来传统IT应用修改的巨大风险,部分复杂关系数据模型无法完备支持
平滑式演进:传统应用在数据库不变的前提下,采用企业级分布式存储+X86实现小型机及传统存储替换,解决数据库扩展性与并发处理瓶颈问题;针对创新应用,则可直接基于Hadoop,MPP和No SQL数据库中间件平台进行开发
应用场景及收益
特性描述
应用编排模板,支持与服务管理平台关联,发布到服务目录;应用端到端的自动化部署,支持虚机、物理机的自动化部署。支持商业平台软件,包括Apache 2.2.4、WeblogicV9.2/V10.3.5 、Oracle10gR2/11gR2 等常用软件;
基础架构
基础软件
应用
现有数据中心
应用场景及收益
特性描述
实现计算资源与业务负载之间的动态匹配。可以与现有资源池共同管理,跨资源池进行资源监控,资源调配。- 自动VM创建,新VM自动加入LB组- 支持应用虚机负载监控触发VM弹性扩展的能力;
VM
vLB
VM
NEW VM
VM
HEAT
Scale out
业务WEB组件弹性伸缩组
智慧校园大数据中心解决方案

智慧校园大数据中心解决方案技术创新,变革未来智慧校园智慧应用智慧决策深度互联智能服务全面感知智慧校园势在必行基础建设完成部分业务管理系统无线网络覆盖管理转型服务服务信息化师生办事难使用场景变化手机场景增多校园无线网络智慧化服务化移动化智慧化的一站式服务平台大数据中心解决方案大数据在校园广泛运用预测趋势竞争策略运营决策数据交易流程优化体现关联数据交换数据报告数据,是高校的战略资产。
数据的有效资产化,有利于对内实现数据资产增值,对外实现数据共享变现。
数据的价值管理或自我驱动能力分析数据后的结论知识数据驱动单个的分散的数字综合的可比较的数据需求驱动价值驱动制度化、标准化、数据化、自动化传统数据中心的问题优点:关系型数据库存储结构化数据;数据集中存储集中管理;数据库中心,应用和数据分离;提高了硬件利用率和数据安全性。
缺点:数仓建设不完善,不能全维度数据的关联,挖掘和预测分析;不支持非(半)结构化数据和实时流数据处理;随着数据规模不断加大,海量数据查询性能降低;缺少调度,任务和服务管理的引擎等;数据源财务系统教务系统图书馆系统学分系统BBS……统一数据标准体系数据分析数据共享服务平台应用集市数据区数据探索区实时数据查询区数据挖掘教室查询一卡通消费查询教学模型综合报表课程生命周期学生模型结构化主题数据非结构化数据存储区实时数据存储区教师主题学生主题监控视频学生档案照片数据……财务主题课程主题消费记录学生位置教室状态……档案数据地理信息主题数据区贴源数据区财务数据成绩数据教师信息教务数据……学生信息校长驾驶舱QQ校园号微哨APP一卡通集群管理安全体系分布式数据库机器学习大数据技术平台FlumeKafkaHDFSHiveSqoopYarnZooKeeper ZeppelinStormElastic SearchMapReduceSparkHBaseKylin数据处理数据治理离线数据数据接入实时数据数据工厂数据加工实时数据处理数据分析数据探索数据挖掘标准制定数据标准标准实施稽核任务数据质量稽核稽核报告数据全景元数据管理数据血缘数据应用数据服务API数据分析系统SDK应用门户模型生命周期管理数据转换数据探索建模优化流程化封装投产数据标准来源结构化数据区非结构化数据区教师主题学生主题监控视频学生档案照片数据……财务主题课程主题档案数据地理信息数据标准制定数据标准执行数据标准校验数据标准数据质量稽核稽核任务调度稽核报告稽核任务配置稽核规则配置告警配置问题处理元数据管理血缘分析数据共享全景视图元数据检索元数据影响分析元数据统计主数据管理数据平台数据治理数据标准质量稽核数据血缘稽核报告数据采集数据对接+pc端采集+移动端采集总体情况主题分析教师画像数据可视化自主化分析业务人员0门槛获取与分析数据自助查询数据、自助探索分析:在浏览器上通过简单的鼠标操作,完成自助式的明细数据筛选、导出,以及进行类似Excel 透视表的互动分析,满足自由钻取、同环比计算、自定义分组等灵活分析需要。
农业大学智慧校园建设方案

农业大学智慧校园建设方案随着信息化和智能化的发展,智慧校园的建设已成为现代化高校发展不可或缺的一部分。
在当前农业科技的进步和发展下,农业大学智慧校园建设方案也在逐步完善,以下为具体方案:一、智慧校园基础建设1、网络建设:建设高速、稳定的无线网络,实现多媒体教学、在线考试、电子图书馆等功能需求。
2、数据中心建设:建立一个统一的数据管理中心,能够完善运营维护,实现数据安全、摄控标准化、资源调配等要求。
3、信息安全建设:构建严密的安全体系,确保信息安全稳定可信,保护学校网络、数据、系统的安全性。
4、智慧教室:实现智能化掌控,多功能白板、触控结合、多媒体防盗机、智能投影等多种功能,实现全媒体教育。
5、智慧停车系统:安装停车场智能化管理设施,为师生提供更加方便快捷的停车服务。
二、智慧教学系统建设1、虚拟实验室:通过网络、图像等技术手段,建立一个模拟、实时的实验环境,以图像、声音等方式模拟现实实验情景,为学生提供一个更为全面的实践环境。
2、在线课程管理:将学习成果等资料存储在科技与信息平台上,方便学生随时掌握学习情况、教师有针对性地开展针线授课,提高教学质量。
3、云课件系统:针对农林学生实际需求,通过云课件的形式让学生能够在课堂外随时进行学习、互动与讨论。
4、视频监控:视频监控设备安装在校区各角落,制定监控规章向学生、教师传递监控安全的信息,有效预防和遏制违法犯罪行为。
5、智能评测系统:独立自主研发智能化教学评测系统,实现学业成果测评、学生综合素质评测等功能,提高学生综合素养能力。
三、智慧校园生活服务建设1、智能餐厅:考虑师生营养健康需求,实现餐厅点餐、结算等自主化操作。
2、智能健身馆:通过智能健身系统将数据统一存储于服务器上,根据用户手环判定数据实时动态调整训练方案,促进师生健康和校园文化建设。
3、生活娱乐中心:通过宽带付费、门票预订等方式整合校园娱乐资源,为师生丰富生活空间和体验。
4、智慧校车:通过公交线路信息互通、定位服务、实时监控、订单支付等多种方式,为师生提供安全舒适的校园交通。
智慧校园数据中台解决方案

积极探索数据在校园管理、教学科研、社会服务 等领域的应用场景,发挥数据更大价值。
THANKS
感谢观看
提升数据利用效率
通过数据的共享和交换,打破数据孤 岛,提高数据的利用效率和价值。
推动智慧校园建设
为智慧校园提供统一的数据服务和智 能化的决策支持,推动智慧校园的建 设和发展。
降低运营成本
通过数据的集中管理和维护,降低数 据运营成本和管理难度。
06
总结与展望
项目成果总结回顾
数据整合与治理
实现了校园内多源异构 数据的整合与清洗,提 高了数据质量和可用性 。
数据安全
采用数据加密、访问控制等安全措施,确保数据 的安全性和隐私性,防止数据泄露和非法访问。
03
数据治理与质量保证
数据治理策略制定
明确数据所有权和责任
确立数据管理者和使用者的角色和职责,确保数据质量和安全。
制定数据标准与规范
统一数据格式、命名规则、存储方式等,提高数据的一致性和可读 性。
建立数据治理流程
学生服务提升应用场景
一站式服务
整合校内各类服务资源,为学生提供一站式服务窗口,简化办事 流程,提高服务效率。
个性化推荐
基于学生的兴趣爱好、历史行为等数据,为学生推荐合适的课程、 活动、社团等,提升学生校园生活体验。
学生画像构建
通过采集和分析学生多维度数据,构建学生画像,为学生提供更加 精准、个性化的服务。
02
个性化学习支持
基于学生的学习数据和行为分析,为学生提供更加精准的个性化学习支
持和辅导。
03
智慧校园生态构建
打造以数据中台为核心的智慧校园生态系统,实现校园内各类资源的优
化配置和高效利用。
高校智慧校园建设方案

高校智慧校园建设方案清晨的阳光透过窗帘,洒在我的办公桌上,伴随着咖啡的香气,我开始构思这个“高校智慧校园建设方案”。
我们要明确智慧校园的定义,它不仅仅是信息化校园的升级版,更是通过物联网、大数据、云计算等现代信息技术,实现校园资源的优化配置,提升教育教学质量和校园管理效率的一种新型校园形态。
一、建设目标1.实现校园网络的全面覆盖,让每一个角落都能享受到高速网络的便捷。
2.构建智能化教学环境,提升教育教学质量。
3.实现校园管理的智能化,提高管理效率。
4.提升师生的信息素养,培养适应未来社会的人才。
二、建设内容1.基础设施建设(1)网络设施:升级校园网络,实现有线无线全覆盖,确保网络稳定、高速。
(2)数据中心:建立校园数据中心,实现数据的统一存储、管理和分析。
(3)物联网设施:部署物联网设备,实现校园环境的智能化监控。
2.教育教学应用(1)智能教室:配备智能教学设备,如智能黑板、投影仪等,实现教学内容的数字化、互动化。
(2)在线教学平台:建立在线教学平台,提供丰富的网络课程资源,满足学生个性化学习需求。
(3)虚拟实验室:建设虚拟实验室,让学生在虚拟环境中进行实验操作,提高实践能力。
3.校园管理应用(1)智能安防:部署智能监控设备,实现校园安全的实时监控。
(2)智能物业:建立智能物业管理系统,提高物业管理效率。
(3)智能后勤:利用大数据分析,实现后勤资源的优化配置。
4.师生服务应用(1)智能一卡通:整合校园卡、银行卡等功能,实现师生便捷消费。
(2)移动应用:开发校园移动应用,提供校园资讯、图书查询、课程表等功能。
(3)在线咨询:建立在线咨询平台,为师生提供心理咨询、学术辅导等服务。
三、实施步骤1.调查研究:深入了解校园现状,分析校园信息化需求。
2.制定方案:根据调查研究结果,制定详细的智慧校园建设方案。
3.实施建设:按照方案,分阶段、分任务实施智慧校园建设。
4.系统集成:整合各类应用系统,实现校园信息资源的共享。
智慧校园数据中心方案建议书

智慧校园数据中心方案建议书一、背景分析随着信息化技术的飞速发展,校园数据中心已经成为教育信息化建设的重要组成部分。
它不仅承载着校园内外的信息交换,更是教育教学、科研管理、生活服务的核心支撑。
因此,构建一个高效、稳定、安全的智慧校园数据中心,是提升校园信息化水平的关键。
二、建设目标1.实现校园内外信息的高速交换,提升教育教学质量。
2.提高科研管理水平,促进科研成果的转化。
3.优化校园生活服务,提升师生满意度。
4.确保数据中心安全稳定,防止信息泄露。
三、方案设计1.硬件设施(1)服务器:采用高性能、高可靠性的服务器,满足大数据处理需求。
(2)存储设备:采用分布式存储系统,提高数据存储容量和读写速度。
(3)网络设备:构建高速、稳定的校园网络,实现万兆到桌面。
(4)安全设备:部署防火墙、入侵检测系统等,确保数据中心安全。
2.软件系统(1)数据库系统:选用成熟稳定的数据库软件,如Oracle、MySQL等。
(2)操作系统:采用Linux或WindowsServer等稳定安全的操作系统。
(3)应用软件:开发适合校园需求的各类应用软件,如教务管理、科研管理、资产管理等。
3.信息安全(1)物理安全:对数据中心进行实体防护,如设置门禁系统、监控摄像头等。
(2)网络安全:采用防火墙、入侵检测系统等,防止外部攻击。
(3)数据安全:对重要数据进行加密存储,定期进行数据备份。
(4)访问控制:设置严格的访问权限,防止内部信息泄露。
4.运维管理(1)运维团队:建立专业的运维团队,负责数据中心的日常维护和管理。
(2)监控预警:部署监控系统,实时监控数据中心运行状态,发现异常及时处理。
(3)应急预案:制定应急预案,确保在突发情况下数据中心能够快速恢复正常运行。
四、实施步骤1.项目筹备:成立项目组,明确项目目标、任务分工等。
2.需求分析:调研校园需求,制定详细的需求方案。
3.设计方案:根据需求分析,设计数据中心硬件和软件方案。
4.采购设备:根据设计方案,采购所需硬件设备。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
智慧校园建设方案!高校统一数据中心解决方案1.项目背景随着办学规模的扩大,高校对信息化建设的要求越来越高,各种管理系统先后建成并投入使用。
在工作效率提高的同时,问题也逐渐显现:由于受系统使用或开发时间、经费、目的等限制,各部门之间的业务系统处于相互独立的状态,彼此之间不能实现数据交换,从而导致部门间形成“信息孤岛”,造成数据无法有效共享、应用缺乏有效集成以及冗余数据无法处理的现象,同时,高校信息化过程当中由于缺少行之有效的顶层设计,以及没有统一的信息化建设标准,导致各种业务系统数据不标准、不统一、质量差、冗余化。
且同样的数据在不同部门的使用过程当中产生越来越大的分歧。
因此,学校专属的信息化建设标准、可持续迭代的数据交换、共享、治理平台、可靠的本地化服务团队显得尤其关键。
因此,构建数字化校园,将全校范围内的各个业务系统进行高效整合,以实现管理的一体化和资源共享,已成为高校信息化的建设重点。
2.统一数据平台概述统一数据平台基于高校管理信息标准体系,结合考虑学校的管理业务域,构建学校的数据中心,提供数据交换平台、共享数据管理及数据服务平台,支持第三方应用系统数据集成,实现信息的顺畅交换和共享;提供基于主题的综合查询服务,并可按照学校的具体需求扩展业务主题及查询服务;提供基于共享数据的灵活报表,利用现代的数据可视化工具,可以灵活生成各类报表,为学校各级用户提供便利、多样的数据使用服务。
统一数据平台适合于各种规模、各种性质的高等院校以及其他教育管理机构。
3.技术核心ETL(Extraction-Transformtion-Loading),即数据的抽取、转换与加载,是将分散、零乱、标准不统一、码制不一致的数据整合到目标数据库中的技术。
它从各种原始的业务系统中提取数据,按照一定规则进行数据转换,最后将转换的数据按计划导入目标数据库中。
4.统一数据平台内容4.1统一数据平台架构如上图所示,各层次之间在逻辑上相对独立。
不同的用户可以根据自己的实际情况,在总体规划下,分阶段建设。
高校如果需要建设一个完整的开放式的IT生态体系,实际上是包括了从开发生态、运行生态、应用服务生态到运营生态的全生命周期的建设过程,并最终以服务的方式向最终用户进行业务展现。
每个阶段的建设思路和模式都对整体信息化建设起着至关重要的影响。
开发生态:通过组件化开发平台,形成应用和组件,应用和组件挂载到校园服务总线,可为校内应用服务池和业务应用管理服务平台调用。
并将其通过资源库的方式积累为行业资源库,为日后资源复用提供储备。
同时开发平台能够对外部的第三方应用进行服务化的封装,同样形成新的应用或组件,挂载到校园服务总线。
基于组件化开发平台的可视化开发过程,校内的广大师生和社会人士也可以通过该工具完成简单的应用服务开发,并通过发布工具发布到校内,增强信息化建设整体参与面的广度和深度。
●运行生态:以校园服务总线、应用管理服务平台以及包括主数据管理、身份认证管理、统一通讯、移动支撑平台等在内的公共应用组件,为学校提供统一的、高交互性、高开放性的服务应用运行环境。
其提供的服务都是通过校园服务总线进行统一发布的服务,通过业务应用管理服务平台将其编排成符合学校需要的业务逻辑,提供给用户使用。
校园服务总线负责整个学校信息化建设各个平台间服务交互和信息传递,通过服务治理工具管理服务运行,通过基于校园服务总线的服务集成工具完成服务的集成和交互,通过服务标准管理工具保障各服务间调用的规范性。
被服务调度总线封装的,除了组件化开发平台提供的应用和组件外,还包括校内很多的基础应用组件,如主数据管理、统一身份认证、统一支付等,都以服务的方式在服务调度平台上进行挂载,并借由服务调度平台完成同其它平台的集成。
●应用服务生态:改变原有的行政化、管理化信息系统使用模式,以类互联网的模式,形成校内的应用超市,包括校内师生综合服务平台和校外的服务应用池,有效接入,实现应用服务的动态分配和按需使用。
并对服务使用进行全面监控和管理,对业务过程和服务质量做到有效评估。
●运营生态:改变现有的分散管理模式,通过服务调度平台的高集成度,将校内所有的软硬件进行统一的监控,随时了解校内全局信息化状况,极大的增加了校园信息化的响应程度和处理速度。
对于学校来说,依托于服务商的运维只是一部分。
更多的运维、优化和升级工作需要学校内部人员的参与。
基于开放平台的体系架构,依托于外部服务提供商形成线上/线下的专业训练营和项目管理培训课程,帮助学校师生了解、掌握运营方式方法,让全校师生一同参与到学校信息化运营之中。
形成良性的运营体系。
综上所述,开发生态、运行生态、应用服务生态与运营生态是环环相扣,密不可分的。
每个部分都有其具体的作用与价值,只有发挥出每个环节的价值,才能最大化高校信息化建设的效果。
4.2统一数据平台构成从数据内容角度看,统一数据平台可由以下几方面组成:4.2.1元数据元数据(meta-data)是描述高校数据的相关数据,指在IT系统建设过程中所产生的有关数据定义,目标定义,转换规则等相关的关键数据,包括对数据的业务、结构、定义、存储、安全等各方面对数据的描述。
我们采用的体系如下图:这种体系结构是分布式体系结构的变体,根存储库实现了元模型的公共部分(横跨整所高校),叶子存储库实现了一个或多个特定的公共元模型子集,并只保存这些自己所对应的元数据实例。
特定客户可以主要访问其感兴趣的元数据所在的叶子存储库,也可以访问其它叶子存储库和根存储库。
大数据治理系列4.2.2主数据主数据(MD Master Data)指系统间共享数据。
HEMI由以下11个子集组成:GXXX学校概况数据子集:组合了学校概况数据类的数据元素定义;GXXS学生管理数据子集:组合了学生管理数据类的数据元素定义;GXJX教学管理数据子集:组合了教学管理数据类的数据元素定义;GXJG教职工管理数据子集:组合了教职工管理数据类的数据元素定义;GXKY科研管理数据子集:组合了科研管理数据类的数据元素定义;GXCW财务管理数据子集:组合了财务管理数据类的数据元素定义;GXZC资产与设备管理数据子集:组合了资产与设备管理数据类的数据元素定义;GXBG办公管理数据子集:组合了办公管理数据类的数据元素定义;GXWS外事(港澳台事务)管理数据子集(简称:外事管理数据子集):组合了外事(港澳台事务)管理数据类的数据元素定义;GXDA档案管理数据子集:组合了档案管理数据类的数据元素定义;GXGZ高职院校专用数据子集:组合了高等职业院校管理专用数据类的数据元素定义。
全量数据全量数据(All measured data),是指高校日常产生的所有数据。
其包含元数据,主数据。
我们依据高校的实际业务情况,结合主数据修订出符合高校实际情况的校标数据。
一般包含一卡通数据、网络数据、公共代码库、虚拟文件库等;4.2.3用于数据交换任务的创建和维护的客户端工具4.2.4任务及数据的一体化呈现及管理的数据管理系统5.使用客户端工具创建数据交换任务统一数据平台实现学校内以多种形式存在的数据介质间的数据交换,包括各种异构数据库、文件等。
数据交换平台架构如下图所示:数据交换平台逻辑结构图在数据交换平台中,包含工作流引擎、调度引擎、任务引擎、清洗转换引擎、消息引擎、元数据管理等。
5.1数据交换数据交换是数据中心建设的基础。
将异构系统的数据交换到数据中心,可使用多种技术手段。
根据数据提供方式的不同,相应有不同的数据交换方案。
实际中通常采用:WebService接口方式、数据库视图方式和文件方式。
使用图形化的客户端工具可以方便的通过免开发的方式,对各种数据进行交换和存储。
另外,根据时效要求,数据交换任务可以设置为定时或随时,提供手动执行与自动执行多种方式,在数据中心的管理端进行统一的管理。
5.2建立用于数据交换的转换和作业5.2.1建立转换转换为一个数据交换任务集(作业)的最小单元。
例如:教务处要定期从学生处获取全量或最新的学生数据,然后将整合好的教务数据发布给第三方使用,这为一个任务集。
这里学生处同步数据至教务处可为一个转换;数据整合可为一个转换(可不在此处完成);将整合好的数据共享给一个第三方应用可为一个转换(多个应用需求对应多个转换。
)5.2.2使用转换组件数据转换的建立可以使用的平台提供的多种组件。
现在所列的为组件分类,每个分类之下都包含若干组件。
平台提供的常用组件可以解决日常百分之90的转换任务:5.2.3建立作业作业为一个数据交换任务集。
是一系列转换组成的完成的数据转换与共享流程。
例如:教务处要定期从学生处获取全量或最新的学生数据,然后将整合好的教务数据发布给第三方使用,这为一个任务集。
建立作业用后,可使用数据中心的WEB管理系统进行作业的统一部署及管理。
6.任务和数据的管理(使用数据中心管理系统)统一数据中心是基于Web的数据交换任务监控管理系统。
ETL工具虽然生成数据交换和共享等任务非常便捷。
但其在任务的日常管理存在没有统一管理的弊端(例如:日志和监控)。
在高校动辄几十个甚至上百个交换任务,根本不能够使用ETL工具进行有效的管理。
为了能够更加便捷的进行日常数据交换任务的管理,我们在ETL工具的基础上研发了统一数据中心。
在建设过程中,使用管理系统可以实现任务、数据、接口的一体化管理和运维。
6.1管理创建的交换任务6.1.1设定任务执行周期任务可以被设定为手动或自动执行,为了数据的整合性和及时性,在数据中心建设过程中推荐使用定时执行的方式来管理任务。
数据中心管理系统提供了多种设定方式,能够管理数据数据采集、清洗、共享任务的自动运行时间。
包含是否重复执行,执行时间能灵活指定到某月,某周,某天,最小能精确到秒。
6.1.2使用日志监控任务执行在日常数据的交换过程中,可使用日志来记录和监控任务的执行情况。
平台提供了自动监控出错任务的日志信息功能。
日志和响应的出错信息,可以在线查看,可以下载分析,也可以通过自动发送的邮件来提醒管理人员。
6.2建立并发布校级数据标准数据中心内置了符合《JYT1002_教育管理基础信息》,《JYT1006_高等学校管理信息》等规范的数据字典。
结合交换后的数据,可以进一步形成校级数据规范6.3展示并管理数据在数据中心的管理界面中,可以基于配置展示和维护交换后的数据。
数据源是展示的基础,数据表是具体数据存储的实体。
使用数据源和数据表管理功能,可以灵活配置、展示、管理数据中心的数据6.3.1管理数据源数据源管理中,设定了统一数据中心可以直接访问的数据源。
当配置好数据源之后,可以直接在数据中心的管理界面访问具有对应权限的所有表。
6.3.2管理数据表主数据和元数据所展示的数据均在此处进行管理。
通过表配置的方式,可以将需要展示和管理的数据配置到管理界面。