mooc慕课评价
MOOC课堂教学评价方案设计
学生姓名：李鑫
学号：1402401025
院系：政治与公共管理学院
班级：14思想政治教育
指导老师：崔玉平
所谓教学质量评价，就是利用教育评价的理论和技术对教学过程及其结果是否达到一定质量要求所做出的价值判断。教学质量评价既是理论问题，也是实践问题。教学质量评价是一项十分重要而严肃的工作，它以教学活动为主要评价对象，其作用是利用评价的结果可以了解学生的实际情况，发现教学存在的问题，明确教学工作努力的方向，反思和改善教学过程、教学效果。
一、评价对象及原因
MOOC是Massive(大规模的)、Open(开放的)、Online(在线的)、Course(课程)四个词的缩写，指大规模的网络开放课程，具有资源多元化、受众面广、参与主体性强和学习不受时空限制等特点，相比与传统的在线课程，MOOC更加强调终身学习，具有公开、参与、分散性。基于MOOC的课程教学是一种全新的课程教学模式，其研究与实践涉及到教学主体(师生角色)、课程内容、教学资源、教学策略、课程管理等诸多方面。
大规模在线开放课程(MOOC)在近年来得到了飞速发展，具有资源开放、大规模、自组织性、社会性、无约束等特点．正被国内外大学研究及应用。也随之带来了教学模式的改变。基于MOOC的翻转课堂、020混合教学模式1在各高校的各门课程中得到了广泛应用。这些基于MOOC的高校普适性教学模式遵循学生为主体，教师为主导的教学理论．以碎片化重组知识供学生自主学习。有利于促进学生的个性化学习及协作创新能力的培养。本文以更具综合性的全方位视角，对MOOC课堂教学方式做出评价，目的在于形成评价方案，用于指导和促进MOOC课堂教学改革。
二、文献综述
国外MOOC教学研究早于中国，特别是美国、英国、日本等经济发达国家在MOOC学质量研究方面积累了大量的宝贵经验。在实践层面，2011年，斯坦福大学教授塞巴斯蒂安．斯伦（SebastianThrun）和皮特．诺威希（PeterNorvig）将“人工智能”课程放到网上，学习者人数达到16万人，最终有2.3万人完成课程的学习2。2012年斯伦教授创办营利性MOOC 平台Udacity。随后，又出现了Coursera和Edx，这三大平台是全球最有影响的三个大规模在线开放课程平台。在理论层面，BonnieSteware试图通过调查学习者个人网络学习环境知识进一步验证社交媒体在网络课程中的价值3。Kop，Foumier和Mak从关注大规模开放网络课程学习体验中学习者和教育者的角色角度出发，研究了新兴技术对学习环境设计的影响4。AntonioFini从三个维度（学习工具的有效利用、个人知识管理技能方法、网络学习工具可用性）实证调查终身学习者的学习网络技术的态度，发现时问约束、语言障碍和ICT技能影响参与者的工具选择5。国内关于MOOC教学研究主要集中在以下两方面：（1）MOOC
中的教与学，王萍（2013）比较了cMOOC和xMOOC两种模式，并从教学模式、学习支持、学习分析等角度关注MOOC的学习6。刘禹、陈玲（2013）提出MOOC是基于网络的大规模协作学习，从而促进集体知识建构7。张振虹等（2013）认为MOOC的兴起体现了从课堂到学堂、从教到学的教育理念的转变，并指出未来MOOC将在学习交互、学习评价、支持特殊学习环节三个方面有新的发展8。（2）MOOC的质量监控，邓宏钟等（2013）同样关注了MOOC在质量保证与评估机制等方面的问题9。李明华（2013）从经济学角度分析了对MOOC的认证10。王颖等（2013）认为MOOC质量监控和认证的不足会对MOOC的持续发展带来障碍11。
综上所述，国外对MOOC教学在理论和实证上都取得了丰富的成果，为研究的后续展开奠定了良好的理论基础。与国外相比，国内MOOC教学研究总体数量较少，主要集中在MOOC中的教与学、质量监控两方面。现有的研究极少涉及MOOC教学质量的研究，尤其是从定量的角度来评价MOOC教学质量。
三、MOOC课程特性
1、工具资源多元化：MOOC课程整合多种社交网络工具和多种形式的数字化资源，形成多元化的学习工具和丰富的课程资源。
中国大学MOOC发展已经从学习借鉴阶段进入到了建设实践阶段．呈现出自主推进为主、合作共享等特点12。中国的MOOC平台主要有以下两种形式，加盟国外的MOOC平台，例如Coursera、Edx、Udacity等，或开发建立国内自己的MOOC平台。例如，学堂在线、爱课程、中国大学MOOC(慕课)等。目前国内MOOC平台上的资源绝大多数来自于高校相应的课程教师之手，由于语言的障碍．国外优秀的原版英文MOOC资源难以推广．通常会通过本土化实现资源转化。即使对于像计算机通识类课程，在国内的MOOC平台上。也有很多版本，MOOC资源的知识侧重点也不尽相同。而且，各个高校在教学改革的历程中，课程资源及知识内容会形成一种独特的串并形式，因此，完全照搬现有MOOC资源也许不是最佳选择。通常会采用共享方式进行资源重组，再建立融合本校课程特色的MOOC资源。
2、课程易于使用：突破传统课程时间、空间的限制，依托互联网世界各地的学习者在家即可学到国内外著名高校课程。
在移动互联的全球化大背景下，跨平台、在线、多屏幕应用正以一种不可逆转的方式影响着人们的学习、工作和生活，其关键技术为互联网Web 2．0、云计算等计算机技术和通信技术。被喻为中国经济担责增效升级的“新引擎”——“互联网+”的提出，衍生出“互联网+”经济、“互联网+”工业、“互联网+”金融等“互联网+”各个传统行业，应用的关
键技术无疑为计算机、通信等信息技术。高校学生作为信息技术的受益者理应熟悉和掌握相关的基本理论以及操作技巧，以便更加娴熟地应用于自己的专业学习。对
3、课程受众面广：突破传统课程人数限制，能满足大规模课程学习者学习。
4、课程参与自主性：MOOC课程具有较高的入学率，同时也具有较高的辍学率，这就需要学习者具有较强的自主学习能力才能按时完成课程学习内容。
四、MOOC课程设计思路
俞敏洪在演讲中说过：“教育的深层次问题跟互联网半毛钱关系都没有。”可见,技术促进了内容分享和流动的效率,但解决不了MOOCs 面临的教育问题。MOOC的本质是教育, 不管MOOC还是SPOC、MOOL、MOOR 及其他教育形式解决的都是教与学问题13。有效的在线学习包括四要素:教师、学习环境、课程和学生。网络课程的质量直接影响教学的质量,且课程目标要满足学生的需求、特点、风格等。李胜波以学习路径、学习目标、学习评价、学习活动和学习资源课程设计金字塔(图一)为分析框架,以学堂在线、华文慕课、网易云课堂等14 个典型的中国MOOC平台为基础,从可以查看的1388 门课程中选取622 门课程作为研究对象,通过对其学习行为数据、课程基本信息及学习资源的元数据的收集、统计和分析，总结得出MOOC课程的设计思路14。
在对中国现有MOOC平台广泛调研的基础上，综合考虑平台的代表性、影响力和可获得性，选取其中14 个平台上可见的1388 门课程(表一),在2015 年9 月完成了课程的编码,研究者从平台名称、网址、课程数量、平台面向对象和移动支持五个维度进行研究。分析样本为622 门在研究阶段可访问的课程。在课程层次上,304 门通用性课程和262 门针对本科生教育,针对高中生和研究生教育的课程较少。
1、学习路径
学习路径随着14 个平台课程特点而有所不同，从622 门课程在平台上的呈现路径看,多数课程以讲授式教学策略为指导,不同的是学习活动的数量和顺序。学习路径大多以周和主题为单位，包括“观看微课程+在线讨论+测验”的循环路径。在教学策略方面,96% 的课程是讲授式的；只有2% 的课程采用探究式;使用自主学习式教学策略的占比很少;没有课程单独采用社会交互式和协作式教学策略。由于平台和课程的限制,研究者无法挖掘教学策略
对完成率和学习效果的影响。从教学理论、学习理论来讲,探究式、社会交互式和协作式教学策略更能促进学生的学习,更符合社会建构主义和联通主义的旨意（图2）。
2、学习目标
研究者主要通过课程简介或课程介绍页面中是否有学习目标或课程目标的描述进行分析。通过对622 门课程的分析,发现443 门课程有学习目标,占71% ;其余179 门课程没有学习目标,占29% 。从学习目标的表述看,绝大多数课程学习目标的撰写不太规范,且不可测量、没有时限、没有对象、没有标准。当然,不能由此认为这些课程设计没有考虑以学习目标为导向,但从学习活动、学习评价和学习资源的设计看,大多课程不是以学习目标为导向的。此外,学习目标、学习评价、学习活动和学习资源的关联性较差,换言之,没有遵循学习目标-学习评价-学习活动-学习资源的教学设计逻辑。
3、学习评价
如何知道学生学习后达到了学习目标呢? 这就是学习评价要解决的问题。研究者从“总结性评价”“形成性评价”“二者结合”和“未说明”四个维度对622 门课程进行分析（图3）,发现将“二者结合”的课程占53% ,“未说明”的占43% ,采用“形成评价”的占3% ,而“总结性评价”最少,占1% 。调查还发现,采用总结性评价的课程一般是为了学分认证。此外,大部分课程采用同伴互评的评价方式。622 门课程的学习评价类型统计结果表明（图4）,随堂小测验、单元测验、单元作业、参与讨论、课件浏览、调查、线下考试、期末考试、作业是主要的评价类型。其中,单元测验、参与讨论和期末考试是绝大部分课程采用的评价方式。研究者通过对622 门课程的学习评价进行浏览,发现形成性评价方面的题型以选择题为主,作业以创作作品为主。
4、学习活动
学习活动是网络教学的动力系统,它将教师、学生、平台、资源连接起来,促成教和学的统一。通过对622 门课程的调研(见图5),研究者发现主要的学习活动形式为在线异步讨论、笔记、信息提醒、测验、教师答疑、作业、同伴互评、线下讨论、问卷、实时讨论和一对一辅导。中国MOOCs(621 门) 基本采用在线异步讨论的活动形式。研究者从学习活动与教学关系的角度进行调查,发现在线异步讨论、测验、作业、同伴互评与教学最为密切,其中,测验、作业和同伴互评直接正相关。可见,大部分课程的学习活动主要以讲授和互动讨论为主,很少采用角色扮演、辩论、六顶思考帽、头脑风暴、小组学习、专家拼图等其它形式。此外,在线异步讨论的主题设计不太规范,有些主题不具有开放性,是简答题的翻版,无法引发讨论。学习活动的设计要素缺失、不完整,不利于学生自主学习。
5、学习资源
通过对622 门课程的分析,研究者发现595 门课程是以微课程(视频)为主的学习资源,其中,175 门课程除提供视频外,还配有文字阅读材料。10 种视频组织形式在603 门课程中具有体现(图6)。采用计算机录屏形式的课程266 门(占44% ),其中,独立采用此形式的课程172 门(占29% )。此外,虚拟演播室、演播室实录和课堂实录等视频组织形式也较多被采用。
41 门课程和38 门课程中出现了画中画和实地拍摄的视频组织形式,而相对新型的视频组织形式,如动画、可汗式视频、讨论和采访等占比不足4% 。
微课程是MOOC的核心,是教师教学的主要替代者,其设计和开发质量对MOOC具有关键性影响。通过观看603 门课程视频,研究者发现大部分课程的视频尤其是采用演播室摄像、课堂实录等形式录制的视频,缺乏教学设计,吸引力不够,不够好用、好玩和好看。因此,加强微课程的设计是促进学生学习的关键,应引起重视。
五、评价体系设计
1、评价体系构建的基本原则
基于M()OC的有效学习激励在于客观公正的学习绩效评价。建立科学和可操作性的学习绩效评价体系，是有效实施基于MOOC的环境教育校级通识课程管理的关键。在建构评价体系中，采取了以下原则：
1)完整性原则。即在对学习绩效评价选取评价指标时要坚持完整性原则，不能遗漏任何必须的指标，只有从整体出发，才能使最终建立起的评价指标体系能有效的反映学习者的学习绩效。
2)交互性原则。即相比于传统的在线课程而言，MOOC的交流与互动性是其独有的特点，也是网络课程进阶的突破点，因此，学习绩效的评价体系必须要突出这一特点。
3)客观性原则。即在对学习者进行学习绩效评价时，必须以客观事实为基础，即学习者在学习的整个过程中的所有数据和资料都是真实有效的，客观性原则是评价的基础性原则，在避免主观随意性的同时，也要进行适当的定性分析，两者有机结合。
4)科学性原则。即构建一个科学合理的评价指标体系，必须要使评价体系的格格环节和部分都能充分的符合MOOC通识课程的目标和要求，能充分反映网络教学的优势和规律，选择最能充分反映其本质的指标。
5)可行性原则。即评价体系的制定在实际操作时是否实际、是否行得通，是否在制定时考虑到各方面的制约因素，使使用者易于接受等，都要考虑到评价体系的可行性原则。
6)独立性原则。即在线课程的学习绩效评价同级别的各项指标必须是独立的，指标之间不能有重叠或者包含的关系15。
2、评价指标的选择和确立
目前MOOC教学质量评价指标研究较少，但网络教学、远程开放教学质量评价指标的研究成果可以为MOOC教学质量评价指标的研究提供借鉴和参考。英国高等教育质量保证局（1999）发布远程学习质量保证指南，从系统设计、课程设计、核准及复审、课程传送管理、学生的交流及表现、学生评价6个方面构建远程学习评价指标体系16。美国高等教育研究所（2000）发布基于互联网的远程学习评价标准，从课程体系结构、课程开发、教学与学习、课程结构、学生支持系统、教师支持系统、评价与评估7个方面建立网络教育评价指标17。邹晔（2003）构建了包含6个一级指标（课程教学规划、课程学习资源、学习评价体系、网上交互实现、拓展教学视野、网上教学能力）、33个二级指标的网络教学设计及实施的模糊综合评价指标体系18；程春华和韩海彬（2010）提出针对电大远程开放教育质量评价指标体系，包含教学队伍建设、教学过程管理、教学资源管理、教学效果4个一级指标，并细化出13个二级指标、32个三级指标19。
MOOC教学一方面与网络教学、远程教学具有一定的共性特点，又有自身的独特的特点。借鉴传统网络教学、远程教学的评价指标体系和MOOC平台教学实践，本研究采用了如下MOOC教学质量评价指标体系，其中一级指标4个，二级指标16个，三级指标27个，如下图所示。
图7
1）课程内容设计
课程内容设计包含课程实用性、课程内容完整、课程内容规范、课程资源丰富、多样化的学习目标5个指标。课程实用性：课程的实际使用价值，是否满足学习者的学习需求；课程内容完整：课程的名称、任课教师介绍、课程的概述、课程的大纲、课程安排、先修知识、课程宣传片；课程内容规范：课程的内容具有科学性和前沿性，课程内容能否及时更新并明确标识；课程资源丰富：课程的资源包括课程设计、课件、视频、教学参考资料、作业；多样化的学习目标：考虑受众的多样性，制定多层次的目标，让学生自行决定学习目标和课堂参与的程度。
２）导航设计
导航设计包含响应速度、界面设计、学习导航和定位、学习记录４个指标。响应速度：当点击课程及课程中的某部分内容，网站链接的速度；界面设计：用户界面是否友好方便操作，帮助信息是否清晰，是否有使用指南；学习导航和定位：包括导航层次及呈现方式、导航是否易用且清晰、版块分类和指示标识明确；学习记录：学习过的内容进行记录，学生可以根据自己的需要自主选择学习的内容，自主安排学习的进度。
３）教学过程
教学过程包括知识点讲解、教学互动、课程讨论、线下活动４个指标。知识点讲解：教学设计合理，有重难点解析，课程以可视化和游戏化呈现，视频长短适中；教学互动：教师与学生、学生与学生、学生与学习内容三个方面的互动为课程参与者搭建一个虚拟与现实相结合的平台；课程讨论：课程讨论区用于师生之间、生生之间探讨课程内容、课后作业以及课程相关的延展问题。讨论区可以设置作业区、学习小组、课程材料反馈等版块；线下活动：通过户外课堂闲逛、面对面答疑、学生见面会等活动进行线下交流和共同分享。
４）教学评价
教学评价主要针对教学过程的评价，因此存在重合的指标，指标包括课程讨论、教学互动、知识点讲解3个指标。课程讨论：课程讨论：课程讨论区用于师生之间、生生之间探讨课程内容、课后作业以及课程相关的延展问题。讨论区可以设置作业区、学习小组、课程材料反馈等版块；教学互动：教师与学生、学生与学生、学生与学习内容三个方面的互动为课程参与者搭建一个虚拟与现实相结合的平台；知识点讲解：教学设计合理，有重难点解析，课程以可视化和游戏化呈现，视频长短适中；
三级指标的确定：
教学评价
线下活动
课程讨论教学互动
知识点讲解
3、指标合成与权重的确定
用专家意见平均法做指标的合成与权重的计算。请20位专家进行排序，结果如下。
1） 一级指标合成与权重
2）二级指标合成与权重
1、 对一级指标“教学评价”的二级指标合成
2、 对一级指标“教学过程”的二级指标合成
导
航设计
学习记录1、学生认真做笔记，记录进度 2、学生注重上课理解消化
学导航定位
1、导航清楚明了
2、定位准确高效
界面设计
1、界面清爽简洁
2、界面功能齐全，方便搜索
网站相应速度快
4、对一级指标“课程内容设计”的二级指标合成
3）三级指标合成与权重
1、对二级指标“线下活动”的三级指标合成
3、对二级指标“教学互动”的三级指标合成
6、对二级指标“学习导航和定位”的三级指标合成
7、对二级指标“界面设计”的三级指标合成
六、总评价表的形成与呈现
七、评价方案的优缺点评价
1）评价方案的优点
本方案为MOOC课堂教学评价方案，事先确定了评价的三级指标并运用专家意见平均法确定了各个指标的权重，方案优点主要体现在如下方面：
1、评价体系包含三级指标，层层紧扣，从线上到线下，从教师到学生，较为全面系统地评价了MOOC课堂运行的环节。
2、参考了较多的文献，综合各家所言，取长补短，理论基础坚实。
3、MOOC课堂在国内外发展趋势较快，研究价值很高，本评价对接下来的MOOC课程改革和发展可以提供借鉴作用，研究意义较大。
2）评价方案的缺点
1、在搜寻文献资料的过程中，由于资源、渠道、时间限制等问题，文献查阅数量有限，对已有研究不能完全把握了解。
2、权重的确定，仅用专家意见平均法，但是由于时间、精力等的原因，只找了20位专家来进行评定，权重确定的普遍度与迁移度可能不够。
3、指标的选择和确定依据较为薄弱，合理性不足。
参考文献
1.王春晖. 刘志国，俞宗佐，张丽萍，王娜．基于MOOC 平台的混合式教学模式探索
［Ｊ］．内蒙古师范大学学报(教育科学版)，2015，28(7)：144—146．
2.陈雁飞．论影响体育教师培训有效性的六个基本环节［Ｊ］．体育教学，2011，(10)．
3.肖成全，周新．中小学教师培训方案的有效设计与有效实施策略例谈［Ｊ］．中小学教
师培训，2010，(3)．
4.朱旭东. 宋萑．论教师培训的核心要素［Ｊ］．教师教育研究，2013，(3)
5.余新．教师培训项目管理导图———以“国培计划”短期集中培训项目为例［Ｊ］．教
师教育研究，2012，(4)
6.［美］罗纳德·杰克斯著，谢金峰译．制胜培训秘诀［Ｍ］．北京：中华工商联合出版
社，2003.82.
7.余新．有效教师培训的七个关键环节———以“国培计划———培训者研修项目”培训
管理者研修班为例［Ｊ］．教育研究，2010，(2)．
8.张振虹，刘文，韩智．从OCW课堂到MOOC学堂：学习本源的回归［Ｊ］．现代远程
教育研究，2013，(3)．
9.邓宏钟，李孟军，迟妍，谭思昱．慕课时代的课程知识体系构建［Ｊ］．课程教育研究，
2013，(8)．
10.李明华．MOOCS革命：独立课程市场形成和高等教育世界市场新格局［Ｊ］．开放教育
研究，2013．(3)．
11.王颖，张金磊，张宝辉．大规模网络开放课程（MOOC）典型项目特征分析及启示［Ｊ］．远
程教育杂志，2013，(4)．
12.刘利枚，石彪，罗新密．大学计算机基础课程的分层教学［Ｊ］．计算机教育，2011，
3:34-37．
13.祝智庭, 刘名卓(2014). “后MOOC”时期的在线学习新样式［Ｊ］．开放教育研究,
20(3):36-43.
14.李胜波,陈丽,郑勤华.中国MOOCs 课程设计调查研究［Ｊ］．开放教育研究，2016.(4).
15.熊才平，吴瑞华．网络课程绩效评价指标体系的构建研究［Ｊ］．现代教育技术，2001(4)：
13—17，75．
16.Guidelines on the Quality Assurance of Distance Learning ［Ｊ］．Quality Assurance Agency
for Higher Education.1999:88-101
17.Phipps &Merisotis. Quality on the Line:Benchmarks for success In Internet –Based Distance
Education ［Z］．Research report of The Institute for Higher Education Policy. 2000.46-53
18.邹晔．网络教学设计及实施的模糊综合评价［Ｊ］．中国电化教育，2003，(6)．
19.程春华，韩海彬．电大远程开放教育教学质量模糊综合评价［Ｊ］．成人教育，2010，
(13)．