MOOC教学过程质量监控评价体系的构建与研究

谢宾 施秋萍 刘洋 刘晟蓝

摘要：MOOC作为技术支持教育的一种，其本质仍是“师生相对分离”的远程教育，教学过程中教师不能像传统教学一样实时监控教学过程。构建MOOC教学过程质量监控评价体系能够实现教学过程的监控和评价，使教师根据监控数据和评价结果有针对性的、动态的调整教学。利用定量评价与质性评价，结合基于学生学习行为大数据的学习分析技术，给予及时的评价结果，反馈教与学。

关键词：MOOC；教学质量；监控；评价体系

中图分类号：G642.0 文献标志码：A 文章编号：1674-9324（2016）32-0242-04

一、MOOC质量评价及教学评价的研究与应用现状

1.MOOC相关研究动态与研究内容。本研究在中国知网中检索篇名包含MOOC的文章，共计1524篇（截止2015年9月），并使用文献题录信息统计分析工具进行分析，从关键词词频分布上，MOOC、在线教育、高等教育以及教学模式关键词词频出现较高。在国外研究中，MOOC的主要研究方向为MOOC概念、设计、学习理论、案例研究、商业模型、目标群组以及评价等方面。其中研究多倾向于概念、设计、学习理论理论以及案例的研究，在MOOC商业模式、目标群组以及评价方式等方面的研究相对较少，尤其是在慕课的评价（assessment）方面，相关研究也比较少。从以上国内外的MOOC研究现状可以看出，目前MOOC教学评价方面的研究比较缺乏。

2.MOOC质量/教育质量的评价研究。MOOC课程质量以及其教育价值是决策者、研究者最为关注的问题，决定着MOOC是否具有真正实施到实际教学中的条件。在MOOC质量评价方面，刘路等对欧洲远程教育大学联合会的开放教育质量标签、西班牙MOOC教育质量综合评价指标体系以及德国MOOC设计质量评价标准进行了比较研究，认为MOOC质量评价应按评价目的选择局部或整体性评价标准，评价方式突出教师与学习者的评价主体地位，评价环节强化质量控制。李青等在在线课程质量量规的基础上，结合MOOC的特殊性，构建了MOOC质量模型，包括媒体技术、课程内容和课程管理三部分。冯雪松等人从量化因素与定性描述两方面出发，围绕课程内容建设及实施、内容组织、呈现、讲授方法及课程执行与推广等六个方面构建了MOOC质量评价体系。Miguel对比了ADECUR和Standard UNE 66181：2012标准。Yousef A. M. F等总结cMOOC、xMOOC以及面对面教学方式的优缺点，在综合三种教学方式的基础上构建了Blended MOOC，并应用包括开放性、质量保证等12个维度评价量规进行质量评价。MOOC质量评价是在整体层面对MOOC本身进行的综合性评估，关注的是MOOC平台与课程的有用性與易用性，评价客体是MOOC课程。MOOC教学过程质量监控评价是对MOOC教学过程的评价，关注的是学生的学习和教师的教学，评价客体是MOOC教学的过程和效果。

3.MOOC教学评价研究。针对于MOOC教学过程和效果的评价，研究点主要集中在三个方面：同伴评价及其机制研究，自动测评系统、技术研究以及评价方法体系的构建研究。在同伴评价研究中，郑燕林等探索了同伴评价实施路径的选择；刘玲等以edX，Coursera和北京大学MOOC为例，研究为什么实施同伴评价，同伴评价如何实施，教师如何使用，以及在实施中碰到哪些问题，等等，包括定量评价与质性评价；孙力等构建了同伴互评概率模型来提高MOOC评价系统中主观试题评分的客观性和准确性；Hoi K. Suen指出，缺乏形成性评价和反馈，MOOCs就会变成信息垃圾或者节目广播，不能发挥教育作用，可以通过综合几种方式提高同伴评价的准确性和可用性。在构建综合评价方法体系方面，丁慧等从学习互动评价、过程性评价和终结性评价的基础上构建学习评价机制。马桂花从电子学习档案袋、教师记录档案袋和学习成效评价等方面构建多维动态评价体系，并强调以过程性评价为核心。沈欣忆等针对BOOC学习，提炼了12种学习策略，其中，学习评价策略包括作业完整度的同伴评价、优秀作业的同伴推荐、教师对学习者反思的评价以及电子徽章。裴小琴等人从知识、能力和态度三个层面出发，根据学习成绩、自主学习、协作学习、信息处理以及参与水平五个指标对混合式教学模式下MOOC教学效果进行评价。Linda Briggs指出MOOC的几种常用评价工具：同伴评价、自动作文评分、MOOC考试监考。Amit Chauhan总结了几种评估和评价方式，如学习分析技术，利用学生课程应用状态、学习者特点以及学生交互、论坛数据进行分析评价，自适应评价、自动测评、先前学习认定等评价方式；指出可以通过花在任务上的时间、学生与课程交互、知识技能的认证等方式进行学习评价。María认为MOOC教学评价方式主要围绕两种类型的MOOC，并列举了除了测评、任务完成等其他评价方式，如同伴评价2.0（将同伴评价作为学习的一项任务）、基于网络的评价、电子档案袋、引入专家评价、语义网、学习分析等。

二、MOOC教学过程质量监控评价体系原则

无论是cMOOC、xMOOC还是bMOOC，其评价方式目前都是从某一个或者部分角度出发进行评价。MOOC能否取得有效的教学效果，除了科学有效的课程内容设计、教学方法模式的创新应用，有效机制的保障之外，教学过程质量监控评价体系也是极为重要的一环。通过实施教学过程质量监控和评价，教师可以在教学过程中做到及时调整教学内容、方法和进度等，优化教学过程，从而提高MOOC教学的有效性。

1.MOOC的教学应用模式。SPOC（小型私有化在线课程）与MOOC相比最大的区别是可控的课程参与学生数，使SPOC教学的学习监控、学习评价、个性化辅导、学生出勤率以及师生交互都优于MOOC课程，能够提供较深层次的在线学习体验。将SPOC教学与面对面的教学结合起来，实现混合式学习，利用翻转课堂方式采用线上学习与线下教学的教学应用模式，如图1所示，解决在线教育“最后40厘米”的关键问题。

2.MOOC教学过程质量监控评价体系构建原则。①评价目的清晰化：MOOC教学过程质量监控评价体系的评价目的是对教学的全过程进行及时的监控，评价教与学效果，以便教师调整教学进度、方法和过程。评价内容包括教师的教学过程，学生的学习行为、学习结果，师生交互行为，并对教与学的状态利用数据分析技术进行监控。②评价主体全面化：传统的教学评价主体只有教师，而基于MOOC的教学过程监控与评价需要多方联动。建构主义学习理论指出，学生是学习的主体、知识的建构者，因此教学评价尤其需要注重学生的主体地位和作用，重视学生对学习过程的评价和自我反思。除教学参与者（教师和学生）之外，教学督导能够以第三方的角度客观的对教学过程进行评价。基于平台的学生学习行为大数据能够实时的反映出学生的在线学习行为，对学习过程进行监控，为教学评价提供量化的数据。③评价方式多元化：MOOC教学是一个动态的、个性化的学习过程，需要与之相应的多元化、动态化、过程性的评价方式，为学习者和教学者提供及时的评价结果。除了可量化的学生学习成绩以外，教师评价、同伴评价、自我评价等质性评价更能反映出学生学习过程中的状态。

三、MOOC教学过程质量监控评价体系

1.MOOC教学过程质量监控评价体系要素。根据MOOC教学过程质量监控评价体系的构建原则，采取多元化的评价方式，基于在线教育网络课程的评价要素，结合基于学习行为大数据的学习分析技术，本文将MOOC教学过程质量监控评价体系的构成要素分为两种类型：质性评价和定量评价，四个模块：互动评价、在线学习行为、测评分析、线上与线下教学，如图2所示。

互动评价。互动评价主要包含四个方面的内容：①教师评价：教师评价主要包括评价教学过程和评价学生表现两方面。教师对学生的学习表现最具话语权，能够全面、深层次的评价学生的整体学习效果，从教学的参与者与学生学习引导者的角度进行主观的评价，为教学质量评价提供第一手的数据。②学生自评：学生是学习的主体、教学的对象，是知识的获得者与建构者。学生自评主要是进行学习效果的自我评价、学习过程的自我感受等。③同伴评价：同伴评价是学生之间进行作品、作业的相互评价，同伴互评不仅能够提高学习者的参与热情，而且学习者之间通过观看彼此的作业，可以从中获得新的启发和灵感，进而拓宽自己的视野，促进相互学习。为了提高学生互评的可信度和有用性，将“同伴评价”作为一个学习任务，以任务的形式提高同伴评价的深度。④教学督导评价：教学督导一般为执教经验比较丰富的老教师，能够以第三方的角度对教学过程进行客观的评价，避免教师和学生作为教学的直接参与者，在评价过程中可能掺杂的一些影响评价的主观因素。

在线学习行为。MOOC仍是“师生相对分离”的在线教育形式，其主要教学方式为学生的在线自主学习。对MOOC教学质量进行监控评价，必须把握学生的在线学习行为，学生的在线学习行为反映的是学生在线学习的参与水平。通过MOOC平台数据实时的监控学生的学习过程，利用数据的收集、汇总、统计与分析，可视化的展现学生利用平台的学习状态。①课程平台访问次数：学生登陆课程平台访问课程的次数，访问次数反映了学生学习的积极性。②课程平台登陆在线时长：学生每次登陆课程平台在线的时长。③学生登陆时间段：学生登陆时间段能够反映出学生利用哪些时间进行了MOOC学习，白天、晚上、深夜还是周末等，根据登陆时间结合在线时长，反映学生的学习状态。④教学视频观看次数与时长：教学视频是在线教育的核心资源，是学生在线学习的必学内容。在学生认真学习的前提下，反刍比（单个视频中，学生观看时长与视频时长的比）反映了学生基于学习视频的行为。⑤师生有效交互次数：有效交互是指教师对学生有效的答疑解惑及指导，学生有效的提问及教师、学生的相应。师生有效交互反映师生之间教与学互動的状态。⑥交互发帖数与回复数：发帖是在线学习中学生之间、师生之间进行学习互动的主要交互形式，通过发帖与回帖，可以对学习内容、学习问题进行讨论与解决。发帖数和回帖数表现了MOOC学习的活跃度，是评价MOOC学习的一个重要指标。

测评分析。基于平台数据的在线学习行为描述了学生的学习状态，而通过测评分析，能够真正的把握学生的学习效果，反馈学生学习效果。①学生阶段测评统计分析：阶段测评是学生学习过程中的阶段性、过程性评价，反映学生每个学习单元/学习阶段的知识水平，通过客观测试，能够较快的呈现学生知识掌握情况。②学生作业测评分析：主观题目是对知识的综合性考查，不仅考查知识点的识记、理解和应用等初级认知能力，更能通过综合性的题目考查学生利用习得知识进行分析、评价和创造的高级认知能力。通过学生作业测评分析，能够更准确的衡量学生的知识习得效果。

线上与线下教学。基于MOOC线上与线下相结合的教学模式中，线下教学能够解决在线学习中无法解决的问题，主要包括线上教学指导和线下问题解决两个内容。①线上教学指导：教师指导分为课程导学和个性化教学指导。课程导学是教师为学生提供的课程实施、知识教学方面的指导，是课程知识地图的导航。个性化教学指导是教师根据学生表现提供的个性化学习建议。②线下问题解决：根据翻转课堂设计，课堂教学过程主要是学生知识的内化过程，教师在课堂教学中通过问题解决引导学生进行知识体系构建。线下教学通过考察出勤、任务解决、实验操作、核心能力、项目设计等方式计算线下课堂总评成绩，对学生学习效果进行评价。

2.MOOC教学过程质量监控评价体系构建。根据MOOC教学过程质量监控评价体系的构建原则和构成要素，本文拟定了四个维度的评价指标项，分别是互动评价、在线学习行为、测评分析以及线上与线下教学。同时，基于评价的可操作性，本评价体系采用等级式评价，评价等级分“优、良、中、差”四个等级。MOOC教学过程质量监控评价要素数据，如视频观看时长、师生有效交互次数等来源广泛、复杂，在应用要素数据需要教学质量评价之前，需要进行数据的筛选、统计、分析等优化过程。对于互动评价，其评价主体不同，在实施教学质量监控评价时，需要给予一定的评价指导。MOOC教学过程质量监控评价体系如表1所示。

四、结论

本文采取多元化评价方式，基于在线教育网络课程的评价要素，结合基于学习行为数据的学习分析技术，从教学中的互动评价、测评分析、线上与线下教学以及在线学习行为等四个方面出发构建了一个MOOC教学过程质量监控评价体系。本评价体系兼顾了教学过程监控和教学效果的评价，能够对实施MOOC教学评价提供一些指导与帮助。

参考文献：

[1]刘路，刘志民，罗英姿.欧洲MOOC教育质量评价方法及启示[J].开放教育研究，2015，（05）：57-65.

[2]李青，刘娜.MOOC质量保证体系研究[J].开放教育研究，2015，（05）：66-73.

[3]冯雪松，于青青，李晓明.在实践中探索MOOC评价体系[J].中国大学教学，2015，（10）：72-81，85.

[4]郑燕林，李卢一.超越大规模，追求大智慧：MOOC学习同伴评价的实施路径选择[J].电化教育研究，2015，（09）：42-8.

[5]刘玲.MOOC中同伴互评的功能与策略探究——以edX、Coursera平台及北京大学的MOOC课程为例[J].工业和信息化教育，2014，（11）.

[6]孙力，钟斯陶.MOOC评价系统中同伴互评概率模型研究[J].开放教育研究，2014，（05）：83-90.

[7]丁慧，王小刚.基于MOOC的混合教学模式中学習评价机制的研究[J].时代教育，2015，（09）.

[8]马桂花.多元智能理论下大学英语慕课自主学习多维动态评价体系构建[J].湖北函授大学学报，2015，（08）.

[9]沈欣忆，李爽，丹尼尔·希基，李营.如何提升MOOCs的学生参与度与学习效果——来自BOOC的经验[J].开放教育研究，2014，（03）：63-70.

[10]裴小琴，夏春明，杜龙兵.MOOC视角下混合式教学效果评价体系研究[J].未来与发展，2015，（11）：95-98.

[11]吕森林，邵银娟，冯超，等.中国在线教育产业蓝皮书（2014-2015版）[M].北京大学出版社，2015.

[12]何克抗.建构主义──革新传统教学的理论基础（上）[J].电化教育研究，1997，（03）：3-9.