基于大数据感知的课程教学质量评价研究

张阳 郭权

（大连东软信息学院，辽宁大连 116023）

2020年10月，中共中央国务院发布《深化新时代教育评价改革总体方案》，要求高校充分利用信息技术，提高教育评价的科学性、专业性、客观性。其中，针对一流课程建设质量的评价也应利用人工智能、大数据等现代信息技术，创新评价工具，探索评价方法，并完善评价结果运用，综合发挥导向、鉴定、诊断、调控和改进作用。同时，疫情期间大规模在线教学过后，混合式教学中不同角色（教师、学生、教学管理者）对基于大数据的质量监测提出了更高的要求。教师端，要求质量监测平台/系统及时、有效地反馈学生状态信息，能够掌握微观操作层面每个学生学到多少，什么方法有效或无效，以促进精准改进教学，提升教学效果；学生端，要求得到个性化学习支持，获得同辈相关数据分析及比较，随时掌握自身的优势或不足，以促进自主学习、积极学习和深层学习；管理端，要针对校/院/系/督导，及时提供师生横向信息比较、质量相关趋势分析，反馈个性化信息，以促进调配教学资源，改善教学关系，提高教学效率。

一、研究问题与假设

（一）研究问题

Benazir Quadir①Benazir Quadir,Nian-Shing Chen&Pedro Isaias(2020)Analyzing the educational goals,problems and techniques used in educational big data research f rom2010 to 2018,Interactive Learning Environments,DOI:10.1080/10494820.2020.1.7.12427等进行的教育大数据方面研究综述表明，2010年到2018年的143项教育大数据研究中排在第一位的应用问题是忽视质量因素，占比41.2%。陈涛、邓圆，②陈涛、邓圆：《技术如何引领学习?——美国密涅瓦大学推行主动式学习策略及启示》，《开放教育研究》2018年第8期，第53-62页。陈池、王宇鹏等，③陈池、王宇鹏、李超、张勇、邢春晓：《面向在线教育领域的大数据研究及应用》，《计算机研究与发展》2014年第51卷，第67-74页。刘宁、王琦等①刘宁、王琦、徐刘杰：《教育大数据促进精准教学与实践研究——以“智慧学伴”为例》，《现代教育技术》2020第4期，第12-17页。研究如何应用大数据技术促进学生自主学习以及面向学生和教师提供智慧化功能，促进个性化学习和教学改进。钟秉林等②钟秉林、王新凤：《普及化阶段我国高校教学质量评价范式的转变》，《中国大学教学》2019年第9期，第80-85页。研究普及化阶段我国高校教学质量评价范式和信息技术赋能教学改革和评价方式转变。毛刚等③毛刚、周跃良、何文涛：《教育大数据背景下教学评价理论发展的路向》，《电化教育研究》2020年第10期，第22-28页。研究教学大数据评价理论发展的路向，从评价融于教学活动过程、数据整合教学评价系统和人机协同成就智慧评价三个维度阐述基于教育大数据的评价方法与原则。李逢庆、韩晓玲④李逢庆、韩晓玲：《混合式教学质量评价体系的构建与实践》，《中国电化教育》2017年第11期，第108-113页。在评价指标体系的理论基础和评价原则确立的基础上，结合混合式教学设计和实施的流程，构建了过程性和终结性结合的混合式教学质量评价体系。杨春霞、王宏涛等⑤杨春霞、王宏涛、黄颖为：《基于MOOC/SPOC的混合式教学的质量评价研究》，《教育现代化》2020年第41卷，第10-13页。结合相关混合式教学影响因素的理论研究，给出了包含教学准备、教学实施和教学评价三部分的混合式教学的质量评价体系。叶宇平等⑥叶宇平、何笑：《智慧教育引领教学方式新变革》，《高教发展与评估》2020年第4期，第87-96页。提出智慧教育背景下的学习环境更加智能化，可以感知环境变化、学习者的特征，记录各项数据。在大数据分析基础之上的教学评价体系将更加丰富和全面，注重评价的实时性、个性化和科学化。马星等⑦马星、王楠：《基于大数据的高校教学质量评价体系构建》，《清华大学教育研究》2018年第2期，第38-43页。认为，大数据时代背景下高校要着力于实现数据收集常态化、数据应用多样化和数据管理制度化,以科学有效地利用好大数据技术,构建基于大数据的高校教学质量评价体系。

以上研究涵盖教育大数据应用与问题研究、基于大数据应用的教学评价理论研究和混合式教学质量评价体系研究，对于大数据背景下开展一流课程质量评价具有理论指导和实践借鉴意义。然而，现行课程教学质量评价体系尚缺乏基于大数据感知的评价研究，未能建立起有效的、满足教学新常态下不同角色新要求的课程教学质量评价方法，而以下三个关键问题是在线教学、混合式教学质量评价方法研究中尚亟待解决的。

1.评价结果的准确性问题：依托专家的定性评价较强，而基于教学大数据的定量评价较弱，专家评分的客观性、调阅抽查材料的全面性存在不足，影响了评价结果的准确性。

2.数据感知的有效性问题：应用作业次数、测试成绩、课上回答问题次数等传统定量数据评价较强，而针对学习投入、学习效果、学习支持等评价较弱，多维度数据综合，尤其是关联学习效果、学生主动学习等数据的综合分析不足，影响了定量评价的有效性。

3.反馈改进的及时性问题：课程教学结束后的总结性评价较强，而教学过程中的监控作用发挥较弱，评价与反馈都滞后，导致不能及时地将评价中发现的问题反馈给学生和教师，以支持教与学的精准改进、提升学习效果。

（二）研究假设

总假设：基于大数据感知的课程质量评价能够解决评价结果的准确性、数据感知的有效性和反馈改进的及时性问题。假设1：定量与定性有机结合，能避免主要依靠定性评价带来的评价结论主观性和以点带面的问题。假设2：合理设置感知点并准确感知，能有效掌握教与学数据，并明确微观操作层面的具体问题。假设3：阶段性实时感知并及时反馈教学状态，能促进精准改进。

二、研究设计

（一）采用对照实验法检验评价效果。ADDIE教学设计模型①李逢庆：《混合式教学的理论基础与教学设计》，《现代教育技术》2016年第9期，第18-24页。包括：Analysis（分析）、Design（设计）、Develop（开发）、Implement（实施）、Evaluate（评价）。本研究侧重模型中的实施和评价两个阶段，聚焦课程实施和效果评价，②梁婷婷、张阳：《探索构建学生中心混合式课程质量体系》，《中国教育信息化》2020年第6期，第26-29页。而非分析、设计和开发的课程建设质量评估。为了检验评价效果，对大连东软信息学院23个专业的51门课程进行两轮评价。第一轮为“专家主体评价”，简称“专家评”，第二轮为“基于大数据感知的评价”，简称“感知评”。

（二）使用数据平台和评价系统。评价数据来源于校内外智慧教育平台，包括课程资源系统、混合式学习系统、作业测试系统、质量监测系统等。质量评价通过学校“课程评估系统”完成。

三、研究过程及数据收集（以大连东软信息学院为收集基础）

（一）专家主体评价

1.评价标准

《课程教学实施效果评价标准》包括教学实施和效果评价两个维度，涵盖资源使用更新、课堂教学、跟踪反馈、考核评价、教学效果和学生评价6个二级指标（如图1）。

图1 课程教学实施效果评价标准

2.评价对象

2019-2020-1学期实施且通过校级混合式课程建设质量验收的51门课程。

3.评价程序

在课程组自评的基础上，学校组织由教学相关职能部门、院系及校外专家组成的评审组，对参评课程的教学实施与效果进行评价。课程负责人提供课程教学实施的教学文档、形成性和终结性考核存档材料、课程自评报告及相关佐证材料。专家通过“课程评估系统”中教师提供的材料、网络与信息中心提供的课堂教学实录视频、从数据平台获取的教学过程的资源使用与师生互动等统计分析数据，进行综合评价。

4.等级评定

评价结果按照二级指标评价等级加权计算总分，二级指标评价等级分为A（1）/B（0.8）/C（0.6）/D（0.4）四档，其中A档表示完全符合；B档表示符合度较高；C档表示基本符合；D档表示差距很大。最终评价结果分为优秀（100-90）、良好（90-80）、合格（80-70）、不合格（小于70）四档。其中，凡出现二级指标任一项评价成绩为D档，则最终成绩不能评定为优秀和良好（最高为合格）；其他情况按照二级指标加权总分与等级对应情况赋予最终成绩。

（二）基于大数据感知的评价

1.科学量化评价指标

适合量化的指标。若专家评价本身依赖于信息化平台提供的“教与学”数据支持，则该指标适合量化。如图1中的“多数学生资源利用率高，使用效果好”，“多数学生积极参与课堂教学活动，师生互动效果好”；“教师能够对学生线上、线下的课前、课中、课后学习任务完成情况和学生的问题给予及时、有效的评价反馈和精准支持，学生学习进步较明显”；“学生学习效果符合课程目标，指标达成度高”等。

不适合量化的指标。若现阶段基于感知的评价明显不能替代或优于专家评价，则该指标不适合量化。如图1中的“依据课程标准进行考核，命题和评阅质量高”，“成绩评定规范、合理”等。

为确保评价结果可相互验证，“感知评”所使用的评价标准与“专家评”所使用的标准保持一级、二级指标完全相同，包括内涵解读和权重设置。将6个二级指标分解为13个三级指标，设定8个基于数据感知的定量评价指标P1-P8和5个依据专家评分的定性评价指标E1-E5（如表1）。

表1 课程教学实施效果评价指标量化

2.有效设置感知点

首先，根据有效教学设计与实施的“四要素”：目标、教法、学法、评价，①赵炬明：《聚焦设计：实践与方法（上）——美国“以学生为中心”的本科教学改革研究之三》，《高等工程教育研究》2018年第2期，第30-44页。对教学大数据进行贴标签分类，将教学感知点分为5大类：即资源“有效”利用、任务完成“时效”、互动参与“程度”、教学反馈“效果”、学习目标“达成”。其次，以“充分发挥专家特长和大数据感知的融合优势”为原则，结合学校实际，对应5大类别，设置可准确感知的12个教学感知点（如表2）。教学感知①-⑫涵盖了教学全过程中对教师教和学生学的感知，并与有效教学四要素合理映射。

3.建立数据感知模型和映射模型

一是建立感知模型。根据表2中的算法获得各感知点的感知数据。注重：①数据完整性。例如针对P1，采集多平台数据，鼓励混合式教学模式下有效利用外部优质资源。②增值评价。例如P5和P7，采集提升率数据。③学生体验。例如P4和P8，挖掘学生体验数据。④鼓励评价创新。鼓励课程以有效评价知识、能力、素质三维度预期学习效果达成情况为目标，创新考核方式、增加综合性、开放性命题、优化评价量表等。对于预计将对本轮终结性考核结果造成较大影响的调整，可提出充分理由，并经审定委员会评议，确定对采集的课程平均分增加修正分值δ，确保不因试题增加挑战度等改革导致的考试分数降低影响评价结果。

二是建立映射模型。按照区间评级规则将感知数据转换为区间等级。首先选取合适的参考数据集。参考数据集可以是本校的全集数据，也可以是同类高校、同等专业的数据或211院校的常模数据等。参考集的选用可优先考虑多年相关数据稳定或变化趋势合理的数据集。然后计算参考集中不同年份（一般连续3年、同期）的平均值与分布情况。最后用评价数据集比对参考数据集，建立感知数据映射模型。映射结果可选择五分法{好、较好、合格、较差、差}，其对应值为{1、0.8、0.6、0.4、0.2}。

4.建立综合评价模型

设专家定性评价指标为Expert-evaluationi（Ei），数据感知定量评价指标为Pedagogical-perceptioni（Pi），则第i门课对应的第j个专家指标用来表示，对应的影响系数、指标分值分别为；第i门课对应的第j个数据感知定量评价指标用来表示，对应的影响系数、指标权重和效果加权系数分别为第i门课的最终评价结果Finali（Fi）综合计算如下：

式中：效果加权系数k取值为(0,1]，当k=1时表示不考虑效果加权。效果加权是将指标“2-2教学效果”的数值通过效果加权的方式影响其他与效果直接相关的指标最终得分，如P1资源使用、P2活动参与、P3有效反馈，即教学感知①-④等。

式中：影响系数μ取值为[0,1]，除了指标P6，其余指标的μ取值均为1（无影响）。的设置是考虑考核质量对教学效果的实际影响。根据专家对终结性考核命题、评阅、成绩评定存在的问题分类{无、较小、较大、较严重、严重}，对应确定的值为{1.0、0.8、0.6、0.4、0.2}。

5.总结性评价和过程性评价

总结性评价：根据式一Fi可得到课程i的评价结果。

过程性评价：一是依据反馈及时性原则，设定监测点，比如课程总学时的1/3、1/2和2/3时间点，及时将评价结果反馈给当前的教、学、管理端。二是采用总结性评价方法，并根据情况将部分只在总结性评价中使用的指标对应的μ值设为0，如E1-E5，P6-P8，其他指标的μ值仍为1或实际数值。同时，过程性评价不仅要针对课程整体，还要针对学生个体，比对并呈现个体在相关指标上的优势和薄弱之处，并将结果呈现给教师、学生和相关管理者，以支持过程中的及时、自主、精准改进。

6.迭代优化

以符合事实的客观评价为目标，设计了包括感知、转换、评价、分析、反馈、改进的优化6步并不断迭代。若，ΔX=|评价结果-真实质量|，则，令ΔX→0。评价结果可通过多方相互印证。一是“专家评”，二是“感知评”，三是教师对评价结果的反馈。进行多样本学习训练及组织专家合议，如有必要则修改影响系数μ、指标分值w、效果加权系数k和相关算法等，直到Fi符合真实情况、教师充分认可。

四、研究结果

将“专家评”的结果和“感知评”的结果进行对比：

1.评价结果准确性。从指标量化看，量化指标从“专家评”10%，增加到“感知评”55%，部分专家主观评价中的印象分被客观合理的感知评价替代。从总分分布看，对应{优秀、良好、中等}的百分比值分布，“专家评”{13.7，74.5，11.8}，“感知评”{15.7，54.9，29.4}。表3中总分值和“2-2教学效果”指标的标准差比较显示，“感知评”的结果等级分布更合理。综合表3和表4数据进行原因分析，“感知评”中，指标1-1相关度最大且标准差相对大，而“专家评”中，指标1-3相关度最大但标准差相对小，说明专家在该项（过程及反馈）的打分过于集中且过大地影响了最终得分。从评价反馈看，教师对“感知评”的最终评价结果和改进意见普遍认可。

表3 两种评价的标准差比较

表4 两种评价的指标分项与总分的相关系数比较

2.数据感知有效性。一是感知更有效。表3感知模型显示，针对有效教学要素设置感知指标P1-P8，并综合分析评价学习投入、学习效果、学习支持等，使得数据更可靠。二是OBE导向评价。采用效果加权，平均效果加权系数0.8，使得评价结果更符合指标内涵要求，如“资源有效利用”“有效互动”等，使得模型和评价更可靠。三是改进更有效。针对指标得分情况，明确问题在哪里，差距有多少，并提供针对每个3级指标的教师维度改进建议（资源更新、教学教法、监控调整、有效反馈、命题质量、评阅评定、提升效果、提升学习体验）和学生维度改进建议（资源利用、互动参与、学习状态、学习效果、效果提升），使得教学改进更有效。

采用相对值比较而非使用绝对值的方法分析，表4中指标2-2列“感知评”较“专家评”的相关系数明显增大，说明“感知评”更突出效果评价的重要性；计算列1-1和列2-2的相关系数，得出“感知评”虽然比“专家评”更相关，但相关度很低，还需进一步改进完善，以增强感知数据的有效性。

3.反馈改进及时性。课程过程性教学质量监测为教学过程中的及时、自主、精准的改进提供了支持。一方面，及时向学生、教师、管理者提供过程监测结果，例如在学期中不同时间节点，针对学生个体呈现指标得分变化数值及位置；针对教师呈现学生个体和班级整体数据；针对校—院—系呈现相应集合的整体数据和同层次比较数据。另一方面，根据表3数据转化算法，不仅关注学生学习效果成绩绝对值，而且关注学生预期学习效果达成度提升值，实时感知个体增量，切实发挥形成性考核评价的促进作用。

计算“过程指标”1（1-1、1-2、1-3求和）和“教学效果”指标2-2的协方差：“感知评”为：0.363744714，“专家评”为：-0.161476355。说明：“专家评”负相关，即过程和效果负相关，而“感知评”虽然正相关，但相关程度还有提升空间。

五、结论与启示

本文结合大连东软信息学院多年的信息化教学改革实践探索，提出了基于大数据感知的课程教学质量评价方法，并通过效果分析，证明该方法可有效解决现行教学质量评价中存在的评价结果准确性、教学感知有效性和反馈改进及时性的共性问题。同时，基于教学感知的评价实现了高校教学质量评价的三个转变：一是扩大了质量评价的范围，从原先督导覆盖课程的听课评价，到现在覆盖课堂教学全过程的评价，实现了部分到全部的转变。二是增强了质量监控的自主性，从原来的教师、学生被听课、被评价到主动自我监控，实现了被动到主动的转变。三是学生、教师、管理者都能得到较好的支持，促进了混合式教学中学的改进、教的改进和学的改进。

对高校开展基于大数据的教学质量评价的启示如下：

第一，基于可靠性原则建立评价模型。可靠性包括：标准可靠、数据可靠、模型可靠、评价可靠。①林梦泉、任超、陈燕：《破解教育评价难题探索“融合评价”新方法》，《学位与研究生教育》2019年第12期，第1-6页。科学分析、合理设计评价模型，做到定性、定量评价相结合，专家评与数据评相结合，过程性和总结性评价相结合。要根据评价指标本身的特性和当前约束条件，充分发挥专家特长和数据感知的优势。

第二，基于有效性原则探索大数据感知。有效性包括：设计有效、评价有效和改进有效。设计有效即根据有效教学要素设置感知点；评价有效即采用OBE导向的效果加权评价；改进有效即师生明确微观操作层面的问题与差距的基础上实施有效改进。真正触动教、学两端的是有效的数据及数据间关联性的客观呈现，能够反映师生教与学的投入、教与学的互动、教与学的效果，而不能只是作业、测试成绩、教学课件等教与学线下数据的简单线上呈现。

第三，基于及时促进原则完善过程反馈改进。及时促进即及时将评价结果反馈给当前的教、学、管理端，以促进精准改进。当前采集的信息是在当前条件下对当前教、学、管理相关情况的即时反映。通过及时反馈，为学生提供机会去追踪、反思、改进学习；为教师提供机会根据学生学习需求调整教学；为管理者提供机会促进个性化教学改进，从而及时缩小和各个角色预期目标的差距，而非只有延迟到下一轮教学再改，同时还要面临授课对象变化带来的针对性不强等问题。

第四，应用大数据技术迭代优化综合评价。以符合事实的客观评价为目标，迭代感知、转换、评价、分析、反馈、改进，不断优化。还应建立基于大数据信任的质量文化，通过宣讲，促进广大教师认同，通过鼓励创新，增强教师改革动力，使其在自主改进基础上积极参与大数据感知评价的探索。

今后将通过指标项相关性等评价效果分析和通过机器学习、神经网络等算法优化指标权重、效果加权系数和等级区间范围值等。同时继续优化挖掘数据感知点，尝试增加智能感知和改进学、改进教的智能助手，进一步提升教、学、管理效能，促进师生发展。