计算机课程的同伴评价研究

管仁初, 柳海民， 梁艳春,3，温晓静，黄 岚，张 禹

（1.吉林大学 计算机科学与技术学院，吉林 长春 130012；2.东北师范大学 教育学院，吉林 长春 130024；3.吉林大学珠海学院教育学院 珠海符号计算与知识、工程教育部重点实验室，广东 珠海 519041）

0 引言

传统的课程作业评价存在评价主体单一、评价周期长、评价方式简单等弊端[1]，而基于网络的同伴评价系统可以随时随地、方便快捷地收集和整理评价结果，同时解决了评价主体和评价方式单一的问题。同伴评价是指学生根据老师的标准对同伴的作业或测试进行评分[2]。Topping收集了美国Educational Resources Information Center（ERIC）教育学术研究数据库中的109篇有关同伴评价的研究资料，整理后指出同伴评价广泛应用于高等教育各学科，如信息科学、社会科学等。在评价信度和效度方面，同伴评价和教师评价一样高，甚至常常高于教师评价[3]。同伴评价方式可以增强学生的学习动机。同伴间的作业评价属于一种重要的高级思维活动，对提升学生的学习动机与知识水平至关重要， 而且对成年学习者来说，也是一种良好的评价方式。

计算机程序设计课程注重提高学生的逻辑思维和计算思维[4]，开发学生的创造潜能，是以逻辑思维为主的多种思维形式共同发挥作用，实践性和理论性相互依存。此类课程作业能够体现出学生在程序设计方面的创造性，对这类作业的评价将直接影响学生多种思维的发展，但是由于这种类型课程的课程特点，作业的评价通常存在一定的主观性。因此，只采用单一评价方式是不科学的。

同伴评价方式可以提高学生的协作学习能力。随着大数据时代的到来，信息化和智能化的进程在全球范围内快速推进，单机运行和小数据量的工程开发已不能满足当今社会对大数据复杂系统（如互联网推荐系统，智能制造系统，智能物流配送系统等）构建的需求。大数据复杂系统的开发，已不是一两位计算机工程师能够胜任的，而是需要几十人甚至成百上千人的高效合作[5]。因此，学生之间的协作学习和工作能力的培养尤为重要。同伴评价机制的引入恰好是培养这种能力的有效手段之一。

同伴评价一方面满足了学习者泛在学习的需求，另一方面减少了教师的工作量。面对海量的学生实验作业，任课教师及助教如何快速、客观、科学、公平地评价学生的程序和工程是一项重要的研究课题[6]。在大学计算机的实验性和工程性课程的合作学习过程中，学生往往需要分组进行实验。教师需要兼顾的小组较多（如已收集的2016年课程数据中，就有46个学生小组），不容易对每一小组特别是每一学生的表现都有非常清晰的了解。而学生在参与过程中对自己和本组同学的表现在主观和客观上都有了解，引进学生和小组的互评更公平、公正，也更客观，更具说服力。

然而，目前针对大学课程同伴评价的研究还较少，尤其是定量的研究则更少。然而怎样评估同伴评价在大学计算机课程中的有效性？同伴评价在学生学习效果和成绩中所起的定量作用是什么？能否通过带有同伴评价的变量预测学生成绩，从而指导教学模式和方法的修正？针对上述问题构建的机器学习方法，能够给出同伴评价在学生学习效果的定量作用，并能够通过训练好的模型对学习成绩进行预测，为评价计算机课程成绩、调整授课内容和教学方法提供帮助和依据。

1 预测模型

为了定量地评估同伴评价对教学效果的影响，可以引入机器学习方法中的回归模型。将同伴评价和小测验等变量作为特征，构建特征空间。利用机器学习方法中的回归模型对学生成绩进行学习并预测。预测模型的示意图如图1所示。首先，在课程网站上为每位学生设立账户，学生通过课程网站上传程序作业和工程文档。然后，公布课程同伴评价标准，通过网站收集同伴评价得出的课程或工程成绩。将每次程序或工程作业作为特征，构建特征空间，每名学生的成绩记录构成向量。在模型训练部分，引入回归模型：

中心特征选择部分，运用基于赤池信息准则（Akaike information criterion，AIC）的逆向逐步回归方法来筛选特征。赤池信息准则公式为

其中，k为变量个数，L为极大似然函数。逐步回归的依据是在尽量不增加AIC值的前提下，由尽可能少的参数来表现回归模型。逐步回归过程是一个不断学习数据，构建模型，计算误差，修正模型的迭代寻优的过程。

2 实验结果与分析

实验收集了吉林大学计算机科学与技术专业2016年、2017年和2018年“.NET设计与架构”课程（简称.NET课程）的同伴评价成绩、测验成绩、出勤成绩以及期末成绩等多个变量，依此构建特征空间。其中，2016年收集了185名学生，14个特征信息；2017年75名学生，16个特征信息；2018年68名学生，26个特征信息。上述三年课程的特征详细信息见表1。

图1 基于机器学习的同伴评价课程成绩预测模型

从表1中可以看出，根据每年的学生成绩及拟合结果，不断调整作业次数以及评价准则。从上一年实践得到的数据中总结经验和理论，修正预测模型，增加或修改下一年的作业次数和难度。2016年构建了网络同伴评价平台，成功地将同伴评价引入到.NET课程中来，实现了对学生课程成绩的自动计算。为了保证教学质量并降低发生误评价的风险，采取了“教师评价为主，同伴评价为辅”的混合评估方式，其中，同伴评价成绩占总成绩的14%。2017年，在上一年成功实施的基础上，进一步增加了同伴评价的次数（增加为6次）以及比重（增加为75%），减少了教师评价的占比。这一年的成绩评价完成了“同伴评价为主，教师评价为辅”的转换。2018年，同伴评价的次数进一步增加到11次，所占比重增加到85%，这一年的成绩评价已经形成了“同伴评价占主导地位”的评价准则。

根据表1中各年的特征信息，首先构建特征空间。然后，运用多元线性回归方法和基于赤池信息准则的逆向逐步回归方法，得到2016年、2017年和2018年的多元回归方程：

逆向逐步回归方法是在由全部变量构建的多元线性回归方程基础上，逐步去除对因变量（G）预测结果影响最小的自变量。从公式（3）—（5）中可以看出，同伴评价成绩对于每一年的成绩都起到了关键性的作用。例如，2016年的回归方程中x1和y1分别为评价同伴程序的得分和程序同伴评价得分；2017年的回归方程中x2和y2分别为第二次评价同伴程序的得分和第二次程序同伴评价得分；2018年的回归方程中y4为第四次程序同伴评价得分。

表1 2016年—2018年课程特征列表

图2为运用机器学习方法对2016—2018年.NET课程拟合结果的比较。其中，纵坐标为多重相关系数检验。2016年的多重相关系数检验值为0.9801，2017年的多重相关系数检验值为0.9618，2018年的多重相关系数检验值为0.9998。其中，2017年的多重相关系数检验值最低，2018年的值最高。其原因是，为研究同伴评价对教学结果的影响，在2016年课程同伴评价网站的成功部署和课程回归方程成功拟合的基础上，进一步增加了同伴评价的次数。然而，虽然增加了程序同伴评价的次数，但是2017年的拟合结果却降低了。对结果进行分析并和学生讨论后，发现程序作业的同伴评价过程中部分学生有不认真评价的现象。为解决上述问题，2018年的课程重新设计了程序作业，引入了小测验并调整了平时作业总成绩。因此，2018年的多重相关系数检验值达到了最高的0.9998，分别比2016年和2017年提高了2.0%和4.0%。同时，在2018年的回归方程中，把综合考虑了所有平时表现的平时作业总成绩作为重要变量参与计算。

图2 2016—2018年“.NET设计与架构”课程机器学习拟合结果的比较

从上述结果中可以看出，构建同伴评价特征空间和机器学习模型可以达到96%～99%的成绩预测准确率。同时，从机器学习模型给出的回归方程中可以清楚地看到，同伴评价成为了回归方程中的中心特征，而其他特征如小测验成绩q（2018年），练习作业成绩z1和z2（2017年）等都未成为中心特征。因此可以说，同伴评价在学生三年的学习成绩中起到了关键作用，同伴评价在计算机专业课程中的有效性一目了然。这种直观的体现是通过构建机器学习模型得到的。新构建的机器学习模型不但能够在同伴评价空间上准确地预测出学生的成绩，还能够定量给出各中心特征所起到的作用。

3 结语

通过对吉林大学计算机科学与技术专业2016—2018年.NET课程同伴评价数据的分析，可以看出同伴评价对课程的大学计算机课程教学具有一定的影响。机器学习模型的引入为证实同伴评价的有效性，定量给出同伴评价效力以及预测学生课程成绩提供了有效的方法和手段。该方法值得在其他计算机课程上推广与应用。在未来的教学实践中，将继续把同伴互评环节在实际教学中推广应用，收集更多的数据以获得更加深刻的结果。此外，在后续的教学过程将配合机器学习方法对目前的同伴互评设置进行改进，更加准确地检测学生互评质量与实际学业水平。