线上学习效果评价及其影响因素

王 晶，司凤山，李 会

(安徽财经大学 管理科学与工程学院，安徽 蚌埠 233030)

为应对新冠肺炎疫情，线上教学广泛展开，已成为各高校在疫情期间开展教学的主战场。教师通常借助网络教学平台发布教学视频和共享教学资源，利用QQ、钉钉或腾讯会议等软件进行网络教学直播，多措施确保“停课不停学”。线上教学模式虽然具有较高的时空灵活性，但对教师的课堂设计和学生的学习行为提出了更高的要求。已经习惯了线下学习和考核的师生，面对全面开展的网络教学，如何评价学生的学习效果？影响线上学习效果的关键因素又有哪些？这些都是摆在师生面前亟待解决的问题。为此，本文利用学生的在线学习行为数据构建Logistic回归模型，探寻影响网络学习效果的关键因素，为教师提升线上教学质量提供参考。

为探讨学生线上学习行为特性，田娜等[1]对江南大学网络教学平台中学生的相似特性进行了聚类分析，发现了影响课程成绩的多种因素。蒋卓轩等[2]对大型开放式网络课程(MOOC)学习平台上的学习行为特征进行了分类，研究了学习行为与学习效果之间的关联性。贺超凯等[3]分析了大规模在线课堂中学习者的学习行为特征，并进行了成绩预测。宗阳等[4]应用逻辑回归对MOOC学习数据进行了分析，探究了学习者的在线学习行为对学习成绩的影响。彭绍东[5]利用大数据分析技术从交互层次视角对网上学习行为特征与规律进行了探讨。沈欣忆等[6]采用德尔菲法、专家排序法分析了学习者在中国慕课大学先修课(MOOCAP)中的在线学习行为数据，构建了MOOCAP在线学习行为和学习评价模型。

上述研究主要对在线学习行为与学习效果的关系进行了分析和探究。本文在此基础上，结合实践教学数据，借助主成分Logistic回归分析，通过指标筛选深挖学生的线上学习行为特征，探究线上学习效果的评价方法，找出影响学习效果的关键因素。

1 Logistic回归模型

为了研究分类因变量与多个自变量之间的相互关系，选择Logistic回归模型进行线上学习效果的评价。Logistic回归分析一方面能够估计某个事件发生的概率，另一方面也可以分析哪些因素影响该事件。假设在自变量X1,X2，…，Xn作用下，某事件发生的概率为P，则该事件不发生的概率为1-P，P/(1-P)为发生概率和不发生概率之比，称为“优势比”(odds ratio)，若对优势比取自然对数，得到

(1)

由公式(1)得到概率为

(2)

2 学习效果评价模型

2.1 数据来源

本文选取公选课“Excel高级应用办公技术”的网络教学为数据来源。该门课程涉及来自全校不同学院、专业和年级的学生近300人，每学期共36学时，全部采用线上教学模式，数据规模足以满足研究需求。线上学习数据主要指标有：课程视频(X1)、单元测验(X2)、课堂讨论(X3)、章节作业(X4)、学习次数(X5)、课堂出勤(X6)、课堂互动(X7)。其中：课程视频是指学生观看视频的进度；单元测验是指学生单元测验所得分数；课堂讨论是指学生参与的讨论数占总讨论数的比重；章节作业是指学生已完成作业量占总作业量的比重；学习次数是指学生完成章节任务点的点数；课堂出勤是指学生每次课堂到课率；课堂互动是指学生参与课堂练习等课堂活动的得分。本文采用统计法刻画学生的特征，依据学习行为将学生划分为特定类别进行分析。

2.2 数据预处理

从网络平台采集到的原始数据中抽取变量，并对所选指标进行数据预处理。首先，处理存在缺失值和异常值的变量，剔除不符合要求的数据；其次，对指标变量进行相关性分析，根据变量的相关程度选择与学习行为关联性高的指标变量作为度量指标。

利用上述7个指标与学生成绩(学习效果)，使用SPSS Statistics 23进行 Pearson 相关分析，分析结果见表1。

表1 相关性分析

表1表明，这7个指标特征与学习效果在统计学意义上是显著相关的，因此可以直接将它们纳入逻辑回归模型中。

2.3 多重共线性诊断与主成分分析

多重共线性是指模型中解释变量之间存在相关关系。如果模型存在多重共线性，会造成分析结果不准确[7]。为此，需要诊断模型中是否存在多重共线性，以便采取措施进行修正。值得注意的是，表1中的相关性分析已经给出自变量与因变量之间的关联性程度。如果自变量之间相关系数较大，则可以直接认定存在多重共线性；否则，需要根据诊断指标来判断模型中是否存在多重共线性。

多重共线性的诊断指标有：容忍度(Tolerance，T)和方差膨胀因子(Variance Inflation Factor，VIF,F)。如果容忍度小于0.1，即方差膨胀因子VIF大于10，或者条件索引(Condition Index)大于10，则表示自变量间存在共线性，反之不存在。共线性统计诊断结果如表2所示。

表2 共线性诊断结果

表2表明，除课堂讨论之外，其他因素在共线性诊断表中容忍度均小于0.1，方差膨胀因子均大于10，所以存在多重共线性。由于指标高度相关，在构建模型前，如果直接纳入分析，可能会因为多重共线性而导致无法得出有效结论，因此要先利用主成分分析法对样本数据进行处理。具体为采用降维的思想将高度相关的自变量转换为相互独立、无线性关系的变量，转换后的变量称为主成分，主成分可以反映出原始数据的大部分信息[8]。

为了判断使用主成分分析的可行性，需要对数据进行 KMO 检验和Bartlett 球形检验。检验结果中KMO 值为0.828，且大于0.6；Bartlett球形检验的sig值为0，且小于0.05，这表明原始指标体系适合做主成分分析。借助SPSS统计软件对所选取的数据进行处理，得到的主成分分析结果如表3所示。

表3 成分矩阵及总方差解释

由表3可知，前3个主成分的累计方差贡献率超过85%，能够反映大部分的方差变化，可以解释在线学习效果85%的信息[9]，如图1所示。

根据图1、表3和公式(2)，能够得出所选取的3个主成分分别为

P1=0.383 7X1+0.404 0X2+0.340 8X3+

0.371 7X4+0.367 3X5+0.382 8X6+0.392 4X7,

P2=-0.483 2X1-0.156 8X2+0.393 2X3+

0.376 8X4-0.549 1X5+0.118 4X6+0.350 2X7,

P3=0.139 3X1-0.127 7X2+0.755 9X3-

0.391 7X4+0.121 9X5-0.471 6X6+0.055 1X7。

综上可知，依据输出结果筛选出的主成分能够构建 Logistic回归模型。

2.4 逻辑回归建模

基于上述7个指标作为自变量提炼出的3个主成分，将学生成绩分为合格(分数≥60)和不合格(分数<60)两类，引入学习效果的及格概率P作为因变量，其中1表示及格，0表示不及格。由于因变量是一个二分类变量，通过Logistic回归分析可得：

(1)Omnibus 检验(Omnibus Tests of Model Coefficients)

Omnibus 检验是综合检验模型系数。其中Model一行输出了Logistic回归模型中所有参数是否均为0的似然比检验结果。P<0.05表示本次拟合的模型中，纳入的变量至少有一个变量的优势比值有统计学意义。显然，输出结果中显示该模型卡方值的显著性为0，通过了显著性水平0.05的检验，即模型总体有意义。

(2)霍斯默-莱梅肖检验(Hosmer and Lemeshow Test，又称H-L检验)

H-L检验是检验模型的拟合优度，即根据模型得出来的预测值与实际观测数据之间的差异是否显著。当P值大于检验水平时(P>0.05)，即可认为当前数据中的信息已经被充分提取，模型拟合优度较高。H-L检验表中，P=0.793>0.05统计不显著，不能拒绝关于模型拟合数据较好的假设，这说明预测值与观测值没有显著差异，因此认为该模型能很好拟合数据。

(3)模型适配度检验

Cox& SnellR2和NegelkerkeR2代替了线性回归中的R2，其值越接近1，说明拟合度越好。-2LL值为19.659，伪决定系数Cox& SnellR2为0.694，NegelkerkeR2为0.926，反映该模型整体拟合效果较好。

(4)参数估计

采用逻辑回归分析中的二元逻辑回归模型，探讨线上教学中学生学习合格的发生概率。本次统计过程中筛选变量的方式是向前极大似然估计法。为确保各变量参数估计的显著性，模型方程的参数估计表格中列出了最终筛选进入模型的变量和其参数估计值。其中显著性水平列表示相应变量在模型中的P值，Exp(B)表示相应变量的优势比值，并给出其95%可信区间。逻辑回归的结果如表4所示。

表4 Logistic回归模型的参数估计结果

该模型预测分类正确率结果如表5所示。

表5 预测分类正确率交叉

显然，模型预测准确率较高。该模型整体预测正确率为98%，其中预测线上学习合格的正确率达到98.9%，预测线上学习不合格的正确率达到90%。

根据上述测算与分析，得出 Logistic回归分析方程为：

logit(P)=5.638+0.248 6X1+1.85X2+

3.860 4X3+3.985 9X4-0.099 5X5+2.894 3X6+

3.999 6X7。

(3)

从模型参数估计值可知，公式(3)表明这些指标都与学习效果之间存在相关关系，指标系数的P统计量均小于0.001。学习次数对学习效果具有负面效应，其余指标对学习效果具有正面效应。这与事实相符，线上教学过程中，有些学生学习时只是单纯记录章节学习次数，但是不能保障有效学习质量，效率比较低，甚至会出现负面行为，比如刷访问次数等。因此，章节学习次数多并不能正向反映出学生真实的学习状况。

另外，课堂互动环节影响比重相对较大，这意味着在线教学过程中教师可以适当加大课堂互动环节，这不仅能激发学生学习的能动性和提高学生的注意力，而且还能加强知识点的巩固。章节作业的完成可以让学生温故知新，既是对已学知识的巩固，也是对知识“盲点”的发现与补漏。课堂讨论很大程度上能有效调动学生学习集中度，有利于及时消化知识点、查漏补缺，因此讨论环节是在线教学的“润滑剂”。课程视频、课堂出勤和单元测验对学习效果的影响比重分别为0.248 6、2.894 3和1.85。其中，观看课程视频对学习效果影响最小；而课堂出勤与课堂参与度有关，如果学生不能参与在线课堂，成绩受到的影响程度为正相关，说明线上教学更需要学生与课堂有机融合；单元测验具有巩固作用，由于之前有章节作业和课堂讨论，所以导致单元测验的作用较弱。

总之，线上教学重在课堂参与(课堂互动和课堂讨论)，而课后巩固(课程视频、章节作业和单元测验)只是辅助，学习效果主要依赖于课堂环节。

3 结语

本文运用的主成分Logistic回归分析不但诊断每个自变量的共线性，有效解决共线性问题，而且还可以实现变量降维和尽可能减少变量中信息的丢失，从而能有效对线上的学习效果进行评价。研究表明，在线上教学中，单元测验、章节作业只是作为评判教学过程能否达到预期目标的途径。影响学习效果的内外部条件还包括课堂出勤、课程视频、课堂互动、课堂讨论等，其中课堂互动、课堂讨论的作用较为显著。研究的结果能有效帮助教师分析学生的学习行为特征，及时掌握线上教学效果，并据此有针对性地制定教学计划、优化教学资源、提供个性化教学服务。

线上教学中，进行学习效果评价时还要考虑师生的角色定位、教学方法等因素，这是未来的研究方向。