当前位置:首页 期刊杂志

学习分析视角下在线学习干预模型应用

时间:2024-07-28

张家华 邹琴 祝智庭

摘要:基于传统RTI模式构建的在线学习干预模型,是一个循环迭代的干预模型。该模型主要包括五个要素:筛选、监控、多层次干预、决策和分析。研究者利用学习分析技术将在线学习行为数据加以筛选和分析,及时预测可能出现学习风险的学习者从而提供适当的学习干预。该模型的特点:第一,突破现有的以传统课堂环境为背景的学习干预研究,将学习干预模型应用于在线学习的真实情境;第二,从学习分析的视角逐步明确和细化学习干预的方法、过程和策略并借助技术工具实施可操作且有效的干预措施;第三,通过问卷调查、SPSS和个别访谈的方法,从学习者的角度对在线学习干预模型的有效性进行了评估。模型实验结果表明,在线学习干预模型的应用效果较好,实验对象的学习结果与模型预测的结论较为一致,且被干预的学习者能够适应干预策略和措施,有效地规避了学习风险。

关键词:学习分析;在线学习;学习干预;反应-干预模型;学习过程

中图分类号:G434 文献标识码:A 文章编号:1009-5195(2017)04-0088-09

学习分析作为教育领域的新兴技术,近年来已经成为教育研究的热点。《地平线报告》自2011年起连续三年将学习分析列为近2-3年的关键技术,并预测其将于2017-2018年得到普及。加拿大阿萨巴斯卡大学的Siemens教授认为学习分析是指收集学习者产生的数据并建立分析模型来发掘信息和内部联系,以对学习者进行预测和建议(Siemens et al.,2011)。这表明学习分析不仅需要对学习进行诊断分析,还应依据分析结果进行适当的干预。然而,由于传统学习环境存在数据采集困难、干预手段有限以及干预过程复杂等问题,导致学习干预研究虽然重要却所受关注不足,相关理论和应用成果的影响有限。在信息技术支持的学习环境下,借助在线学习平台和学习分析技术能够收集学习数据、分析学习过程、实施精准教学,从而为探索个性化、适应性的学习干预提供了可能,也将促使学习干预的研究和应用由特殊教育逐步拓展到普通教育领域。

一、國内外研究现状

传统学习干预主要面向特殊教育领域的学习障碍者。自20世纪60 年代美国心理学家 Kirk 提出学习障碍的概念后,教育研究者们开始重视这一问题。原有的学习评价方式开始受到质疑,学校需要更加科学有效的方法来解决学习障碍问题,以准确鉴定有学习障碍的学生并帮助他们克服学习困难和提高学业成绩。针对这一需求,“干预-反应”模式(Response to Intervention,简称 RTI)应运而生,并逐步得到推广应用。

国外研究表明,RTI模式可以提供恰当的干预措施来改善处于低水平学生的学习(Fletcher et al.,2005);Bianco等将RTI运用于识字课堂,改善了学习者的识字率,减少了需要特殊分组学习者的数量(Bianco,2010);Ardoin等在小学数学课堂实施该模式,以鉴别需要教学干预的群体,证明了RTI使用的可能性和有效性(Ardoin et al.,2005)。使用RTI模式的优点还包括帮助满足学生的社会、情感行为需求(Saeki et al.,2011)。如Little和Rawlinson等证实了针对不同风险的学习者采取干预措施的有效性,并提醒教育工作者注意不同层次干预措施的差异性(Little et al.,2012)。此外,官方调查报告显示,自2007年至2010年美国全面开展RTI模式或者部分尝试RTI模式的学区数量逐年上升,由2007年的24%增加到了2010年的61.2%,且有76%的学校认为RTI模式改善了教学效果(American Association of School Administrators,2010)。

然而,上述学习干预研究大多以传统课堂为背景,较少涉及技术环境中的学习问题。而在线学习正成为越来越多学习者的重要学习方式,技术环境下的学习障碍问题日益突出,因此基于在线学习环境的学习干预研究非常必要。随着大数据技术和智慧教育的兴起,国内学者开始关注技术环境下的学习干预问题。如祝智庭教授设计了信息技术支持的精准教学模式,强调基于数据驱动的决策方式,并将RTI作为实施精准学习干预的重要方法(祝智庭等,2016);唐丽等探讨了学习分析中干预的内涵、方式与流程,从多个角度提出了实现个性化学习的干预措施(唐丽等,2016);李彤彤等构建了基于教育大数据和学习分析的、以干预引擎为核心的学习干预模型,并设计了具体的干预策略、干预时机以及干预方式(李彤彤等,2016);赵慧琼等将干预模型应用于教学实践中,通过学习过程中实施干预模型识别出存在学习危机的学生,及时向其发出预警信号并提供个性化干预对策,在一定程度上增强了学习动机并提高了学习质量(赵慧琼等,2017)。

总体而言,已有的学习干预研究虽然取得了一定成果,但是还面临一些新的问题亟待解决:一是已有研究提出的学习干预模型和策略的应用主要以传统课堂为背景,其在混合式或在线学习环境下的适用性和有效性仍存在不确定性。二是传统学习干预主要借助人工方式实施干预,工作量大且准确度难以保证,因此难以适应规模较大的课程。三是技术环境下的学习干预实证研究偏少,一些研究从理论层面设计了干预模型,但缺乏真实教学实践的效果检验;少数学习干预实验效果较多依赖于质性的分析结果,较少结合量化结果进行相对客观的分析。

二、在线学习干预模型的构建

随着在线学习环境的兴起和广泛应用,学习干预研究需要新的模型、方法和技术支持。针对传统学习干预研究的局限和在线学习的特点,本文提出在RTI模式的基础上构建在线学习干预模型,如图1所示。该模型包括五个要素,分别为筛选(Screening)、监控(Monitoring)、多层次干预(Intervening)、决策(Decision-Making)和分析(Analyzing)。它是一个循环迭代的干预模型,干预的层次包括群体干预、小组干预和个体干预。研究者利用学习分析技术将在线学习行为数据加以筛选和分析,及时预测可能会出现学习风险的学习者,并提供适当的学习干预。

筛选。包含两个方面,一是在干预实施之前,根据平台特点和课程性质筛选干预技术和工具;二是在干预过程中,根据干预结果筛选出有风险的学习者。

监控预测。利用技术和工具监控在线学习行为,实时了解学习进度,量化学生的学习数据;针对进度落后、偏离目标、存在障碍的学习者预测可能出现的学习风险。

多层次干预。分为群体干预、小组干预和个别干预。根据学习行为的分析结果确定具体的干预层次,并采取相应的干预策略。可借助多种方式和工具实施干预,并为被干预学习者提供可视化学习诊断报告。

决策。对干预效果进行验证,呈现可视化分析结果,以支持科学的决策。若干预效果不明显,则调整干预策略和措施实施新一轮的干预。如建议学习者调整学习方式和态度,或建议教师调整教学方法和模式,以及教学管理人员优化资源配置等。

学习分析。学习分析是整个模型的核心,贯穿学习干预的全部过程,在数据驱动的基础上实施干预措施和策略,以实现个性化、适应性的在线学习干预。

本研究在传统RTI模式研究成果的基础上,构建了技术支持环境下的在线学习干预模型。该模型的特点有:其一,从学习分析的视角逐步明确和细化学习干预的方法、过程和策略,并借助技术工具实施可操作且有效的干预措施,以克服传统RTI模式存在的部分局限。其二,把学习干预模型应用于在线学习的真实情境中,基于实证研究的数据分析来完善模型并验证模型的有效性。

三、在线学习干预实验模型的实施

为验证在线学习干预模型的效果,本文借鉴教育设计研究的理念和方法,以准实验的方式在教学过程中实施学习干预,经过两轮的迭代,逐步修正和完善在线学习干预的模型、方法和策略。

1.预实验的实施

预实验以教师教育类公共课“现代教育技术”为例来检验干预模型的有效性。该课程开课时间为2016年3月至7月,课程采取混合式教学方式,约50%的学习任务要求学生借助Moodle平台在线完成。预实验将修读该课程的1000余名學生作为群体干预的对象,在其未明显察觉的情况下,实施隐性的、一对多的基础性干预措施。

由于研究条件所限,小组干预选取某个教学班共51名专业相同的学生进行分析。根据分析结果筛选出参与度排在后10位的学习者作为小组干预对象。这些学习者被预测存在一定的学习风险,因此对其实施显性的、无差异的干预措施。例如,教师和助教以群发短信的方式提醒小组干预的学习者,呈现其当前学习过程中存在的主要问题,鼓励学习者积极参与在线学习活动。

个别干预针对的是学习积极性较差,学习意识薄弱的“困难生”。根据分析结果,最终筛选出参与度最低的5名学生,他们被预测存在较高的学习风险。通过显性的干预措施,如师生面对面交流来了解存在的学习障碍,以提醒被干预的学习者并根据学习进度为他们推荐相应的学习资源,提供个性化的学习建议。

预实验中三个层次的学习干预是由浅入深、循序渐进开展的。群组干预由于干预对象数量大,干预方式较隐蔽,干预效果难以直接进行比较,因此干预效果主要从小组干预和个别干预的层次进行分析。表1显示,10名经小组干预的学习者登录学习平台的频率有所增加,自测题模块有所改善,讨论帖的浏览次数明显增加,主动发帖的次数逐渐增多,但资源访问量变化不明显。表2显示,5名经个别干预的学习者登录平台的频率明显增加,资源访问量、自测题完成量、讨论区发帖和读帖的情况均有明显改善。

从期末成绩来看,参加预实验的班级平均成绩为86.3,其中接受小组干预的学生平均成绩为88.4,接受个别干预的学生平均成绩为81.6。多方分析结果表明,学习干预起到了提醒和督促学习者的作用,促其主动参与学习活动和完成学习任务。部分学习者经历了多层次的干预后,虽然在期末没有取得优秀的成绩,但成功规避了学习风险。

预实验初步验证了在线学习干预模型的有效性,但也暴露出一些局限:如使用的技术工具不多、数据采集不够完整;干预对象数量较少、类型单一;效果验证的方法较为单一。针对这些问题,研究者添加了若干学习分析和干预的工具,补充了部分学习干预策略,并增加了实验对象数量和课程门类,进而开展下一步正式实验。

2.正式实验的实施

正式实验在原有“现代教育技术”公共课程的基础上,新增了“网络技术基础”专业课程,以探讨在线学习干预应用于不同类型课程的效果。两门课程都采取混合式教学方式和“理论+实践”的内容。实验对象分别是英语专业45名学生,以及教育技术学专业51名学生。通过调查访谈,得知实验对象均有一定的在线学习经历,且同一班级内学习者的基础基本一致。

(1)群体干预

群体干预选择在课程开始后的一个月加以实施。研究者收集自开学以来学习平台记录的数据,利用学习分析工具整理出学习资源、讨论区、自测题、实验报告、作业、在线学习时间等基础数据,并统计出班级的平均水平。然后筛选出学习进度处于班级后80%的学习者作为群体干预对象,最终确定对77名学习者进行干预。

群体干预属于干预系统的第一个层次,该层次干预对象的共同特征是学习任务不明确、考核要求不清楚,存在一定的学习风险。群体干预对象的人数较多,因此研究者选择了较为容易实施的干预策略,即针对同一班级的学习者制定相同的干预内容,形成班级学习报告。

(2)小组干预

群组干预实施一个月之后,发现两组实验对象的干预效果呈现较为明显的差异。专业课程的干预效果优于公共课程,这可能与学习者对不同类型课程的重视程度有关。考虑到“现代教育技术”实验班级整体存在更高的学习风险,此时将小组干预对象比例仍然定为80%,而将“网络技术基础”班级的小组干预对象比例定为50%。

小组干预属于干预系统的第二个层次。该层次干预对象的共同特征是学习参与度较低、任务完成率不高。小组干预的对象相对比较集中,因此选择强度较高的干预策略,即制定个性化的干预方案,包括学习者个体任务完成情况与班级整体情况的对比,给予详细的学习建议,形成学习报告单。同时以小组为单位发送消息至在线学习平台,提醒学习者查看自己的学习状态。

(3)个别干预

在小组干预实施大约一个月之后,发现“网络技术基础”班级的干预效果仍然优于“现代教育技术”班级。多数学习者已经加快了学习进度,提高了学习资源的访问率和学习任务完成率,但是仍存在少数人学习进度较慢的问题。经分析后筛选出两门课程中各15%的学习者作为实施个别干预的对象。

个别干预属于最高层次的干预。该层次干预对象的共同特征是学习参与度低、学习积极性差、任务完成量少,属于学习风险最高的群体。由于该群体的学习动机很弱,因此选择强度最高、针对性最强的干预策略。如针对学习者制定个别化、可视化的干预内容,包括当前学习者每个学习模块完成的具体数据与班级平均完成情况的对比图;根据当前进度最快学习者的学习数据,总结学习者现存的问题,提出学习建议和复习方法,最终形成个人学习诊断书,具体如图2所示。与此同时,直接向学习者发送在线消息或手机短信,提醒他们下一阶段的主要学习任务及考核要求。教师和助教也深入课堂重点关注这些学习者,指导其学习过程。

四、在线学习干预模型效果分析

研究者采用问卷调查和个别访谈的方法,从学习者的角度对在线学习干预模型的结果进行分析和讨论,同时对学习干预的有效性进行评估,并在此基础上检验和完善在线学习干预模型。

1.问卷调查结果分析

本研究借鉴相关研究成果设计了调查问卷(Hwang et al.,2013),主要从学习态度、学习动机、个人自我效能、学习满意度、学习压力和认知有用性等维度进行调查。总计得到有效问卷82份,其中“网络技术基础”课程共有44个学生参与作答,统计项共32项,问卷的Alpha系数为0.924,分半信度检验的系数达到0.855,说明该问卷有较高的可信度。“现代教育技术”课程共有38个学生参与作答,统计项共32项,问卷的Alpha系数为0.913,分半信度检验的系数达到0.882,说明该问卷有较高的可信度。

从表3可以看到,两个班级的学习者对学习干预整体呈现出积极的态度,认为学习干预措施有积极作用,未对学习干预产生抵触和不适应。学习者形成了较强的内在学习动机,能够根据学习干预内容,自行调整学习进度。外在学习动机也得到加强,学习者希望在学习干预后取得优异的成绩。多数被干预学习者自信能够达到课程要求,对学习干预过程和内容较满意;也有少部分被干预者认为学习干预在一定程度上增加了学习压力。整体来看,实验对象认为学习干预能够在一定程度上督促自己学习,促进学业进步。

此外,通过访谈发现,两个班级不同层次的干预对象对学习干预的态度、适应性、评价等方面均展现了积极的看法,表明学习者能够适应干预的方式和内容,并且认为学习干预能在一定程度上起到监督学习的作用,这与问卷结果是一致的。

2.学习成绩与时间投入分析

(1)不同组别的学习成绩

在实施干预的过程中,研究者还收集了学习过程中的各项学习参与数据,以作为干预的依据和基础。学期结束后,研究者整理了两个实验班的学习成绩,分别对四个组别(未干预组、群体干预组、小组干预组、个别干预组)的总评成绩进行分析。

如表4所示,从“现代教育技术”实验班级的四个组别来看,未干预组、群体干预组、小组干预组成绩差异很小,个别干预组平均成绩最低,与其他各组成绩差异不大。表5表明在“网络技术基础”实验班级的四个组别中,各組别的平均成绩逐渐递减,但个别干预组与其他组的差距较大。需要说明的是,个别干预组中有一名总评成绩为48分的学习者。经过个别访谈,了解到该生学习基础非常薄弱,在学期初就被预测有极高风险。经过多层次干预,虽然该生期末成绩未能及格,但其学习行为总体上有了较大改善。

(2)不同组别的时间投入与分项成绩

研究者统计了实验班每个学习者整个学期的在线学习时间投入,将其作为干预结果的依据之一。“网络技术基础”由于其专业课程的性质,参与实验的51名学习者都展现了较高的在线时间投入,学习成绩和平均时间投入对比如表6所示。从中可以看出,不同组别的分项成绩整体上呈现一定的差别。未干预组各分项成绩均为最高,而个别干预组的各分项成绩均为最低且与其他组别差距较大。究其原因在于,个别干预组的学习积极性最差、学习动机最弱,因此该组别需要接受的干预次数最多、层次最复杂。

相比而言,“现代教育技术”由于其公共课程的性质,课程的难度比专业课小,课时量也只有专业课的40%,因此各分项成绩呈现出与专业课程较大的差异。参与实验的45名学习者的各项成绩和时间投入对比如表7所示。可以看出,除了个别干预组的成绩相对较差,其他组别的成绩相差不大,这与前期的预测结果也基本吻合。相对于专业课程,“现代教育技术”公共课的学习难度较低,虽然学习者的平均时间投入明显较少,但是大多数学习者通过努力能够较好地完成各项学习任务,因此课程的整体成绩较高。

一般认为,学习时间投入与取得的成绩会呈现一定的关联,但本研究显示也存在不一致的情况。如“网络技术基础”课程中学生S38投入时间为3648分钟,取得成绩为77分;而学生S47只投入了1868分钟,取得的成绩为89分。经访谈了解,这可能与学习方法有关。若学习方法得当,学习者只需花较少的时间便可取得好成绩;反之,即使学习者花费了大量的时间和精力,仍然难以取得理想的成绩,而这部分学习者正是教师需要特别关注并采取干预措施的。

“现代教育技术”课程中学生的在线时间投入与“网络技术基础”课程相比明显较低,平均投入时间只有前者的12%,这也是该课程筛选小组干预对象时将比例确定80%的重要原因之一。与“网络技术基础”类似,部分学习者学习时间投入与成绩之间也存在不一致的情况,如学生S45投入了327分钟,取得的成绩为77分,而学生S23只投入了152分钟,取得的成绩为96分。

(3)学习时间投入与分项成绩的相关性

为进一步了解在线学习时间投入与各分项成绩之间的关系,研究者利用SPSS软件进行了相关性分析。其中,“网络技术基础”课程的分析结果如表8所示。在线时间投入与平时成绩、实验报告及总评成绩呈现显著相关性,相关系数分别为0.869、0.381和0.500,即在线时间投入越多,其平时成绩、实验报告及总评成绩越高。而在线时间投入与综合考核和期末考试成绩未呈现统计学意义的相关性。经访谈任课教师,平时成绩和实验主要依据学习者在线学习任务的表现,而线下学习情况(如综合考核)受数据采集技术的限制,难以进行客观量化的描述。

在“现代教育技术”课程中,学习者的在线学习时间投入与各项成绩之间的关系如表9所示。学习者在线时间投入与总评成绩呈现显著相关性,相关系数为0.295,但是相关性较弱。学习者全部顺利通过了课程考核,成功规避了学习风险,且大多数学生取得了较高的成绩,但是在线时间投入与各分项成绩未呈现统计学意义上的相关性。经访谈任课教师,由于该课程是公共课,学习者对课程重视程度远远不及专业课程;并且课程学习中包含大量操作性实验,学习者有一半的时间属于线下操作实践,因此难以计入在线学习时间。但这不能说明学习干预没有作用。虽然学习过程数据主要采集于在线学习环境,但所采取的干预措施并没有暗示学生只关注在线学习,因此其对学习过程和结果也有一定的影响。

需要说明的是,同一任课教师执教的“现代教育技术”课程共有三个班级,即除了一个实验班级外,还有两个对照班级。任课教师在三个班级中使用的教学方法和内容相同,但未对两个对照班级进行专门的学习干预。经过分析比较,发现实验班的平均成绩为92.58分,高于两个对照班的平均成绩(89.25分和79.27分)。虽然不同班级学习者基础可能存在一些差异,但在某种程度上仍可体现实验中学习干预的积极作用。

五、总结

本研究通过预实验和正式实验的两轮迭代来完善在线学习干预模型并检验其应用效果。两门课程的学习者经过分阶段、多层次的干预,在学习过程中及时调整学习进度和方法,其学习态度、学习动机发生了较为积极的转变,学习者的自我效能感、学习满意度也有明显的提升。从两个班级中学习者的时间投入和学习成绩来看,专业课程的干预效果优于公共课程,这与课程本身的难度及课程性质有关。从干预群体来看,未受干预的学习者群体自觉性和积极性最高,因此取得了优异的成绩;接受群体干预、小组干预或个别干预的群体学习成绩呈现了依次递减的规律,且有效地规避了学习风险,顺利完成了学习任务。

由于研究条件和能力所限,本研究还存在一些问题有待解决。首先,需要进一步完善在线学习干预模型,特别是需要丰富和细化分析方法和技术工具,并考虑线下数据的采集和分析问题。其次,需要开发专门的学习干预工具或系统,以降低手动统计的误差、减轻教学研究人员的负担,实现自动化和智能化的学习干预。最后,还需要进一步扩大实验范围,选择更多专业、不同层次的学习者来验证在线干预模型的有效性,以扩大其适用范围。

参考文献:

[1]李彤彤,黄洛颖,邹蕊等(2016). 基于教育大数据的学习干预模型构建[J]. 中国电化教育,(6):16-19.

[2]唐丽,王运武,陈琳(2016). 智慧学习环境下基于学习分析的干预机制研究[J]. 电化教育研究,(2):62-64.

[3]赵慧琼,姜强,赵蔚等(2017). 基于大數据学习分析的在线学习绩效预警因素及干预对策的实证研究[J]. 电化教育研究,(1):62-69.

[4]祝智庭,彭红超(2016). 信息技术支持的高效知识教学:激发精准教学的活力[J]. 中国电化教育,(1):18-25.

[5]American Association of School Administrators(2010). Response to Intervention Adoption Survey[EB/OL].[2010-05-20].

http://www.aasa.org/ content. aspx?id=13396.

[6]Ardoin, S. P., Witt, J. C., & Connell, J. E. et al.(2005). Application of a Three-Tiered Response to Intervention Model for Instructional Planning, Decision Making, and the Identification of Children in Need of Services[J]. Journal of Psychoeducational Assessment, 23(4): 362-380.

[7]Bianco, S.(2010). Improving Student Outcomes: Data-Driven Instruction and Fidelity of Implementation in a Response to Intervention (RTI) Model[J]. Teaching Exceptional Children Plus, 6(5): 2-13.

[8]Fletcher, J. M., Denton, C., & Francis, D. J.(2005). Validity of Alternative Approaches for the Identification of Learning Disabilities Operationalizing Unexpected Underachievement[J]. Journal of Learning Disabilities, 38(6): 545-552.

[9]Hwang, G. J., Yang, L. H., & Wang, S. Y. (2013). A Concept Map-Embedded Educational Computer Game for Improving StudentsLearning Performance in Natural Science Courses[J]. Computers & Education, 69:121-130.

[10]Little, M. E., Rawlinson, D. A., & Simmons, D. C. et al.(2012). A Comparison of Responsive Interventions on KindergartenersEarly Reading Achievement[J]. Learning Disabilities Research & Practice, 27(4): 189-202.

[11]Saeki, E., Jimerson, R., & Earhart, J. et al.(2011). Response to Intervention (RTI) in theSocial, Emotional, and Behavioral Domains: Current Challenges and EmerginPossibilities[J]. Contemporary School Psychology, 15(1):43-52.

[12]Siemens, G., & Long, P.(2011). Penetrating the Fog: Analytics in Learning and Education[J]. EDUCAUSE Review, 46(5):30-32.

收稿日期 2017-04-12 責任编辑 王雍铮

ZHANG Jiahua, ZOU Qin, ZHU Zhiting

Abstract: An online learning intervention model is designed based on the traditional Response-to-Intervention model. It is a cyclic and iterative intervention model with five elements, which include screening, monitoring, multi-level intervening, decision-making and analyzing. Researchers use learning analytics technology to screen and analyze online learning behavior, and to predict learners who may have learning risks in time so as to provide appropriate learning interventions. The model mainly has three different features. Firstly, it breaks through the existing learning intervention research based on traditional classroom environment, and applies the learning intervention model into the real situation of online learning. Secondly, it gradually defines and refines the methods, processes and strategies of learning intervention from the perspective of learning analytics, and it implements workable and effective interventions with technical tools. Thirdly, the effectiveness of the online learning intervention model is evaluated from the learnerspoint of view through questionnaires, SPSS and individual interviews. The results of analysis and survey data show that the application effect of online learning intervention model is good, and the learning outcome of experimental subjects is consistent with the predictive conclusions from the model. In addition, the learners can adapt themselves to the intervention strategies and measures, and hence to effectively avoid learning risk.

Keywords: Learning Analytics; Online Learning; Learning Intervention; Response-to-Intervention Model; Learning Process

免责声明

我们致力于保护作者版权,注重分享,被刊用文章因无法核实真实出处,未能及时与作者取得联系,或有版权异议的,请联系管理员,我们会立即处理! 部分文章是来自各大过期杂志,内容仅供学习参考,不准确地方联系删除处理!