基于信息技术的学习行为测评框架研究*

刘威，徐晶，刘非凡，钟金荣

（华中科技大学电子信息与通信学院，湖北武汉430074）

基于信息技术的学习行为测评框架研究*

刘威，徐晶，刘非凡，钟金荣

（华中科技大学电子信息与通信学院，湖北武汉430074）

学习行为测评是教学研究的重要环节。本文分析不同学习场景下学习者学习行为的特征，提出一种基于信息技术的学习行为测评框架，描述了采用行为特征数据进行学习行为测评的基本流程和测量指标。本文针对两种典型学习场景（集体课堂学习和个体在线学习）给出了学习行为测评的具体应用方案。

学习行为；测评框架；教育研究

一、引言

学习行为研究是现代教学研究的重要研究课题之一。学习者在整个学习过程的外在行为表现，反映了其注意力、活跃度、参与度等行为特征，与学习记录、测评结果等相结合，可用于评测学生的学习过程、教师的教学模式和方法。

传统的学习行为测评方法主要采用调查问卷的形式收集学生或教师的意见和评价，通过统计分析的方法获得教学评价的结果。这种方式具有一些局限性：一方面，问卷调查采集的数据具有一定的主观性，不便于量化区分；另外一方面，问卷调查适合于收集学习者对较长学习过程（例如一节课）的感受，不太适合于测量较短时间的教学过程（例如几分钟），难以获得较为精细的评测数据。

随着各种信息化教学系统、教学辅助工具被应用到实际教学过程中，通过信息技术收集学生的学习过程逐步实用化。例如，基于教学系统中的记录和日志开展作业考试测评[1]、Web操作日志分析[2]、基于情感数据进行测评[3]等。与传统的测评手段相比，这些工作可以直接采集测量客观数据，便于大规模部署实施。

基于信息技术的学习行为测评将是未来数字化学习系统的重要构成部分。与传统的问卷调查测评方式不同，基于信息技术手段的测评与学习过程密切相关，涉及到相关数据采集、存储和分析模块的设计和开发，需要结合学习系统的搭建事先规划。这对于教学应用的设计人员提出了新的挑战。

本文通过分析不同学习环境和场景下学习者的行为特征，利用现有的各种信息技术对学习过程数据进行采集，提炼出与学习行为相关的测评指标，总结出一个通用的学习行为测评框架。该框架为教学评测系统的构建提供了参考模型，具体教学应用的设计人员可以根据该框架定制不同的学习行为测评系统。最后，本文给出了该测评框架在集体课堂学习、个体在线学习等典型学习场景中的应用方案。

二、国内外研究现状

随着教育信息化的发展，利用信息技术对学习过程进行监控和记录成为学习行为测评研究的新趋势，呈现出多种方式：

第一种是采集教学系统或者学习平台的作业和考试结果数据。例如，北京师范大学的V-class学习平台，包含对作业与测验的管理和评价[4]；加拿大的西蒙弗雷泽大学的Virtual-U教学平台能够实现对作业、测验的定性定量评价与管理。虽然这种方法所采集到的作业与测试结果数据可以表征具体学习环节的学习效果，但不能全面反映学生学习过程的表现情况[5]。

第二种方式是记录学生在信息系统中的数字行为轨迹。例如，维也纳大学在网络课程中使用一种基于Web的在线学习平台，通过分析平台的日志文件和数据库访问记录来获取学生的学习行为数据；Jia-Jiunn Lo等通过分析学生的Web浏览行为来刻画学生的学习风格和偏好[6]。与第一种相比，这种方式虽然可以在一定程度上反映学生的行为，但只能记录与信息系统交互的浏览行为，无法记录学生实际行为动作，例如起立发言、团体讨论、凝神思考等。

第三种方式是借助于计算机视觉、人机交互等领域的新技术，采集学习者的语音、面部表情、肢体动作。这种方式常被用于基于情感计算的交互教学系统中。例如，美国MIT媒体实验室研发的情感机器人“Nexi”[7]、日本文部省支持开发的虚拟教学系统“情感机器人-小IF”[8]可以检测人语音中的情感；韩国BIOPIA公司研制的“情感鼠标”可以通过采集学习者的脉搏、体温、皮肤流电反应等方面的变化估计学习者的情绪变化的。国内学者也开始关注教学过程中学习者动作的检测。例如学习者的情感信息描述方法[9]、学习过程中的情感反馈[10]、考虑学习者气质类型的情感描述[11]；学习者面部表情、肢体姿态及眨眼频率的状态收集[12]等。与前两种方式相比，这种方式可以收集更为全面的学习者外在行为特征。但是现有研究工作大多针对某个具体场景，其行为测量的目的是为个性化交互教学提供依据，并不是常态化的学习行为全面测量。

三、基于信息技术的学习行为测评框架

学习行为测评框架的设计包括基本流程方法设计和具体测评指标设计两个环节。

1.测评方法

根据采集处理学习行为数据的流程和数据的内容层次，本文将学习行为测评过程分为四个模块，如图1所示。

（1）传感器采集模块：根据学习行为的测评目标，部署各类传感设备，采集学习者的各种人体原始数据（例如面部图像、肢体姿态、视线焦点等数据）；

（2）动作和状态识别模块：对测量的原始数据进行处理，根据教学评测人员设定的计算模型，通过阈值判别、分类识别等方法，将原始的测量数据转化为基本的学习行为数据，包括具体行为事件（例如举手发言、凝视思考）的发生时间、幅度、持续时间等；

（3）行为指标分析模块：进一步对学习者学习过程的行为数据进行分析，基于时序分析方法融合不同数据源，获得对于学习者行为状态（例如活跃度、注意力）的量化估测结果；

（4）综合评价模块：教学评测人员结合不同教育应用场景的特征，结合教学内容、教学行为的时序过程，对学习者的学习过程进行分析判断（例如是否符合教师的设计预期）。

2.评测指标

（1）学习行为的原始测量数据

学习行为分析的原始测量数据主要包括学习者的注意力、面部特征、肢体姿态以及情绪表达等。表1列举了通过现有信息技术手段可以测量的原始数据。

表1 学习行为原始测量数据说明

学习者的面部图像可以通过高清摄像头采集，进一步进行图像处理可以获得其面部器官特征以及面部表情特征。常见的面部特征指标包括眼睛的张闭、嘴巴的张闭；目前图像处理技术可以识别出的面部表情包括高兴、焦虑、紧张等。学习者的眼部运动（即眼动）数据可以通过眼动仪（例如Tobii、Allienware）测量得到，后者通过对红外瞳孔图像分析可以估计出学习者的视线在屏幕的落点，可以获得的数据包括视线轨迹、焦点分布等。学习者的肢体姿态数据可以通过体感仪（例如Microsoft Kinect）测量得到，后者可以识别一些主要的人体骨骼动作，包括抬/低头、侧头、站立、坐下、弯腰、趴桌等。

上述列出的传感设备都是非接触式的测量工具，此外，还有一些接触式传感设备可以用于学习者的行为测量，其相关测量指标并未在表1中列出。例如，通过腕表检测学习者的心率、血压等，通过可穿戴头盔检测学习者的脑电变化数据等。接触式传感设备的使用具有一定的局限性，更适合于个体独立教学的场景。

（2）学习行为基础数据

学习行为数据记录进行学习过程测评所需要的特定的学习行为。一个有意义的行为，往往是通过对原始测量数据的检测和测量获得的。例如，学生在教室座位上的一次偏头动作，可能是无意识的一个举动，也可能是特意的一个动作；学生多次连续偏头或者持续偏头动作，就是有意识的动作，可能就需要记录了。并且，有效学习行为的定义往往依据应用场景不同而异。例如，同样是偏头观看其他同学，在自由讨论环节属于无需记录的正常行为；在教师讲解环节就属于可记录可不记录的特殊行为；而在在线测试环节就是必须记录的异常行为。因此，学习行为数据需要教学评测人员开展有针对性的设计和定义。对学习行为的记录通常包括该行为的发生时间、持续时长、动作幅度等信息。

（3）学习行为评价指标

学习行为评价指标是行为测评的最终指标。对学生来而言，需要关注其在学习过程中的表现出的疲劳度，对课堂的参与度，对学习内容的关注度以及各种肢体行为；对教师而言，需要关注其课堂组织能力以及课堂行为表现等。除此之外，还包含了一些与学习相关的对象，如试卷、课件等以及教学软件等。表2给出了一些常见的教学评价指标。

表2 教学评价指标分类及说明

通过信息技术手段，采集获得学习者的外在行为表现，进而分析学习者面部特征、视线以及肢体表情的变化情况，即可实现表2中针对学生、教师、试卷等评价指标的量化。例如，当学生眼睛长时间闭合，频繁的点头以至于最后趴桌，那么可以判断该生在该时段内处于极度疲劳状态；当课堂教学时间内，学生始终面对教师、积极举手、站立回答问题，那么即可判断该学生本节课参与度、关注度高，同样，如果学生群体参与度与关注度高，则表明了教师本节课教学组织能力较强；测试过程中，学生视线在某选项停留时间越长、徘徊的次数越多，说明学生对该选项越不确定，也就说明该选项的迷惑性强，否则，学生一扫而过即可得出正确选项，说明题目区分度不强，过于简单。

一个行为评价指标，往往是对一段时间内的行为数据进行统计分析的结果。例如，教室内学生的整体活跃程度，与全体学生的表现息息相关，可以设计为在一节课时间内各学生的情绪表达、举手次数、发言时长等学习行为数据的联合计算结果。学习行为评价指标的计算方法，也需要教学评测人员开展有针对性的设计和定义。

值得注意的是，表2所述的评价指标并不是教学评价过程的最终结果。这些评价指标以学习行为的视角，反映了教学过程中教学者、学习者、学习资料的若干客观属性，但并非全部，也不能作为唯一依据。宏观教学评价的一些目标（例如教学过程中某种教学方法的优势与劣势、某个学生的学习特质等），需要结合教学内容、教学行为的时序过程，对学习者的学习过程进行综合判断。

四、应用实例

集体课堂学习和个体在线学习是目前最具代表性的两种教学场景，本文将结合这些场景对所提出的学习行为测评框架的应用进行说明。

1.传统课堂学习行为测评

在传统课堂教学场景中，学习者的课堂参与度是评价学生表现以及反应教师组织能力的重要指标。这些评价指标可以通过学生在教学过程中的常见动作或状态进行判别，例如可以通过举手及起立回答问题的次数来了解学生的课堂参与度。在此项场景中，我们以教学环节中的课堂交互事件作为主要观测目标，期望获得关于教师组织教学有效度、学生学习关注度等方面的量化评价。图2给出了一个该场景下的学习者行为测量和采集方案。

图2 学生课堂学习行为评价过程

与学习者交互过程相关的原始测量数据包括其面部表情、肢体姿态等，因此需要部署高清摄像头和体感检测装置。高清摄像头获取学生的面部图像数据，提取出特征数据，表征学生的面部情绪。体感设备采集人体关节点数据，将原始数据进行一定的阈值设置确定出学生某时刻的姿态。这些原始数据需要被处理为有意义的学习行为数据，例如学生举手、起立答题的次数以及坐姿端正认真听课或趴桌的状态时长等信息。最后，根据教学评测人员设计的量化公式，计算获得课堂表现的相关数据。

2.在线学习行为测评

目前，随着互联网技术的发展，越来越多的学习者开始选择在线学习的学习方式。作为在线课程的服务商，往往关心其在线资源是否能够满足学习者的学习兴趣，或者换而言之，学习者是否在进行在线自主学习时表现出厌倦或者疲劳特征。图3给出了一个该场景下的学习者行为测量和采集方案。

图3 个人在线学习测评过程

与学习者在线学习过程相关的原始测量数据包括其面部表情、视线关注等，因此需要部署高清摄像头和体感检测装置。在测试时，可以使用摄像头与眼动仪实时记录学习者在一段学习时间内的面部图像以及视线在屏幕上的焦点位置及停留时间。在学习过程中，通过记录学习者视线在屏幕上停留的具体位置，可以知道学习者对软件的关注点以及感兴趣的点。同时，结合学习者的面部表情，可以知道学习者在哪些部分表情是轻松甚至愉悦的，在哪些部分会感到疲倦或者困惑。将该测量数据与计算机记录的学习过程及进度结合分析，可以得到该学习者对学习资源的关注度、在学习过程中的疲劳度等评价指标。另一方面，记录学习者的操作行为也可以学习软件的难易程度进行评价，为今后软件升级改进提供一定的参考依据。

五、总结

本文通过分析不同学习环境和场景下的学习行为的特征，在总结现有基于信息技术的学习行为研究工作基础上，提出了一套新型的学习行为测评框架，并给出了两种常见学习场景下测评框架的应用实例，证实了该框架的科学性、客观性以及适用性。

[1]张丽艳.远程开放教育课程形成性考核中的表现性评价研究[J].广州广播电视大学学报,2007,7(2):10-13.

[2]HummelK A,H lavacsH.Anytime,Anywhere Learning Behavior Using aW eb-Based Platform for a University Lecture[C]//In Proceedings:SSGRR 2003W inter Conference,L’Aquila.2006.

[3]张屹,张帆,程明凤,等.泛在学习环境下基于情境感知的学习资源检索模型构建[J].中国电化教育,2010(6):104-107.

[4]秦换鱼.网络学习的过程性评价研究[D].徐州师范大学,2011.

[5]吕啸,余胜泉,谭霓.基于发展性评价理念的网络教学平台学习评价系统设计[J].电化教育研究,2011(2):73-78.

[6]Lo J J,Shu P C.Identification of learning styles online by observing learners’browsing behaviour through a neuralnetwork[J].British JournalofEducationalTechnology, 2005,36(1):43–55.

[7]Scherer K R,Grandjean D.Facial expressions allow inference of both emotions and their components.[J]. Cognition and Emotion,2008,22(5):789-801.

[8][EB/OL]http://diy.pconline.com.cn/other/reviews/ 0202/286131_7.htm l.

[9]李玉娟.远程学习者情感信息档案袋的研究[D].山东师范大学,2010.

[10]付彦飞,牛秦洲,陶小梅.基于情感计算的个性化E-learning系统的研究[J].微计算机信息,2010,26(36):241-244.

[11]汪碧云.基于气质类型的情感计算在e-Learning中的应用[D].上海师范大学,2013.

[12]吴沧海,熊焕亮,王映龙.远程学习中学习状态判断的情感计算研究[J].软件导刊(教育技术),2013,12(7): 24-27.

[13]W eiW,Jia Q,Chen G.Real-time facialexpression recognition for affective computing based on Kinect [C]//IEEE,Conference on Industrial Electronics and Applications.IEEE,2016:161-165.

[14]Huang JY,Hsu SC,Huang C L.Human upper body posture recognition and upper limbsmotion parameters estimation[C]//Signal and Information Processing Association Summ it and Conference.2013:1-9.

（编辑：王晓明）

TP399

A

1673-8454（2017）09-0004-04

国家科技支撑计划项目子课题“云端教学过程评价技术研究”(2013BAH 72B01-1)。