眼动技术在多媒体学习中的应用*

黄 涛，赵立影

（1.浙江工商大学 计算机与信息工程学院，浙江 杭州 310018；2.浙江工业大学 教育科学与技术学院，浙江 杭州 310023）

眼动技术在多媒体学习中的应用*

黄 涛1，赵立影2

（1.浙江工商大学 计算机与信息工程学院，浙江 杭州 310018；2.浙江工业大学 教育科学与技术学院，浙江 杭州 310023）

眼动技术给研究者提供了直接观察学习者认知加工过程的途径。通过分析不同多媒体表征下有关视觉参与、注视时间等相关信息，可以在一定程度上了解学习者的认知过程与学习兴趣，进而指导多媒体的设计，提升学习效率。文章梳理了眼动技术在促进多媒体学习效率上三个方面的应用：探究已有的多媒体学习理论与原则的有效性、指导多媒体学习材料的设计、充当教学材料辅助学生学习。最后，文章对未来眼动技术在多媒体学习中的应用给出了一些建议。

眼动技术；多媒体学习；眼动应用

一、引言

Mayer认为多媒体学习是从包含言语表征和图片表征的材料中建构心理模型的过程。［1］而在以往的多媒体学习研究中，研究者大多通过对学习者进行记忆测试、迁移测试或认知负荷测试，根据测试成绩了解学习者的认知建构效果，而对学习者的知觉、注意等内部认知加工过程研究甚少。这使得以往的研究信度较低，同时无法了解某些现象的内部机理。近来科学家们开始重视眼动与知觉及认知之间的关系，通过眼动变化来了解学习者的内部认知加工过程。已有研究表明，学习者的注视时间、注视频率与瞳孔变化等与学习者对学习材料的兴趣及认知加工程度等都有密切关系。眼动技术提供了一条了解学习者在多媒体学习过程中的内部认知过程的途径，有利于对多媒体学习进行进一步探究，提高多媒体学习效率。

二、眼动技术在多媒体学习方面的应用

眼动技术在促进多媒体学习方面的应用主要包括以下三个方面：对已有的多媒体学习理论与原则进行验证和探究，指导多媒体学习材料的设计，眼动数据作为学习材料辅助学习者学习。

1.眼动技术用于验证和探究多媒体学习理论

多媒体学习研究中最具代表性的理论是Sweller等人提出的认知负荷理论（CognitiveLoadTheory，CLT）和Mayer的多媒体学习理论。认知负荷理论主要从认知资源分配的角度考察学习和问题解决。他们认为，学习过程中的各种认知加工活动均需消耗认知资源，若所有活动所需的资源总量超过个体拥有的资源总量，就会引起资源的分配不足，从而影响个体学习或问题解决的效率，这种情况被称为认知超载［2］。认知负荷理论据此提出多条教学效应，如自由目标效应（goal-freeeffect），样例效应 （workedexampleeffect），形式效应 （modalityeffect），冗余效应（redundancyeffect），注意分离效应（splitattentioneffect）等用以指导多媒体学习设计［3］。Mayer则经过多年的研究对多媒体学习的设计提出八条原则：多种媒体原则（multimediaprinciple），邻近呈现原则（contiguityprinciple），形式原则（modalityprinciple），控制冗余原则 （theredundancyprinciple），聚焦要义原则（coherenceprinciple），提示结构原则（signalingprinciple），切块呈现原则（segmentingprinciple）和交往特色原则（individualdifferencesprinciple）［4］。

以上这些原则一直指导着我们的多媒体设计，虽然上述多媒体学习原则与规律已经经过一定的实验证实，但对于其产生效用的原因却未有细致分析，某些原则的适用范围也不清楚。近年来，已经有研究者开始尝试利用眼动技术对于先前的实验结果进行拓展深入，对设计原则的有效性进行研究。

Schmidt-Weigand利用眼动技术对于形式效应（modalityeffect）产生的原因进行了分析。形式效应是指学生通过动画和解说进行学习比通过动画和文本学习的学习效果更好。这个效应已经被很多实验所证实，不过该效应的内部机制和它的适用范围仍存在争论。目前对于该效应的解释大都基于Baddeley的工作记忆模型。该模型认为人们的视觉和听觉有不同的信息加工通道，而且单一的通道的容量是有限的。当眼睛注视屏幕文字时，由于文字占用了视觉通道，人们就不能对图像信息进行处理。我们可以通过呈现语音信息来减轻视觉通道的负担，这样两种信息就可以并行加工而不会导致某个通道负担过重。不过Schmidt-Weigand对该解释提出了质疑，他们认为之所以通过动画和解说进行学习比通过动画和文字进行学习效果好，除了学习者使用不同的感知通道以外，还因为动画和解说同时呈现使学习者的注意较少地分散［5］。他们运用眼动仪记录不同呈现方式下学习者的注视时间，发现通过动画和解说进行学习时学习者对于动画有更长的注视时间。通过动画和文字进行学习时学习者需要不停地在图形和文字间进行转换，并且花更多时间用于注视材料的文字部分，由此说明了动画与文字同时呈现会造成学习者的注意分散原因。

提示结构原则指出，当向多媒体信息中增加线索以突出关键学习内容时，学习者的学习效果会更好。对于该效应的解释分两种：注意引导假说和无关信息搜索假说。注意引导假说认为线索提示吸引了学习者的注意。因此如果注意引导假说正确的话，学习者在线索提示部分材料上将有更多注视时间和注视次数。无关信息搜索假说认为线索提示减少了不必要的视觉搜索过程，学习者对提示部分材料的首次注视时间会减少。学习者可以腾出更多的认知资源对提示内容进行处理，学习者对于相关材料的平均注视时间会比无线索提示组少。Ozcelik等通过眼动仪记录了40名本科生在观看飞机发动机介绍动画时的眼动情况。研究发现线索提示组的学习者对于提示内容有更多注视时间和注视次数，同时提示材料的首次注视时间也减少了［6］。这表明上述两个假说都部分解释了提示结构原则产生的原因。

此外，眼动技术也已被运用于探究自由目标效应［7］，注意分离效应［8］等效应的内部机理。通过眼动技术，研究者可对上述的多媒体学习理论进行进一步的探究。

2.眼动技术为多媒体学习材料设计提供指导

在多媒体学习过程中，如果学习材料没有进行良好设计组织，学习者可能无法抓住关键信息，进而影响学习效果。为此我们常将学习材料中的某些内容做些改变，以使其更易被学习者感知。借助眼动技术我们能方便地获得学习者的注视点、注视时间等信息，据此可以了解不同多媒体设计方式对于学习者的影响。

（1）多媒体布局方式

多媒体布局就是对言语表征和视觉表征材料按照一定规律进行设计布置。网页不同布局方式对于学习者的影响是研究者比较关心的问题，眼动技术在这方面应用也较多。Goldberg研究发现用户浏览网页的视觉模式近似于“F”形。［9］LiM研究发现文本在网页第四象限和网页中间时能获得更多注视时间，而图片在第三象限时可以获得更多注视时间。另外，研究还发现网页中嵌入的浮动广告并不会对布局的注视效果产生影响。［10］Justin发现用户在浏览二列布局的门户网站时，读者会先浏览网页顶部和左边部分的信息，其浏览轨迹呈反转的S型。而在三列布局的网页中，读者首先关注中间部分的内容，然后再以反转的S型模式从上向下浏览。［11］石金富对比了“T”型布局、“口”型布局、对称型布局、POP型布局这四种网页布局方式的眼动差异，发现“T”型布局绩效优于其它布局方式。［12］另外，刘世清［13］、安璐［14］、曹卫真［15］等学者也对网页布局做了大量深入细致的研究，这里不一一列举。

眼动技术同时被用到了其它媒体的布局研究中。Rodrigues运用眼动技术探究观众看电视新闻报道时的注意力分布。［16］ZhouSihong运用眼动探究杂志上的图文布局。［17］Sharif探究不同的UML类图布局对于理解所造成的影响。［18］需要指出的是，目前多媒体布局方式对学习效果的影响至今还没有系统地论述过。不同研究者间的研究材料差异较大，研究结果参照性不强。另外，对于网页的布局眼动研究很多，而对于其它媒体的研究较少。在未来的研究中应将眼动技术拓展到其它媒体中，同时对已有的研究成果进行系统梳理。

（2）提示线索

提示结构原则指出多媒体信息中增加线索以突出基本材料的组织时，人们的学习效果会更好。提示线索种类繁多，最常见的形式包括箭头、下滑线、高亮、颜色差异、字体差异等。当学习者对包含有这些提示的多媒体材料进行学习时，通过眼动相关指标分析可以推知学习者的认知加工过程，结合其它测试就可以较为可靠地了解这些线索的有效性及适用范围。

通过颜色搭配使用来引导学习者的注意是人们设计多媒体材料时常用的方法。一般情况下，彩色材料比黑白材料的注视时间更长、注视次数更多，因为彩色目标更吸引注意利于降低材料搜索难度。［19］另外，彩色在不同情况下可能会产生不同的注意引导效果。安璐和李子运对比PPT不同背景颜色时的注视状况，发现PPT白色背景时注视次数少于黄色和蓝色背景，表明白色背景有助于学习者掌握内容。同时，通过研究注视热图区发现白色背景易于使学生集中注意力，对无关内容注视最少［20］。关尔群进而在白色背景下对PPT文字颜色对学习效果的影响做了研究。通过眼动数据对比，发现红色和黑色文字注视次数显著多于黄色文字，同时注视时间也相对较短，表明红色和黑色文字易于吸引注意，利于学习者对材料的理解加工。［21］

Boucheix和Lowe设计出了一种“彩带线索”（spreading-colorcue）［22］，通过在介绍钢琴工作原理的动画上实时地叠加彩带状线索提示以引导学习者注意。此线索优点在于它与动画保持时空上的一致，不至于分散学习者注意力。他们运用眼动技术探究了彩带线索、普通箭头线索和无线索提示的注视差异。研究发现，普通箭头线索和无线索提示在促进钢琴工作原理理解上并无差别，只有彩带线索提高了学习者对于学习材料的理解程度。眼动数据揭示出普通线索和彩带线索都显著地增加了学习者对于提示材料的注视次数和注视时间，但两者的注视点分布却不同，彩带线索中学习者对学习主题相关部分有更多注视。这就很好地解释了为什么这两种线索会有不同的提示效果。

（3）其它

眼动技术运用于改善多媒体材料设计的应用研究还很多，某些研究具有较强新颖性，不过大都未成系统。张家华探究了“三分屏”网络课程中教师形象的不同呈现方式对学习效果的影响。对比不同教师形象呈现方式下的注视次数、注视时间等数据，研究者发现虽然教师真人讲解视频的呈现形式更易引起学习者注视，但是也分散了学习者对PPT内容的注意［23］。通常观点认为真人讲解视频能增加临场感，更有利于学生学习，但是研究结果却表明静态的或虚拟的教师形象并没有使学生学习效果降低。Öquist对比移动手机上滚动条、翻页、自动滚动和快速系列视觉呈现（RapidSericalVisualPresentation）等不同文本呈现形式的阅读效果差异，研究发现翻页形式的阅读表现最好。［10］Meyer利用眼动技术考察了多媒体呈现速度对于学习者感知的影响。通过调节呈现给被试动画的速度，发现快速呈现动画，学习者对宏观事件的掌握更好，而慢速呈现动画，学习者对于细节的掌握更好。当学习者可以自由控制动画呈现速度时，学习者一般偏向于慢速呈现。接着他对动画呈现速度由快到慢与由慢到快这两种呈现方式对学习者认知的影响进行了研究，发现不论动画呈现顺序怎样，被试都会首先关注动画的细节部分［24］。DeKoning探究教学动画单位时间内所需要处理的信息数量是否会影响线索提示的效果。研究发现线索提示和动画呈现速度对于学习者的理解和迁移成绩并没有影响。研究同时还发现，在低速呈现的环境下，为了获得相同的学习效果，学习者需要付出更多的心理努力。［25］

3.眼动数据直接作为多媒体学习的教学材料使用

眼动技术除了应用于以上两个方面以外，不少学者还探究将眼动相关数据作为多媒体学习材料使用。

Grant和Spivey根据被试是否成功解决邓克尔辐射问题，将被试分成了两组。邓克尔辐射问题是一个非常经典的顿悟问题，被试要提出怎样应用放射线，既能杀死肿瘤细胞又不会伤害到健康组织的方法。他们根据成功解决问题被试的眼睛注视情况，对材料的某些部分进行了提示，结果表明这些提示增加了正确解决问题的人数［26］。XiLiu和AlastairGale对比专家和新手查看行李X光照片的眼动数据发现专家能更快速地将目光聚焦于关键区域［27］。Canham和Hegarty在研究中也发现，有背景知识的学习者能更快速地将目光聚焦于气象地图的相关内容上［28］。不难发现，专家和新手对于同一材料的学习存在着差别，其眼睛的注视点、注视轨迹、注视顺序都存有不同。专家能更快速地抓住材料中的关键信息，排除无关信息干扰，能采用更为多样的任务处理方法和处理策略。因此，VanGog指出可以通过同时呈现专家和学习者自身的眼动信息来弥补这一差距［29］。另外，Kostons发现给被试呈现眼动数据也可以提高被试的自我评估成绩。［30］学习者通过了解自身的眼动特征可以调节自己的注视点，进而改善学习。例如，Grynszpan团队运用眼动设备跟踪高功能自闭症儿童在交谈时对于他人的脸部注视情况，通过模糊注视点周围场景，使自闭症儿童得以觉察到自己的注视情况，从而调整自己的注视点，进而改善他们的社会交往能力。［31］在多媒体学习环境中，学习者的眼动数据有极大实用价值，可以很好地帮助学习者发现学习中需要改进的地方。而教师也可以据此帮助学习者提高自我评估能力，最终可以促进其学习。目前，该方面的研究仍处于初期，相关研究并不多见。

三、眼动技术的局限

眼动技术在多媒体学习研究中有广阔的应用前景，但是也应该注意到眼动技术自身的局限性。主要体现在它只是对个体认知过程的推测，而并非直接揭示个体的信息加工过程。个体心理注视点与眼睛注视点有时并不协调一致，学习者可能花大量时间注视某一刺激，但却在思考其它问题。因此在进行多媒体学习研究时，眼动技术最好与其他测量技术，如ERP技术、回溯言语报告等相结合，以获得更为可靠的结论。此外，眼动技术的理论基础并不十分成熟，仅使用单一的测量数据往往不能全面地反映学习者对于学习材料的认知加工过程，因此应该根据研究的需要对特定的研究材料采用不同的指标进行深入分析。Rayner认为，在研究中应使用多种指标对目标区域进行详尽的分析，如综合使用首次注视时间、单一注视时间、凝视时间、注视时间、注视概率、注视次数，同时考虑从目标词区域外到目标词的眼跳距离、从目标词到目标词区域外的眼跳距离和溢出效应，通过这些方式才能对认知过程做出合理的推理［32］。最后，目前虽然由于技术发展使眼动仪的侵入性变得很低，但是并不是真正无干扰的，其实验环境与自然环境仍存在某些差异。被试的紧张或由于对陌生环境的不适应都可能会影响被试的注视点选择，从而不能反映被试的真实认知情况。以上这些问题在利用眼动技术进行多媒体研究时都需要加以注意。

四、未来的研究趋势

研究者除了在上面所述的三个方向继续进行探索外，未来可以将眼动技术的运用从传统的多媒体拓展到移动媒体和虚拟现实等新兴媒体的研究上来，分析这些媒体的新特点，提升学习者学习效率。另外，眼动技术是通过眼动的不同模式来推断学习者的不同认知状态，并不能对学习者的心理状态进行直接测量。所以在未来的多媒体研究中可以将眼动技术结合ERP、fMRI等技术以获得更为客观的数据，从神经学的角度探究多媒体设计原则的效用机理。在以后的多媒体设计中，可以将眼动数据与多媒体学习材料做整合，根据学习者的眼动特征，个性化地调整学习材料的布局，使学习者获得最佳的学习效果。

五、结论

眼睛是心灵的窗户，眼动技术给我们打开了了解学习者在多媒体学习中的认知情况的大门。通过眼动技术的运用来提升多媒体的学习效率具有很强的现实意义。研究者可以对多媒体学习相关理论进行验证和测试，通过了解学习者在多媒体学习过程中的注意规律来指导多媒体教学材料的设计与制作，或者将眼动数据作为有益的学习材料使用。眼动技术仍在不断发展和成熟中，相信眼动技术在未来将被更广泛地运用于多媒体学习相关的研究中。

［1］R.E.Mayer（Ed.）.TheCambridgehandbookofmultimedialearning［M］.CambridgeUniversityPress，NewYork （2005）.

［2］SwellerJ.Cognitiveloadduringproblemsolving：Effectsonlearning［J］.CognitiveScience，1988，12（2）：257-285.

［3］唐剑岚，周莹.认知负荷理论及其研究的进展［J］.广西师范大学学报（哲学社会科学版），2008，44（2）：75-83.

［4］张丽，盛群力.技术应如何致力于促进学习［J］.远程教育杂志，2009（2）：26-32.

［5］Schmidt-Weigand，F.，A.Kohnert，etal.Acloser lookatsplitvisualattentioninsystem-andself-pacedinstructioninmultimedialearning［J］.LearningandInstruction，2010，20（2）：100-110.

［6］Ozcelik，E.，Arslan-Ari.I，etal.Whydoessignaling enhancemultimedialearning？Evidencefromeyemovements ［J］.ComputersinHumanBehavior，2010，26（1）：110-117.

［7］Brunyé，T.T.，H.A.Taylor.Whengoalsconstrain：Eyemovementsandmemoryforgoal-Orientedmapstudy ［J］.AppliedCognitivePsychology，2009，23（6）：772-787.

［8］Holsanova，J.，Holmberg，N.，&Holmqvist，K. Readinginformationgraphics：theroleofspatialcontiguity anddualattentionalguidance［J］.AppliedCognitivePsychology，2009，23（9），1215-1226.

［9］GoldbergJH，StimsonMJ，LewensteinM，etal.Eye trackinginwebsearchtasks：designimplications［C］.Proceedingsofthe2002symposiumonEyetrackingresearch&applications.ACM，2002：51-58.

［10］ÖquistG，LundinK.Eyemovementstudyofreading textonamobilephoneusingpaging，scrolling，leading，and RSVP［C］.Proceedingsofthe6thinternationalconferenceon Mobileandubiquitousmultimedia.ACM，2007：176-183.

［11］OwensJW，ShresthaS.HowDoUsersBrowsea PortalWebsite？AnExaminationofUserEyeMovements［J］. UsabilityNews，2008，10（2）.

［12］石金富，曹晓华，王钢等.网页布局对视觉搜索影响的眼动研究［J］.人类工效学，2008，14（4）：1-3.

［13］刘世清，李萧.大学生浏览中文教育网页的相关视觉特征［J］.电化教育研究，2010（7）：61-64.

［14］安璐，李子运.眼动仪在网页优化中的实验研究——以厦门大学网络课程为例［J］.中国远程教育，2012（5）：87-91.

［15］曹卫真，罗思瑜，邢强等.网页结构类型对大学生记忆效果影响的研究［J］.电化教育研究，2010（8）：71-76.

［16］RodriguesR，VelosoA，Mealhaó.ATelevision NewsGraphicalLayoutAnalysisMethodUsingEyeTracking［C］.InformationVisualisation （IV），201216thInternationalConferenceon.IEEE，2012：357-362.

［17］SihongZ.Text-pictureintegrationofmagazine cataloguelayout：Aneyemovementstudy［C］.NaturalComputation（ICNC），2012EighthInternationalConferenceon. IEEE，2012：579-583.

［18］SharifB.EmpiricalAssessmentofUMLClassDiagramLayoutsBasedonArchitecturalImportance［D］.KentState University，2010.

［19］LohseGL，WuDJ.EyemovementpatternsonChineseyellowpagesadvertising［J］.ElectronicMarkets，2001，11（2）：87-96.

［20］安璐，李子运.教学PPT背景颜色的眼动实验研究［J］.电化教育研究，2012（1）：75-80.

［21］关尔群.多媒体课件中不同色彩文字材料对阅读影响的眼动研究［D］.辽宁：辽宁师范大学，2003.

［22］Boucheix，J.M.，R.K.Lowe.Aneyetrackingcomparisonofexternalpointingcuesandinternalcontinuouscuesin learningwithcomplexanimations［J］.LearningandInstruction，2010，20（2）：123-135.

［23］张家华，张剑平，黄丽英等.三分屏——网络课程界面的眼动实验研究［J］.远程教育杂志，2009，17（6）：74-78.

［24］Meyer，K.，Rasch，T.，etal.Effectsofanimation'sspeed ofpresentationonperceptualprocessingandlearning［J］.LearningandInstruction，2010，20（2）：136-145.

［25］DeKoningBB，TabbersHK，RikersRMJP，etal.Attentioncueinginaninstructionalanimation：Theroleofpresentationspeed［J］.ComputersinHumanBehavior，2011，27（1）：41-45.

［26］Grant，E.R.，Spivey，M.J.EyeMovementsandProblemSolving：GuidingAttentionGuidesThought［J］.PsychologicalScience，2003，14（5）：462-466.

［27］Liu，X.，A.Gale，etal.Detectionofterroristthreatsinair passengerluggage［C］.41stAnnualIEEEInternationalCarnahan Conference，2007：301-306.

［28］Canham，M.，Hegarty，M.Effectsofknowledgeand displaydesignoncomprehensionofcomplexgraphics［J］. LearningandInstruction，2010，20（2）：155-166.

［29］VanGog，T.，Jarodzka，H.etal.Attentionguidanceduringexamplestudyviathemodel'seyemovements［J］.ComputersinHumanBehavior，2009，25（3）：785-791.

［30］Kostons，D.，VanGog，T.etal.Howdoido？Investigatingeffectsofexpertiseandperformance-processrecordson self-assessment［J］.AppliedCognitivePsychology，2009，23（9）：1256-1265.

［31］GrynszpanO，NadelJ，ConstantJ，etal.Anewvirtual environmentparadigmforhighfunctioningautismintendedto helpattentionaldisengagementinasocialcontextBridgingthe gapbetweenrelevancetheoryandexecutivedysfunction［C］. VirtualRehabilitationInternationalConference，2009.IEEE，2009：51-58.

［32］Rayner，K.Eyemovementsinreadingandinformation processing：20YearsofResearch［J］.PsychologicalBulletin，1998，124（3）：372-422.

（编辑：鲁利瑞）

G434

A

1673-8454（2015）06-0088-05

教育部人文社科青年基金项目（编号：11YJCZH246）。