改善自闭症儿童表情识别能力的计算机面部表情识别训练

申寻兵 何志芳 丁雪萍

(江西中医药大学，江西 南昌 330004)

0 引言

日常生活中，我们与他人的交往中会交换大量的信息，其中包括我们当前的情绪状态，情绪最重要的表达途径是通过面部表情。因此，识别和理解面部表情是对与他人交流和建立人际关系是非常重要的。但自闭症儿童在和别人进行目光接触或者社会交流时，其时间过短，缺乏与情境相应的情绪表达；他们既不会自发和外界交流、和别人建立关系，也不会主动寻找或留意其他人的情感线索，识别环境和他人的情绪行为（如别人是否高兴、伤心、感兴趣或者生气），更无法做出恰当的判断和反应。自闭症儿童在处理情感信息以及识别他人面部表情方面的障碍直接影响了他们的社会交往，从而恶化病情。因此，对于自闭症儿童面部表情识别能力的改善研究对其康复十分重要。这些研究为自闭症儿童的治疗干预提供了新的手段。因此，对自闭症儿童识别他人面部表情的研究重要意义。

1 情绪和面部表情

面部表情是情绪的外在表现。传递着丰富的关于人们内心状态的信息。持基本情绪类别观点的研究者认为(Ekman和Friesen,1971），人们具有至少六种基本情绪，即喜、怒、哀、惧、悲、惊。这些基本的情绪具有跨文化的一致性，相应的，这些基本情绪有对应的面部表情，即基本表情。

面部表情产生于面部肌肉的收缩，这导致了暂时的面部特征的变形，例如眼睑、眉毛、鼻子或是嘴唇，通常表现为褶皱或是凸起。这些将个体的情绪状态传达给观察者的面部运动包括三个主要的内容：强度、长度以及效价。

2 自闭症的背景

自闭症是一类广泛性发育障碍，也称之为孤独症，通常在三岁之前发病，主要表现之一为社会交往障碍，自闭症儿童缺乏与他人的交流，缺乏社会交往应有点认知和行为能力。自闭症是一系列障碍包括阿斯伯格综合症和其它的综合性精神发育障碍中的一部分。这些综合症共同被称为自闭症谱系障碍。这些障碍一个最基本的特点是不能在适当的时机识别出情绪。自闭症儿童倾向于避免看人脸，很难理解为什么面部特征是按照它们变化的方式而变动的，并且他们自身的面部表情很单一。对面部表情识别能力的不足损害了他们与他人交流的能力，且自闭症儿童生活中最大的障碍也就是难与人正常相处。

虽然针对自闭症很多学者都提出了众多理论，如行为主义理论、感觉统合理论、教育发展理论以及心理理论等,并指出了相应的治疗方法：行为训练、感觉统合训练、结构化教育以及心理理论训练等。除此之外，研究者开发了众多的其他治疗方法，如游戏疗法、音乐疗法和针灸治疗等(徐大真、侯佳、孔存慧,2009)。这些方法据报导均有一定效果，但是对于自闭症儿童而言，迫切需要解决的是他们如何正常地与他人（尤其是看护人）交往的问题。因此通过对自闭症儿童进行面部表情识别能力训练来提高他们的社会交往能力的研究得到了研究者极大的关注。大多数的研究都集中在对自闭症儿童面部表情的识别能力训练上。

一些研究（严淑琼，2008）发现自闭症儿童从面部表情、语音表情及在两种形式的配对刺激中识别基本情绪存在困难。但同时一些研究者发现自闭症儿童识别基本情绪没有太大的障碍，可是在识别复杂情绪（比如嫉妒、尴尬还有骄傲）时的表现出识别有问题，自闭症儿童无法从情绪刺激材料如，情绪面孔，声音等线索中识别复杂情绪（兰岚、兰继军、李越，2008）。

与情绪识别困难相比，自闭症个体表现出很好的“系统化”能力。即可以根据基本规则和规律来了解和预测行为、事件。自闭症儿童对于细节有很强的兴趣，喜欢具有可预测性的有规律的环境和具有内在分类的特征事物，擅长对照各种各样的任务，包括寻找细节，分析和操纵系统。自闭症儿童的这一系统化技能可以用能来以补偿他们在情绪识别上的一些困难，增进其共情能力，从而改善其社会功能。如分析比较不同情绪的特点（细节区分），寻找表情表达的规律、分类基本情绪等。

3 几种计算机表情识别训练简介

传统训练自闭症儿童进行情绪识别的尝试，不是专注于基本情绪识别就是变为了社会技能训练课程的一部分，或者兼而有之。这些培训计划并没有系统地训练情绪识别。相反，更多的是关注其他问题，例如口语表达、减少与社会不融洽的行为等。

当前，计算机普及率十分高，以计算机为基础训练自闭症儿童的情绪识别能力具有简单、易操作，便于家庭护理等优点。首先，自闭症儿童通常喜欢计算机化的环境，因为在这种环境下是可预测的，可以让他们从本身就令他们紧张的社会交往中暂时脱离出来，符合其需要。其次，自闭症儿童可以根据他们自己的进度和理解水平来进行训练。再次，课程可以一遍又一遍地重复，直到其达到掌握程度为止。最后，通过卡通化的奖励能够维持自闭症儿童的兴趣和积极性。有些研究已经发现了使用计算机能够帮助自闭症患者从卡通和静止的图片当中识别基本情绪，也能够解决有插图的社会情境当中的问题（Cockburn 等，2008；Tanaka 等，2010）。

前述的基于计算机的表情识别训练方法的共同特征是它们在训练时用的刺激材料是静态的图片或是照片。近年来，一些研究者开始采用更生动的交互式游戏来训练自闭症儿童的表情识别能力（Golan等，2007；José等，2011）。

Mind Reading（Baron-Cohen等，2004）帮助大人和小孩学习情绪以及它们的表情，特别是在人们面部的。它提供了一个交互式的引导和一个真人表达情绪的视屏库，也有小测验和游戏来检测个体的进步。

Transporters（Baron-Cohen等，2007）是一个为了帮助自闭症儿童发现情绪世界而设计的动画系列。这一系列包括了一个有着人脸的机器人，能够展示在社会环境中的情绪表情，用机械运动吸引自闭症儿童的注意力，鼓励社会学习和增强对面部表情的注意力。这一设计可以极大的增进自闭症儿童的情绪识别技能。

FaceSay（Hopkins等，2011）是一个交互式计算机软件程序，它的主要特征是具有让自闭症儿童患者识别头像或是软件“人”的面部表情的交互式的游戏，特别是这一电脑游戏还向自闭症儿童展示了确定面部表情的线索，比如眼睛的注视或者嘴部动作。这一计算机软件的表情识别训练对自闭症儿童阅读面部表情和识别情绪的能力有显著的改善。

Let’s Face It（Wolf等，2008）是一系列交互式计算机游戏，为了提高对面部的识别能力而设计。这组游戏旨在增强自闭症儿童对面部表情的注意力、识别面部情绪的能力和社交技能。这一计算机程序可以很好的增强自闭症儿童的面部识别技巧。

SmileMaze（Cockburn，2008）是一个专门的面部训练模式，它整合了一个网络摄像机来训练自闭症儿童如何识别和表达面部表情。这一计算机表情识别训练采用了十分先进的计算机技术，并将成为Let’s Face It当中的一部分。SmileMaze可以帮助自闭症儿童从自己的面部表情中学习识别情绪表情。通过采用更加生动、立体的刺激材料，自闭症儿童对情绪表情的识别能力在短期的训练后就可以取得到很好的成绩。

LIFE is GAME（Fernandes 等，2011；Queirós等，2012）是一个面部情绪识别学习系统。该系统的游戏场景就像一个建筑物，有一系列活动内容旨在加强对情绪表情的理解，比如情绪表情产生的原因及表情在面部表现的结果，即对应的面部表情。

本面部情绪识别学习系统整合了动作捕捉，虚拟现实和增强现实等技术，可在移动终端，电脑重点使用。另一方面是有完整的游戏训练表情识别能力的理念、思路和相应的任务。游戏训练可以很好地适应治疗师，家长和自闭症儿童的需求。

4 讨论

本文对情绪表情已经自闭症的情绪表情识别障碍进行了简单回顾，综合比较了几个以计算机为基础并已被用于训练自闭症儿童识别面部表情的程序与方案。计算机表情识别训练的发展趋势是用新颖刺激材料，交互的训练方式来替换以前使用静止图片材料和知识传授的训练模式。

采用互动式的训练，新颖的刺激材料在自闭症儿童情绪识别训练效果上更好，可以在短期的训练后，极大的促进自闭症儿童的情绪识别能力，增强其移情能力，改善其社会功能。然而，计算机产生的再逼真的面部运动也带有人为性，和真实的面部表情尚有较大的差距。因此，未来，一方面需要对表情表达的内在机制以及表情表达的外部表现即肌肉运动要深入研究；另一方面需要改善计算机程序对表情的模拟。未来，让计算机识别自闭症儿童的面部表情将具有更重要的意义，这可以及时的反馈训练效果。通过计算机面部表情识别训练来改善自闭症儿童表情识别能力的理论基础与程序实现在未来还需要做更多探索。

［1］严淑琼.自闭症儿童面部表情加工的实验研究[D].华东师范大学，2008.

［2］徐大真，侯佳，孔存慧.自闭症治疗理论与方法研究综述[J].国际精神病学杂志，2009(2)：115-119.

［3］兰岚，兰继军，李越.自闭症儿童面部表情识别的综述[J].中国特殊教育，2008，3：36-41.

［4］Baron-Cohen,S.(2004).Mind Reading:The Interactive Guide to Emotions(CDROM)[EB/OL].Jessica Kingsley Publishers.

［5］Baron-Cohen,S.,Golan,O.,Chapman,E.&Granader,Y.(2007).Transported into a world of emotion[J].The Psychologist(20(2)):76-77.

［6］Cockburn,J.,Bartlett,M.,Tanaka,J.,Movellan,J.,Pierce,M.&Schultz,R.(2008).Smilemaze:A tutoring system in real-time facial expression perception and production in children with autism spectrum disorder[C]//Proceedings from the IEEE International Conference on Automatic Face&Gesture Recognition.978-986.

［7］Ekman,P.&Friesen,W.(1971).Constants across cultures in the face and emotion[J].Journal of Personality and Social Psychology(17(2)):124-129.

［8］Fernandes,Tiago,Alves,Samanta,Miranda,José,Queirós,Cristina,&Orvalho,Verónica.(2011).Lifeisgame:A facial character animation system to help recognize facial expressions Enterprise information systems[M].Springer：423-432.

［9］Golan,O.,Baron-Cohen,S.,Chapman,E.&Granader,Y.(2007).Facilitating emotional understanding and face processing in young children with autism spectrum conditions,using animations of vehicles with faces[C]//Paper presented at the International Meeting for Autism Research(IMFAR).

［10］Hopkins,Ingrid Maria,Gower,Michael W,Perez,Trista A,Smith,Dana S,Amthor,Franklin R,Wimsatt,F Casey,&Biasini,Fred J.(2011).Avatar assistant:Improving social skills in students with an ASD through a computer-based intervention[J].Journal of autism and developmental disorders,41(11),1543-1555.

［11］José C.Miranda,Tiago Fernandes,A.Augusto Sousa and Verónica C.Orvalho(2011).Interactive Technology:Teaching People with Autism to Recognize Facial Emotions,Autism Spectrum Disorders-From Genes to Environment[J].Prof.Tim Williams(Ed.),ISBN:978-953-307-558-7

［12］Queirós,Cristina,Alves,Samanta,Marques,António José,Oliveira,Mónica,&Orvalho,Verónica.(2012).Serious games and emotion teaching in autism spectrum disorders:A comparison with lifeisgame project[Z].

［13］Tanaka,J.W.,Wolf,J.M.,Klaiman,C.,Koenig,K.,Cockburn,J.,Herlihy,L.,Brown,C.,Stahl,S.,Kaiser,M.D.&Schultz,R.T.(2010).Using computerized games to teach face recognition skills to children with autism spectrum disorder:the let’s face it!program[J].Journal of Child Psychology and Psychiatry 51(8):944-952.

［14］Wolf,J.M.,Tanaka,J.W.,Klaiman,C.,Cockburn,J.,Herlihy,L.,Brown,C.,South,M.,McPartland,J.,Kaiser,M.D.,Phillips,R.&Schultz,R.T.(2008).Specific impairment of face-processing abilities in children with autism spectrum disorder using the let’s face it![J]skills battery,Autism Research 1(6):329-340.