多模态语料库建设与外语教学——现状与前瞻

梁燕玲

(山东大学威海校区 翻译学院， 山东 威海 264209)

●教学改革与实践研究

多模态语料库建设与外语教学
——现状与前瞻

梁燕玲

(山东大学威海校区 翻译学院， 山东 威海 264209)

多模态语料库建设始于20世纪末，它在外语教学中的应用具有极大的研究价值。多模态语料库研究现已成为一个新的研究领域。我国多模态语料库外语教学研究起步比西方晚，理论探讨不够深入，现有的多模态语料库数量少，建库难度大，且应用范围过于狭窄。因此，有必要深入探讨多模态语料库外语教学理论，建设大中型语料库，引介与开发相关软件以及扩宽研究对象与范围。

多模态语料库； 外语教学； 现状； 前瞻

一、引言

20世纪末，国内一些学者[1]、[2]开始关注语料库在英语教学中的应用研究，包括词汇教学、语法教学、翻译教学、教学模式改革等。这些都是基于文本语料的传统语料库，但如今外语教学已进入多媒体时代，传统语料库已无法满足外语教学的需要。于是，多模态语料库应运而生。

多模态语料库被誉为“语料库在外语教学中最具发展潜力的领域”[3]，在我国正方兴未艾，吸引了不少外语界学者的研究兴趣[4]、[5]。笔者尝试梳理多模态语料库的发展历程，分析多模态语料库在外语教学中的应用，并根据其现状提出未来发展方向。

二、多模态语料库的发展历程

目前学界对多模态语料库还缺乏一个统一的定义。张霄军[6]对多模态语料库的定义是：“建立在‘言语理论’基础之上的，以言语活动为研究对象，以从原始数据中抽取信息和知识为手段，以语境模型为驱动的囊括整个言语活动的语言、声音、图像和动作的多媒体语料库。“顾曰国[4]认为多模态语料库是指“把文字语料、音频语料和静、动态图像语料进行集成处理，用户可以通过多模态方式进行检索、统计等操作的语料库。”

多模态语料库是语料库经由文本语料库、口语语料库发展到目前的新型语料库，具有可实现语境化、音频和视频内容存储丰富、语料可信度高、语料来源容易确认等优点，但也有语料内容转写与标注麻烦，处理起来比较困难等缺点[6]。欧洲多个国家开展了较大规模的多模态语料库建设与相关研究(如MATE, NITE, ISLE和AMI等)，其中关于概念、标准及工具等方面的问题，成为学者们的重要议题[7]。国内多模态语料库研究除了应用在外语教学，还集中于语言研究[4]、多模态语料库建设[8]和语篇分析[9]。

多模态语料库在许多语料库国际会议上都成为焦点，如2014年“首届中英语料库语言学论坛“暨“首届中英语料库语言学研讨会”上，顾曰国深入系统地介绍了多模态语料库的语言学和语言哲学理念、设计原则、制作流程、分析维度与方法等。多模态语料库代表着语料库语言学未来发展的一种重要方向。2015年“第2届中英语料库语言学论坛”主题之一是多模态语料库研究；2015年“第2届中英语料库语言学讲习班”上，顾曰国通过工作坊的形式，对多模态语料库语言学的最新理论与数字化技术进行了深入浅出的介绍。

三、我国多模态语料库外语教学研究现状

多模态语料库应用于外语教学起步于2000年。意大利系统功能语言学和多模态话语分析专家Anthony Baldry和其他学者共同研发了多媒体信息检索工具——“多模态语料库标注系统”(Multimodal Corpus Authoring System，简称MCA)，现已应用于多所高校外语电化教学中。2008年欧洲多国合作建成的SACODEYL多模态教学语料库，是世界上首个将数据驱动学习付诸实践的多语种多模态语料库。

在我国，多模态语料库应用于外语教学的文献最早可以追溯到2010年[10]。笔者以“多模态语料库”为主题词、关键词和摘要检索词，在CNKI中进行检索，共检索到与外语教学有关的文献11篇，时间覆盖2010年至2015年7月。6年时间共11篇文献，仅从数字可以看出，多模态语料库外语教学研究是一个尚待开垦的领域，具有很大的研究空间。

按照研究内容，本文将多模态语料库外语教学研究分为理论探讨和实证研究两类，将理论探讨细分为文献综述、教学模式和语篇分析模型三类，实证研究细分为检索工具、语料库建设、口语教学以及多模态隐喻能力四类。统计如表1：

表1 多模态语料库外语教学研究内容分类统计结果

从统计数据来看，多模态语料库外语教学研究文献共11篇，关于理论探讨的文献共4篇，其余7篇为实证研究，说明国内多模态语料库外语教学研究刚刚起步，理论研究不足，在不断发展的实证研究中补充理论。

(一)理论探讨

多模态语料库外语教学的理论探讨主要包括文献综述、教学模式和语篇分析模型探讨。

1、文献综述

黄立鹤[11]对现场即席话语多模态语料库的语料采集、转写、切分、标注以及建库等若干共性问题进行探讨，分析尚存问题，展望基于多模态语料库开展的相关研究。刘娟[12]综述了多模态话语理论在中国的研究，包括模态本身的研究、模态间的研究、多模态语料库软件开发以及多模态在教育中的作用，并发现研究中的优势与不足，为未来的研究提供指导。

2、教学模式

2010年12月“首届全国外语教师教育与发展专题研讨会”上，顾曰国以他的团队建设的多模态语料库为例，做了题为“Classroom teaching and teacher development-A chess master model”的主旨发言。该语料库从文字、图像、音频、视频等多个维度综合而真实地记录语言课堂中教师、学生的行为及其情境，还原人际互动的全貌。顾教授用自己教学的片段展示了用语料库方法对语言课堂的多模态信息进行标注和量化分析可以使教学研究和反思更系统、客观和有效[13]。

3、语篇分析模型

李学宁和李向明[14]从理论上深入研究John. A. Bateman于2008年提出的“文类与多模态模型”(Genre and Multimodality Model，简称GeM模型)及其组成部分的工作原理，并提出GeM模型能够在大数据检索、外语教学、设计等其他领域得到进一步应用。

无论是文献综述、教学模式还是语篇分析模型的探讨，对于外语教学领域来说都是非常有益的尝试，具有广泛的应用价值。但目前的理论研究远远不够。由于多模态语料库相对于传统文本语料库而言，创建难度更大，相关的理论问题亟需解决。如何结合中国信息技术与媒体技术发展特征，构建本土多模态语料库外语教学理论，也是需要重视的一个方面。

(二)实证研究

多模态语料库外语教学的实证研究包括以下四方面：

1、检索工具

李学宁和马利霞10介绍了一种能够对多模态语料库中的影视语篇进行检索的多媒体信息检索工具——多模态语料库标注系统(MCA)，及两种基本的标注方法和系列的标注工具，并通过实证研究证明MCA有助于改进词汇和句法教学。最后指出MCA的开发和应用代表了系统功能语言学与多模态话语分析研究的一种新动态，即把语言学理论与计算机技术有机结合起来，不仅有助于开发与功能主义语言学研究相一致的语篇分析工具或检索工具，又能反思原有的语言学理论框架，形成新的理论和方法。但作者并未证明MCA对听力教学、口语教学等领域的作用。

2、语料库建设

张振虹等[15]首先剖析多模态语料库的理论基础和现实意义，继而综述国内外的语料库、尤其是多模态语料库的建设和语言教学应用研究现状，在此基础上选取了总长约为100小时的英语视频和音频材料，基于Elan技术构建大学公共英语多模态语料库，最后从词汇教学、听说教学和阅读教学三方面，初步探索多模态语料库的应用模式。

3、口语教学

刘芹和潘鸣威[16]基于口头交际和多模态话语分析理论，从语音、词汇、句法、篇章、非言语交际等多个标注维度构建我国理工科大学生英语口语多模态语料库，最后列举了一项对英语口语交流过程中目光交流的研究。理工科大学生英语口语多模态语料库建成后，将可深入进行一系列的研究。如不同院校和不同水平学生在这些方面相似和不同之处；将该语料库与国内其他口语语料库(如COLSEC、SECCL和SECOPETS)作对比研究，提炼该类学生区别于其他中国英语学习者的英语口语特征。将这些特征与本族语口语语料库相似部分进行对比研究，以发现问题症结所在。上述研究结果最终可以用于该类大学生的英语口语教学，为编写口语教学资料、优化教学和评价方法提供有价值的反馈信息，为我国理工科大学生英语口语教学和研究提供帮助。但该口语多模态语料库是中型的语料库，库量有限，仍需拓展。

4、多模态隐喻能力

钟元[17]以奥巴马两次就职演说及四篇国会演讲为语料库来源，以多模态视频分析软件ELAN 4.6.2为数据收集和分析工具，自建了多模态隐喻语料库，分析奥巴马政治演讲中手势语的隐喻性，也对中国未来的语言教学提供相关启示：教师不仅要注重学生言语隐喻能力的提高，而且要将学生的多模态隐喻能力作为评判学生隐喻能力高低的指标之一。

多模态语料库建设方法与检索工具、转写标注软件的介绍，吸引了大量学者的研究兴趣，为基于多模态语料库的外语教学实验提供了硬件支持。但由于存在语料内容转写与标注麻烦等困难，多模态语料库构建还是让很多人望而却步。多模态语料库在词汇教学、口语教学上的应用初步证明了其可行性，但仍需更深入的实证研究加以完善，需要全面拓展基于多模态语料库的听说读写译教学，这给外语研究者带来了极大的挑战。

四、我国多模态语料库外语教学研究前瞻

多模态语料库信息储存量大，图文音像等多媒体多模态结合，检索快捷准确方便，学生通过语料库中的多模态视频和文本展示、索引工具提供的语境共现、专门的教学标注、丰富的教学活动以及资源和网络互动的有机结合，在新型的语言学习环境中构建自己语言知识的工具和资源，自行探索语言，完成学习任务。国内的多模态语料库建设还处于起步阶段，现有的多模态语料库有顾曰国建立的现场即席话语多模态语料库，以及刘芹和潘鸣威建立的多模态口语语料库。多模态语料库在外语教学中的应用是我国外语教学的热点之一，但在深度与广度上都有极大的研究空间，未来的发展趋势可以概括为以下三方面：

(一)深入探讨多模态语料库外语教学理论

国外多模态语料库应用于外语教学领域较早，语料库分析技术也相对较成熟。一方面，国内学者应掌握多模态语料库语言学的基本原则、理论和方法，以指导具体应用性研究的开展。另一方面应借鉴国外教学理论，同时结合中国媒体技术现状，构建本土多模态语料库外语教学理论。

(二)建设大中型语料库，引介与开发相关软件

现有的多模态语料库库量小，多为某一领域的小型语料库，在研制更多的小型专用语料库同时应发展大中型通用语料库。除了引进国外现成的多模态语料库，还要在吸收国外建设经验的基础上，建设和开发有地方特色的多模态语料库，同时注意加强语料库建设的设计和规划、语料的采集及加工、语料库管理系统建设的规范化，促进语料库资源的共建共享，提高使用效率，避免重复建设带来的资源浪费。

另外，国外多模态语料库转写、标注和检索软件相对比较成熟，需大力引介。但国外常用语料库工具存在不能处理中文的缺憾，国内学者应结合中国国情与外语学习者实际，根据研究需要自主开发相关软件，使多模态语料库外语教学研究更客观全面。

(三)扩宽研究对象与范围

在处理多模态语料库外语教学的语料过程中，应更多关注文本以外的非语言因素，从词汇、句法、篇章、非言语交际、伴语言特征(如音响度、声调、语调、语速等)、身体特征(手势、表情、动作)及非身体特征(周围环境)等多个标注维度综合分析。多模态语料库可以在外语听说读写译教学中应用，并且在某一个领域的研究应深入下去，如在英语口语方面还可继续深入研究学生在言语(语音、词汇、句子和语篇)和非言语(体势语)各个维度的特征。目前多模态语料库应用于外语教学的对象均是高校大学生，还可用于小学、初高中的学生，内容可拓展到多模态教材设计、教师培训、网络课件开发、大纲设置、教学模式与教学评价方法、教材评估、练习设计改革等领域。

五、结语

多模态语料库在多元语境中反映语言在语音、语义和语用等方面的全貌，学生能更直接地体验语言使用的多模态语境，有利于建设“以学生为主，以教师为辅”的新型教学模式，对外语教学改革具有重大意义。多模态语料库在我国应用于外语教学仍是有待深入研究的领域。今后应深入探讨多模态语料库外语教学理论，建设大中型语料库，引介与开发相关软件，拓展研究对象与范围，让多模态语料库更好地服务于外语教学。

[1]李文中. 语料库、学习者语料库与外语教学[J]. 外语界,1999(1):51—55.

[2]何安平. 语料库与外语教学[J]. 国外外语教学, 2001(3):15-19.

[3]潘璠. 基于语料库的语言研究与教学应用[M]. 北京: 中国社会科学出版社,2012.

[4]顾曰国. 论言思情貌整一原则与鲜活话语研究: 多模态语料库语言学方法[J]. 当代修辞学, 2013(6):1—19.

[5]陈曦, 孙静波, 闻燕. 基于多模态语料库的大学英语互动式教学的研究[J]. 海外英语,2015(7):40—43.

[6]张霄军. 多模态语料库:抢救濒危语言的有效途径[C]//民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集. 北京: 中国中文信息学会, 2007：35—41.

[7]Bernsen, N. O. & L. Dybkjr. Annotation schemes for verbal and non-verbal communication: some general issues[C]//In A. Esposito et al. (eds), Verbal and Nonverbal Communication Behaviours. Berlin, Heidelberg: Springer-Verlag Berlin Heidelberg,2007：11—22.

[8]黄立鹤, 何继红. 从《Routledge多模态分析手册》看多模态语言研究[J]. 语言教育, 2013,1(1):92—96.

[9]马利霞. 多模态话语分析的发展: Baldry的影视语篇多模态语料库研究方法[D]. 江南大学,2012.

[10]李学宁, 马利霞. MCA检索方法及其在外语电化教学中的应用[J]. 现代教育技术,2010,20(11):83—87.

[11]黄立鹤. 语料库4.0：多模态语料库建设及其应用[J]. 解放军外国语学院学报,2015,38(3):1—7.

[12]刘娟. 多模态话语理论在中国的研究综述[J]. 辽宁工程技术大学学报(社会科学版), 2015,17(2):209—213.

[13]陈霄, 何安平. 教育信息技术、语料库与外语教师专业发展:首届全国外语教师教育与发展专题学术研讨会综述[J]. 嘉应学院学报(哲学社会科学),2011,29(6):71—74.

[14]李学宁, 李向明. 多模态语篇分析新进展:GeM模型及其应用评述[J]. 现代教育技术, 2014,24(6):58—63.

[15]张振虹, 何美, 韩智. 大学公共英语多模态语料库的构建与应用[J]. 山东外语教学, 2014(3):50—55.

[16]刘芹, 潘鸣威. 理工科大学生英语口语多模态语料库构建研究[J]. 现代教育技术,2012,20(4):69—72.

[17]钟元. 基于多模态语料库的手势隐喻研究[D]. 江南大学,2014.

The Construction of Multimodal Corpus and Foreign Language Teaching——The Status Quo and Future

LIANG Yan-ling

(School of Translation Studies, Shandong University, Weihai 264209, China)

The construction of multimodal corpus began at the end of the 20th century, and its application in foreign language teaching has great value, thus multimodal corpus has become a new area of research today. The research on multimodal corpus in foreign language teaching in China started later than in the west. There exist some problems such as no enough theories, small number of existing multimodal corpora, difficult construction of corpora, and narrow scope of application. Therefore, it is necessary to explore deeply into the theory of multimodal corpus in foreign language teaching, build large and medium corpora, introduce and develop related software, and widen the object and scope of research.

multimodal corpus; foreign language teaching; status quo; future

2015-11-01

梁燕玲(1991— )，女，广西玉林人，在读研究生，主要从事英语语言学与英语教学研究。

H319.3

A

2095-7408(2016)03-0114-04