英语教学中多模态隐喻文本的表意探究

董燕 郭绍波

[摘 要] 在互联网媒介环境下，英语隐喻文本由纯语言文本向多模态隐喻文本转向的趋势明显。隐喻性的思维不仅可以由语言符号表征，也可由声音、图像、影像等多种非语言符号进行复合表征。英语多模态隐喻文本以语言符号文本的表意为主导，其他符号文本参与表意且具有不可替代性。互联网媒介不仅参与表意，且作为参与意义塑造的因素提升了文本的多模态化程度。在英语教学中，教师应注重培养学习者对多模态隐喻文本的解读分析能力。

[关键词] 多模态隐喻文本;多模态化;表意;互联网媒介;认知隐喻观

[基金项目] 2018年度广东省社会科学界联合会广东省哲学社会科学“十三五”规划学科共建项目“移动互联网时代的符号表意多维研究”（GD18XWW10）

[作者简介] 董 燕（1971—），女，湖北荆州人，硕士，广东医科大学外国语学院副教授，主要从事语言符号学研究;郭绍波（1970—），男，广东兴宁人，硕士，广东医科大学国际合作与交流处处长、副教授，主要从事跨文化交际和语言学研究。

[中图分类号] H312   [文献标识码] A   [文章编号] 1674-9324（2021）47-0139-06    [收稿日期] 2021-06-14

一、研究背景

信息传播媒介在万物互联时代得到蓬勃发展，英语学习者愈发习惯借助电脑、手机等屏幕界面呈现的文本开展学习。一个含有文字、声音、图像、影像的文本往往涉及视觉、听觉甚至触觉、嗅觉模态，而这类文本正是当前隐喻研究重点关注的多模态隐喻文本。荷兰学者Forceville提出“多模态隐喻”[1] （P380）这一概念后，国内外的隐喻研究突破语言隐喻的藩篱，进入多模态研究的更宽领域，其中的国外代表性学者有Forceville、Urios-Aparisi和Rohdin等，而国内则以赵秀凤和蓝纯等学者为代表。总的看来，这一新兴研究更关注静态、纸质媒介的多模态隐喻文本，对动态多模态隐喻文本的研究相对较少，研究对象所涉及的模态化程度普遍不高，且未重视互联网媒介自身的文本表意作用，原因是对动态多模态隐喻文本开展研究仍面临一系列挑战。首先，尽管Forceville已制定了基本研究规范，但目前仍缺乏适用于多模态隐喻研究的成熟理论体系，在研究方法上还以内省和思辨为主[2] （P8）。其次，研究非语言符号的表意以及对隐喻含义进行识别和解读会涉及跨学科的知识，客观上存在一定的操作难度。譬如学者汪堂家曾指出，“隐喻语词或隐喻陈述本身涉及指称对象，对隐喻的深入探讨不可避免地触及指称理论，广而言之，触及符号学理论和语言哲学”[3] （P75）。不言而喻，多模态隐喻文本的文本属性决定了其研究路径必然是跨学科的，将涉及符号学、认知隐喻学、多模态研究和传媒学等学科的核心概念和知识。因此，本研究拟从符号学、语言学与传媒学相结合的视角，分析隐喻研究从语言隐喻文本向多模态隐喻文本的转向，对在屏幕界面上呈现的多模态隐喻文本的表意特征进行跨学科分析，并探究互联网媒介如何参与文本表意，以期提高教师对英语学习者多模态隐喻文本分析解读能力培养的重视程度。

二、语言隐喻文本向多模态隐喻文本的转变

从广义上讲，人类思维本质上是隐喻性的，文本是人类思维的表征形式之一，任何文本中都蕴含“泛化”的隐喻思维或隐喻过程。根据符号学的观点，含有隐喻过程的表意符号集合都可归为隐喻文本。随着互联网技术进步，隐喻思维的载体不再局限于文字文本，而是变为由两种以上不同符号文本所构成的多模态文本，隐喻研究的对象也开始转向由数字化呈现的、有更多不同类型符号共同参与表意、模态化程度更高的文本，即多模态隐喻文本。Forceville在《多模态隐喻》中首次提出，“多模态隐喻指源域和目标域分别用或主要用不同的模态来呈现隐喻”[4] （P24）。之后，Eggertsson与Forceville还指出多模态隐喻的界定应有狭义与广义之分[5] （P429）。我国学者赵秀凤提出，“广义的多模态隐喻可以简单地界定为由两种以上模态共同参与构建的隐喻[2] （P3）”，这一观点逐渐成为多模态隐喻研究领域的共识。互联网媒介环境下的多模态隐喻文本呈现的是一个颇为复杂的文本现象，其表意过程涉及以下诸多因素：蕴含的隐喻思维、文本自身因素、涉及的模态种类及特征、表意文本借助的媒介等。伴随认知隐喻观的出现，隐喻研究的焦点还经历了从隐喻陈述向隐喻思维的转向。细究之，隐喻研究从语言隐喻文本向多模态隐喻文本转变是由以下因素导致的。

（一）隐喻研究的转变

“隐喻”的最初定义来自亚里士多德在《诗学》和《修辞学》里的系统阐述。亚里士多德提出隐喻机制是偏离于字面性语言的，隐喻的性质是语言的，而不是思维的，其修辞基础是相似性[6] （P14）。受此影响，隐喻研究惯常将隐喻视为一种表现为字面性偏异的纯修辞现象，从媒介技术角度解释，千百年来的隐喻仅苑囿于语言隐喻[7] （P14）。19世纪后期，人类学家的研究成果打通了语言、思维、现实这三个领域，至此隐喻研究进入了“泛化”阶段，即进入社会科学研究的各个领域，研究对象变得抽象、多变、具有不同的层级性，并表现为语言、思维和现实三个层面[8] （P48）。譬如，哲学家保罗·利科从隐喻诠释学角度阐释隐喻，突破了古典修辞学和新修辞学仅把隐喻看作修辞格这一古老框架，赋予隐喻本体论和认识论意义。20世纪80年代，莱考夫和约翰逊在《我们赖以生存的隐喻》一书中提出了现代认知隐喻观，其核心观点是“人类的思维过程从本质上是隐喻的，隐喻不仅体现了一种复杂的语言结构，而且暗示了思想和现实的深层结构[3] （P75）”。隐喻最为基本的内涵是通过喻体对本体隐含相似性的联想与关联去实现意义的转换或转移，这是人类最基本的思维方式[9] （P280）。从根本上讲，隐喻是一种思想之间的交流及语境间的交互，它不仅能创造新的意义，而且能为理解事物提供新视界，因此它是人类认知的基本手段。现代认知隐喻观是“泛化”的广义隐喻观，它拓展了隐喻研究的范畴，是突破语用的藩篱而迫近隐喻认知哲学的研究[8] （P39），它还将隐喻界定为人类思维的特征，所以“隐喻无所不在，我们的概念系统就是建立在隐喻之上的。”[ 10 ] （P12）但是抽象的思维必须通过符号文本表征才能被传达，依据表征思维的不同符号文本类型，隐喻分为语言隐喻和非语言隐喻两大类。存在于语言符号文本中的隐喻为语言隐喻，存在于思维与日常行为中的则為非语言隐喻。在互联网时代，人们的交流更多地转移到屏幕界面上，所以，只要反映隐喻思维或含有隐喻过程的符号文本都是认知隐喻可研究的对象[ 11 ] （P54）。比如，英语学习者经常在电脑或手机屏幕界面上接触到的新闻、电影、短视频等音视频文本等。

（二）符号文本的转变

广义的隐喻观所指的隐喻是隐喻思维，它须由不同类型的符号所构成的文本来承载。狭义的文本通常指作为文学或语言学研究对象的语篇，即符号学所说的文字文本或言语文本。文学理论家斯坦利·费什曾这样对文本进行阐释：文本即是有意义的话语，是以一种虚拟形式存在于读者的头脑中，以及读者彼此交往而形成的诠释社群中[ 12 ] （P93）。费什的观点引发了人们对于文本、意义和信息作为一种关系结构的重新界定，而这也正是20世纪符号学研究领域风靡一时的研究主题。符号学认为，只要是具有表意功能的任何符号所构成的集合都是文本[ 13 ] （P42）。自此，文本被广泛理解为意义的载体，它可以是人类的任何文化产品。从宏观意义上讲，整个人类文化就是一个超级文本。从微观意义上讲，人们每天在互联网上接触到的各种信息都是由各种符号文本呈现的，特别之处在于互联网媒介环境下的文本是数字化表征的文本，简称数字化文本，借助二进制代码，它在屏幕界面上呈现的常常是动态的文本，它对受众产生的影响已成为当今学术研究的一个热点，也更容易得到英语学习者的青睐。

（三）单一模态向多种模态的转变

Forceville将模态简要定义为“利用具体的感知过程可阐释的符号系统”[4] （P22）。顾曰国则认为，模态指通过视觉、听觉等感官跟外部环境之间的互动方式[ 14 ] （P3）。用单一感官进行互动的叫单模态，三个以上的称多模态。多模态基于多种感觉模态的综合运用，这些感觉模态涵盖视觉、听觉、触觉、嗅觉等。Paul Thibault认为，多模态指在意义生成过程中，将不同的符号资源系统共置并互为语境化的各种不同方式[ 15 ] （P3）。更为普遍的是，因为以屏幕界面为媒介，所有的符号文本或模态都可以在屏幕上实现展示，可以对多种符号模态进行整合，并以动态的方式生成意义，这样的意义生成方式是更趋多模态化的。真实状况是，在互联网媒介环境下，英语学习者利用屏幕界面进行文本信息的交流时，往往需要同时运用多种模态。在阅读文字文本、观看图像或影像文本等，他们运用了视觉模态;在听英语新闻、听英语电影对白等时则使用了听觉模态;如果学习中使用了有虚拟场景的学习软件，必然要通过鼠标完成虚拟触摸，这时则运用了触觉模态。互联网媒介的出现使得文本的多模态化程度更高了，英语学习者进行信息交互时可供选择和运用的模态更丰富了。

（四）文本表意媒介的转变

早在互联网媒介时代到来之前，麦克卢汉就提出了其著名的媒介观，他认为人类历经了三次重大的媒介革新。第一次是文字的发明，其呈现文字的媒介可追溯至岩壁、羊皮、竹简等。第二次是1453年德国人约翰内斯·古登堡改进活字印刷术，推动欧洲各国进入了印刷文化时代，纸质媒介成为当时最重要的文本载体。第三次是19世纪发明的电报，它揭开了如今数字化时代的序幕。更为重要的是，在进入数字化时代后，各种表意媒介在发生融合，因为计算机不仅复制了先前所有的表征与交流媒介的特征，而且将它们重新整合于互联网这个统一的平台上[ 12 ] （P73），自此，符号文本表意向着复合媒介形式纵深发展。数字媒介极大拓展了文本的可获得性，增强了文本内容之间的交互性，也增加了文本受众之间围绕着文本内容的内涵和外延的交互性[ 12 ] （P105）。如今，数字媒介正在改变生活的方方面面，它自身具备的特性改变了文本的表意方式，也更能激发英语学习者的学习兴趣，提高学习成效。

三、互联网媒介参与表意的多模态隐喻文本表意特征

（一）语言符号文本占主导性表意地位

伴随互联网技术向纵深发展，虽然非语言符号的表意趋势强劲，但语言符号的主导作用仍毋庸置疑。在各种符号隐喻互补的文本中，语言隐喻与非语言隐喻的关系仍以语言符号为主，其他符号为辅，其原因在于图像、影像符号的表意机制源于“类比”或相似性，它们具体的表意功能具有不确定性;此外，视觉效果的表面直观性和深层复杂性并存，这会进一步导致图像、影像符号的多义性和意义的不稳定性。因此，一個由多种符号组构而成的多模态隐喻文本需要用语言符号的表意过程实现锚定，确切地说，需要语言符号文本为声音符号文本和图像性符号文本等进行“注解”。关于多模态文本中的非语言隐喻的歧义性、模糊性或主观性问题，Forceville[4] （P30），Koller[ 16 ] （P46），Caballero[ 17 ] （P75）曾进行过专门论述，如Forceville曾明确指出：“面对一个非语言或多模态隐喻，分析者必须找出适当的词语描述其背后的概念结构，这个语言化过程势必不是中性的，必然带有分析者自己的主观性”[4]。对此问题，如若回归到“文本”的本质属性，即无论是语言还是非语言文本，它都是文本生成者一定程度上的主观产物。换言之，非语言隐喻文本的表意需由一定程度上带有文本生成者主观性的语言隐喻文本来予以明确，英语学习者日常接触的多模态文本也不例外。

（二）非语言符号文本的不可替代性

较之单一符号文本，多模态隐喻文本因为有图像、影像文本的参与，其表意更加具象和生动，表意效果更加全面和高效。多模态隐喻文本中的语言符号文本在起主导作用，但其他非语言符号文本具有不可替代性，因为不同模态所传达的信息、情感、审美情趣等会有差异，某种模态所表达的意义有时是不可转译的，不可用其他模态进行等值的传达[2] （P8）。

下面拟通过案例分析来佐证“非语言符号并非可有可无的因素”这个特征。该多模态隐喻文本来自国外一所语言学校的招生宣传广告，屏幕界面呈现的文本内容是：一条金鱼在鱼缸中愉快地游动，一只猫悄悄地接近鱼缸。此时音乐由轻松愉悦变为紧张，充满危机感，当猫将爪子伸向鱼缸时，出人意料地一幕发生了，鱼缸中的金鱼突然发出了凶猛的“狗吠声”，猫当即被吓跑，随之画面中出现字幕“Learn Another Language”。该文本隐喻义为“学会一门外语有助于你在残酷世界里生存”，“金鱼学狗吠”是源域，目标域是“学习外语”“类比性”则体现在学会狗吠是金鱼赖以生存的新技能，而学好一门外语对学生们今后的生存发展同样至关重要，通过此类比，源域对目标域的映射得到完美实现。该多模态隐喻文本精妙之处还在于它使用了带有“陌生化”效果的隐喻思维，能对受众起到很强的心理诱导作用。多模态隐喻文本要成功实现表意，少不了听觉、视觉等模态的参与，少不了屏幕界面的融合式呈现。假如消除声音，仅凭文字去描述“金鱼模仿狗吠”是难以实现其预期效果的，该文本的隐喻思维就不那么容易被受众感知。同样的，如果缺少文字符号“Learn Another Language”的适时呈现，受众并不都会联想到“学习外语”这一目标域上，所以语言符号文本在此起到锚定和注解影像文本表意不清晰的关键作用。

Forceville强调“语言和图像具有相互补充、相互影响的关系”[ 18 ] （P71）。以此类推，在多模态复合文本中，影响感知的表意符号相互配合、相互制约，共同诱发和引导受众对隐喻的识别、意义的筛选和解读;语言符号文本与声音、图像、影像等其他符号文本传达的隐喻思维互为补充、相互印证;不同模态的隐喻过程互相激活、互为参照、相互印证，形成强劲的协作关系，使受众耗费的认知努力大为降低。如果把一个多模态隐喻简化为单一的语言隐喻，原本精妙的隐喻很可能变得索然无味，毫无陌生化的新鲜感和表现力。因此，在互联网媒介环境下，英语学习者能从多模态隐喻文本中受益更多。

（三）具象化的表意特性

互联网媒介环境下的多模态隐喻文本被赋予了更高程度的多模态化。比如，有阅读文字、图像、图形等的静态视觉模态，有观看动态影像、三维动画等的动态视觉模态，有听语言对话、歌曲、音乐、各种声响的听觉模态，以及使用手或肢体去触摸、感应、操作、虚拟体验等触觉模态，甚至有观看实验性电影时能体验到的嗅觉模态。多模态隐喻文本具有与语言隐喻文本最大不同的文本属性，即它的具象化。下面拟通过对国外某公益广告[ 19 ]进行案例分析，展现多模态化隐喻文本的具象化表达优势。

该文本中呈现的文字符号是“global warming”“I Scream” “not enough ”，同时左侧还配有一个图像符号。按照符号学分类，该图像符号属于像似符号，即一个正在融化的冰激凌像似正在变暖的地球，这个隐喻思维过程还得到了文字符号的强化，文字符号与图像符号起到相互印证的表意效果。此外，右侧的文字符号“I Scream”（我大声疾呼）还与“ice cream”（冰激凌）在英文发音上存在类比关系。图像符号类比与语音类比共同构成一个由此及彼的跨域隐喻。该文本中的具象化的图像符号对受众带来强烈的视觉冲击力，设想如果仅存中间的文字符号，其“我诧异于地球被破坏，我疾呼要保护环境”的表意效果会大打折扣。

上述多模态隐喻文本中冰激凌般脆弱的地球具有的鲜明的“具象化”表意效果。与静态的文字隐喻文本相比，屏幕界面所呈现的，有图像、影像参与表意的动态多模态化隐喻文本具有更为鲜明的“具象化”特征。“具象化”属于视觉模态，它使受众感受到表意的即时性、感性、直观性和无距离感，给受众带来强烈的现场感和代入感。因为语言符号是线性的、抽象的和思维性的，而图像性符号往往是感性的、直观的和当下体验性的，所以多模态化隐喻文本的“具象化”属性是静态文字隐喻文本无法具备的。在实现表意方面，互联网媒介下的多模态化隐喻文本通常会凌驾于纯语言隐喻文本，这与当代人普遍直观感性和追求快感的文化心理存在很强的内在联系。多模态隐喻文本的这一“具象化”特性，对赵秀凤提出的“多模态隐喻在增加审美乐趣或加强情感效应方面体现得非常明显[2] （P2）”的观点提供了符号学视角的佐证，这也提示在英语教学中，教师要多关注并科学运用多模态隐喻文本。

四、互联网媒介参与表意的重要性

通过以上分析不难发现，互联网媒介不仅具有参与表意的重要作用，而且还提升了文本的多模态化程度。在麦克卢汉之前，人们普遍认为媒介只是传播人类思想的承载工具，对表意起不到能动作用。在麦克卢汉提出了广义媒介观之后，旧的观点渐渐遭到颠覆。麦克卢汉认为，任何一种新的发明和技术都是新的媒介。譬如，人类发明的语言就是人类早期重要的一种媒介技术[ 20 ] （P85）。其次，媒介是人的延伸，是人的肢体或中枢神经系统的延伸;反过来对于人的感知有强烈影响，并影响人的生活与思维[ 20 ] （P30）。在符号表意过程中，媒介不是中立的，媒介不是符号过程的传送环节，而是直接影響符号文本的意义解读的重要因素[ 13 ] （P127）。可以说，媒介是符号表意的成分之一，有时候甚至是最重要的部分。媒介不是消极的、静态的，而是积极的、能动的[ 13 ] （P129），它不仅是知识内容的载体，还是参与意义塑造的重要因素，它至少改变了互动方式。这就是麦克卢汉所说的“媒介塑造了意义”“媒介即信息”的内在含义。此外，媒介还具有“功能可供性”，这一概念指的是不同物质所具有的成为媒介的潜能。事实上，以数字媒介为代表的互联网就是具有巨大潜能或超强“功能可供性”的复合媒介。维尔纳·海森伯在《物理学家的自然观》一书中指出，技术变革不只是改变生活习惯，而且还改变思维模式和评价模式[ 20 ] （P80），此观点与麦克卢汉的媒介观不谋而合。另外，本雅明的一个重要观点是“技术性观视”，即人们所看到的东西都是透过某种技术手段呈现出来的。作为当代最重要的技术之一，电脑或手机屏幕将所能观视的文本呈现给受众，因为人类的思维本质上是隐喻性的，所以媒介必然影响隐喻性的思维过程，隐喻性的思维过程又是依靠文本实现表征的，因此，媒介还会影响隐喻文本的表征效果，可见，媒介对于多模态隐喻文本是不可或缺的。对于多模态隐喻文本而言，互联网媒介并非可有可无的因素，它提升了多模态隐喻文本的多模态化程度，其蕴含的、诉诸多种感官的多模态隐喻更能引发受众的共情效应。

在互联网媒介环境下的英语教学中，教师需要在理论层面上更多关注多模态隐喻的特点，进一步了解多模态隐喻文本与纯语言符号隐喻文本的区别，重视互联网媒介参与表意的作用，适时改进涉及英语隐喻能力培养的教学设计，适当增加英语多模态隐喻文本的使用频率并加强教学引导，为提高学习者多模态隐喻能力和跨文化交际能力打下良好基础。

参考文献

[1]Forceville C. Non-verbal and multimodal metaphor in a cognitivist framework： Agendas for research [C]//G. Kristiansen， M. Achard， R. Driven & F. Ruiz de Mendoza Ibanez. Cognitive Linguistics： Current Applications and Future Perspectives. Berlin/New York： Mouton de Gruyter， 2006：379-402.

[2]赵秀凤.概念隐喻研究的新发展—多模态隐喻研究——兼评 Forceville & Urios-Aparisi 《多模态隐喻》[J].外语研究，2011（1）：1-10+112.

[3]汪堂家.隐喻诠释学：修辞学与哲学的联姻——从利科的隐喻理论谈起[J].哲学研究，2004（9）：71-77.

[4]Forceville C. Non-verbal and multimodal metaphor in a cognitivist framework： Agenda for research[C]//Forceville & E. Urios-Aparisi.Multimodal Metaphor.Berlin/New York： Mouton de Gruyter， 2009a：24+22+30.

[5]Eggertsson G.T， Forceville C. Multimodal expressions of The Human Victim is Animal metaphor in extreme horror films[C]//Forceville&E.Urios-Aparisi.Multimodal Metaph-or.Berlin/New York： Mouton de Gruyter， 2009：429-449.

[6]孙毅.认知隐喻学多维跨域研究[M].北京：北京大学出版社，2013.

[7]Bipin Indurkhya. Metaphor and Cognition[M].Boston： Kluwer Academic Publishers，1992.

[8]张沛.隐喻的生命[M].北京：北京大学出版社，2004.

[9]朱永明.视觉语言探析[M].南京：南京大学出版社，2011.

[10]恩斯特·卡西尔.语言与神话[M].于晓，等译.北京：生活·读书·新知三联书店，1992.

[11]董燕.互联网教育环境下英语隐喻能力培养的多模态化[J].教育理论与实践，2020（24）：54-56.

[12]克劳斯·布鲁恩·延森.媒介融合：网络传播、大众传播和人际传播的三重维度[M]. 刘君译.上海：复旦大学出版社，2012.

[13]赵毅衡.符号学[M].南京：南京大学出版社，2012.

[14]顾曰国.多媒体、多模态学习剖析[J].外语电化教学，2007（2）：3-12.

[15]Thibault P.Body Dynamics and the Multimodal Integration of Meaning across Space-time Scales， A Paper Presented at the 9th International Pragmatics Conference. Riva del Garda，Italy，2004.

[16]Koller V. Brand images： Multimodal metaphor in corporate branding messages[C]//C. Forceville&E.Urios-Aparisi.Multimodal Metaphor.Berlin/New York： Mouton de Gruyter，2009：45-71.

[17]Caballero R. Cutting across the senses： Imagery in winespeak and audiovisual promotion [C]//C.Forceville&E.Urios-Aparisi.Multimodal Metaphor.Berlin/New York： Mouton de Gruyter，2009：73-94.

[18]Forceville C. Pictorial Metaphor in Advertising[M]. New York：Routledge，1996.

[19]北師艺家人.【环保】火爆朋友圈的全球环保广告，冲击你的视觉！[EB/OL].搜狐网，（2017-07-10）[2021-04-02].https：//www.sohu.com/a/155975607_804257.

[20]麦克卢汉·马歇尔.理解媒介——论人的延伸[M].何道宽译.南京：译林出版社，2011.