儿童绘本中多模态互动意义的建构及其翻译

王爱琴

摘    要：利用系统功能语言学的语言三大纯理功能，分析了英文绘本Nana Upstairs and Nana Downstairs中语言文字模态所传递的概念意义、人际意义和语篇意义;再利用多模态文体分析中的视觉语法框架，分析了该绘本中图像模态所传达的表现意义、互动意义和组篇意义。通过图文模态意义对比发现：图像模态与文字模态虽协同互动，共同完成叙事，但是图像模态传递的信息要比文字模态更丰富、更深刻;同时，图像的组篇意义比文字的语篇意义更强，有助于绘本主题意义的凸显。鉴于儿童绘本的多模态属性和意义复杂性，合格的绘本译者需具备一定的符号学知识，熟悉多模态语篇的分析方法。

关键词：绘本翻译;多模态文体分析;视觉语法

中图分类号：H059                文献标识码：A             文章编号：2095-7394（2019）04-0110-07

儿童绘本属于多模态语篇，绘本翻译远不止是文字层面的转换，译者还要充分关注绘本中图像的意义以及图像与文字之间的互动关系，这就需要对绘本展开多模态话语分析。多模态话语分析理论认为：既然语言只是传达意义的一种社会符号，那么其他社会符号，如图像、声音、手势等也应该有各自表达意义的系统。在多模态语篇中，不同的模态既各自独立地传递意义，又通过协同互动共同传递意义。

最早研究绘本中图像和文字之间意义互动关系的是Schwarcz， 他认为图文关系主要分为“一致（congruency）”和“偏离（deviation）”两大类。[1]最有代表性的是Nodelman，他将图文关系定义为“斗争（combative）”“因为它们用不同的方式表达着对方所不能表达的意思，彼此构成互补关系”。[2]将图文关系分类最为细致的是Nikolajeva & Scott， 他们将图文关系分为五种类型：对称型、互补型、强化型、相互依存型和相互独立型。[3]然而，上述分类方法的问题在于分类过于绝对，认为在某个特定语篇中，图像和文字只能是上述关系中的某一种。后来的学者们更强调模态间的互动研究，如Kress & Van Leeuwen 尝试建立一套系统的视觉语法，并在此基础上通过信息分布结构来研究图文互动意义。[4]13而Clare Painter 等人进一步发展和改进了Kress & Van Leeuwen的视觉语法理论，从“模态间性（intermodality）”的角度探讨图文互动的意义。[5]他们提出了两套互补的意义实现系统，分别用以探讨图像和文字模态对绘本语篇整体意义的实现所做出的贡献和模态之间的耦合关系。

本研究以美国作家Tomie DePaola创作的儿童绘本Nana Upstairs and Nana Downstairs （以下简称Nana）为语料，对其意义的分析在两个层面上展开：一方面，利用系统功能语法来分析绘本中文字模态所传递的概念意义、人际意义和语篇意义;另一方面，结合Kress & Van Leeuwen的视觉语法和Painter 等人提出的绘本意义分析框架来探讨该绘本中27幅图像所传达的表现意义、互动意义和组篇意义。最后，在上述研究的基础上提出绘本翻译中潜在的问题，并提出可能的解决办法。

1  理论基础：系统功能语法与视觉语法

根据系统功能语言学的观点，语言是人类社会活动的产物，是人类交际的符号。韩礼德对语言的符号性做过深入的阐释，他认为作为“社会符号的语言”主要是指在社会文化语境中解释语言，在这语境中，文化本身要用符号解释，是一个信息系统。[6]9 然而，随着人们对符号学认知的进一步深化，符号被看作是一种思维方式，它不仅体现在语言上，还体现在其他各个方面，如绘画、舞蹈、音乐、雕塑等。它们都有各自的意义体现系统。因此，Kress & Van Leeuwen以及Clare Painter 等学者试图在系统功能语法的基础上建立一套“视觉语法”，用以分析图像的表意系统。

韩礼德把语言的纯理功能分为三种，即概念功能、人际功能和语篇功能。概念功能是指语言用以反映主客观世界的过程和事物的功能，即关于“内容”的功能;人际功能简言之就是语言用于反映说话者与听话人之间的社会地位和亲疏关系的功能;语篇功能是指语言成分通过一定的组织方式构成语篇的功能，它体现语言和语境之间的关系。韩礼德认为，这三个功能是三位一体的，不分主次，可以通过整个結构体现，互相重叠。

Kress & Van Leeuwen 在他们的《阅读图像：视觉设计的语法》一书中指出，图像跟语言一样，作为一种交际符号，在传递意义的过程中也担任着三大基本功能。他们认为，图像中的视觉符号不仅可以反映客观世界和主观世界发生的各种事件，而且可以表现不同的人际关系，与此同时，视觉符号内部也是一个连贯的整体。因此，他们借用了韩礼德对语言纯理功能的划分，从表现意义、互动意义和组篇意义三个方面来探讨图像的意义，尝试建立起一套视觉语法分析框架。[4]15其中：表现意义主要探讨不同图像或者图像中不同成分之间的概念关系;互动意义主要探讨图像中参与者之间的社会关系、图像设计者想要实现的交际目的以及看图者对图像的介入程度;组篇意义主要研究图像之间或同一图像中不同成分之间的信息分布关系。

由于儿童绘本的意义实现在很大程度上依赖图像，因此想要对绘本的意义进行全面地解读，必须将基于系统功能语法的语言意义解读，同基于视觉语法的图像意义解读结合起来。

2    绘本文字模态的意义建构

以下将从概念意义、人际意义和语篇意义三个方面对绘本Nana中的语言文字模态所表达的意义展开分析。

2.1  概念意义

韩礼德所说的概念功能包括经验功能和逻辑功能，前者是指语言能够表达人们在现实世界以及内心世界中的各种经历，即反映客观世界和主观世界中所发生的事以及与其有关的各种因素。而逻辑功能指的是语言对两个或两个以上的意义单位之间逻辑关系的表达。[6] 74根据及物性系统，人类经验又可以分为六种过程：物质过程、心理过程、关系过程、行为过程、言语过程和存在过程。物质过程通常是表示做某事、发生某事、引起和转移某事的过程;而心理过程则是表示感知、认知和反应的过程;言语过程是指人们通过讲话交流信息的过程;关系过程是反映事物之间出于何种关系的过程，可以分为归属和识别两大类;行为过程指的是诸如呼吸、咳嗽、叹息、做梦、哭笑等生理活动过程;存在过程是表示某人或某物存在状态的过程。这些过程的分析均是在小句的层面展开，因此，笔者对英文绘本Nana中所有的小句进行了及物性分析，按照上述六大过程进行分类统计。

结果表明：绘本中共含有69个小句，所占比重最大的两种过程是物质过程（27个，约占39.1%）和言语过程（21个，约占30.4%），其次是关系过程（11个，约占15.9%），还有少量的行为过程（5个，约占7.2%）和心理过程（4个，约占5.8%），存在过程只有1个，约占1.5%。该绘本中39.1%的文字模态属于物质过程，而由于物质过程反映的是动作的展开和事件的发生，通过告诉读者故事的主人公都做了什么，与其周围的人产生了怎样的互动（如go to visit， run into the house， eat and talk， open the lid 等），它们能推进故事情节的发展，给绘本增加一种动态感和活力。这也符合儿童文学语言的特点，即叙述性强，“一般是交待事件发生过程、人物行动过程、人物命运变化，或介绍人物关系、人物与环境的关系，等等。能够唤起形象感的是事件的来龙去脉 、动态运转、时空变化、矛盾转化，等等”。[7]占30.4%的言语过程体现的是儿童文学语言的对话性，它们有助于人物性格的塑造，同时对于绘本这样的低幼儿童文学作品来说，对话让故事呈现口语化的特点，使绘本更加通俗易懂。关系过程主要出现在绘本的开头部分，用于交代人物之间的关系和周遭环境的状态，尤其是主人公汤米和两位外婆之间的关系以及两位外婆各自的状态。由于该绘本的文字层面只讲述了小男孩汤米所经历的事情（两位外婆的去世），并未过多地交代他的心理活动和情感反应，因此行为过程和心理过程都很少。此外，除了介绍“楼上”和“楼下”两个概念之外，绘本的文字层面并没有对故事发生的环境进行描写，所以存在过程只有一个。

2.2  人际意义

语言除了可以用来表示讲话者的经历和内心活动之外，还可以表达讲话者的身份、地位、态度、动机和他对事物的推断、判断和评价等，这就是语言的“人际功能”。[6]115

绘本所体现的人际意义可以从两个方面来分析：一是绘本中人物之间的关系;二是绘本中人物与读者之间的关系。首先，由大量直接引语的对话所体现出的汤米与故事中其他人物之间的关系是亲密的，通过与楼上的外婆和楼下的外婆之间的日常对话，汤米与外婆们建立了深厚的感情和情感依恋。其次，在与读者的情感联系方面，由于该绘本是用第三人称客观地讲述主人公汤米所经历的事情，是属于“提供信息型”而非“求取信息型”，在文字层面，作者与读者之间并没有太多情感的交流，读者参与故事的程度较低。例如，在楼上外婆去世之后，除了询问妈妈死亡是什么意思之外，汤米的反应只有一个简单的“began to cry”来表示，没有任何人际附加语或情态附加语，这一点通过分析绘本的句子类型也可以很清楚地看出。整个绘本共由63个句子构成，其中有60句为陈述句，疑问句、感叹句和祈使句各1句。这种故意与读者保持距离的叙述方式与该绘本的主题是相契合的。因为这本绘本的创作目的是让儿童在读“别人的故事”的同时，感知什么是“生老病死”。因而，這种简洁生动却又不加修饰与渲染的语言能让幼小的读者在情感上不过度参与故事，避免让他们产生对死亡的恐惧和情感上的冲击。

2.3   语篇意义

无论是概念功能还是人际功能都需要通过语言实体表现出来，而语言在一定语境下的表述都必定是以一定的组织方式相互关联的，这些相互关联的、有意义的语言就构成了语篇。语篇属于语义范畴。在语义层中，把语言组织成语篇的这种功能就叫语篇功能，而这种组织关联的方式所产生的意义就叫语篇意义。语篇意义主要体现在主位结构、信息结构和衔接方面。[6]161 通过对该绘本的分析，笔者发现，绘本中的语篇以单项、无标记的主位结构为主，以线性和恒定主位推进模式为主，这些都是符合低幼儿童认知特点的。值得注意的是，绘本中由人物对话而形成的交互主位模式增强了叙事的节奏感。同时，绘本中的文字模态还运用了较多的语法和词汇衔接手段来保证故事情节的通俗易懂，能够被年幼的读者所明白。有研究表明，“低于5岁的儿童通常在对稍复杂的文字信息解码上遇到困难，但他们却能够很好地对复杂的图像信息加以解码，因此对于这个年龄阶段的儿童读者来说，文字模态与视觉模态共同建构的意义将更容易理解”[8]，这也是绘本适用于学龄前儿童文学启蒙的重要理据。

3    绘本视觉模态的意义建构

跟语言一样，图像也是一种交际符号。在儿童绘本中，它是一种重要的交际符号，甚至是比文字更重要的表意手段。以下从图像的表现意义、互动意义和组篇意义这三个方面来分析绘本Nana中27幅图像是如何构建视觉意义的。

3.1  表现意义

表现意义重点探讨不同图像或图像中不同成分之间的概念关系。Kress & Van Leeuwen从图像的参与者、叙事过程、环境这三方面讨论了图像传达的表现意义。他们根据图像中矢量（vector）的有无将图像分为叙事类图像和概念类图像。矢量是指由图像中的元素所构成的斜线，可由动作中的身体、肢体或工具构成，通俗地说，就是施动者对受动者所做的动作。再根据图像中矢量的构成方式和图像参与者之间的关系，叙事类图像中的叙事过程又可以细分为行动过程、反应过程、言语和心理过程等;概念类图像又可以细分为象征型、分类型和分析型。[4] 63对Nana中的1至27幅图像的表现意义进行分析的结果如表1。

由表1可以发现，绘本中的大多数图像为叙事类图像，概念图像只有4幅。这与前文对该绘本语言概念功能中的及物性分析结果相一致，即大多数语言为物质过程。叙事类图像和反映物质过程的语言文字相互作用，体现故事中动作的展开和事件的发生，推动情节的发展，共同完成绘本的叙事。对叙事类图像进行细分，可以发现，绘本的前半部分大多为行动过程类叙事图像，后半部分大多为反应过程类叙事图像。这二者的区别是矢量的类型：行动过程类叙事图像中的矢量是由动作中的身体、肢体或工具构成，而反应过程类叙事图像中的矢量是由“目光”构成。行动过程类图像主要表现的是当前展开的行动和事件，事物变化的过程，叙事空间的转移等。绘本的前半部分大多数为行动过程图像，反映的是小男孩汤米和两位外婆之间的互动（吃糖、午睡、梳头发等），叙事节奏较快，情节的推进比较生动、活泼。绘本后半部分大多为反映过程类图像，其中23，24，27这三幅图都描绘的是汤米凝视着窗外星星点缀的夜空，仿佛在思考着什么，其中24和27幅图的夜空中还有一道流星划破夜空的明亮的弧线。这是因为在两位外婆相继去世之后，绘本更关注的是汤米的情感与心理体验。这些反应类图像让叙事节奏慢了下来，从而引起读者更多的思考。

值得一提的是，绘本中有四幅概念类图像，主要出现在：讲述汤米和外婆之间的亲密关系时（8）和两位外婆去世时（18，20，26）。概念类图像通常出现在故事的开头，用于交代环境、人物、背景等信息，或者出现在故事中间，用以调整叙事节奏，暂停剧情发展，引起读者对故事某一情节的思考。本书中有三幅概念类图像出现在两位外婆去世的时候，这三幅图像均采用大范围的留白，只在图片的下角展示一个小小的物品（汤米的玩具小熊、外婆的红丝带和汤米与两位外婆的合影）。这些图像凸显了外婆们去世后汤米的孤单，引发读者的情感介入。而这些信息在绘本的语言层面均未得到体现，因此，可以说该绘本中图像所传递的表现意义远超过了文字所传达的概念意义。此外，绘本中的这些概念图像可以引发儿童读者对绘本主题意义的思考，引导儿童进行更深层次的、更富“文学性”的阅读，而不是仅仅关注绘本中的人物以及发生的事件本身，这也是绘本用于儿童文学启蒙的重要依据。

3.2   互动意义

互动意义重点探讨图像中参与者之间的社会关系、图像设计者的交际目的以及图像解读者对图像的介入程度。互动意义的实现取决于观察者的位置，具体包括凝视、距离、视角和情态等。[9]261根据图像中的角色是否凝视（gaze）着图像外的读者，图像又可以分为求取信息型（demand）和提供信息型（offer）。绘本Nana中的图像均为提供信息型，因为图画中的角色并未“直视”绘本外的读者，并未有直接的眼神接触。这种提供信息型图像的作用在于，将读者置于旁观者的角色，让读者客观地去观察和审视整个故事，读者可以选择接受或拒绝插图作者所提供的信息，而不过度参与故事。距离（distance）的概念主要包括“远景”“中景”和“近景”，该绘本中的图像基本上都属于远景，即读者可以看到人物的全身，人物大约占整个画面的二分之一或更少。同样，这种距离反映的也是读者和书中角色之间的心理距离和亲疏关系。远景镜头之下，读者与角色之间保持一定的距离，只是客观地去阅读图像。视角反映的是读者与书中人物之间的权力关系：仰视视角反映的是图像中角色的权势、地位高于读者;俯视视角则相反。该绘本中的图像基本上都是水平视角，因此读者和画中人物之间没有权利和地位的差别，这种处理方式也有助于读者对主人公汤米产生身份认同。图像的情态主要是通过图画的详细程度和颜色来体现。该绘本虽然讲述的是死亡这一话题，但是所有画面的背景均是暖黄色，这种处理方式有助于淡化死亡所带来的阴森与哀愁，给人以温暖、平和、温馨的感觉，从而能够照顾到儿童读者的阅读情绪。

上述对绘本中图像互动意义的分析发现，插图作者试图让儿童读者客观地看待这个故事，与书中人物保持一定的距离，这与绘本语言层面的人际意义分析得出的结果是一致的。可能的解释是：该绘本的一个重要主题就是帮孩子去理解亲人的逝去，绘本文字层面和插图所传递的人际意义均是一种较为疏远的关系，这样可以让孩子客观地认识“死亡”这个自然现象，既能感受故事中汤米所经历的一切，又能保持适当的距离，时刻提醒自己所看到的只是“别人的故事”，从而避免过多的情感参与，造成儿童难以应付的巨大情感冲击。

3.3  组篇意义

组篇意义主要研究同一图像中不同成分之间或不同图像中的信息分布。根据图像不同成分的分布情况确定旧信息和新信息，已知信息和未知信息，信息的起点、终点和焦点，主要依靠信息结构、关联、定框和凸显来实现。[9]261在绘本Nana中，主要凸显的角色就是小男孩汤米和他的两个外婆，画面的背景基本上没有太大的变化，都是在外婆的家里，这些都有助于儿童读者对故事的理解。值得注意的是：绘本中所有27幅画面均采用了定框（framing）的形式，每一幅图画都加了暖黄色线条构成的边框，大部分的文字均置于图画边框之外，图片所占的画面尺寸远胜于文字。根据视觉语法，插图作者将图片加框是为了明确地将故事中的世界和读者所处的世界区分开来，希望读者以一个“局外人”的身份去阅读故事，这一点与上述对图像表现意义和互动意义分析的结果也是一致的。而将图片加框，将文字置于图片之外，是希望图片和文字能被读者分开来阅读。这是因为该绘本中文字传递的概念意义和图片传达的表现意义之间是有较大差别的，前者较为简单、明了，而后者更为深刻、丰富。此外，文字独立于图片之外、图片占主导的处理方式在某些图片中（8，18，20，26）发生了变化，文字被纳入边框之内，且置于整个画面的中间，得到了凸显。这种处理方式也是起到了调整叙事节奏、引发读者更多思考的作用。

插图作者总是通过特定的布局赋予某些视觉元素更重要的作用，这就是聚焦系统。绘本插图作者通过聚焦元素的变化来凸显或淡化某些视觉元素，以此来引导和操纵读者的注意力，因此可以说聚焦系统也跟作品的主题意义相关。在绘本Nana中，大部分的图画聚焦点都是汤米和他的两个外婆，主要反映的是他们之间的亲密互动。但是，在图21中，画面的聚焦点变成了一张铺着整齐的白色床单的大床，汤米站在画面的左下角，背对着读者，凝视着这张外婆曾经睡过的床。汤米显得很小，而这张床显得很大。通过这样的聚焦与凸显，作者希望读者能够暂停对于故事情节的关注，转而关注汤米震惊和悲伤的情绪。在这个意义上，可以说图片的聚焦系统也能反映作品的主题意义和人际意义。通过上述分析可以發现，在该绘本中，较之于语言的语篇意义，图像的组篇意义更为丰富，对作品主题意义建构也做出了更大的贡献。

4   图文互动的意义及其对绘本翻译的启示

在儿童绘本中，图像模态与文字模态作为两种各自独立的符号系统共同讲述故事。对绘本Nana中的图文模态意义对比分析发现：（1）绘本中图像所传递的表现意义远超过了文字所传达的概念意义，图像所传递的意义更为丰富和深刻。这种不一致性，一方面迎合了儿童文学作品“双重读者”的属性，因为年龄较大的读者或者成人读者可以从图像中读到更多的内容;另一方面，有助于帮助儿童读者对绘本展开更有“文学性”的阅读。（2）在语言的人际意义和图像的互动意义方面，两个模态所传递的信息基本一致。语言模态用第三人称客观视角来叙述故事，图像则以“远景”镜头提供信息型图像为主，使故事中的角色与读者保持一定的距离，造成读者参与度较低。（3）在语言的语篇意义与图像的组篇意义方面，二者存在一定的差异。文字模态通过简单的主位推进模式和较多的衔接手段使得故事流畅、自然地向前发展;然而图像层面却通过版面布局、定框形式、聚焦系统的改变来调整叙事节奏，使整个故事的展开张弛有度。例如：在一些情节发展的关键时刻，插图作者通过特定聚焦的静态图像来暂停叙事，引发读者对故事中角色的身份认同和情感参与。总体来说，绘本的整体意义是通过语言与文字模态的意义协同互动、共同体现的。

儿童绘本的翻译涉及到的不仅是语言文字的转换，更重要的是绘本中图像的处理，因为多模态语篇具有“语境一致性、模态独立性和模态意义协同性”。[9]266这里的语境一致性指的是文字模态和其他视觉模态出自同一文化语境、同一情景语境和表达同样的交际目的。目前，我国绘本的主要引进模式是合作出版，即不改变图像，只将绘本中的文字翻译成汉语。那么在翻译之后的绘本中，文字模态与图像模态其实已不属于同一文化语境了，甚至其交际目的也发生了变化。如何处理好翻译的文字与原插图作者所绘制的图像之间的关系，对于绘本译者来说是一个巨大的挑战。因此儿童绘本的译者需要具备一定的符号学知识，熟悉多模态语篇的分析方法，尽量在完成绘本的语言转换之后还能保持原作品中图文模态间的互动关系，并将文字模态与图像模态之间的这种张力原封不动地传递给国内小读者，使绘本阅读既富有趣味性，又有一定的文学性。

参考文献：

[1] SCHWARCZ J. Ways of the Illustrator： Visual Communication in Childrens Literature[M]. Chicargo， IL： American Library Association， 1982.

[2] NODELMAN P. Words about Pictures： The Narrative Art of Children's Picture Books [M]. Athens， GA： University of Georgia Press， 1988.

[3] NIKOLAJEVA M ， SCOTT C. How Picture Books Work[M]. New York： Garland， 2001.

[4] KRESS G ， LEEUWEN T V. Reading Images： The Grammar of Visual Design [M]. London： Routledge， 2006.

[5] PAINTER C ， MARTIN J R. Reading Visual Narratives： Image Analysis of Children's Picture Books [M]. Sheffield： Equinox Publishing Ltd，2013.

[6] 胡壯麟. 系统功能语言学概论[M].北京：北京大学出版社， 2005.

[7] 杨实诚. 论儿童文学语言[J]. 中国文学研究， 1999（2）：15-20.

[8] GUIJARRO J M， SANZ M J P. Compositional， interpersonal and representational meanings in a children's narrrative： A multimodal discourse analysis [J]. Journal of Pragmatics， 2008， 40 （9）： 1601-1619.

[9] 张德禄， 贾晓庆， 雷茜. 英语文体学重点问题研究[M]. 北京：外语教学与研究出版社， 2015.

Abstract： Based on systemic functional grammar， this paper first analyzes the meaning conveyed by the texts in Childrens picture book Nana Upstairs and Nana Downstairs in terms of its ideational meaning， interpersonal meaning and textual meaning. Then based on the theory of visual grammar of multimodal stylistics， the pictures in this picture book are analyzed in terms of their represnetaional meaning， interactive meaning and compositional meaning. A comparison of the meanings conveyed by the two modalities show that even though the two interact with and complement each other in the whole meaning-making process， the images tend to convey more profound meanings than the texts. Also， the compositional meaning of the pictures tend to carry more significance in highlighting the theme of the book than the textual meaning of words. In view of the multimodal attributes and meaning complexity of children's picture books， a qualified picture book translator should have a certain knowledge of semiotics and be familiar with the analysis methods of multimodal texts.

Key words： translating picture books; multimodal stylistic analysis; visual grammar

责任编辑    张志钊