基于视觉叙事分析框架的多模态叙事语篇意义构建——以几米绘本为例

２０１６年ｌ２月　第３３卷第ｌ２期　湖北第二师范学院学报　

Ｊｏｕｒｎａｌ　ｏｆ　Ｈｕｂｅｉ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｅｄｕｃａｔｉｏｎ　Ｄｅｃ．２０１６　

Ｖ０】．３３　Ｎｎ　１２　

基于视觉叙事分析框架的多模态　叙事语篇意义构建　——以几米绘本为例　

刘晓华　（安徽农业大学外国语学院，合肥２３００３６）　摘要：多模态语篇的图像意义构建是系统功能语言学的研究热点。依据Ｐａｉｎｔｅｒ等的视觉叙　事分析框架，以几米绘本为语料，从聚焦系统、情感系统、氛围系统、人物表征、事件关系、背景　关系和图文布局关系分析图像在多模态叙事语篇中如何构建人际意义、概念意义和组篇意义，　并总结在多模态叙事语篇中图像意义生成的特点，验证该框架应用于多模态叙事语篇分析的　可行性。同时也发现该框架存在不足，需要进一步修改和补充。　关键词：视觉叙事；多模态叙事语篇；几米；绘本　中图分类号：Ｈ０３０　文献标识码：Ａ　文章编号：１６７４－３４４Ｘ（２０１６）１２－０００５－０６　

一、

引言　

随着图像时代的到来，图像作为重要的符号　资源，与文字一起构建意义，并创造出新颖的审美　体验。在由图文组成的多模态语篇中，图像如何　构建意义也成为系统功能语言学研究的热点。目　前的研究分为三个方面：一是理论框架的建立，即　通过语料分析提出多模态语篇分析的框架，如　Ｋｒｅｓｓ和ｖａｎ　Ｌｅｅｕｗｅｎ的视觉语法，系统地阐释了　图像对于意义表达的重要作用　儿　，为视觉语篇　的图像意义构建提供了系统的理论分析工具，并　奠定了多模态语篇分析作为一门学科的独立地　位。但是视觉语法并不是万能的，Ｐａｉｎｔｅｒ，Ｍａｒｔｉｎ　和Ｕｎｓｗｏｒｔｈ通过对儿童图画书的语料分析提出　新的视觉叙事分析框架　Ｊ１的，进一步发展了传统　的视觉语法；二是实证研究，即使用语料库或实验　的方法验证一些观点，例如，Ｂａｔｅｍａｎ使用多模态　语料库对图文版式做了实证研究【３Ｊ２３　，Ｈｏｌｓａｎｏｖａ　通过实验研究了视觉交流和多模态媒介的融　合　；三是跨学科研究，例如，孙毅从社会历　史的角度对世博会会徽这一特殊模态进行了解　读　Ｉ４　；张德禄和穆志刚提出了多模态文体学　理论框架　Ｊ１～；陈瑜敏从教学的角度研究了多模　态外语教材　７ｊ　；冯德正和邢春燕从认知隐喻　的视角分析了空间隐喻在多模态语篇中的意义构　建【ｓＪ５　。综合国内外多模态语篇研究现状，发　现国内对多模态叙事语篇的关注不够，国外多模　态语篇分析理论的分析对象也需要拓展到更复杂　的多模态叙事语篇。基于此，本文将Ｐａｉｎｔｅｒ等提　出的视觉叙事分析框架应用到多模态叙事语篇，　根据语料分析对该分析框架进行验证和补充。　二、理论基础——视觉叙事分析框架　Ｐａｉｎｔｅｒ，Ｍａｒｔｉｎ和Ｕｎｓｗｏｒｔｈ提出的视觉叙事　框架对视觉语法做了大量的修正和补充，体现在　以下两个方面：一是把研究对象从单个图像拓展　到多个图像组成的复杂的多模态语篇，二是在原　有的基础上把图像与读者的互动关系纳入到视觉　

收稿日期：２０１６—１１—０１　基金项目：安徽农业大学质量工程大规模在线课程：科技英语写作（２０１５—１１）　作者简介：刘晓华（１９８１一），女，安徽合肥人，讲师，硕士，研究方向为功能文体学、语篇分析。　

・５・　叙事分析框架里，探讨多模态语篇的人际意义、概　念意义和组篇意义的生成。冈此，这个视觉叙事　分析框架可以成为多模态叙事语篇分析的理论Ｔ　具。陔框架主要南以下＿二个方面构成：　（一）人际意义构建　Ｐａｉｎｔｅｒ等认为视觉图像与语言的不同在于　视觉图像不能明确地建立提供和求取关系。而人　际意义也不单纯只有提供和求取两种简单的关　系　ｌＩ　。因此，他们在研究视觉语篇的人际意义　构建时，提｝｛Ｊ了新的聚焦系统、情感系统和氛同系　统，来动态地考察图像与读者之问的互动关系，图　像叙事的情感介入和颜色作为视觉符号具备多模　态意义构建的功能。　（二）概念意义构建　传统的视觉语法以单个图像为单位研究视觉　过程的构建。Ｐａｉｎｔｅｒ等扩展了这个概念意义分　析框架。他们提ｆ“了三个子框架，即人物表征与　人物关系，事件关系和背景关系来进一步结构图　像在多模态语篇的概念意义生成‘　。，对应了系　统功能语言学中的参与者、过程和环境这三个　要素　、　（三）组篇意义构建　传统的视觉语法把信息值、取景和显著性作　为分析图像构成意义的三个维度。Ｐａｉｎｔｅｒ等他　们把信息值改为版面布局关系，并提出了叙事语　篇中冈像与文字的布局框架０　１１救，区分了融合与　互补的两种图文关系，进一步修正了传统视觉　语法　、　下文以儿米绘本为语料，根据Ｐａｉｎｔｅｒ等的视　觉叙事分析框架，分析图像在多模态叙事语篇中　如何构建人际意义、概念意义和组篇意义，归纳图　像构建多模态意义的特点，并指出该框架存在的　不足　三、多模态叙事语篇人际意义的构建　１．聚焦系统　Ｐａｉｎｔｅｒ等提｝｝Ｉ的新的聚焦系统主要研究图　像中的人物与读者之间的互动关系，以及图像为　读者提供了什么样的视角Ｉ　２１２９。而按照视角的标　准，图像可分为有中介和无中介两种。冯德正用　电影术语把无中介解释为客观视角，把有中介解　释为主观视角，而主观视角又分为直视主观视角　和引发主观视角　。　主观视角可以让图像与　读者之间产生互动关系，让读者参与到故事的叙　・６・　事之中，引起共鸣、因此，按照这一框架来分析多　模态语篇视觉叙事的视角，能够更加科学地解构　人际意义的产生过程。　在几米的绘本中，作者采川主观视角设计图　像，让图像中的人物与渎者产生互动关系，让图像　配合文字构建更加丰富的人际意义、例如，在　《时光电影院》里，作者　文字以第一人称叙述了　一个小女孩的成长故事，她从／Ｊ、失去母亲，想念母　亲时父亲就会带她去电影院寻找与母亲有关的记　忆　在设计视觉图像时，作者主要选取了主观视　角，ｌ￣／］／Ｊ＇女孩的视角，再现了许多与电影院有关的　场景，表达“思念”这一情感　如图ｌ，图像以主人　公的主观视角，呈现了一幕电影片段，首先构建了　叙事语篇的空间，用母亲、拥抱、女儿的罔素组合　成图式，构建了更深层的意义，即小女孩思念母　亲，以看母女亲情的电影抚慰“思念”之情。让读　者身临其境，触景生情。如罔２，作者把电影海　报，女孩，洪水组成图像，一是构建了新的空间，推　进了情节的叙事；二是使用主观视角，叙述女孩思　念母亲，涉水去电影院，增加视觉叙事的感染力　

图Ｉ　图２　２．情感系统　Ｋｒｅｓｓ和ｖａｉｌ　Ｌｅｅｕｗｅｎ的视觉语法理论的人　际意义只讨论了接触、距离、视角和色彩…舯，忽　略了读者的情感介入，以及作者、作品和读者之间　的互动关系　，冈此Ｐａｉｎｔｅｒ等在这个基础上提　出了情感系统的概念，也就是说，罔像的表征不仅　仅构建情态意义，还构建了读者与图像人物之间　的情感关系　＿】。。这种情感介入分为介入和异化　两种。介入是指图像人物与读者之间存在情感关　系，异化是指读者对图像没有情感投入，只是以客　观评价的态度阅读罔像。根据情感介入的程度不　同，介入分为鉴赏、移情和个体三类。鉴赏类指的　是最简单最抽象的图像；移情类指的是类化风格　的图像，能够表达人物情感，但不确定具体人物；　个体类是自然风格的图像，人物有具体的表征。　因此，运用图像增加读者的情感介入程度，是视觉　语篇创作者在视觉设计时常用的语篇策略。　在几米的绘本中，根据表达主题的不同，作者　主要选取了移情和个体这两类网像建立读者和图　像人物的情感关系。例如，在《我不是完美小孩》　

一书中，几米以一个三年级女生郝完美在学习、生　活，以及和大人相处中所遇到的网惑与烦恼来类　化在成长中不得不放弃完美的所有人。作者在没　计视觉图像时重在表达人物情感，故意隐藏了人　物的具体表征，以引起读者的情感介入，产生共　鸣。如图３，作者用一个没有具体表征的小孩形　象类比所有的小孩，如图４，作者刻意隐去了图中　人物的具体特征，来类比所有人都是不完美的。　图３　但同时在叙述小女孩郝完美的成长烦恼时，　在视觉图像设汁上义使用了个体类图像。如图　５，作者设计了一个有具体特征的人物形象作为主　人公的身份设定，同时这个人物又具有＝三＝年级小　女生的普遍特征。图像人物既具有辨识度，叙述　的主题义具有普遍意义。这样，凑者更易于将自　己与叙事语篇的人物联系起来，语篇中的人物所　图４　遭遇的成长烦恼实际上是所有人在成长过程中部　可能会遇到的问题。　ｊ　懈忡　豢§童　篙鬻＿≮　神椭　图５　３．氛围系统　传统视觉语法把颜色当做一种符号，并未研　究其人际意义。在这个基础上，Ｐａｉｎｔｅｒ等人把颜　色作为人际意义资源，认为颜色在视觉叙事巾可　以构建氛围，即语篇的情感基调，因此颜色被纳入　到新的视觉叙事框架里　。该框架认为黑白色　不能营造情感基调，并把彩色图像按照色度、色调　和自然度三个维度进行划分。高色度，即为明亮　鲜艳的颜色，营造明媚的、充满活力的情感；而低　色度，是指表达阴郁、悲伤的灰暗色彩。色调分为　代表热情的暖色调和代表冷漠的冷色调。自然度　指的是颜色的丰富程度，颜色越丰富越亲切；反　之，颜色越单一越疏远　冈此，颜色可以成为多模　态语篇作者视觉创作时的手段，创作者可以选择　不同的色度、色调和自然度构建语篇的情感氛罔，　感染读者。颜色作为视觉符号，代替语言实现人　际意义，在几米的作品中得到极大的体现。几米　运用颜色符号来设定故事的情感基调，渲染人物　情绪，用冷暖色调对比叙述人物情绪起伏，带动情　节发展，以实现视觉叙事。　例如，图６，在《向左走向右走》巾作者始终　用低色度来表达男女主人公总是一再错过彼此的　惆怅，展现现代都市人在快节奏的生活巾寂寞的　

．一７．