动态多模态语篇中的图文关系_易兴霞
多模态语篇中语义连贯对读者加工理解的影响——一项对中国英语培训广告的眼动实验
图式 等 。这些研 究 多 从 理论 层 面 进行 ， 而 缺乏
实证 数据 的支持 。
１ ． 文 献 综 述
总体来 看 ， 语 言学 界 注重 研 究 语 篇 连 贯 的构
成 因素 ， 而 心理学 界 关 注 的 是读 者 的 阅读行 为 和
心理 。
读 者 的认知加 工过 程无 法靠语 言 学研究 方法
均注视时 间也呈显著 负相关。这说 明 ： １ ） 多模 态语篇理 解具有整体性 ， 不同模 态的符 号的理解有赖 于整体的 理解 ； ２ ） 语篇连贯是动态的 ， 是读者在 阅读过程 中构建起来的。
关键词 ： 多模 态语 篇 ； 连贯 ； 加工 ； 眼 动 实验 ； 中 国 英语 培 训 广告 中图分类号 ： Ｈ ０ ３ ０ 文献 标 志码 ： Ａ 文章编号 ： １ ６ ７ ３ — ８ ０ ３ ９ （ ２ ０ １ ４ ） ０ ２ － ０ ０ ５ ０ — ０ ７
题 的发现 一方 面可 以为语 言学 的连贯 理论 提供 实
收 稿 日期 ： ２ ０ １ ３ － １ ０ － ０ ６
基金项 目： 中国科 学院研 究生院院长基金项 目 “ 多模 态视 角下的身份认 同研 究” （ Ｙ ２ ５ １ ０ Ｚ Ｑ Ｎ ０ ０ ） 作者简介 ： 孟艳 丽（ １ ９ ８ ２ 一） ， 女， 河 南孟津人 ， 文学博士 ， 中国科 学院大学外语 系讲 师 ； 李 晶（ １ ９ ７ ８ 一） ， 女， 河北邯郸
“看”教材中的多模态语篇在初中英语阅读课中的运用
ENGLISH ON CAMPUS2023年28期总第676期“看”教材中的多模态语篇在初中英语阅读课中的运用摘 要：《义务教育英语课程标准（2022年版）》在听、说、读、写四个语言技能之外新增了一个“看”技能。
教材中的多模态语篇也越来越受关注，当多模态和文字相结合时，模态之间互相协作，共同建构意义。
本文结合教学实践，探讨了如何科学合理地设计教学活动，引导学生“看”多模态语篇，不仅要学会观察感知，更要投入积极的思考、分析、推断和评价，不断挖掘多模态语篇在意义建构中重要性，发挥“看”的理解性和表达性功能，最终实现导趣、意义共建、口语表达、思维提升、学科育人等目的。
关键词：语言技能“看”；多模态语篇；阅读教学作者简介：曹升，南京师范大学附属中学新城初级中学。
《义务教育英语课程标准（2022年版）》在语言技能中新增了“看”技能，形成“听、说、读、写、看”五个技能。
“看”是指“利用多模态语篇中的图形、表格、动画、符号，以及视频等理解意义的技能”。
在英语课程标准中，“看”的英文释义是“view”，这也意味着“看”不仅要观察多模态资源的表面信息，还要投入积极的思考、分析、推断和评价。
在初中英语教材中充满着丰富的多模态语篇，而自如地使用“看”技能，可以弥补文字的不足，帮助学生更加透彻地理解细节，内化文本，还可以帮助学生进行深度阅读，稳抓主题意义，培养高阶思维，提升文化素养和创造能力。
然而，在实际教学中，大多数教师或是错误地认为语篇中的多模态资源会分散学生的注意力；亦或是狭隘地认为多模态资源仅具有抓人眼球、激发兴趣的作用，没能深度挖掘其他作用。
殊不知，通过科学合理的教学设计，引导学生以积极的态度去“看”多模态语篇，可以起到事半功倍的效果。
一、多模态理论“看”作为一种新的语言技能，它的理论支撑主要源自多模态理论。
该理论主要用于描述人类交流的现象。
作为一种交际现象，多模态指文本交际或口语交际中的不同的符号资源或模式的组合，比如图片、表格、言语、视频、动画、手势等，这些组合与文字或语言本身一起共同进行意义建构，而文字代表的含义与其他模态代表的含义也各有侧重。
论动态多模态话语模态之间的协同性--以Iphone 6 S产品发布会3D Touch功能语篇为例
论动态多模态话语模态之间的协同性--以Iphone 6 S产品发布会3D Touch功能语篇为例刘福英【摘要】Based on the synthetic theoretical framework for multimodal discourse analysis by Zhang Delu,taking a discourse of 11-minutes introduction to 3D Touch at Iphone 6s Product launch conference as an example,this paper first analyzes the multimodal discourse from both points of view: the context of culture and the context of situation,then probes into how the modes of vision, audition and tactus interplay and Synergize with each other to the contribution of an integrated meaning,aiming to offer more genres to the dynamic multimodal discourse research.%文章基于张德禄的动态多模态理论框架，以2015年9月10日苹果产品发布会上时长为11分钟Iphone 6 S手机3D Touch功能语篇为例，从文化语境和情景语境层面上展开对语料多模态话语分析。
在此基础上，文章探究该语篇中视觉、听觉和触觉三种模态是如何相互配合、相互协同达到整体意义的构建，以期对动态多模态语篇研究增加更为丰富的体裁实例。
【期刊名称】《贺州学院学报》【年(卷),期】2016(032)004【总页数】5页(P43-47)【关键词】3D Touch;产品发布会;动态多模态话语;协同【作者】刘福英【作者单位】广东轻工职业技术学院，广东广州 510300【正文语种】中文【中图分类】H0-05信息技术、数字技术的发展，交际逐渐多模态化。
以多模态话语分析角度看图像的视觉语法中的人际意义
以多模态话语分析角度看图像的视觉语法中的人际意义随着科学技术的不断发展，我们已经进入了一个信息时代。
信息的传递方式不仅仅只是通过单模态进行传递，现在更多的信息是以多模态的方式进行传递。
在过去，多模态话语分析只是关注于文本分析，而忽视了电影、图片以及其他多模态事物的分析。
Kress和van Leeuwen（1996）提出：图像也属于话语的范畴，并且也可以用多模态话语分析的理论进行分析。
因为在一个图像中所展示的模态数量往往大于一，因此，用分析文本和单模态的话语分析理论已经无法满足分析图像的模态话语。
根据韩立德的系统功能语言学，Kress和Van Leeuwen建立了视觉语法，这一语法系统可以运用于多模态话语的分析中。
根据视觉语法，多模态话语拥有三层意义，即：概念意义、人际意义与语篇意义。
这对应于语篇的三大元功能，即：概念功能、人际功能与语篇功能。
本文将主要分析多模态的人际功能出发，探讨在人际意义中，接触、社会距离、观点以及模态四个概念是如何共同来完成人际意义。
标签：多模态话语分析；视觉语法；人际意义自20世纪起，话语分析发展取得飞速的进步，并且在研究人类话语意义系统中也扮演着越来越重要的角色。
但在此时，我们的研究以多模态话语文本内容为研究重点。
随着电脑科技的发展，话语的组成成分也发生了巨大的改变，语言已经不再是交流的唯一方式，人们现在趋向于用语言与非语言同时进行交流，比如：声音、手势、音乐、颜色和动画等。
这一些交流手段都可以定义为多模态话语。
因此，只局限于书面话语分析已经不足以应对现在的多模态环境。
现在的话语分析已经从单模态的方向转变为多模态的方向。
自1990年起，我们把那些由两个或两个以上的社会符号模式来构建意义的话语称之为多模态话语。
在韩立德的系统功能语法的基础上，Kress和Van Leeuwen提出了视觉语法，作为视觉图像的分析理论框架。
他们指出，视觉结构不仅仅只是一个形式，它更可以含有意义，就如我们的语言意义。
从关联理论探究多模态语篇的翻译策略
从关联理论探究多模态语篇的翻译策略引言多模态语篇是指在语言文字之外还包括图片、图表、声音、视频等多种表达方式的语言表达形式。
在当今信息时代，多模态语篇已经成为人们获取信息和传递信息的主要方式之一。
多模态语篇的翻译工作却面临着挑战。
因为多模态语篇不仅包括了语言文字，还包括了其他形式的符号表达，如何有效地传达原文的信息成为了翻译工作者需要解决的问题。
本文将从关联理论的角度探究多模态语篇的翻译策略，希望能够为多模态语篇的翻译提供一些启示。
一、关联理论简介关联理论是20世纪70年代由乔治·葛雷斯、丹尼尔·盖曼等人提出的，是由认知语言学、认知心理学和交际学相结合的语篇分析理论。
它认为语篇中的各个元素之间都是通过一定的关联方式相互联系的，而这种关联关系是由语篇中的上下文和语境共同决定的。
关联理论认为，语篇的构建和理解不仅仅依赖于语言文字本身，还受到了上下文和语境等因素的影响。
在多模态语篇中，除了语言文字以外，还包括了图片、图表、声音、视频等多种形式的符号表达，而这些符号之间既有直接的联系，又受到了语境的影响。
关联理论为翻译多模态语篇提供了理论基础。
二、多模态语篇的特点多模态语篇具有以下几个特点：1. 丰富的表达形式：多模态语篇不仅包括语言文字，还包括图片、图表、声音、视频等多种表达形式，丰富多样。
2. 多种符号的互动：多模态语篇中不同形式的符号之间存在着复杂的互动关系，彼此之间相互补充、搭配，共同传达信息。
3. 跨越语言和文化的障碍：多模态语篇的信息传达方式不仅局限于语言文字，还包括了图片、图表等形式，能够有效地跨越语言和文化的障碍，具有较强的传播力和表现力。
4. 需要综合考量：翻译多模态语篇需要考虑各种符号的表达方式和意义，并综合考量其在特定语境中的作用和影响，因此具有一定的复杂性和难度。
这些特点使得多模态语篇的翻译工作相对复杂，翻译策略也需要针对不同的表达形式和语境做出相应的调整和处理。
ESP书面语篇的多模态及其图文关系
ESP书面语篇的多模态及其图文关系∗
侯雁慧
【期刊名称】《桂林航天工业学院学报》
【年(卷),期】2015(000)002
【摘 要】在语言文字和图片组成的 ESP书面语篇中，语类因其交际意图和受众群
体的不同而呈现不同的图文配置，反过来，图类的选择及图文关系能够说明或暗示
主题。对 ESP 多模态语篇图文关系的研究能够帮助受众预测该语篇的语类框架及
其交际目的，提高受众的多模态读写能力。
【总页数】4页(P263-266)
【作 者】侯雁慧
【作者单位】辽宁对外经贸学院 外国语学院，辽宁 大连 116052
【正文语种】中 文
【中图分类】H319
【相关文献】
1.多模态语篇里图文关系的解构及其模式研究——关于图文关系的三种理论评述
[J], 曾方本
2.多模态语篇图像的概念意义与图文关系——当代教科书的多模态语篇分析 [J],
陈瑜敏;王红阳
3.ESP书面语篇的多模态及其图文关系 [J], 侯雁慧;
4.动态多模态教学语篇图文关系研究综述 [J], 章洋
5.多模态英语语篇图文关系识解能力调查研究 [J], 王佳娣
因版权原因，仅展示原文概要，查看原文内容请购买
从视觉设计语法看广告语篇中的图文互动
从视觉设计语法看广告语篇中的图文互动魏景春【摘要】视觉设计语法以往的多模态话语分析较多关注图文关系,忽视了图像和文字的叙事过程.以广告语篇为例,以Kress和van Leeuwen建立的视觉设计语法为主要理论框架,分析语篇中图文互动的不同叙事过程.首先回顾了广告语篇叙事中的语言分析及其局限,其次论述了视觉设计语法分析模型,最后考察了法航宣传广告叙事中的图文互动.结果显示,一方面,图文互动的不同叙事过程有利于突显多模态语篇的意识形态;另一方面,视觉设计语法有助于理解多模态互动中语篇的意义、生成的机制和意义接受的过程.【期刊名称】《惠州学院学报》【年(卷),期】2016(036)004【总页数】5页(P110-114)【关键词】图文互动;广告语篇;叙事过程【作者】魏景春【作者单位】武夷学院人文与教师教育学院,福建武夷山 354300【正文语种】中文【中图分类】G230随着媒体与传播技术的发展，人们越来越关注语篇中非语言符号的意义生成机制。
陈平原在论及图文书的崛起时称，“过去常说‘图文并茂’，看重的是图文书的外在形式；其实，更重要的是图像与文字之间，是否能够形成‘互动’关系［1］”。
以往的广告语篇研究的焦点集中在语言分析上，而视觉设计语法使图文并茂的语篇摆脱了这种局限，研究者便可以考察不同的图文叙事。
张德禄认为，“一种模态不足以表达清楚交际者的意义，从而利用另一者来进行强化、补充、调节、协同，达到更加充分，或者尽量充分表达意义，让听话者理解话语的目的［2］”。
广告语篇中图像和语言文本两个不同的符号系统有各自的表达体系。
因此，文章将以Kress和van Leeuwen建立的视觉设计语法为主要理论框架，分析广告语篇中图文互动的叙事过程，考察多模态广告如何通过不同的叙事取得最佳的说服效果。
20世纪60年代，叙事学成为独立的学科在法国诞生，为小说研究提供了重要的视角。
叙事学逐渐成为一门研究各种叙事文本的综合学科，研究对象包括：叙事诗、法律叙事、戏剧叙事、绘画叙事、广告叙事等。
“认知—功能”综合交织的多模态批评话语分析框架
[收稿日期]2023-02-14[基金项目]教育部人文社会科学研究青年基金项目 基于语料库的 人类命运共同体 多模态视像化建构研究 (23YJCZH244);山西省哲学社会科学规划课题 多模态视阈下山西古建筑英译研究 (2020YJ050);山西省教育科学 十四五 规划项目 智慧学习环境中英语自主学习能力培养的三维教学模式研究 (GH -220136)㊂[作者简介]席蕊(1990 ),女,山西农业大学外语系讲师㊂2023年第3期总第124期北京化工大学学报(社会科学版)Journal of Beijing University of Chemical Technology(Social Sciences Edition)No.3.2023Total No.124认知 功能 综合交织的多模态批评话语分析框架席蕊(山西农业大学外语系,山西晋中030801)㊀㊀[摘㊀要]批评话语分析的多模态发展态势促使 多模态批评话语分析 成为新兴的研究领域㊂基于认知语言学和功能语言学在多模态批评话语分析领域的合作对话基础,构建一个由三个系统(语言符号系统㊁非语言符号系统以及图文互动系统)㊁两种研究路径(认知语言学和功能语言学)及其次级理论综合交织构成的 认知 功能 多模态批评话语分析框架,并以2021年‘经济学人“涉华封面多模态语篇为分析语料,证实功能语言学和认知语言学同频共振揭示语篇背后隐匿的权力关系和意识形态意义的可行性和有效性,为多模态批评话语分析提供系统的方法论指导㊂㊀㊀[关键词]多模态批评话语分析;系统功能语言学;认知语言学; 认知 功能 多模态批评话语分析框架㊀㊀[中图分类号]H030㊀㊀[文献标识码]A [文章编号]1671-6639(2023)03-0091-10㊀㊀滥觞于20世纪80年代初的 批评话语分析(Critical Discourse Analysis,CDA),通过分析语篇的语言特点和它们生成的社会历史背景来解构语言结构背后的意识形态意义,进而揭示语言㊁权力㊁意识形态之间复杂的关系[1]6㊂语言符号一直被CDA 经典论视为意识形态的唯一载体㊂但是,沃洛西诺夫(Volosinov)强调 意识形态贯穿整个符号学领域或全部表义系统,凡是有符号的地方就有意识形态存在㊂ [2]费尔克劳(Fairclough)在他的CDA 理论中也明确提出: 将话语这一概念扩展到涵盖诸如图像等其他符号系统以及图文结合的语篇是非常合适的㊂ [3]4可见,非语言符号也起着重要的意义建构和表意作用,具有意识形态的意义潜势[4]㊂因此,非语言符号和语言符号一样,日益成为批评分析的对象㊂CDA 的 多模态 转向突破了以单一语言模态为载体的传统文本分析形式,将非语言符号纳入分析框架,催生了多模态批评话语分析(Multimodal Critical DiscourseAnalysis,MCDA)㊂自2012年David Machin 和Andrea Mayr 首次提出 多模态批评话语分析 的概念以来,我国学者就MCDA 的生成理据㊁理论基础㊁核心概念㊁研究视角和研究领域等开展了广泛研究(如郜丽娜㊁齐丽[5];田海龙㊁潘艳艳[6];林晶[7];潘艳艳[8];张坤坤[9]等)㊂作为一种工具语言学,MCDA 对各种 符号资源 承载的意识形态的揭示要建立在对多模态符号资源的分析解构基础之上[8]36,完善的分析框架和方法论指导是MCDA 走向成熟和独立19北京化工大学学报(社会科学版)2023年第3期的必经之路㊂在此方面,潘艳艳作了有益的探索,提出了以功能语言学和认知语言学为基础的综合分析视角,但没有进一步形成相对系统的具有普适性的分析框架以指导MCDA实践㊂本研究在分析功能语言学和认知语言学整合的基础上,借鉴现有研究,构建一个由三个系统㊁两种研究路径及其次级理论综合交织构成的 认知 功能 多模态批评话语分析框架,为MCDA提供系统的方法论指导,并以7篇2021年‘经济学人“涉华封面多模态语篇为语料,证实功能语言学和认知语言学同频共振以揭示语篇背后隐匿的权力关系和意识形态意义的可行性和有效性,验证此分析框架的阐释力,促进功能语言学和认知语言学在MCDA领域的交叉融合并推动MCDA的多维度和多路径研究㊂一、多模态批评话语分析的两种研究路径㊀㊀CDA发展至今,具有显著的跨学科性,融合了多种理论,呈现出多元化的研究路径㊂目前MCDA 的研究路径主要有两条支线:基于系统功能语言学的研究路径和基于认知语言学的研究路径㊂(一)基于系统功能语言学的研究路径CDA把语言看作是一个多功能系统,其方法论主要建立在以韩礼德(Halliday)为代表的系统功能语言学(Systemic-Functional Linguistics,SFL)之上㊂在语言模态分析层面,CDA主要采用SFL 从词汇㊁句子㊁语法㊁衔接和语篇结构等层面考察语篇的 分类系统 及物系统 情态系统 转换系统 和 语篇连贯性 等,以解构内嵌其中的 显性 隐形 权力关系及语言结构背后的意识形态意义㊂在非语言模态分析层面,主要是以冈瑟㊃克瑞斯(Kress Gunther)和特奥㊃范勒文(Theo van Leeuwen)在SFL基础上建构的视觉语法(Visual Grammar)为分析工具㊂视觉语法将SFL关于语言的三大元功能发展为图像建构的再现意义㊁互动意义与构图意义,旨在发现各种符号模态的普遍规律㊂同CDA一样,视觉语法致力于揭示交际行为中的权力和意识形态[10]㊂田海龙和张向静以视觉语法为理论基础,通过分析中英媒体对同一事件的多模态报道,指出图像不是简单的意义载体,而是成为媒体表达意识形态的一种方式和参与社会实践的手段,成为其建立㊁保持或改变权力关系的语篇实践[11]㊂(二)基于认知语言学的研究路径随着CDA的发展,越来越多的学者认识到了SFL在CDA应用中的不足:SFL仅关注语言的社会功能,忽略了心理认知在语言和社会之间的中介作用[12]㊂著名语言学家保罗㊃奇尔顿(Paul Chilton)认为,从语篇的角度研究社会和政治活动,就要运用现有的认知语言学研究成果,研究人运用语篇实施这些活动的内在认知机制,为语言结构和社会结构的联系提供联通媒介[13]㊂CDA和认知语言学(Cognitive Linguistics,CL)的结合形成了认知批评研究路径㊂目前,在非语言模态层面,基于认知语言学的研究路径主要开展多模态批评隐喻分析和批评转喻分析㊂Moore指出, 隐喻涉及的是对已有意义的一种召唤性使用 [14]㊂创作者通过意义选择的召唤性使用,试图传递一定的思想㊁观点和态度,以建构社会现实㊂多模态隐喻中源域的选择能够突显某些特征,抑制另一些特征,从而体现使用者的立场和态度,传达意识形态意义㊂同多模态隐喻一样,多模态转喻的 侧重 背景 识解操作能够表达㊁凸显某种态度,是塑造意识形态的有效手段[15]㊂因此,批评隐喻分析和批评转喻分析及其多模态转向已成为CDA的重要研究视角㊂在语言模态分析层面,主要运用彼得㊃卡普(Piotr Cap)提出的趋近化理论(Proximization Theory),该理论由空间趋近化㊁时间趋近化和价值趋近化三维度组成[16]㊂空间趋近化指的是话语空间的外部实体(outside-deictic-center,ODCs)在物理空间上向内部实体(inside-deictic-center,IDCs)入侵的识解过程㊂空间距离不仅可以指具象地理上的距离,也可以指抽象政治或意识形态上的差异㊂时间趋近化是以 现在 为时间轴中心,过去事件或未来威胁向现在逼近的识解过程㊂价值趋近化是IDCs与ODCs之间的内在价值观和意识形态的矛盾识解过程,强调抽象的矛盾会引发冲突实践的高度可能性㊂综上所述,无论是在语言模态还是非语言模292023年第3期席蕊: 认知 功能 综合交织的多模态批评话语分析框架态分析层面,CL 和SFL 的理论成果都可为MCDA 提供有效的分析工具箱(图1)㊂但是目前绝大多数研究者的分析都是基于CL 或SFL 的 析取选择 ,缺乏二者的 合取选择 ,造成了两种研究路径非此即彼的二营孤散㊂此外,有关多模态语篇中语言模态和非语言模态之间如何协同互动表征意识形态意义的研究欠缺㊂这些研究局限导致MCDA 的语篇分析停留在浅层单个理论方法的借鉴套用,缺乏深度整合两种路径的系统方法论指导和分析框架㊂图1㊀ 认知 功能 分析工具箱二㊁认知语言学和功能语言学在多模态批评话语分析中的整合对话基础㊀㊀MCDA 的发展吁求系统的方法论指导和分析框架㊂现有研究已证实了CL 和SFL 分别作为MCDA 分析工具的有效性,但缺乏二者的整合对话㊂事实上,从语言 社会联通㊁多模态分析㊁意识形态解构和认知理据等角度来看,二者具有广阔的合作基础㊂首先,二者都强调语言外在论,将语言与社会现实联通㊂CL 的一个重要观点就是 现实 认知 语言 三者存在的依次决定的序列关系:认知是现实与语言的中介,现实通过认知这个中介对语言发生作用,语言对认知和现实具有一定的反作用[17]㊂因此,考察现实语境中语言的生成和理解,离不开认知过程㊂认知可以解构现实对语言的塑造及语言对现实的再现和反作用㊂SFL 主张语言活动都是在一定的语境中发生的,由此,要在文化语境和情景语境中考察语言的运用,将语言和社会现实看作密不可分的统一体㊂可见,二者都有助于联通语言结构和社会结构㊂其次,二者都关注语言的意识形态意义㊂SFL 把语言看作是具有 意义潜势 的选择系统,一切为意义所做的选择都以意识形态为动因,语言表达具有意识形态的功能㊂CL 主要研究话语和句子是如何通过概念映射及其所构建的心理空间和概念整合网络来表达我们的思想,包括隐含的意识形态意义等㊂此外,SFL 和CL 的理论成果不仅可用于语言模态分析,对非语言模态分析同样具有阐释力㊂最后,CL 和SFL 是理据和表征的关系:CL 为SFL 提供认知理据,SFL 是CL 的语篇实践表征㊂SFL 与CL 深厚的对话基础使二者在MCDA 中互为补充,相得益彰㊂因此,从话语㊁批评和多模态三个维度综合考量,构建 认知 功能 综合交织的多模态批评话语分析框架是MCDA 发展的必然趋势,能最大程度地提升MCDA 的效能和力度㊂三㊁ 认知 功能 综合交织的多模态批评话语分析框架㊀㊀在整合CL 和SFL 研究路径的基础上,我们构建了一个由三个系统(语言符号系统㊁非语言符号系统㊁图文互动系统)㊁两种研究路径(功能语言学和认知语言学)及其次级理论(趋近化理论㊁多模39北京化工大学学报(社会科学版)2023年第3期态隐转喻㊁视觉语法㊁系统功能语法等)构成的 认知 功能 多模态批评话语分析框架(图2)㊂如图所示,该框架首先以SFL 和CL 的理论成果为分析工具 描写 语篇特征:不仅对语言和非语言模态分别进行细致考察,而且分析二者协调互动对意识形态意义的指向㊂对语言符号系统㊁非语言符号系统㊁图文互动系统三个维度的分析可以交织运用SFL 和CL 的相关理论:例如,语言符号系统的分析运用SFL 详细考察语篇的 分类系统 及物系统 情态系统 转换系统 及 主位推进和信息流动模式 等;非语言符号系统的分析运用CL 考察语篇建构的多模态隐喻㊁多模态转喻和多模态隐转喻㊂或者,语言符号系统的分析运用CL 的趋近化理论与语言结构的意象图示,分析语言结构的 空间趋近化 时间趋近化 价值趋近化 及因果㊁主被动关系等;非语言符号系统的分析运用视觉语法分析图片的 再现意义 互动意义 构图意义 ㊂也可以基于二者的融合基础,同时综合运用两种研究路径㊂例如,在语言符号系统分析方面,系统功能与趋近化理论有广阔的合作张力: 分类系统 的 争议性纵聚合关系语言项 通过成对(组)词的运用以标志IDC 和ODC 两大阵营并构建意识形态和价值观的对峙; 及物系统 的 物质过程 动态再现ODC 向IDC 逼近并施加威胁和破坏的负面行为; 及物系统 的 存在过程 和 心理过程 则表达IDC 对ODC 行为的心理反应和应对措施; 情态系统 一方面采用 时态塑造ODC 对IDC 的持续威胁,另一方面通过 语气 直接体现IDC 对ODC 的态度; 主位推进和信息流动 构建的 力量 动态意象图式 强调ODC主动逼近和IDC 被动反抗的因果关系㊂在非语言符号系统分析方面,图像的 再现意义 互动意义 和 构图意义 具备隐喻潜势: 再现意义 通过构成要素的聚合选择和替代,分别构建源域和目标域,将源域的负面属性特征转移到目标域上;图片的具体过程代替抽象过程构建动作过程隐喻,强调动作行为的实施;分别由拍摄位置视角和空间位置构建的 互动意义 和 构图意义 形成方位隐喻,突显不平等的权势关系;多模态隐转喻通过多重隐喻和转喻链的互动,形成连贯性和系统性的消极属性映射,刻画负面形象㊂在图文互动系统分析方面,语言符号和非语言符号系统协同互补,图文通过 说明 锚定 和 接力 关系分别构建跨模态映射㊁同模态映射和多模态映射的文字 图像隐喻,进一步展现和刻画权利主体的行径及其影响㊂再次,基于对语篇三个系统结构的细致 描写 ,描述语篇的总体特征㊂最后,结合社会语境,考察多模态语篇形式结构背后隐藏的意识形态意义,进而揭示语言㊁权力和意识形态之间的复杂关系,完成多模态批评话语分析㊂需要指出的是,从理论上讲,语篇的每种结构和模态都可能具有意识形态意义㊂在实践中,对每个形式结构的细致考察是没有必要的,要根据考察对象的语类和主题特征,确立考察范围,在分析工具箱中合理选择和组合考察工具㊂图2㊀ 认知 功能 综合交织的多模态批评话语分析框架492023年第3期席蕊: 认知 功能 综合交织的多模态批评话语分析框架四㊁个案应用研究 以2021年‘经济学人“涉华封面语篇为语料㊀㊀收集从2021年1月2日到2021年12月20日共45期‘经济学人“封面语篇中的7篇涉华语篇(图4 图10)为语料,运用 认知 功能 综合交织的多模态批评话语分析框架考察‘经济学人“通过语言符号㊁非语言符号及图文互动系统塑造的中国形象,解构符号资源承载的 显性 和 隐形 的意识形态意义,揭示其对中国的态度倾向㊂图3㊀多模态批评隐转喻互动图4㊀The future ofe-commerce图5㊀The battle for China sbackyard图6㊀The brutal reality of dealing with China(一)非语言符号系统分析1.多模态批评隐转喻Goossens 把隐喻与转喻的互动称为隐转喻[18], 每个从源域投射到目标域的特征或属性必图7㊀The most dangerous place onEarth图8㊀The new geopolitics of bigbusiness图9㊀Power andparanoia图10㊀China s attack on tech须首先与源域建立转喻性连接 [19]㊂对相同源域的连贯性和系统性选择体现了使用者的立场和态度,具有意识形态特征[20]㊂在涉华封面语篇的7幅图片中,可识别出3种指称中国的 根源域 ,分别是中国红㊁五星红旗和龙,属于典型的文化转喻㊂通过发挥转喻的身份指称功能将 红色 和 龙 在西方文化中的消极意义映射到中国的国家特征上,经由隐喻塑造负面的中国形象,形成隐转喻互动(图3)㊂ 红色 是中华民族最喜爱的颜色,是中国人的文化图腾,已成为中国的一个标签㊂但在西方文化中,红色与 火 和 血 相关联,是一个代表着血腥㊁暴力等负面含义的颜色㊂‘经济学人“封面往往用高情态红色转喻恐怖主义㊁战争等㊂图4㊁图5㊁图9用红色转喻中国,通过红色负面意的映射,暗指中国崛起的灾难性和破坏性后果,激发西方读者对中国的消极认知㊂在西方,59北京化工大学学报(社会科学版)2023年第3期龙被认为是一种充满霸气和攻击性的庞然大物㊂‘经济学人“漫画多用体积庞大㊁张牙舞爪的恶龙形象转喻中国,构建多模态隐喻 CHINA IS A HORRIBLE DRAGON ,映射中国的攻击性㊁破坏性和残暴性,视觉塑造中国的威胁和霸权主义形象㊂2.再现意义与图像隐喻的构建视觉语法认为图像具有 再现意义 互动意义 和 构图意义 三种意义资源㊂再现意义包括过程㊁参与者及环境要素,其中任何一个要素被非常规要素替代就产生了隐喻㊂再现意义分为 叙事再现 和 概念再现 ,矢量是区分二者的主要特征㊂ 叙事再现 可分为动作过程㊁反应过程㊁言语过程和心理过程㊂ 概念再现 涉及分类过程㊁分析过程和象征过程㊂图9的象征过程用熊熊燃烧的火焰喻指中国共产党,将火焰的破坏性映射到中国共产党上,暗指中国共产党对世界构成威胁㊂图6㊁图8㊁图10存在矢量,包括动作的发出者和承受者以及过程和环境要素,是典型的动作过程㊂当动作过程被替换时,就产生动作过程隐喻,这种隐喻通常是一个具体过程代替一个抽象过程[21]26㊂例如,图8中印有美国国旗和中国国旗的车分别转喻美国和中国,印有欧盟标志的车转喻欧盟㊂车轮这一常规要素被经济饼状图替代,构建隐喻 ECONOMY IS CAR WHEEL ,指出美国和中国的强大依赖经济发展㊂印有美国国旗和中国国旗的车碾压印有欧盟标志的车,形成向下的矢量,这一具体的动作过程替代 美国和中国两大经济体超越欧洲经济共同体 的抽象过程,通过欧盟车辆被挤压变形突显中国和美国经济体危及欧盟经济利益,对其造成破坏性的后果㊂3.互动意义与图像隐喻的构建互动意义体现图像制作者㊁参与者与观看者之间的互动关系,主要由拍摄位置和视角构建方位隐喻㊂视角主要体现态度意义和权力关系,是多模态批评话语分析的重点㊂视角可分为水平视角和垂直视角㊂水平视角分为正面和斜面视角:正面视角中图像参与者与观看者距离近,使观看者能更好地融于其中,构建方位隐喻 CLOSE RELATION AND INVOLVEMENT IS FRONTAL VIEW ;斜面视角中图像参与者与观看者距离远,使观看者置身事外,构建方位隐喻 DISTANT RELATION AND DETACHMENT IS BACK VIEW ㊂‘经济学人“的读者群主要是西方民众,图6㊁图8及图10都是斜面视角,映射中国与西方关系疏远㊁意识形态差异显著㊂垂直视角分为俯拍㊁仰拍和平拍:俯拍体现观众权力视角,仰拍体现图像参与者权力视角,平拍体现观众和图像参与者平等视角,分别构建方位隐喻 VIEWER POWER IS HIGH ANGLE IMAGE POWER IS LOW ANGLE 和 EQUALITY IS EYE-LEVEL ANGLE ㊂图6㊁图8㊁图10都是仰拍的低角度,显示图像参与者的强势地位,映射中国的盛气凌人姿态㊂4.构图意义与图像隐喻的构建构图意义可以从信息值㊁显著性和取景三方面来探讨㊂显著性通过图像元素的位置安排得以体现,如,置于前景还是背景㊁相对尺寸㊁鲜明度等,使观看者对图像中的元素有着不同的关注度㊂图4转喻中国经济的巨龙㊁图6转喻中国政府的巨手㊁图8转喻中国经济的车㊁图9转喻中国政党的火焰㊁图10转喻中国政府的毁坏者都被置于前景位置,在构图中尺寸大,占据更多空间,构建方位隐喻 HAVING CONTROL OR FORCE IS UP/ BEING SUBJECT TO CONTROL OR FORCE IS DOWN POWER IS SIZE 和 POWER IS POSITON ,映射中国力量强大㊁控制欲强㊁破坏性强,其崛起会造成灾难性的后果㊂(二)语言符号系统分析1.分类㊁及物系统与空间趋近化分类是大众传媒惯用的手法,也是产生或创造歧视的主要途径,主要通过词汇选择得以实现㊂分析语篇的分类系统时,要注意 过分词化 ,指用大量不同的词语来描述或指称同一事物㊂‘经济学人“7篇语料的语言模态采用众多词汇来指称中国和中国政府,如 dictatorship,autocracy,Big Brother 等㊂不同于形容词和动词,名词的使用意味着将描述对象贴上永久性的标签,这些具有显性负面含义的名词词汇将中国描述为一个永久性独裁专制㊁缺乏民主和自由的国家㊂ 独裁 词汇聚合项的多样化运用不断强化西方读者对中国固有的负面印象㊂英媒体还采用大量带有明显消极语义韵的修饰词修饰中国㊁中国政府㊁中国政策等,如 brutal Communist Party power,autocratic692023年第3期席蕊: 认知 功能 综合交织的多模态批评话语分析框架clampdown,opaque Chinese politics,stifling grip等㊂英媒体采用这些所指策略再次突显了中国的压制与独裁形象㊂与此同时,英媒体还使用了多组 争议性纵聚合关系语言项 ,如 East /West,democracy /dictatorship 等表明不同阵营的成对词,使中国与西方的对立等同于民主和独裁的对立,将中国与西方国家彻底划分为两个阵营,分别被识解为空间趋近化中的ODC 元素和IDC 元素(表1)㊂根据地理和地缘政治上的距离以及意识形态上的差异,英媒体将众多国家纳入自己的内部实体,而将中国列为外围对立实体㊂此做法一方面突显中国政治的孤立无援,另一方面强调中国作为ODC 带来的消极影响,呼吁共同利益群体IDC 阵营联合起来对抗中国,消解威胁㊂可见,SFL 的分类系统为CL 的空间趋近化策略提供了内部和外围实体的识解基础,二者合力解构语篇的态度倾向㊂表1 空间趋近化范畴项目SFL 表征名词词组被识解为IDC 元素Europe,America,West,pro-democracy politicians,US,South-East Asia,Vietnam,Indonesia,Japan,South Korea名词词组被识解为ODC 元素East,China,Chinese Communist Party,dictatorship,Goliaths,autocracy,Big Brother,Communists,thuggish government,autocrat,authoritarians分类系统移动和指向动词词组被识解为ODC 向IDC 移动的标记crackdown on,protest against,impose on行动动词词组被识解为ODC 对IDC 施加影响的标记persecute,threaten,squash,breach,trample,crush,abuse 名词词组被识解为ODC 对IDC 施加影响的预期interference,clampdown,competition,pressure,tragedy名词词组识解ODC 对IDC 影响的结果unstable,invasion,disillusion,protests,anti-Chinese riots,tension,war,rows,growing rivalry,disengagement,aggression及物系统㊀㊀SFL 的概念功能主要通过及物性来体现,及物性系统分为物质过程㊁心理过程㊁关系过程㊁行为过程㊁言语过程和存在过程㊂ 选择哪类过程来表达具有重要的文化㊁政治或意识形态意义 [3]180㊂物质过程是表示做某件事的过程,一般由 动态动词 动作者 和 目标 三部分构成㊂‘经济学人“7篇文章的语言模态在建构中国与其他国家(地区)的关系时主要采用物质过程,将中国(ODC)置为 动作发出者 ,另一方(IDC)置为 目标 ,是动作承受者,采用强动作动词将二者连接,表示空间趋近化中ODC 向IDC 的移动及对其施加的影响㊂如 China impose on Hong Kong Chinasquash liberty 和 China threatened neighbors等,都将中国描述为施加威胁的始作俑者㊂面临中国的威胁,采用存在过程和心理过程表达IDC 普遍存在的恐惧㊁担忧和焦虑,如例(1)的 not dare㊁for fear of ㊂采用关系过程预测中国威胁对IDC 所导致的影响,如例(2)将中国的行为识别为 tragedy ㊂英媒体还采用大量名词指出中国行径对IDC 影响的结果,如例(3)中东南亚国家对中国的 Anti -Chinese riots㊁protests 等㊂英媒通过选择不同的及物过程塑造中国入侵并施加威胁造成不良后果的挑事者形象,表达对中国的消极态度倾向,合法化IDC 对中国的反抗和抵制㊂由此可见,SFL 的及物系统是CL 空间趋近化策略的语言结构表征㊂例(1)South-East Asian leaders may not darecriticize China openly,for fear of the economic consequences.(2021.2.27)例(2)It would be a tragedy if only twocountries in the world proved capable of sustaining aprocess of creative destruction at scale.(2021.6.27)例(3)Anti-Chinese riots often erupt inVietnam,Indonesia,the world s most populous Muslim country,has seen protests about everythingfrom illegal Chinese immigration to China s treatment of its Muslim minority.(2021.2.27)2.分类系统㊁及物系统与价值趋近化除了运用分类系统将中国识解为ODC㊁西方国家等识解为IDC,形成二元对立阵营,英媒体还使用分类系统构建意识形态方阵分别表征价值趋近化策略中IDC 的积极价值观(意识形态)和ODC 的消极价值观(意识形态),形成截然对立的价值观(意识形态)对峙,意指中国与其他国家对立的79。