多模态批评话语分析
英语教学中多模态话语分析发展与应用
英语教学中多模态话语分析发展与应用概述多模态话语分析是指通过不同的模态（如文字、图像、声音等）来识别、分析和理解话语的一种研究方法。
在英语教学中，多模态话语分析已经逐渐受到重视，因为它能够帮助学生更好地理解和应用英语，提高他们的语言水平和综合能力。
本文将从多模态话语分析的发展、在英语教学中的应用以及未来发展方向等方面进行探讨。
多模态话语分析的发展多模态话语分析是在理论和技术的发展基础上逐渐形成的。
随着认知语言学、社会语言学和功能语言学等理论的不断深入研究，人们对话语结构和语言交际的认识不断深化，对多模态话语分析的需求也日益增长。
随着信息技术的快速发展，例如计算机、互联网、移动设备等的普及，多模态话语分析的技术手段也不断更新和完善，为其应用提供了更加便捷和有效的条件。
在多模态话语分析的发展过程中，人们也逐渐意识到了语言和其他模态之间的关系，即语言并不是孤立存在的，而是与其他模态相互关联、相互支持的。
这种认识促进了多模态话语分析的发展，也为其在英语教学中的应用奠定了理论基础。
在英语教学中，多模态话语分析可以发挥重要作用。
多模态话语分析能够帮助学生更好地理解和应用英语。
通过对话语中的文字、图像、声音等不同模态的分析，可以让学生更全面地了解信息，更深入地理解意义，从而提高他们的语言运用能力。
多模态话语分析也能够激发学生的学习兴趣和动力。
相比单一模态的教学方式，多模态话语分析能够让学生在学习过程中接触到更加丰富多样的信息和表现形式，从而更容易激发他们的学习热情，提高学习积极性。
多模态话语分析也能够提高学生的综合能力。
通过对不同模态的分析，学生可以锻炼自己的文字阅读能力、图片理解能力、听力理解能力等多方面的能力，从而全面提高自己的语言综合水平。
未来发展方向在未来，多模态话语分析在英语教学中的应用仍有许多进一步的发展方向。
可以进一步研究多模态话语分析与语言教学内容的整合。
通过研究不同语言教学内容的多模态话语特点，可以更好地将多模态话语分析融入到语言教学中，提高语言教学的实效性和学习效果。
张德禄-多模态话语分析理论与外语教学
伴语言 语言 多 模 态 话 语 媒 体 系 统 非语言 纯语言
身体
肢体
工具 非身体 环境
15
（2） 静态与动态
Thibault(2004)对符号资源的研究比较具体。他从身体动 力学的研究区分动态的和静态的: (1)静态的表达媒体,如文字、图片、表格、绘画等。
(2)动态的研究指面对面的互动、动画、电影、使用录像机 等。
10
媒体资源的分类 （1） 语言与非语言 张德禄（2009）对媒体的类别根据是否语言和是否身体的对 外语教学中的媒体系统做了归类： 非语言媒体 表达意义的非语言媒体包括交际者的肢体动作和交际者在意 义表达中所使用的非语言手段，如工具、环境等。
11
肢体媒体：
(1) 与头部有关的动作，包括眼神、挤眼、凝视、摇头、 点头、仰头、低头、欢喜的表情、伤心的表情、嫉恨的表 情、凝重的表情、大笑、呲牙咧嘴以及鼻子和耳朵的动作 形成的媒体符号等。 (2) 由手臂和腿形成的媒体符号，包括手势，手臂的状态、 形成的形状、摇动等，腿的并立、踢跳、弯伸等。 (3) 躯干的动作，如姿势、移动、摇摆、模拟等。
我们感受客观世界的视觉、听觉、触觉、味觉、嗅觉是不同 的感知模态，但眼、耳、手、舌、鼻则是媒体。 这样，模态是用某种媒体表达信息的特殊方式。媒体是表达 信息的物理工具。
5
1.3 单模态 (monomodality) vs 多模态 (multimodality
单模态是只通过一种模态进行交际活动的现象，如说话、听 录音、读书。前者为通过听觉模态；后者为通过视觉模态。 多模态表达可以分解为同时表达意义的两个或两个以上的单 模态(Bernsen 2002) 。我们每天在看报纸、杂志、广告、 招贴画、故事书、教科书、活页文选、百科全书、说明书、 计算机界面时，甚至在我们相互交往时都离不开多模态。我 们谈话时手舞足蹈，有声有色，也意味着使用了多模态。 多模态话语：运用听觉、视觉、触觉等多种感觉，通过语言、 图像、声音、动作等多种手段和符号资源进行交际的现象。
多模态话语分析——以视频语篇为例
多模态话语分析——以视频语篇为例多模态话语分析——以视频语篇为例近年来，随着互联网的迅猛发展和数字化技术的不断进步，多媒体数据的产生与传播日趋广泛，其中包括了大量的视频内容。
视频作为一种兼具语言、图像和声音等多种形式的传媒方式，其复杂性和丰富性使得对其进行分析成为一个重要的研究领域。
多模态话语分析，指的是通过对视频中的不同模态元素（如语言、图像、音频等）进行整体分析，来理解视频的内涵和意义。
本文将以视频语篇为例，探讨多模态话语分析的方法和应用。
多模态话语分析的基本原理是将视频中的语言文字、视觉图像和声音等不同模态的信息进行整合，从而获得更全面准确的理解。
在视频语篇中，语言文字往往以字幕、对话或解说的形式存在，对话可能会有口头语言和书面语言两种形式，而视觉图像则包括人物、场景、物体、动作等。
此外，声音作为视频中的重要元素，既可以是背景音乐、自然声音，也可以是演员的对话或解说。
多模态话语分析的目标是发现不同模态之间的相互关系和交互作用，以揭示其中隐藏的信息和意义。
在进行多模态话语分析时，研究者可以从多个角度出发。
首先，可以从视觉图像方面进行分析和研究。
通过观察视频中的人物、场景和物体等元素，可以了解视频的主题和背景信息。
例如，在一部旅游宣传片中，通过分析视频中展示的美丽风景和名胜古迹等元素，可以推断出该片的目的是吸引游客、促进旅游业的发展。
其次，可以从语言文字方面进行分析和研究。
通过对视频中的语言文字进行分析，可以了解到人物的心理活动、观点和意图等。
例如，在一部纪录片中，通过观察解说词的语言表达和字幕的文字描述，可以推测出纪录片的目的是向观众传递特定的社会、历史或文化信息。
最后，可以从声音方面进行分析和研究。
通过对视频中的声音特征和声音背景的分析，可以了解视频的情感色彩和情绪氛围。
例如，在一部悬疑电影中，通过观察音效和背景音乐的运用，可以感受到紧张和悬念的气氛，进而了解影片的主题和剧情。
多模态话语分析的应用前景广阔。
张德禄多模态话语分析pdf
张德禄多模态话语分析pdf1 张德禄多模态话语分析简介张德禄多模态话语分析(ZDLMT)是一种语言识别技术，由张德禄（2006）提出，是一种交叉领域的分析方法，由语音识别，语音分析，和语言分析组成。
它主要用于理解多模态话语中的信息内容，包括文本，语音，电影，图像，和视频内容。
ZDLMT分析技术可以帮助识别出跨不同模态特征的"细微"变化，从而达到更准确的分析结果。
2 张德禄多模态话语分析方法张德禄多模态话语分析主要包括以下几个步骤：（一）信息收集：采用多模态信息采集技术，从多源信息中收集需要分析的话语。
（二）特征提取：从每一种模态中提取信息，如文本中的关键词、语音特征等，并将模态特征存储在一起，形成模态特征空间。
（三）话语分析：利用聚类，分类，标记和关联技术，对多模态特征空间中的信息进行分析，得出话语中内容的概要。
（四）结果演示：将话语的内容等汇总成图文的可读格式，以便于用户更好的理解和解释分析结果。
3 张德禄多模态话语分析的应用张德禄多模态话语分析的应用非常广泛，它可以广泛应用于国家安全、商业营销、教学训练、社交分析、情绪分析和疾病检测等多个领域中。
其中，在国家安全领域中，可以使用ZDLMT分析技术来快速定位和识别可疑文本、语音或图像信息，为社会安全提供可靠的技术支撑。
在商业营销领域中，ZDLMT分析技术可以帮助企业更好地理解和把握营销活动中用户的意向，从而实现有效的营销策略。
在教学训练领域中，可以分析学生在训练中做出的正确和错误回答，并对其进行更加准确的分析，从而及时发现和纠正学生错误回答的方式和原因。
4 结论总之，张德禄多模态话语分析技术是一种多功能、高效的分析技术，可以帮助人们更好地理解多模态的话语内容，并将它们分析结果汇总成可读格式，从而实现各种应用场景中的实施精准、实时监控、安全应急管理等许多功能。
张德禄多模态话语分析框架
张德禄多模态话语分析框架
张德禄多模态话语分析框架一种新的分析框架，是由张德禄在20世纪80年代提出的。
它依据科学研究结果及其应用，用来理解有关感觉、思维、语言和行为之间的关系。
这个框架由三个关键概念组成：
多模态话语，多模态认知过程和多模态行为分析。
模态话语定义为双向的有意义的交流，它是一种将内容与情感相
结合的语言，使当事人能够互相交流情感和心理状态。
在模态话语中，人们不仅能够交流内容，还可以通过调整语气和强度来传达情感。
多模态认知过程是指人们在模态话语中进行认知活动，以理解和
表达感受、想法和意图。
通过认知和表达，人们可以构建一种共同的
理解，从而形成一些共同的行为进程。
最后，多模态行为分析指的是人们在模态话语的情境中表现出的
具体行为。
通过分析这些行为，研究者可以更好地理解当事人的情况，并分析行为可能的原因，从而给出更有效的干预建议。
张德禄多模态话语分析框架的出现，为研究者提供了一种探索情
绪心理和行为特征的新工具。
它既可以用于实用咨询，也可以用于研究，丰富了当代心理学研究的工具，并有助于更好地理解和分析人类
的行为特征。
多模态话语分析-PPT精选
主要研究成果 国外主要成果 国内主要成果
国外主要研究成果
Kress and Leeuwen, ( 2019; 2019)研究了模 态与媒体的关系,专门探 讨了多模态现象规则地 表达意义的现象,包括视 觉图象、颜色语法,以及 报纸的版面设计和不同 媒介的作用等;他们所构 建的分析视觉图像的语 法框架为多模态话语分 析提供了理论依据和分 析方法；
心理学
语言教学
传媒学
书刊 排版
哲学
网站页 面设计
多模态 话语分析
美学
影视 戏剧
法学
建筑 规划
理论基础
以社会符号学为视角，以韩礼德的系统功能语法为 理论基础，即语言是社会符号，除语言这外还有非 语言符号（绘画、雕刻、音乐、舞蹈等）这些非语 言符号与语言共同构建社会意义。
主要观点
图像、音乐、手势、动画、音调等非语言 符号在交流中也是意义生成的资源。
MDT理论
社会文化 心理学
MDT理论 （Mediated Discourse Theory）
介入性语篇分析
Scollon
交际社会 语言学
跨文化 交际
语言人 类学
民俗方 法论
该理论试图把人们的社会行为和语篇有机地结合起 来研究以弥补以往的语篇分析理论忽略了行为而社 会学理论忽略了语篇的不足。
国内主要研究成果
韦琴红（2009） 在Kress和 Van Leeuwen的社会 符号学框架下的 视觉交流理论的 基础上，从图像、 情态、构图、颜 色、印刷版式等 视觉交流的和主 要方面研究了多 模态话语。
张德禄多模态话语分析综合理论框架
• 文化层面 文化语境
意识形态 体裁
• 语境层面 情景语境
话语范围、话语基调、话语方式
多模态话语分析讲稿
编辑课件
取景与显著性
整幅海报的背景色彩对比鲜明，形成分割 线条，形象地向观看者展示了截然不同的 两个世界。海报的上下两端色调黑暗，象 征着贫民窟的艰苦生活 这样的生活是男女 主人公想要逃脱的生活。海报的中间部分 色彩斑斓，象征着光明而美好的生活 这是 男女主人公向往的生活。影片名Slumdog Millionaire 色彩渐变，形成了明显的分 割线条，与明暗鲜明的背景相衬托，再现 了影片的主题。男孩的侧面头像是整张海 报的焦点，占据着海报的四分之一空间， 整个头部被分为黑暗和光明两个对比鲜明 的部分，象征着男孩心中的矛盾和挣扎， 以及现实中两个完全不同的世界
• 态度主要通过视角来体现，表达对图像中参与者所持的态度。可以从水平视角和垂直 视角来分析，正面视角给观看者或者图像制作者带来一种身临其境 融入其中的感觉。 从平视角度来看，则表示观看者和参与者相对平等的关系，仰视则表示参与者处于强 势地位。
• 情态是指某种图画表达手段的使用程度，如色彩、色调、深度和再现细节等。 • 社会距离：图像参与者与图像观看者之间的亲疏关系。亲近距离: 只看得到脸部或头
多模态话语分析讲稿ppt课件
• 情态是指某种图画表达手段的使用程度，如色彩、色调、深度和再现细节等。 • 社会距离：图像参与者与图像观看者之间的亲疏关系。亲近距离: 只看得到脸部或头
部; 个人近距离: 头部和肩部; 个人远距离: 腰部以上; 社会近距离: 整个人;社会 远距离: 整个人并且周围有空间环绕; 公共距离: 至少有4－5个人的距离
3.构图意义：信息值、取景和显著性
• 信息值是通过元素在构图中的放置位置来实现的 ,在Kress ＆ VanLeeuwen( 1996) 看来，放置在左边的信息是已知信息，放 在右边的是新信息; 放置在中间的图像具有核心信息提供者的 功能，而放置在边缘上的信息则起着辅助核心信息的功能。
• 多模态话语分析的研究主要分布在二维平面的图文关系多模态 研究、影视作品的多模态分析研究、三维空间的多模态话语分 析研究、电子语篇中的图文关系多模态研究、多模态语口语语 料库问题研究、教学领域中的多模态应用研究等方面（何山 燕）。
在传播学
• 目前，多模态话语分析在传播学的应用，主要集中于对视觉、 听觉符号的意义解读。
多模态话语分析综合框架
多模态话语分析综合框架多模态话语分析综合框架是一个针对多模态数据的综合分析方法，结合多种模态的信息，包括文本、图像、视频、声音等，来进行语言交流中的情感识别、情绪分析、意图理解等任务。
下面是一个简单的多模态话语分析综合框架的概述：1.数据收集：首先，需要收集多模态数据，包括文本、图像、视频、声音等。
这些数据可以来自于不同的源，如社交媒体、实时通信、传感器等。
2.数据预处理：对收集到的数据进行预处理，包括数据清洗、去除噪声、标准化等。
对于文本数据，可能需要进行分词、词性标注、去停用词等预处理步骤；对于图像数据，可能需要进行图像分割、特征提取等操作。
3.特征提取：对预处理后的数据进行特征提取。
将不同模态的数据转化为统一的特征表示形式，可以基于统计特征、深度学习特征等多种方法进行特征提取。
4.模态融合：将不同模态的特征进行融合，在特征层面或决策层面进行融合。
特征层面融合可以通过特征拼接、特征变换等方式实现；决策层面融合可以通过加权平均、多模态融合模型等方式实现。
5.任务建模：根据具体的任务需求，设计相应的任务建模方法。
可以采用传统机器学习方法如支持向量机、随机森林等，也可以采用深度学习方法如卷积神经网络、循环神经网络等。
6.模型训练：使用标注好的数据对任务建模所设计的模型进行训练。
可以使用交叉验证、调参等方法进行模型的选择和优化。
7.模型评估：对训练好的模型进行评估。
可以使用各种指标如准确率、召回率、F1值等来评估模型的性能。
8.应用：将训练好的模型应用于具体的任务场景。
可以进行情感识别、情绪分析、意图理解等任务的应用。
综上所述，多模态话语分析综合框架包括数据收集、数据预处理、特征提取、模态融合、任务建模、模型训练、模型评估和应用等步骤，通过对多模态数据的综合分析，可以实现对语言交流中的情感、情绪、意图等方面的理解与识别。
多模态话语分析的理论基础与研究方法
2007 年
朱永生 多模态话语分析的理论基础与研究方法
第 5期
个问题: ( 1) 多模态话语的产生; ( 2) 多模态话语 的定义; ( 3)多模态话语分析的性质和理论基础; ( 4) 多模态话语分析的内容、方法和意义。
2 多模态话语的产生
2. 1感知模态的产生 生命科学的研究成果告诉我们, 生命体在演 化过程中逐步获得视觉、听觉、嗅觉、味觉、触觉等 5种不同的感知通道 ( sensory channel): ( 1) 靠眼 睛获得的视觉通道 ( v isual channe l) ; ( 2) 靠 耳朵 获得的听觉通道 ( auditive channe l); ( 3) 靠皮肤获 得的触觉通道 ( tact ile channel); ( 4) 靠鼻 子获得 的嗅觉 通道 ( o lfactory channe l) ; ( 5) 靠舌头 获得 的味觉通道 ( gustatory channel) 。这些通道 是生 命体与周围环境进行信息交换的界面和路径。在 残酷的物竞天择面前, 这些感知通道能否相互作 用, 对周围的一切作出迅速而有效的反应, 直接影 响生命体的生存和繁衍。生物学家们认为, 上述 5种感知渠道的获得分别导致以下 5种交际模态 的产生: 视觉模态 ( visua lm odality)、听觉模态 ( audit ive m oda lity) 、触觉模态 ( tactile m odality )、嗅觉 模态 ( o lfaco try m odality ) 和 味 觉 模 态 ( gus tatory m oda lity)。 在上述模态中, 与话语分析关系最紧密的是 视觉模态和听觉模态。近年来, 由于科学技术的 发展, 触觉模态、嗅觉模态和味觉模态也开始用于 话语交际。这里仅以触觉模态为例, 随着数据手 套 ( datag love) 的问世, 人们可以依靠传递手指的 弯曲角度, 打出各种各样的三维手势, 把语言和手 势结合起来, 从而使人机对话更加接近于自然的 人际对话。 2. 2模式、媒介与模态的差别 在多模 态 话语 分 析 中, 模 式 ( m ode) 、媒 介 ( m edium ) 与模态 ( m odality) 三个词语经常出现。 由于彼此之间在意义上有一定的联系, 但界限并 不十分明确, 容易造成混乱和误解, 有必要对它们 各自的含义进行说明。 一般来说, 模式指系统功能语言学家所说的 与话语范围 ( field o f discourse) 和话语基调 ( tenor of discourse) 并列的语境三要素 之一的话语模式 ( m ode of discourse ), 意 指交 流 渠道 ( channel o f communication), 如口头模式 ( spoken m ode) 、书面 模式 ( w ritten m ode)、电 子模式 ( electronic m ode) 等。这些模式的使用和变化在一定程度上影响信 息的 流 动 ( inform a tion flow ), 最 终 影 响 语 篇 性 ( tex ture) ( 语篇应该 具备的特 征 ) 。媒介指 语言
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
多模态批评话语分析 随着互联网和多媒体的迅速发展和广泛应用,语言文本不再是交际的唯一手段,图像、手势、动作、颜色、声音等其他非语言符号也成为信息传递的重要方式。我们生活在一个由多种符号资源构成的社会中,意义的构建不再单纯依靠语言文本,而是越来越依赖各种符号资源的整合。人类交流所依赖的媒介和渠道被称之为“模态”(modality),例如:语言、声音、颜色、图像、手势等符号系统。作为人类的一种重要交际行为,话语自然具有多模态性。传统的话语分析以大于句子的语言单位作为研究对象,对实际使用中的语言进行观察和分析,研究语言的组织结构、使用特点、语法规律、语言中的制约因素等内容,忽略了能够传递大量重要信息的其他非语言符号。可见,传统的话语分析已经不能满足人们的实际交际需要,多模态话语分析符合当下信息时代发展的要求和趋势。多模态话语分析为人类理解丰富多彩的符号系统提供了新视角,目前已发展成为一种重要的话语分析方式。像语言一样,视觉符号和声音符号貌似正常或中立(平淡无奇),实则隐含着个人或社会团体的不公正、偏见和歧视。因此,在多模态话语分析中,我们应坚持批评的立场,给予非语言模态符号足够的重视,关注其中含而不露的意识形态意义,尤其是那些被人们习以为常的思想和观点。在多模态话语和批评话语分析互相影响和借鉴的基础上,多模态批评话语分析应运而生。 20世纪90年代,多模态话语分析在西方开始兴起,引起越来越多语言学家的关注。传统意义上的话语分析注重分析语言符号系统和语义结构本身,忽略了对其他符号系统(例如:图像、声音、颜色、手势等)的研究。随着现代科学技术的发展,人类交际开始依靠多种模态共同完成,包括图像、音乐、声音、颜色等。而这种运用语言、图像、声音、动作等多种符号资源进行交际的现象就是“多模态话语”(multimodaldis-course)。学界对交际中出现的图像、手势、姿态以及空间的运用也产生了浓厚兴趣。学者们认识到,对于意义理解不仅需要对话语语言的分析,更要对独立或相互依赖的其他符号资源进行研究。法国语言学家BarthesRlando是最早从事多模态话语分析研究的学者之一。他在1977年发表的论文《形象的修辞》中探讨了图像在表达意义上与语言的相互作用[1]。Kress和VanLeuwene[2][3][4](P343-368)[5](P35-50)作为社会符号学的代表研究了模态与媒体的关系,在系统功能语言学的基础上,构建了视频话语的分析模式和多模态话语分析框架,探讨了多模态符号表达意义的现象,包括视觉图像、颜色语法以及报纸的版面设计和不同媒介的作用等方面。2007年,朱永生[6](P82-86)提出了两种多模态话语的识别标准:(1)同时使用两种模态的话语叫做“多模态话语”;(2)只涉及一种模态,但包含两个或更多符号系统的话语也是“多模态话语”,比如:视觉模态中的平面公益广告,既有文字又有图片。近十年来,多模态话语一直是国内外语言学界的研究热点。对相关文献进行计量学统计,可以发现:(1)多模态话语分析的主要理论基础是系统功能语法和符号学;(2)多模态话语分析的研究热点主要为:言语、隐喻、身份、手势语、系统功能语法、语境和视觉;(3)多模态话语分析主要研究静态多模态话语中的视觉和语言模态。虽然相关研究在理论探索和应用实践方面取得可喜的成绩,但仍存在不足:(1)忽视构建语篇的整体意义的动态操作和多模态语篇背后的认知机制;(2)理论研究为主,实证研究偏少;(3)静态研究偏多,动态研究较少;(4)忽视各个模态之间的关系;(5)缺乏多模态语料库建设和软件开发。另外,未来的多模态研究应加强以下方面:(1)跨学科研究与学科的融合;(2)理论与方法的创新。多模态话语分析不仅是一个语言研究理论,更是一个应用领域。一些其他学科领域(例如:后现代哲学、社会学、心理学、人类学)的理论和方法都可以应用到多模态话语分析中,分析人类如何通过各种模态资源传递信息、产生意义、表达情感、构建权力关系和意识形态。 到目前为止,大多数多模态话语分析研究者,以系统功能语法的三大元功能为工具,分析文字、图像、动作等符号模态,但是一些学者开展了以认知语言学核心概念为界面的跨学科研究,运用认知语言学中的认知工具和理论进行多模态话语分析,其中应用最为广泛的是认知隐喻理论。荷兰阿姆斯特丹大学的学者CharlesFrcevilleo[7]于1996年出版了博士论文《广告中的图片隐喻》,将隐喻研究延伸到非语言模态中,掀起了多模态隐喻研究的热潮,极大地促进了多模态话语分析的发展。后来,他在国际顶级期刊上发表了一系列学术论文,主要研究多模态隐喻的理论基础及应用分析,同时关注多模态隐喻分析中的焦点问题,例如:多模态隐喻的区别性特征、语类性特征、模态配置方式。另外,他的研究所涉及的语类十分丰富,包括政治漫画、广告、动画、电影、音乐、手势、雕塑等,为同领域的研究者提供了重要的参考和启迪。他在多模态隐喻研究领域的成果丰厚,不仅奠定了多模态隐喻研究的理论基础,而且为其他应用研究提供了典范。2015年,MaríaJsúsPnarSnzeia[8]出版了论文集《多模态与认知语言学》。该论文集不仅在理论层面把认知语言学的意象图式和合成空间等概念扩大到多模态隐喻研究中,分析多模态隐喻创建和解读的认知机制,而且形成了以文献回顾为辅、实证研究为主的多模态话语分析新模式。另外,该书综合多模态研究的各种理论,将多模态研究置于认知语言学框架之内,汇集众多学者专家的最新研究成果,标志着多模态和认知语言学的互补融合,也为多模态话语分析的认知转向提供了理论依据和方法论参考。国内也有学者运用认知语言学理论和方法进行多模态话语分析,但基本上集中在多模态隐喻分析方面。国内多模态隐喻研究起步相对较晚,曾立[9](P11-14)于2004年开始关注非语言模态的隐喻认知机制,探索认知隐喻的相似性和语义冲突在图文隐喻运作中的作用。国内多模态隐喻研究的相关论文从2010年开始零星出现,其中赵秀凤[10](P18-29)[11](P45-47)发表论文2篇,结合实例探讨了多模态广告语篇中隐喻的构成、识别和解读,以及隐喻性多模态广告语篇中整体意义的动态构建过程。虽然起步相对较晚,但国内多模态隐喻研究在近几年内发展迅猛。《外语学刊》2011年第一期和《外语研究》2013年第五期分别开辟了“多模态转喻和隐喻”研究专栏并刊登了4篇相关文章,或对国外最新研究成果进行系统引介,或结合具体语类展开实例分析,或勇于创新、积极借鉴其他理论,至此国内掀起了多模态隐喻研究的热潮[12](P54-57)。另外,李健雪和俞越聪[13](P137-140)对《多模态与认知语言学》进行评介,不仅介绍主要内容,还总结了该专著的主要贡献、特色及不足,为相关研究提供重要启示。无论在语言观还是方法论上,认知语言学和多模态话语分析都具有一定的渊源关系,认知语言学可以为多模态话语分析提供更多的方法选择,多模态话语分析拓宽了认知语言学的研究范围。 国外一批优秀学者致力于批评话语分析和多模态话语分析的理论基础和分析方法的研究,并在上述两个研究领域取得了显著的成就。虽然有些学者敏锐地发现或指出,二者存在很好的融合性和互补性,但很少有人真正地将二者融合并正式提出“多模态批评话语分析”这一概念及分析框架。直到2012年,Da-vidMachin和AndreaMayr[14]出版合著《如何进行批评话语分析:多模态的视角》,并首次提出“多模态批评话语分析”的概念。多模态批评话语分析是对批评话语分析的进一步发展,主张图像、颜色、动作、声音等其他模态符号像语言文字一样,也应该成为批评分析的对象。多模态批评话语分析主要从批评的视角分析多模态语篇中的各种符号资源如何互动和建构语篇意义,重点关注多模态话语中隐含的权力关系和意识形态。TheresaCtalanoa和LaurenGttia[15](P59-80)选取4篇有关亚特兰大公立学校教师的“作弊丑闻”的网络新闻报道,从语言层面和视觉层面分析不同媒体如何使用各种模态符号框定教师的行为和身份,并揭示涉案教师的语言表征和视觉表征背后反映和隐含的特殊利益和权力关系。英国兰卡斯特大学ChristopherHart[16][17][18]教授在认知语言学和批评话语分析融合领域的研究成绩斐然,出版了《批评话语和认知科学:移民话语研究新视角》《语境和认知中的批评话语研究》《批评话语分析中的认知语言学:应用及理论》等学术价值极高的专著。在此基础上,Hart[19](P335-350)于2016年开始针对多模态话语开展批评话语分析研究,解释语言话语中的意识形态传播,并提出一个整合认知语言学和多模态的综合分析方法。他认为,理解语言涉及到多模态心理表征的构建,话语中语言模态和非语言模态在意义构建方面互相影响。Hart[20](P3-30)从多模态视角对英国各大报纸关于1984-1985年英国矿工大罢工的相关报道进行了认知批评话语分析,研究发现:“战争”隐喻思维存在于语言和视觉层面,媒体使用语言和图片把“罢工”框定为“政府与英国矿工联合会之间的战争”。近年来,国内有关多模态批评话语分析的研究不断涌现,但并没有展开系统研究,仍是处于起步阶段。早在2009年,陈美足[21](P87-90)以“多模态批评话语分析研究”为题撰文,借助Kress和Leeuwer的视觉语法分析框架和批评话语分析方法,阐释英国《太阳报》上的一幅头版新闻图片中隐含的深层次信息。陈文提出的“多模态批评话语分析”综合方法和研究视角在当时十分具有创新性和前沿性,值得参考和借鉴。仲夏阳和孙志祥[22](P131-135)以ChinaDaily上的英文公寓广告为例,采用视觉语法和批评话语分析的三维分析模式分别对广告图片和文字说明进行解读和分析,揭示广告设计者如何利用各种符号资源对消费者的情感、态度和观念进行影响和控制。截止到笔者撰文之日,“中国知网”上可以检索到6篇以“多模态批评话语分析”为主题的硕士学位论文。江南大学李健雪教授曾经指导的4份硕士毕业论文均借助了Machin和Mayr[14]的多模态批评话语分析方法,但他们根据各自的研究对象和研究目的对分析框架进行了调整。例如:顾阳阳[23]以信托机构网站文本为语料,一方面对网站话语中的语言现象借助系统功能语法进行微观分析,另一方面借助