多模态话语分析综合理论框架探索_张德禄
最新 多模态话语分析理论在高职英语词汇教学中的应用-精品
1.引言语言学家Harmer （1990）认为，如果把语言结构比作语言的骨架，那么是词汇为语言提供了重要的器官和血肉。
因此，词汇教学在教学中起着十分关键的作用。
然而大部分教师在教授词汇时总是采用教师领读学生跟读—学生自己朗读—词汇简单释义—学生课后记忆—听写—测试的传统词汇教学方法，导致学生词汇学习效果欠佳。
针对以上问题，国内已有不少学者将多模态理论运用到英语词汇教学中去，但他们的研究对象主要针对的是本科生，对高职院校学生的研究几乎没有，并且缺少实证研究。
笔者试图将多模态理论运用到高职英语词汇教学中去，探讨多模态词汇教学模式在高职英语教学中是否可行。
2.多模态话语分析理论模态（mode）是指同步实现话语和交际类别的符号资源，它可以通过一种或者几种媒介来实现。
媒介（medium）指用于符号产品和事件生产中的使用的物质资源，包括工具和使用的物质。
（Kress & Van Leeuween， 2001： 21-22）具体的说就是我们感受外界的视觉、听觉、触觉是感觉模态，而感觉所借助的工具，眼、耳、手就是媒介。
多模态话语指运用多种感官，采用图像、声音、语言、动作、表情等多种手段和符号模态来进行交际的话语。
（张德禄，2009）多模态PPT演示属多模态话语范畴。
多模态PPT由于蕴含丰富的图画，声音，颜色，图像，文字，动画等模态，因此它被广泛应用在英语教学中。
2.1 多模态话语分析理论在国内外的研究现状多模态话语分析理论于20世纪90年代兴起于西方国家。
尽管至今仅有20多年的历史，多模态理论却已被运用于影视作品、广告设计、语言教学等领域，并取得了显著的成果。
21世纪初，我国开始了对多模态话语分析理论的研究，国内有关多模态话语分析理论的研究尚处于萌芽阶段。
国外主要代表人物有：New London Group， Kress & van Leeuwen， Stein， Royce， Bartsch & Cobern， Butler & Mautz， Jr， Mills， Guichon & McLornan等专家学者。
多模态话语分析视角下高校宣传片中的形象构建研究
多模态话语分析视角下高校宣传片中的形象构建研究--以“《北大师说》特别篇—寄语新生”为例摘要：本文旨在以北京大学宣传片“《北大师说》特别篇—寄语新生”为例，从多模态话语分析角度探讨宣传片中高校的形象构建。
研究发现视频中体现的北大形象可概括为“无限可能”、“刻苦勤奋”、“求实严谨”、“爱国奉献”四类。
在视频中，讲话者所说语言的听觉模态始终是主模态，随着时间的推移，与其它模态的关系不断地发生变化，以达到有效传达整体意义的效果。
关键词：多模态话语；宣传片；形象构建张德禄（2009a）将运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象定义为多模态话语。
目前我国对于多模态话语分析的研究多运用于静态语料方面，且不少研究在讨论语言和非语言符号的意义后并没有对各模态间的关系做进一步说明。
高校宣传片对于学校的形象塑造有重要的作用。
本文尝试以北大宣传片为例，从多模态话语分析理论角度出发，探讨视频中各模态间的关系。
一、动态多模态话语分析框架以系统功能语言学理论为基础，张德禄提出了多模态话语分析综合理论框架（张德禄&袁艳艳，2011），如图1所示。
图1本文研究重点在形式层面上，讲话者可以选择通过语言、图像等不同模态来表达意义。
在系统选择中，最关键的因素是利用好不同模态之间的关系使不同的模态相互配合，从而构建动态多模态话语的整体意义（张德禄&袁艳艳，2011）。
张德禄（2009a）把这种关系归纳为互补关系（强化和非强化）和非互补关系（交叠、内包和语境交互）两大类。
在动态视频中，随着时间的推移，场景的改变，各模态间的关系也会发生变化，以达到最佳塑造形象效果的目的。
二、语料及研究方法本研究采用的语料选自北京大学官网“北大师说”栏目下的“《北大师说》特别篇—寄语新生”，视频全长5分18秒。
本研究以定性分析为主，定量分析为辅。
张德禄提出动态多模态的语篇切分有三个标准：（1）语篇结构：语篇的整体意义包含若干个阶段, 每个阶段又包含若干个步骤, 或者是次级单位,所以语篇的最小意义单位是由录像切分的最小单位图像实现的。
多模态话语在大学英语听力教学的应用
多模态话语在大学英语听力教学的应用［摘要］本文根据多模态话语分析综合理论框架，探讨大学英语听力教学的设计方案。
旨在突破现有教学模式下的瓶颈，提高教学质量，提升学生学习兴趣和多元识读能力。
［关键词］多模态话语;框架;大学英语听力;教学设计“多模态话语指运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象”(张，2021)。
多模态是意义表达的形式，而多媒体是其最终在物质世界的实现方式。
随着信息科技和多媒体技术的发展，丰富的多模态资源和体验彻底颠覆了传统以纸质媒体和文字单一模态为主的生活和学习方式，并使得多元识读能力成为信息化社会下学习者的必备素质要求之一。
因此，基于多模态理论的教学理念和方法也成为教学改革的必要因素之一。
大学英语听力教学极具多模态特性，与多模态教学理念十分契合。
因此，该理念的应用为突破传统听力教学瓶颈、提升教学质量提供了较大的可能性。
一、多模态话语理论张德禄(2021，2021)基于韩礼德的系统功能语言学理论，提出并发展多模态话语分析综合理论框架。
该框架分为四个层面:文化层面、语境层面、内容层面和表达层面。
内容层面下的形式层面包括图觉、声觉、感觉和语言四个形式，都是话语意义表达的形式即模态。
模态之间通过有效整合来实现某一交际事件的交际意义。
在外语教学中，模态的选择主要从三个方面考虑:话语范围、话语基调、话语方式。
即教师要根据课程的内容和难易度，师生特点和关系，课程目标以及教学条件等来对教学多模态资源进行整合和设计，从而最优化课堂教学体裁结构潜势，获得最佳交际效果。
二、多模态话语理论视域下大学英语听力教学面临的问题(一)听力教学现状调查问卷。
笔者(2021)通过向海南师范大学495名非英语专业生和30名大学英语教师发放问卷，调查本校大学英语听力教学现状。
调查发现，造成学习者听力困难的原因与前人的调查结果(e．g．Wang＆Ｒenandya，2021)极为相似，如语速快、生词多、辨音难、焦虑以及缺乏元策略等。
多模态话语分析-PPT精选
主要研究成果 国外主要成果 国内主要成果
国外主要研究成果
Kress and Leeuwen, ( 2019; 2019)研究了模 态与媒体的关系,专门探 讨了多模态现象规则地 表达意义的现象,包括视 觉图象、颜色语法,以及 报纸的版面设计和不同 媒介的作用等;他们所构 建的分析视觉图像的语 法框架为多模态话语分 析提供了理论依据和分 析方法；
心理学
语言教学
传媒学
书刊 排版
哲学
网站页 面设计
多模态 话语分析
美学
影视 戏剧
法学
建筑 规划
理论基础
以社会符号学为视角，以韩礼德的系统功能语法为 理论基础，即语言是社会符号，除语言这外还有非 语言符号（绘画、雕刻、音乐、舞蹈等）这些非语 言符号与语言共同构建社会意义。
主要观点
图像、音乐、手势、动画、音调等非语言 符号在交流中也是意义生成的资源。
MDT理论
社会文化 心理学
MDT理论 （Mediated Discourse Theory）
介入性语篇分析
Scollon
交际社会 语言学
跨文化 交际
语言人 类学
民俗方 法论
该理论试图把人们的社会行为和语篇有机地结合起 来研究以弥补以往的语篇分析理论忽略了行为而社 会学理论忽略了语篇的不足。
国内主要研究成果
韦琴红（2009） 在Kress和 Van Leeuwen的社会 符号学框架下的 视觉交流理论的 基础上，从图像、 情态、构图、颜 色、印刷版式等 视觉交流的和主 要方面研究了多 模态话语。
张德禄多模态话语分析综合理论框架
• 文化层面 文化语境
意识形态 体裁
• 语境层面 情景语境
话语范围、话语基调、话语方式
多模态话语分析视角下电影字幕的翻译研究——以电影《冰雪奇缘》为例
067［摘 要］ 电影作为具有鲜明多模态特征的艺术形式，其字幕翻译不仅涉及语言形式的转换，更要关注非语言形式的多种模态。
以迪士尼动画电影《冰雪奇缘》的字幕翻译为研究对象，基于多模态话语分析理论框架，分别从文化层面、语境层面、内容层面、表达层面对其字幕翻译进行了研究，揭示电影中的多种模态之间是如何交融、协调以呈现意义的，以期为中国电影“走出去”提供启示。
［关 键 词］ 多模态话语分析；《冰雪奇缘》；字幕翻译多模态话语分析视角下电影字幕的翻译研究——以电影《冰雪奇缘》为例樊志强一、引言迪士尼动画电影是美国华特迪士尼公司拓展全球电影市场的重要类型。
由于电影文化在社会发展过程中的重要影响，作为全球电影巨头的迪士尼公司，其制作发行的电影必然会对其他国家的文化产生冲击。
虽然迪士尼公司的每部电影在故事情节和叙事内核上都有所差异，但其实质都是在借用不同的文化因素来包装西方价值观，传播美国的文化与思想。
在当前中国文化“走出去”背景下，以电影字幕翻译研究为切入口，深入分析西方典型电影的案例，有助于解构美国的文化帝国主义，深入了解西方电影文化产品的传播模式，以此促进本土电影的制作与国际化传播，提高中国文化的国际影响力。
电影字幕能够帮助观众更好地欣赏和理解电影的内容，中英双语字幕的呈现还起到了沟通中西文化、促进跨文化交流的作用。
字幕翻译的质量对受众的接受度与观感方面会产生直接影响。
电影作为典型的多模态语篇类型之一，它结合了图像、声音、文字等多种社会符号，电影字幕与这些社会符号相互协调，共同建构了电影语篇的整体意义。
为了完整呈现电影的意义，字幕翻译需要考虑源语和目的语之间的文化差异以及不同模态之间的关系。
二、多模态话语研究与字幕翻译20世纪50年代，美国语言学家Harris 提出了话语分析理论。
Barthes 在1977年发表的论文《图像的修辞》中研究了图像在表达意义上和语言的相互作用。
而后，Kress 和Leeuwen 于1996年提出了“多模态话语”概念，认为口语文本不仅是口头的，还是视觉的，与其他“非语言”交流方式，如面部表情、手势、姿势和其他自我产出方式等相结合产生意义。
多模态话语分析理论在英语教学中的应用研究
多模态话语分析理论在英语教学中的应用研究作者：申琴来源：《成才之路》 2018年第8期时代的发展和进步，要求教学模式也要与时俱进。
对于英语教学来说，传统的教学模式由于方式单一、内容枯燥，其教学效果难以达到预期目标。
如今，英语能力已成为评价学生综合素质的重要指标。
为进一步提升英语教学质量，相关教育者对此展开了大量理论研究和实践探索。
其中，多模态话语分析理论在英语教学中的应用，成为大家关注的焦点。
多模态话语分析理论在英语教学中的应用和发展，对提升英语教学水平具有重要的作用。
一、多模态话语分析理论的介绍张德禄认为，“多模态话语分析指运用听觉、视觉、触觉等多种感觉, 通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。
”教师在课堂上使用PPT进行辅助教学，就属于常见的多模态教学，因为PPT包含图片、动画、声音等模态类型，能调动学生的视觉和听觉。
而且，教师在讲解PPT的过程中，还会调动触觉。
多模态话语分析理论的提出，顺应了社会发展的需要。
对于牛津版初中英语教学而言，该理论的应用能够优化教学环境，营造良好的课堂氛围。
所以，很多英语教师非常重视应用多模态话语分析理论，以更好地满足学生的学习需求，提升教学效果和教学质量。
二、运用多模态教学的优势和作用其一，能够弥补单模态教学的不足。
即某一种模态的使用可以弥补另一种模态意义表达的不足，如语言表述不尽意时可以通过肢体语言来补充，在图画教学中可以添加与语境相关的书面话语等。
其二，能强化课堂教学内容。
可以用另一种模态突出部分意义，如口语加重音、书写加黑体或下划线、理论性强的授课部分用PPT画面等。
其三，能吸引学生的注意力。
运用语言艺术、简笔画艺术或动作等表达意义，可以吸引学生的注意力。
其四，能抒发情感。
一种模态无法充分抒发应有的情感时，可运用另一种模态进行强化，如用照片再现场景、用恰当的语调和语气渲染课堂气氛等。
其五，能加深学生对教学材料的理解。
纯文本往往不能完全说明比较抽象、概括、偏僻、难度大的概念，如教材中的环保概念，而加入形象的图形、通俗易懂的表格则可以帮助学生理解。
多模态话语分析的双重视角_社会符号观与概念隐喻观的连接与互补_张德禄
2013年5月第36卷第3期外国语Journal of Foreign LanguagesMay2013Vol．36No．3文章编号：1004－5139（2013）03－0020－09中图分类号：H030文献标识码：A 多模态话语分析的双重视角———社会符号观与概念隐喻观的连接与互补张德禄1，郭恩华2（1．同济大学，上海200092；2．烟台大学，山东烟台264005）摘要：多模态话语分析在语言学领域主要有两个研究视角:基于系统功能语言学的社会符号学视角和基于认知语言学的概念隐喻视角。
两个研究视角之间的连接与互补可以从语言学基础层面、语言哲学层面、语境层面、主体理论构建层面进行探讨。
通过研究和实例分析表明这两个研究视角在理论范式上可相互连接，在话语分析实践中可相互补充。
两者的结合可以有力地促进多模态话语分析理论的发展。
关键词：社会符号学;系统功能语言学;多模态隐喻;概念隐喻The Dual Perspectives of Multimodal Discourse Analysis:The Connection and Complementarity Between Social Semiotics and Conceptual Metaphor TheoryZHANG Delu1，GUO Enhua2(1．Tongji University，Shanghai200092，China;2．Yantai University，Yantai264005，China)AbstractʒMultimodal discourse analysis(MDA)in linguistics can be approached mainly from two perspectives:the social semiotic perspective based on SFL and the conceptual metaphor perspective based on cognitive linguistics．The connection and complementarity between these two perspectives can be probed into in terms of the levels of their respective linguistic foundations，philosophical foundation，contextual level and theoretical formulation．Through case study and investigation，it is shown that the two perspectives share common grounds in their theoretical paradigms and can complement each other in MDA．The integration of the two perspectives can greatly promote the development of the theory of MDA．Key wordsʒsocial semiotics;systemic functional linguistics;multimodal metaphor;conceptual metaphor1．引言多模态话语分析主要研究多种符号资源在同一语篇中如何协同来实现意义。
多模态话语分析
Kress and Leeuwen, ( 1996; 1998)研究了模 态与媒体的关系,专门探 讨了多模态现象规则地 表达意义的现象,包括视 觉图象、颜色语法,以及 报纸的版面设计和不同 媒介的作用等;他们所构 建的分析视觉图像的语 法框架为多模态话语分 析提供了理论依据和分 析方法；
O’Toole(1 994)主要从 级阶的角度 来分析图象。
MDT理论
MDT理论 （Mediated Discourse Theory） 介入性语篇分析 Scollon
交际社会 语言学
社会文化 心理学
跨文化 交际
语言人 类学
民俗方 法论
该理论试图把人们的社会行为和语篇有机地结合起 来研究以弥补以往的语篇分析理论忽略了行为而社 会学理论忽略了语篇的不足。
国内主要研究成果
2006年在意大利Pavia 召开的第三届多模态大 会，涵盖了身体符号学、 数字和因特网语类、多 媒体翻译、多模态文化 和教育、视觉艺术和电 影等七个主题。
2009年我国国内第一本 多模态话语专著《视觉 环境下的多模态化与多 模态话语研究》出版
本世纪初我国学者也开 始关注多模态话语，发 表论文内容涉及广告、 教学、建筑、影视等诸 多领域，
多模态话语分析
内容提要
一、多模态话语分析及其历史发展 二、主要研究成果 三、未来的发展趋势 四、参考文献
多模态话语相关概念界定
多模态话语： 是一种融合了多种符 号模态进行交际的话 语。李战子（2003：5） 指出多模态话语为除 了文本之外，还带有 图像、图表等的复合 话语，或者说任何一 种以上的符号编码实 现意义的文本。
Kress and van Leeuwen
多模态话语分析理论的历史发展 80年代后期： Kress &van Leeuwen开 始尝试包括对语调、音乐、 视觉图像、雕塑、绘画、 建筑的研究，自此“社会 符号学”成为一门独立的 学科，专门研究包括语言 在内的各种模态符号对交 际的作用，关注在社会情 境下所有的符号模态构建 意义的过程。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
语言
布局
多 模
纯语言
声音 文字
态
话
动作(移动)
语
比拟
媒
表情
体
身体
面容
眼神
系
五官
统
手势
肢体
姿势
非语言
摇动 PPT
音响扩放
工具
网络
非身体
实验室 同声传译室
环境
图 1 多模态话语媒体系统
25
2009年1月 第6卷 第1期 （总第27期）
中国外语
F
L
C
Jan. 2009 Vol.6 No.1 (General Serial No.27)
3 多模态话语的媒体系统
3.1 语言媒体 从传统的语言学研究的角度讲，实现意 义传播的媒体形式主要有两种：声波传导的声 音符号和由笔等生成的书写符号。这两种媒体 是语言传播信息的主要媒介。但随着信息技术 的不断发展，其他技术开始用于语言信息的传 播，如计算机文字输入、计算机语音识别等， 但最后的传播媒体仍然是声音或者字符。 伴随语言的媒体形式对语言意义的传递起 到辅助、补充和强化的作用，包括音响、声音
非强化关系表示两种交际模态缺一不可， 互为补充的关系，特别是听觉和视觉的结合。 在非强化关系中，我们可以区分协调、联合和 交叉几种形式。在协调关系中，不同的模态共 同表达交际者的整体意义，缺乏任何一者将不 完整。例如，在播放录像画面时，同时播放声 音。图像和声音都是必需的，不然交际将难以 理解。这是一种典型的相互协调模式。在同一 种模态中，不同类型的媒体可以形成联合关 系，共同来体现意义。例如在录像这种多模态 话语形式中，与动画相匹配的声音与解说的声 音联合体现听觉所实现的意义。还有一种交叉 体现意义的现象，例如交际者可以在边工作、 边做事的同时，讲解他做的事情的经过和原 理、原因等，从而形成两种模态交叉体现整体 意义的现象。这样，非强化关系可以归结为协 调、联合和交叉。
在话语分析理论如火如荼的发展中，人们 发现单纯从语言的角度已经不能对话语进行深入 全面的分析和研究，因为话语的意义中的一大部 分是由非语言因素体现的，如伴语言特征：音响 度、声调、语调、音速等，身体特征：手势、身 势、面部表情、动作、移动等，非身体特征： PPT、音响设备、网络、实验室、周围的环境因 素等。在这种情况下，交际不再是利用一种感官 进行，如说话是听觉，书写是视觉，盲文是触觉 等，而是用两种或者多种感官同时进行，如用 PPT上课则是视觉与听觉同时进行的；模拟与讲 解则是听觉、视觉和触觉同时进行的。以这种交 际方式产生的话语就是多模态话语。
到了现代语言学研究中，人们才开始从非语言 特征和伴随语言特征的角度研究它，不过只作 为一种语言的辅助表达系统，没有作为意义表 达模态来研究。随着多媒体话语的产生，人们 直到最近几年才逐步认识到其重要性，将其作 为一个独立的学术领域进行研究。
在多模态话语分析方面最早的研究者之一 是R. Barthes，他在1977年发表的论文《图像的 修辞》( Rhetoric of the image)中探讨了图像在 表达意义上与语言的相互作用；Kress, G. & van Leeuwen, T. (1996; 2001; 2003)研究了模态与媒 体的关系，专门探讨了多模态现象规则地表达意 义的现象，包括视觉图像、颜色语法以及报纸的 版面设计和不同媒介的作用等；O’Halloran, K. L. (2004)不仅研究多模态的理论建构，还专门研究 了数学语篇中的多模态现象；Royce, T. (2002)研 究了不同符号在多模态话语中的互补性以及在第 二语言课堂教学中多模态的协同性等。
多模态话语分析综合理论框架探索
张德禄 中国海洋大学
摘 要： 本文旨在探讨如何为多模态话语分析建立一个理论框架，首先对多模态话语研 究动态进行了简单述评，然后根据系统功能语言学理论尝试建立一个多模态话 语分析的综合框架。这个框架主要由五个层面的系统及其次级范畴组成，分别 是：(1)文化层面；(2)语境层面；(3)意义层面；(4)形式层面和(5)媒体层面，同时 还探讨了各个模态之间的关系，分为互补性的和非互补性的两大类，最后探讨 了非语言模态的语法结构的建立、语法结构与语篇结构之间的关系以及语法结 构是如何体现概念意义、人际意义和谋篇意义的。
分为三个类别：
(1) 与头部有关的动作，包括眼神、挤眼、
凝视、摇头、点头、仰头、低头、欢喜的表
情、伤心的表情、嫉恨的表情、凝重的表情、
大笑、龇牙咧嘴以及鼻子和耳朵的动作形成的
媒体符号等。
(2) 由手臂和腿形成的媒体符号，包括手
势，手臂的状态、形成的形状、摇动等，腿的
并立、踢跳、弯Байду номын сангаас等。
(3) 躯干的动作，如姿势、移动、摇摆、模
(5) 媒体层面，是话语最终在物质世界表现 的物质形式，包括语言的和非语言的两大类。 语言的包括纯语言的和伴语言的两类；非语言 的包括身体性的和非身体性的两类。身体性的 包括面部表情、手势、身势和动作等因素；非 身体性的包括工具性的，如PPT、实验室、网 络平台、实物(投影)、音响、同声传译室等。
下面我们按照从下到上的顺序分别进行探 讨，即首先探讨媒体层面可以实现意义的媒体 形式，然后探讨在形式层面可以实现的意义的 模态及其之间的关系，接着探讨多模态话语分 析的综合框架，最后初步探讨多模态话语语法 系统的特点。
(1) 文化层面，包括作为文化的主要存在形 式的意识形态和作为话语模式的选择潜势的体 裁或者称体裁结构潜势。
(2) 语境层面，包括由话语范围、话语基调 和话语方式组成的语境构型。
(3) 意义层面，包括由几个部分组成的话语 意义及概念意义、人际意义和谋篇意义。
(4) 形式层面，实现意义的不同形式系统， 包括语言的词汇语法系统，视觉性的表意形体 和视觉语法系统，听觉性的表意形体和听觉语 法系统，触觉性的表意形体和触觉语法系统等 以及各个模态的语法之间的关系，分为互补性 的和非互补性的两大类。互补性包括强化和非 强化两类；非互补包括内包、交叠、增减、情 景交互。
国内多模态话语的研究还处在起始阶段， 尚未见到专著出版，只有数量不多的论文， 其中胡壮麟的“社会符号学研究中的多模态化” (2007)讨论了多模态符号学和多媒体符号学的 区别，介绍了具有媒体和模态双重特性的计算 符号学，并指出人类进入社会符号学多模态化 的新世纪，对多模态识读能力的培养应引起重 视。其他研究包括李战子(2003)用系统功能语 言学理论对多模态话语理论的研究。
24
Jan. 2009 Vol.6 No.1 (General Serial No.27)
C
L
F
2 多模态话语分析的理论基础
多模态话语的最合适的理论模式是系统功 能语言学理论，因为它不需要为适应新的目的 而对理论框架本身进行改造。虽然多模态话语 分析似乎扩大了它的研究范围，但系统功能语 言学理论本身不需要做任何改动就可以直接作 为其理论框架。这个框架主要由五个层面的系 统组成(Martin, 1992)。这五个层面分别是：
然而，如何在话语分析中把多种媒体和多 种模态结合起来进行分析解读是现代语言学研 究，特别是话语分析研究应该特别注意解决的 问题。本文首先对多模态话语研究动态进行了 简单述评，然后根据系统功能语言学理论尝试 建立一个多模态话语分析的综合框架。
多模态话语指运用听觉、视觉、触觉等多 种感觉，通过语言、图像、声音、动作等多种 手段和符号资源进行交际的现象。这种现象司 空见惯，自古有之，如诗歌配上图画，说话时 打手势做鬼脸，使用不同口气和腔调等。但话 语的多模态性一直没有受到人们的重视，只是
26
在探讨多模态话语形式之间的关系时，我 们需要首先考虑一个问题：为什么人类在交际 中会用多模态？是为了有趣，是随意的，是生 理和心理的自然表现的结果，还是因为一种模 态不能，或者不能充分表达交际者的意义？可 能两种情况都有，但最主要的应该是后者，即 一种模态不足以表达清楚交际者的意义，从而 利用另一者来进行强化、补充、调节、协同， 达到更加充分，或者尽量充分表达意义，让听 话者理解话语的目的。
主题词： 多模态；话语；框架；语法；关系
中图分类号：H0-06
文献标识码：A
文章编号：1672-9382(2009) 01-0024-07
1 引言
作者简介：张德 禄，中国海洋大 学外国语学院教 授、博士生导师。 研究方向：系统 功能语言学、文 体学、符号学、 语篇分析和外语 教学等。E-mail: dlzh@hotmail. com; dlzhang@ 。
从这个角度讲，不同模态的话语实际上都 是为了体现讲话者的整体意义的。典型的多模 态话语模式是一种模态的话语不能充分表达其 意义，或者无法表达其全部意义，需要借助另 一种来补充，我们把这种模态之间的关系称为 “互补关系”，而把其他的称为非互补关系。
在互补关系中，我们还需要区分强化关 系与非强化关系。所谓强化关系是说一种模 态是主要的交际形式，而另一种或者多种形 式是对它的强化。例如，如果语言是主要的 交际形式，那么手势、身势等交际形式就只 是起强化作用。反之，在主要以其他方式， 如图画、舞蹈为交际形式时，语言可能只是 辅助的、起强化作用的。在强化关系中，一 种模态的形式只提供背景信息。如在话剧 中，图形幕景提供背景信息，而声音语言话 语则是前景化的，从而使讲的话语突出出 来。在讲话时打手势则是一种辅助手段，所 以是次要模态。而在播放布什的讲话时同时 播放他在某些重大事件中的一些录像片段是 对声音表达的意义的扩充。所以强化关系可 以包括突出、主次和扩充三种关系。