多模态语篇分析与系统功能语言学-Core
[模态,语言学,话语]多模态话语分析的系统功能语言学研究
![[模态,语言学,话语]多模态话语分析的系统功能语言学研究](https://img.taocdn.com/s3/m/633ddc2b04a1b0717ed5dda2.png)
多模态话语分析的系统功能语言学研究引言多模态话语分析理论是结合语言、视觉、声觉等其中两种或两种以上的模态而展开分析的一种理论模式，语言学理论与现代多媒体技术的有机结合为这一理论的建立提供了可靠依据。
人们在与他人交往或在表达意义的过程中，一般都会使用到符号资源，而语言中的语法体系则对由词语组成的句子、语篇等符号资源的使用起决定性作用。
与此相类似，视觉中的语法则对人物与事物等因素如何组成不同复杂程度的视觉陈述起着决定作用。
一、多模态话语概述（一）多形态话语的产生情况1.生命感知模态的产生分析生命科学研究成果得知，在不断演化的过程中，生命体逐渐获得视觉、嗅觉、听觉、味觉以及触觉等不同的感知通道，其中，依靠眼睛获取了视觉通道，依靠鼻子获取了嗅觉通道，依靠耳朵获取了听觉通道，依靠舌头获取了味觉通道，而依靠皮肤则获取了触觉通道。
生命体通过这些通道，与周围的环境进行了有效的信息交换。
此外，在物竞天择，适者生存的残酷竞争面前，生命体为获得生存与繁衍，他们就需利用这些感知通道之间的相互作用，对周围环境中的一切事物做出有效、迅速的反应。
一些生物学家认为，生命体在获得以上五种感知渠道的基础上，分别产生了视觉、嗅觉、听觉、味觉、触觉五种不同的交际模态。
而在这些模态中，视觉与听觉这两种模态与话语分析具有最为紧密的联系。
近些年来，随着科技的进步与发展，其他三种模态也逐步应用于话语交际中。
例如在触觉模态方面，人们可以利用数据手套，在将手指弯曲角度进行传递的基础上，将各种三维手势打出来，并通过有机结合语言与手势，进而促进人机对话朝着与自然人际对话相接近的方面发展。
2.模式、媒介、模态三者之间的区别模式、媒介以及模态这三个词语经常出现在多模态话语的分析中.在意义上，它们之间存在一定的联系，但由于没有具备非常明确的界限，经常导致误解及混乱的发生，因而对其含义展开一定的说明是极为有你要的。
通常情况下，模式指的是与话语基调、话语范围并列为语境三要素的话语模式，其本意指的是人们交流的渠道，例如口头模式、书面模式、电子模式等。
语篇分析与系统功能语言学理论的建构_黄国文
1 ·版权所有 文责自负·作者简介:黄国文,教授,博士,博士生导师,研究方向:功能语言学,语篇分析,应用语言学,翻译研究语篇分析与系统功能语言学理论的建构黄国文(中山大学外国语学院,广东广州 510275) 摘 要:本文的目的是勾画语篇分析与系统功能语言学理论建构的关系,试图回答“为什么语篇分析是系统功能语言学的一个研究重点?”这个问题。
文章从作为“成品”的语篇和作为“样本”的语篇两个角度来探讨语言使用与语言系统的关系;通过对系统、例示化、语篇等概念的阐述来回答本文所提出的问题。
本文表明:语篇分析是系统功能语言学理论研究的一个重要部分,语篇分析对系统功能语言学理论的建构意义重大。
关键词:系统功能语言学;语篇分析;系统;例示化中图分类号:H0 文献标识码:A 文章编号:1004-6038(2010)05-0001-04 1.引言本文试图勾画语篇分析与系统功能语言学理论建构的关系,围绕着“为什么语篇分析是系统功能语言学的一个研究重点?”这个问题进行讨论。
之所以探讨这个问题,是因为很多人对语篇分析在语言理论建构过程中的作用认识不足。
众所周知,语篇分析能够帮助我们理解、解读、解释和评估语言在交际过程中的使用和作用,但很多人看不到语篇分析与普通语言学研究之间的内在联系,无法把语篇分析与语言学理论的建构联系起来。
2.系统功能语言学的一个目的H a l l i d a y系统功能语法理论的第一本专著是1985年出版的A nI n t r o d u c t i o nt oF u n c t i o n a l G r a m m a r。
该书1994年出版了第2版;在这本书的第1和第2版中,H a l l i d a y(1985:x v,1994a:x v)说了这么一段话:在决定本书能够包括多少内容时,我心中有一定的指导原则。
写这本书的目的是为语篇分析建构一个语法,这样的语法可以使我们对现代英语的语篇能够说出合情合理的、有用的话。
多模态语篇分析的基本问题探讨
多模态语篇分析的基本问题探讨一、本文概述随着信息技术的飞速发展，我们已经进入了一个多模态时代，信息的传递不再局限于单一的文字或语言，而是融入了图像、声音、动作等多种模态。
多模态语篇，作为这种时代背景下产物，其重要性日益凸显。
本文旨在探讨多模态语篇分析的基本问题，以期对多模态交际的理论和实践提供有益的参考。
本文首先对多模态语篇的基本概念进行界定，明确多模态、模态、语篇等核心概念，为后续分析提供理论基础。
接着，文章将深入探讨多模态语篇分析的主要方法，包括系统功能语言学、认知语言学、视觉语法等多种理论框架，以期提供一个全面而深入的分析视角。
本文还将关注多模态语篇分析在实际应用中的挑战与前景。
一方面，我们将分析多模态语篇分析在实际应用中可能遇到的问题，如数据收集、处理和分析等方面的困难；另一方面，我们也将展望多模态语篇分析在未来的发展趋势，如在、机器学习等领域的潜在应用。
本文旨在全面而深入地探讨多模态语篇分析的基本问题，以期推动多模态交际研究的深入发展，为未来的多模态交际实践提供理论支持和实践指导。
二、多模态语篇分析的理论基础多模态语篇分析的理论基础主要源自语言学、符号学、认知科学、传播学等多个学科领域。
在语言学领域，系统功能语言学为多模态分析提供了重要的理论框架。
系统功能语言学认为，语言是一种社会符号，具有三大元功能：概念功能、人际功能和篇章功能。
这一理论框架为多模态分析提供了理解符号系统如何构建意义、实现交际目的的理论基础。
符号学为多模态分析提供了符号系统的基本概念和分析工具。
符号学认为，符号是由能指和所指组成的，它们之间的关系构成了符号的意义。
在多模态语篇中，除了语言符号外，还包括图像、声音、颜色等非语言符号。
这些符号系统共同构成了多模态语篇的符号网络，实现了意义的多元化表达。
认知科学为多模态分析提供了人类如何处理和理解多模态信息的理论支持。
认知科学认为，人类在处理多模态信息时，会利用多种感官和认知机制进行信息的整合和理解。
多模态语篇分析
有些学者认为各种模态的三个元功能具有同等 的作用。 他们根据系统功能语法中的概念功能、人际功 能和语篇功能，分析了图像的再现功能、互动 功能和构图功能。 但是视觉符号与语音层不同，有点、线条、颜 色、光等。
此外，也有些学者认为某个元功能占主导作用 （Martinec 2005）。Van Leeuwen（1999） 认为音乐中人际功能占主导地位，因为音乐的 结构特征是韵律的和递归的，即旋律和节奏。 Lemke（1998）对书面科学语篇中的图形和图 表的分析表明呈现意义和组织意义要比取向意 义更前景化，并显示出明显的多样化。 Martinec（2001; 2004）认为在动作模态中经 验功能占主导地位。
近年来的多模态研究主要有四种视角：交互社 会学的视角、认知的视角、语体学的视角和功 能符号学视角。从交互社会学的视角，学者应 用交互社会学理论研究即席话语和公共场所中 的多模态，关注人们如何在交际时采用不同模 态构建他们所处的情景和身份。其出发点不是 语篇而是人们的行为，主要代表人物有 Scollon和Norris等。
更多的学者关注多模态话语中各模态之间的关系和语 法整合。Lemke（1998，2000）从理论上解释了模 态之间的语义扩展。他认为，语言和其他模态共同进 化使我们拥有构建范畴意义和程度意义的两种不同方 式。语言擅长范畴意义的构建，而动态动作和视觉图 像更容易表达程度意义。Lemke（2000）认为，多模 态语篇中的模态混合必然导致语义的扩展，从而产生 新的解释空间。例如，数学语篇混合使用语言、视觉 图像和数学符号构建的世界远远超越了语言所能构建 的世界，从而产生新的解释空间。
人们通常认为现代符号学研究始于Saussure和 Peirce。Saussure（1916）认为符号学属于 社会心理学，主要研究符号的构成及其支配规 律。他认为语言学是符号学的一个组成部分。 符号包括能指和所指两方面组成。符号同符号 之间的区别构成符号系统，用于实现交际目的。 Peirce（1958）则认为符号由三方面组成：表 征、对象和解释。他重点区分了三种符号：图 像符号、指示符号和象征符号。
第五章-系统功能语言学
第五章韩礼德为代表的系统功能语言学派韩礼德(M.A.K.Halliday)的系统功能语言理论是20世纪后半叶国际上最有影响的语言学理论之一,其旺盛的生命力显示,它加深了人们对语言的认识,并将在新世纪语言学研究中发挥更大作用。
本文从伦敦学派及其奠基人弗斯的理论研究对韩礼德系统功能语言学的启迪和传承关系谈起,对韩氏理论的几个发展阶段和主要观点、重要成员作一综合性述评,以理清它的发展脉络和理论奉献。
1.弗斯与伦敦语言学派伦敦学派奠基人弗斯曾在伦敦大学学院的语音系同著名语音学家琼斯(Daniel Jones,1881—1967)一起做研究。
1938年,他受聘于伦敦大学东方与非洲研究学院,并于1944年成为英国历史上第一个普通语言学教授。
弗斯的语言学理论是他在伦敦大学工作期间形成的,他和他的同事又长期在伦敦大学工作,因此以他为首的语言学派被称为“伦敦学派”。
这个学派与美国结构主义语言学、乔姆斯基生成语法学派、布拉格学派、丹麦的哥本哈根学派等同为20世纪语言学界最为人瞩目的语言学派(王宗炎1985:94)。
弗斯的学生韩礼德继承和发展了弗斯的语言学理论,并建立了新弗斯学派。
韩礼德在伦敦大学获得汉语语言文学学士学位后,于1947年到北京大学跟随罗常培教授学习汉语音系学、词典学和比较历史语言学。
后来师从王力教授研究现代汉语方言。
1949年回伦敦,被剑桥大学录取为博士研究生,导师便是伦敦大学东方与非洲研究学院的弗斯教授。
弗斯的语言学思想对韩礼德的影响特别大。
弗斯(1957)认为,语言中的意义(即使用中的语言项目的功能)非常重要,语言中言语产生的社会语境也非常重要。
弗斯受伦敦经济学院人类学教授马林诺夫斯基(B.Malinowski,1884—1942)语言研究的影响,强调言语使用的社会语境,其目标是根据马林诺夫斯基的“情景语境”(context of situation)建立一种语言学理论。
遗憾的是,弗斯自己没有到达这个目标。
多模态语篇分析与系统功能语言学
多模态语篇分析与系统功能语言学一、本文概述随着信息技术的飞速发展和全球交流的日益频繁，多模态语篇在人们的日常生活和工作中扮演着越来越重要的角色。
这些多模态语篇不仅包括文字，还涵盖了图像、声音、视频等多种符号资源。
因此，对多模态语篇进行深入分析，理解其意义生成机制，已成为语言学研究的重要任务之一。
本文旨在探讨多模态语篇分析与系统功能语言学之间的关系，并揭示系统功能语言学如何为多模态语篇分析提供理论框架和方法论指导。
我们将首先回顾系统功能语言学的基本理论，包括语境理论、意义潜势理论和元功能理论等，然后探讨这些理论如何应用于多模态语篇分析。
在此基础上，我们将进一步分析多模态语篇中的符号互动和意义生成过程，揭示多模态语篇在交际过程中的重要作用。
通过本文的论述，我们希望能够深化对多模态语篇和系统功能语言学的理解，为相关领域的研究提供新的视角和思路。
我们也期望通过本文的探讨，能够促进语言学研究的跨学科交流和合作，推动语言学研究的不断创新和发展。
二、多模态语篇分析概述随着信息技术的飞速发展，人们的交流方式日趋多元化，单纯的文字交流已不能满足日益复杂的沟通需求。
在这一背景下，多模态语篇分析应运而生，它是对传统语言学分析方法的扩展和深化，旨在探究包括语言、图像、声音、动作等多种符号资源在内的交流现象。
多模态语篇分析不仅关注语言本身，更着眼于语言与其他模态如何协同工作，共同构建意义。
多模态语篇分析的理论基础在于认为任何交际活动都是多模态的，即涉及多种符号系统的交互使用。
这些符号系统包括但不限于文字、图像、声音、视频、身体语言等。
在多模态交际中，各种模态并非孤立存在，而是相互关联、相互补充，共同构建交际活动的意义。
多模态语篇分析的方法论特点在于其跨学科性和综合性。
它借鉴了语言学、传播学、心理学、社会学等多个学科的理论和方法，形成了一个综合性的研究框架。
在这一框架下，研究者不仅关注语言的结构和功能，还关注语言与其他模态之间的关系，以及这些关系如何影响交际活动的进行。
多模态话语分析讲稿
编辑课件
取景与显著性
整幅海报的背景色彩对比鲜明，形成分割 线条，形象地向观看者展示了截然不同的 两个世界。海报的上下两端色调黑暗，象 征着贫民窟的艰苦生活 这样的生活是男女 主人公想要逃脱的生活。海报的中间部分 色彩斑斓，象征着光明而美好的生活 这是 男女主人公向往的生活。影片名Slumdog Millionaire 色彩渐变，形成了明显的分 割线条，与明暗鲜明的背景相衬托，再现 了影片的主题。男孩的侧面头像是整张海 报的焦点，占据着海报的四分之一空间， 整个头部被分为黑暗和光明两个对比鲜明 的部分，象征着男孩心中的矛盾和挣扎， 以及现实中两个完全不同的世界
• 态度主要通过视角来体现，表达对图像中参与者所持的态度。可以从水平视角和垂直 视角来分析，正面视角给观看者或者图像制作者带来一种身临其境 融入其中的感觉。 从平视角度来看，则表示观看者和参与者相对平等的关系，仰视则表示参与者处于强 势地位。
• 情态是指某种图画表达手段的使用程度，如色彩、色调、深度和再现细节等。 • 社会距离：图像参与者与图像观看者之间的亲疏关系。亲近距离: 只看得到脸部或头
‘多模态’理论宏观框架解读：以系统-功能为视角
‘多模态’理论宏观框架解读：以系统-功能为视角摘要：韩礼德教授是英国伦敦学派的主要代表之一，同时也是系统功能语言学理论的创始人。
系统功能语言学理论强调语言的情境和系统层面，其核心学术思想包括以下两个方面：系统语法（SystemicGrammar）和功能语法（FunctionalGrammar）。
系统语法旨在解释语言作为一个系统网络的内部关系，该系统包括一系列语言使用者可以从中选择的子系统;功能语法旨在揭示语言在社会互动中所发挥的功能。
笔者以韩礼德的系�y功能语言学视角，对‘多模态’理论研究的学科前沿进行了简单描述，尝试为读者构建一个‘多模态’理论的宏观框架。
同时，该理论框架为当代大学英语课堂教学实践提供了理论指导，指明了方向。
关键词：系统功能语言学;‘多模态’理论;宏观框架;教学实践;理论指导近年来，诸多语言学者转向对实际中的话语案例进行分析。
因此，话语分析理论应运而生。
该理论诞生之初，人们只是单纯的从语言本身的角度对话语进行理论解释和特征描述。
随后，语言学家和外语教育专家指出，现实生活中话语的完整意义严格来说是由语言符号资源本身以及其背后的部分非语言符号资源共同体现出来的。
尤其是在现代外语课堂中，单纯的语言理论解释和描述使学生感到枯燥、抽象、乏味，不再能激发学生的学习兴趣。
因此，在现代外语课堂中，有必要引进非语言学符号和资源。
这些非语言符号资源有以下几大特征：（1）伴语言特征;（2）非身体特征等。
因此，笔者认为，日常生活中的语言交际事实上不仅仅是用一种感觉器官来进行。
这种利用多种感官协同作用就是多模态话语分析。
笔者从韩礼德的系统功能语言学出发，通过对‘多模态’理论宏观框架的解读，为当下大学英语教学实践提供了理论框架，指明了方向。
一、韩礼德的系统-功能观韩礼德教授是英国伦敦学派的主要代表之一，同时也是系统功能语言学理论的创始人。
系统功能语言学理论强调语言的情境性和系统性。
其核心学术思想包括以下两个方面：系统语法（SystemicGrammar）和功能语法（FunctionalGrammar）。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2009年7月第30卷第4期外语教学F ore i gn Langua ge E du ca ti onJ u l y.2009Vo.l30No.4多模态语篇分析与系统功能语言学杨信彰(厦门大学外文学院福建厦门361005)摘要:随着科学技术的发展和社会需求的变化,多模态语篇已成为当代生活的一部分。
语篇表达模式的变化给理论描写带来了新要求。
在多模态语篇中,各种模态互相作用,互相补充,在语境创建意义。
本文综合多模态的研究,讨论多模态的本质,说明系统功能语言学理论在多模态语篇分析的作用,强调多模态语篇分析应重视语言与其他模态之间的密切关系。
关键词:多模态语篇;符号;系统功能语言学中图分类号:H030文献标识码:A文章编号:100025544(2009)0420011204Abstr ac t:W ith the deve l op m ent of science and technology and the changes i n socia l de m ands,m ulti m oda l d isco urse has be2 co me part of co ntemporary life.The change of modes of expressi on i n discourse has brought about new de m ands for t heoreti ca l descr i pti on.In m ulti m oda l discourse,different m o des interac t with and co mp le m ent each ot her t o create m ean i ng i n context. Based on the st udies i n mu lti m oda lity,this paper discusses the nature of mu lti m odality,ill ustrates the role of system ic t heory in mu lti m o da l d i scourse ana lysis.The pape r a lso stresses t he i m portance of the c l ose re lati onship bet ween l anguage and other m o da lities i n mu lti m odal discourse ana l ys i s.K ey word s:mu lti m odal d i scourse;si gn;system ic f unctio na l li ng u istics1.引言如今,我们生活在一个数字化和信息化的时代。
新技术的出现带来了语篇的变化。
人们不再把语言作为唯一的意义表达手段。
以前人们关注的是单模态语篇,语篇分析以前仅仅集中在语言语篇,但由于技术的发展,语篇出现了照片、图画、精美的布局等多模态特征。
H alliday(1978)认为语境包括语场、语旨和语式。
在多模态语篇,语式发生了变化。
也就是说,表达层发生了变化。
这些变化使得内容层的变化成为可能。
K ress等人(1997)意识到了图像在语篇中已作为重要的交际形式,因此引起语篇的形式和特征发生了变化,读者在阅读时不再仅仅依赖于书面语言。
他们认为从语言单模态到多模态的发展促使人们从语言学到符号学的变化。
Matthiessen&Nesb itt(1996)意识到技术和社会需求的发展导致出现语言理论和描写脱离的现象。
多模态语篇分析的一个方面是分析语篇中的各种表征模态创建意义的机制。
多模态的出现对符号学和语言学理论提出了新要求,因而也成为语篇分析的一个热门话题。
不同符号系统呈不同的模态。
人们寻求和探讨适用于各种符号模态的理论框架。
有些学者根据H alli day (1978,1994)的符号理论尝试解释各种模态的语法,如Mart i nec(1998)动作符号学、O.Toole(1994)和Kress& van Lee uwe n(1996)的视觉符号学、van Leeuwen(1999)的声音符号学。
本文拟综合多模态的研究,讨论多模态的本质以及多模态与功能语言学理论的关系,说明语言在多模态语篇分析中的地位。
2.多模态的普遍性多模态是人类生活的一种普遍内在特征。
H alli day 早就意识到多模态语篇的存在。
他(H alli day1985:4)认为除了语言,人们还有许多表达意义的方法,如绘画、雕塑、音乐、舞蹈等等。
语言是文化中的一套符号系统,但语言的这一意义潜势最具有系统性。
H alliday(1977/ 2003)就指出语言的独特之处在于它有三层的编码系统,即意义、表达以及位于其中的词汇语法。
H alli day (1985:10)把在情景语境中起作用的任何一个语言实例称作语篇,并认为语篇可以是口头或书面的,也可以是其他的表达媒介。
这就是说,语篇的媒介可以多种多样,既可以使用某种符号系统作为表达媒介,也可以是多种模态的结合。
但对Matthiessen(2007:4)来说,要探讨多模态,首先就要考虑语言这个符号系统。
他的观点是,语言的内在本质就是多模态的。
Matthiessen(2007: 10)认为语言本身的多模态表现在语言表达层至少有三个系统:语音、文字和其他符号。
语言表达层的这些模态与其他符号系统一起发展。
Matthiessen(2007)观察了原始母语和成人语言的发展和变化,把原始母语也看作是多模态的。
原始母语采用整个身体作为表达层,意义#11#和表达模态密切相关。
表达模态包括手势、面部表情、眼神、发音等。
各种模态的功能和表达的意义可能不一样,例如手势通常表达动作。
成人语言具有元功能的意义表达方式。
在成人语言中,多模态得到保持和扩大。
我们在交际中除了语言外,还使用发音、手势、面部表情等身体语言和副语言。
在语言作为单模态的时代,语言被看作是主要的交际手段,其他模态被认为是附属的。
因此,单模态的呈现被看作是有自己的规范。
但是在多模态时代,多种符号资源已成为交际的中心,语言的地位发生了变化。
符号系统的不同在于它们使用的是不同的模态资源。
语篇、绘画、音乐等各种符号系统通过不同表达模态来体现。
不同符号模态采取不同创建意义的方法,因媒介的不同而采用不同的方法创建不同的意义(Bal dry &Th i bault2006)。
语言和其他符号系统形成多纬的意义表达空间。
在Matthiesse n(2007)看来,我们可以从表达层、内容层和语境三个视角审视多模态特征。
由于内容层的词汇语法和语义只有一种系统,语言的多模态性主要表现在表达层,内容层上的差异不像表达层上的那么大。
在表达层,符号系统的表意潜势不同,所使用的符号系统会不同。
内容层中口语和书面语的模态差别只是语域变异的一部分。
从语境来看,所有的符号系统都是在语境中运作,各种符号系统相互整合,互为补充,在语境中共同创建意义。
但是各符号系统并非总是和谐的,意义的创建可能是由不同符号系统的矛盾产生的。
因此我们在审视语言的多模态性时需要结合内容层的词汇语法体现形式和功能意义进行分析。
不同的表达方式使用不同的表达媒介和不同的模态。
Matthiessen(2007)认为表达方式在不同表达媒介中表现为序列(sequence)、成分(seg ments)和语调(i ntona2 t i on)。
在口语中,表达媒介是由发音顺序体现的成分、由时间展开体现序列和由音高移动体现的语调。
在书面语中,表达媒介是由文字顺序体现的成分、文字的横向展开的序列。
书面语中没有音调,但有如字体、字号等的文字特征。
此外,多模态语篇的分析和描写还与语域有着密切的关系。
语域可以是单模态和多模态,语域不同,各个符号系统的作用也不同。
Matt h i essen(2007:55257)分析了多模态的旅行指南发现,各种符号在表示具体空间时分工不同,空间通过语言、照片和图标来识解。
这种程序性语篇在语言上通过物质过程来识解,语言的概念资源被用来识解旅行者的空间移动,存在过程、关系过程或心理过程来介绍途中的地点,照片用来对文字描写作进一步详述,地图用来客观地识解空间。
Baldry& Thi ba u lt(2006)也观察了多模态的使用引起语域的变化。
在多模态课本中,很少出现表示来源的词汇语法手段,如说话者、感知者、分配者和归属者,无来源的关系小句起重要作用。
3.多模态的交际特征交际要获得成功,参加者就要表达清晰的信息,选择受众最容易理解的表达方式。
多模态语篇是一种交际手段,以多种表达方式创建意义,进行交际。
符号资源是在社会文化和政治历史中产生的,新的社会文化和政治需要导致出现新的交际方式。
新的交际技术也产生了新的交际理论。
Kress&van Leeuwen(2001)运用系统功能语言学,根据对符号模态的特征的分析,描绘出多模态的交际理论,把多模态定义为设计符号产品或事件时多种符号模态的使用以及它们的结合方式。
这些符号起着互相加强、互为补充的作用。
他们提出意义创建的四个层面:话语层、设计层、生产层和传播层。
话语是社会对现实构建的知识,由特定社会语境产生并由多种符号模态体现。
设计是符号资源的使用,介于内容和表达之间,在语境中体现话语。
设计是对符号产品和事件形式的概念化,包括话语的形成、互动和符号模态的结合方式。
生产指媒介在交际中的使用,是对符号事件的实际表达。
生产实现了设计,涉及了表达的物理过程、材料的物理品质等。
传播指的是对符号产品和事件的技术上重新编码。
一个话语可能有不同的解释,但设计和话语在解释起重要作用。
Kress&van Lee uwe n (2001:22)认为在生产过程中,意义的产生不是任意的。
意义在生产时开始产生,最后由于媒体有了语法,便成为模态。
Kress&van Leeuwen(2001)的多模态交际理论主要集中在交际的符号资源及其使用。
交际包括了话语、设计、生产、传播和解释等多个层面。
在交际过程中,意义可以由不同的方式、不同的模态和媒介来表达。
Kress& van Leeuwen(2001:69270)注意到,以前的语言学家和符号学家通常把生产看作设计的体现,不添加任何意义。
因此,这样的研究不注意媒介,把物质和意义分开,只关注手写的或印刷的句子。
基于社会符号学的观点,Kress &van Lee uwe n(2001)把模态看作是符号资源,能同时实现话语和互动。
设计层使用这些资源,联合各种模态,根据交际情景的利益进行选择。