多模态语篇分析
电影语篇的多模态分析
电影语篇的多模态分析【摘要】这篇文章旨在探讨电影语篇的多模态分析，通过分析视觉、音频、故事结构、演员表现和情感表达等要素来深入理解电影的表达方式。
在我们探讨了多模态分析在电影研究中的重要性和本文的研究目的。
在我们对电影语篇的各个要素进行了深入的分析和探讨，从不同角度揭示了电影表达的多样性。
在我们总结了多模态分析在电影研究中的应用，并展望未来研究的方向。
通过本文的研究，我们可以更全面地理解电影的语境和表达方式，为电影研究提供新的视角和方法论。
【关键词】电影语篇，多模态分析，视觉要素，音频要素，故事结构，演员表现，情感表达，电影研究，应用，展望1. 引言1.1 电影语篇的多模态分析的重要性电影语篇是指电影中所使用的各种语言元素，包括视觉、音频、故事、演员表现和情感表达等。
多模态分析则是指综合运用各种分析方法对电影语篇进行解读。
在当代电影研究领域，多模态分析具有重要的意义。
故事结构在电影语篇中扮演着至关重要的角色。
多模态分析可以帮助我们分析电影的叙事手法、情节设置、角色关系等方面，揭示导演对于故事情节的处理和表达方式，从而更好地理解电影的内涵和意义。
演员表现和情感表达也是电影语篇中不可或缺的元素。
通过多模态分析，我们可以深入探讨演员的表演技巧、情感传递和角色塑造等方面，揭示影片中人物之间的情感关系和冲突，从而更好地理解电影中的情感表达和主题思想。
多模态分析在电影研究中具有重要意义，能够帮助我们更全面、深入地理解电影语篇的各种要素。
通过对电影的多方面分析，我们可以更好地解读电影作品，挖掘其深层内涵，从而提升对电影的审美和理解能力。
1.2 本文研究的目的本文旨在借助多模态分析的方法，揭示电影语篇中不同要素间的互动关系，探索它们如何共同构建出一个完整的艺术作品。
通过这一研究，我们可以更好地理解电影的魅力所在，揭示其背后的艺术和技术奥秘。
本文也旨在拓展电影研究领域的视野，探讨多模态分析在电影研究中的应用潜力，为未来相关研究提供参考和启示。
表 2 单元多模态语篇内容与语篇主题意义
表 2 单元多模态语篇内容与语篇主题意义随着社会的不断发展，语言学习已经不再局限于传统的纸质书籍，而是涌现了多种多样的语言教学模式。
在这些模式中，多模态语篇作为一种新型的语言教学形式，逐渐受到人们的关注与重视。
多模态语篇以多种不同的语言形式来呈现信息，使学习者在感知、认知与认知等多个层面上更好地理解和掌握语言知识。
本文将从多模态语篇的概念、特点及其在语言教学中的意义等方面进行探讨，希望能够为相关研究与实践提供一定的参考价值。
1. 多模态语篇的概念多模态语篇是一种以多种不同的语言模式（如图像、文字、声音等）进行组合的语言形式。
它在语言呈现的过程中，可以通过多种感官渠道来传达信息，达到更加丰富和全面的信息传达效果。
多模态语篇可以通过视觉、听觉等多个感知途径，使学习者更好地接受和理解所传达的语言信息。
它不仅拓展了语言表达形式的多样性，还使得语言信息更加直观、生动，更有利于学习者的理解和记忆。
2. 多模态语篇的特点多模态语篇具有以下几个显著特点：（1）形式多样性。
多模态语篇可以采用文字、图片、声音、视瓶等多种形式来进行信息呈现，因而更能够满足学习者不同层次和方式的接受需求。
（2）信息丰富性。
多模态语篇可以通过多种感知途径来呈现信息，使得信息更加全面丰富，学习者可以通过听觉、视觉等多种感知途径来加深对语言信息的理解。
（3）直观性和形象性。
多模态语篇所呈现的语言信息更加直观形象，更容易引发学习者的兴趣和好奇心，从而更好地激发学习积极性。
3. 多模态语篇在语言教学中的意义多模态语篇在语言教学中具有重要的意义，主要体现在以下几个方面：（1）促进学习者的全面发展。
多模态语篇可以满足学习者多种感知方式的接受需求，通过视觉、听觉等多种感知途径呈现语言信息，1富信息的也有利于学习者在多种感知途径上的认知和发展，促进学习者的全面发展。
（2）提高教学效果。
多模态语篇可以更加直观、生动地呈现语言信息，更容易引发学习者的兴趣，激发学习者的学习积极性，从而提高教学效果。
多模态语篇分析的基本问题探讨
多模态语篇分析的基本问题探讨一、本文概述随着信息技术的飞速发展，我们已经进入了一个多模态时代，信息的传递不再局限于单一的文字或语言，而是融入了图像、声音、动作等多种模态。
多模态语篇，作为这种时代背景下产物，其重要性日益凸显。
本文旨在探讨多模态语篇分析的基本问题，以期对多模态交际的理论和实践提供有益的参考。
本文首先对多模态语篇的基本概念进行界定，明确多模态、模态、语篇等核心概念，为后续分析提供理论基础。
接着，文章将深入探讨多模态语篇分析的主要方法，包括系统功能语言学、认知语言学、视觉语法等多种理论框架，以期提供一个全面而深入的分析视角。
本文还将关注多模态语篇分析在实际应用中的挑战与前景。
一方面，我们将分析多模态语篇分析在实际应用中可能遇到的问题，如数据收集、处理和分析等方面的困难；另一方面，我们也将展望多模态语篇分析在未来的发展趋势，如在、机器学习等领域的潜在应用。
本文旨在全面而深入地探讨多模态语篇分析的基本问题，以期推动多模态交际研究的深入发展，为未来的多模态交际实践提供理论支持和实践指导。
二、多模态语篇分析的理论基础多模态语篇分析的理论基础主要源自语言学、符号学、认知科学、传播学等多个学科领域。
在语言学领域，系统功能语言学为多模态分析提供了重要的理论框架。
系统功能语言学认为，语言是一种社会符号，具有三大元功能：概念功能、人际功能和篇章功能。
这一理论框架为多模态分析提供了理解符号系统如何构建意义、实现交际目的的理论基础。
符号学为多模态分析提供了符号系统的基本概念和分析工具。
符号学认为，符号是由能指和所指组成的，它们之间的关系构成了符号的意义。
在多模态语篇中，除了语言符号外，还包括图像、声音、颜色等非语言符号。
这些符号系统共同构成了多模态语篇的符号网络，实现了意义的多元化表达。
认知科学为多模态分析提供了人类如何处理和理解多模态信息的理论支持。
认知科学认为，人类在处理多模态信息时，会利用多种感官和认知机制进行信息的整合和理解。
童话语篇态度意义的多模态分析以《爱丽丝漫游奇境记》为例
《爱丽丝漫游奇境记》不仅仅是一部儿童文学作品，它同样是一部具有深远影 响力的成人文学作品。它所带来的想象力和梦幻色彩，让人不论在何时何地， 都能从中得到启示和灵感。正如中国作家沈从文在1928年的讽刺民国社会的小 说《阿丽思中国游记》中所模仿的写作技法和风格一样，《爱丽丝漫游奇境记》 也在全球范围内产生了深远的影响。
一、及物性理论概述
及物性是系统功能语法中的一个重要概念，它的是语言使用者在表达现实世界 经验时所选择的语义过程。及物性理论将所有的语义过程分为六种类型：物质 过程、心理过程、关系过程、言语过程、行为过程以及存在过程。这六种类型 对应了我们对世界的不同经验方式和表达方式。
二、童话语篇的及物性对比分析
三、结论
通过对《爱丽丝漫游奇境记》和《爱丽丝镜中奇遇记》的及物性对比分析，我 们可以看到卡罗尔在这两部童话中运用了不同的及物性过程来展现其独特的叙 事风格和故事情节。这种差异使得两部作品在故事情节和人物塑造上各有特色。 这也证明了及物性理论在分析文学作品中的实用性。通过对及物性的定量和定 性分析，我们可以更深入地理解作家的写作特点和技巧，为童话的发展提供有 效的参考。
再者，《爱丽丝漫游奇境记》作为一个受到广大读者喜爱的故事，也在一定程 度上反映了大众对于奇幻和想象的渴望。在这个故事中，爱丽丝进入了一个充 满奇幻生物和冒险的世界，这种想象力和奇幻性为读者提供了一种别样的阅读 体验，同时也表达了人们对于现实世界的不满和对未知、奇幻的追求。
总的来说，《爱丽丝漫游奇境记》作为一个经典的童话故事，通过多模态的分 析方法可以揭示出其丰富的态度意义和深层次的社会含义。这部作品不仅为我 们提供了一个充满奇幻和想象的阅读体验，同时也反映了当时的社会现象和文 化背景，对读者产生了深远的影响。
多模态语篇的意义构建研究
多模态语篇的意义构建研究从文字、图像、声音以及其他感官信息的角度来看，语篇一直是语言学和社会语言学研究的重要课题。
语篇的研究不仅仅关注于文字本身，还包括文字背后的社会文化背景以及语言使用者的交际目的。
随着多模态语言交际的兴起，多模态语篇构建的研究也成为了研究的热点之一。
本文将从多模态语篇意义构建的角度探讨多模态语篇的研究意义和方法。
一、多模态语篇的概念和意义多模态语篇是指在语言交际中，文字、图像、声音等多种模式相互作用，共同构建意义的语篇。
在多模态语篇中，文字、图像、声音等各种模态之间相互依存，相互作用，相互补充，共同为意义的构建提供信息。
传统的语篇研究主要集中在书面语言上，忽略了非语言元素对语篇意义构建的影响。
而多模态语篇的研究弥补了这一缺陷，使我们更加全面地理解语篇的意义构建过程。
多模态语篇的意义构建是一个复杂的过程，它涉及到文字、图像、声音等多种感官信息的集成和协调。
在多模态语篇中，不同模态之间的关系不仅仅是并列或者顺序排列的关系，而是一种错综复杂的关系。
这种关系既包括互补和呼应，也包括对立和对比。
因此，多模态语篇的意义构建过程具有高度的动态性和复杂性，需要通过系统的分析方法和工具来加以理解和解释。
多模态语篇的意义构建对于我们理解语言和交际的本质具有重要的意义。
语言交际不仅仅是通过文字进行信息传递，还包括通过图像、声音等各种模式进行信息传递。
多模态语篇将不同模态集成在一起，形成了更加丰富和生动的意义，使语言交际更加具有表现力和感染力。
因此，对多模态语篇的意义构建研究有助于我们更加全面地理解语言和交际的本质，为语言教学和传播实践提供更加有效的支持。
二、多模态语篇研究的方法和途径多模态语篇的研究需要通过跨学科的方法和途径来加以解决。
首先，多模态语篇的研究需要运用语言学、视觉艺术、声学等多种学科的理论和方法，以全面地认识多种感官信息在语篇意义构建中的作用。
其次，多模态语篇的研究需要通过实证分析的方法，比如实验研究、统计分析等，来验证理论和观点，从而获得更加客观和可靠的研究结论。
多模态语篇分析与系统功能语言学
多模态语篇分析与系统功能语言学一、本文概述随着信息技术的飞速发展和全球交流的日益频繁，多模态语篇在人们的日常生活和工作中扮演着越来越重要的角色。
这些多模态语篇不仅包括文字，还涵盖了图像、声音、视频等多种符号资源。
因此，对多模态语篇进行深入分析，理解其意义生成机制，已成为语言学研究的重要任务之一。
本文旨在探讨多模态语篇分析与系统功能语言学之间的关系，并揭示系统功能语言学如何为多模态语篇分析提供理论框架和方法论指导。
我们将首先回顾系统功能语言学的基本理论，包括语境理论、意义潜势理论和元功能理论等，然后探讨这些理论如何应用于多模态语篇分析。
在此基础上，我们将进一步分析多模态语篇中的符号互动和意义生成过程，揭示多模态语篇在交际过程中的重要作用。
通过本文的论述，我们希望能够深化对多模态语篇和系统功能语言学的理解，为相关领域的研究提供新的视角和思路。
我们也期望通过本文的探讨，能够促进语言学研究的跨学科交流和合作，推动语言学研究的不断创新和发展。
二、多模态语篇分析概述随着信息技术的飞速发展，人们的交流方式日趋多元化，单纯的文字交流已不能满足日益复杂的沟通需求。
在这一背景下，多模态语篇分析应运而生，它是对传统语言学分析方法的扩展和深化，旨在探究包括语言、图像、声音、动作等多种符号资源在内的交流现象。
多模态语篇分析不仅关注语言本身，更着眼于语言与其他模态如何协同工作，共同构建意义。
多模态语篇分析的理论基础在于认为任何交际活动都是多模态的，即涉及多种符号系统的交互使用。
这些符号系统包括但不限于文字、图像、声音、视频、身体语言等。
在多模态交际中，各种模态并非孤立存在，而是相互关联、相互补充，共同构建交际活动的意义。
多模态语篇分析的方法论特点在于其跨学科性和综合性。
它借鉴了语言学、传播学、心理学、社会学等多个学科的理论和方法，形成了一个综合性的研究框架。
在这一框架下，研究者不仅关注语言的结构和功能，还关注语言与其他模态之间的关系，以及这些关系如何影响交际活动的进行。
电影语篇的多模态分析
电影语篇的多模态分析一、电影语篇的特点关于电影的概念经典理论家让.米特里认为：电影影像既“是实物通过折光和透镜的作用映在胶片上的自体复现”，又“是一个被结构的现实，一个形式”,在影像的叙事层上，电影成为语言，而在影像的诗意层次上，电影成为视觉语言艺术。
现代电影理论家克里斯蒂安•麦茨认为：影像组合方式的约定性使电影成为符号体系，即“语言”——“电影当然不是一种言语(1angue)……我们可以把它视为一种语言，因为它也要在与我们的语言不同的，但仍然有规则的排列中安排表意元素，而且，它也不是现实为我们提供的感受整体的摹写(这种现实不会讲述连贯的故事)。
”综合而言电影是一门负载社会文化诸含义的艺术，是一种符号体系，一个以运动画面来承载信息并最终要达成交流的系统。
这个系统可以从以下几个方面看。
1.1视觉艺术电影是画面的艺术，声音起到辅助性作用。
电影画面是有限的，但电影画面又是具体的、生动的、明确的，画面需要借声音暗示出画外空间或用声音直接表达意念、情感、心绪等。
作为视觉艺术的电影，它易于展现动作和物象，便于叙述一个具体明确、直观生动的故事。
贝拉•巴拉兹曾指出：“一切样式的影片都具有一个共同的基础，那就是：电影是一种有声的演出，是活动的画面，也即是一种当场出现在我们眼前的动作。
因此，电影从不表现‘房子或树木’，而是表现‘某座特别的房子’、‘一棵特定的树木’。
”1.2综合艺术电影挖掘、融合各艺术门类，汲取文学纯熟的叙事性、音乐张弛的节奏感、绘画鲜明的造型性、舞蹈抒情的韵味感、雕塑的细节生动性、建筑朴质的深度感、戏剧的视觉等艺术门类的特点，将时间和空间、画面、声音、平面与立体等艺术元素尽力向纵深领域拓展，将尽可能多的视觉和听觉信息，在富有张力的动态画面中再现出来。
1.3叙事艺术电影汲取文学纯熟的叙事功能，用运动画面张弛有致地叙述一个生动合理的符合大众审美娱乐需求的故事，用贴切适合的形式将之叙述得形象生动富有节奏感。
《多模态语篇分析》
❖ Multimodal discourse analysis is a fairly new and rapidly developing perspective on discourse.
❖ Another interesting perspective on multimodal discourse analysis is that it not merely attempts to integrate all the possible semiotic modes of expressions but also can integrate various other approaches to discourse analysis.
➢Theoretic argument
➢Structure
➢Conclusion
➢Ⅰ. the social actor, speaking on the phone with her employee (multimodal analysis)
➢Ⅱ. new thoughts about consciousness (the point of “I” and “me” identity elements)
❖ 国内多模态话语的研究还处在起始阶段，尚未见到
专著出版，只有为数不多的论文，其中包括胡壮麟 的“社会符号学中的多模态化”，李战子“用系统 功能语言学理论对多模态话语理论的研究”,另外
朱永生和张德禄等也进行了相应的研究。
整理ppt
The self is not something that exists first and then enters into relationship with others, but it is, so to speak, an eddy(漩涡 ) in the social current and so still a part of that current.
多模态语篇分析
多模态语篇中模态间的研究大致有三类。一类 是研究多模态语篇中不同部分之间的关系；另 一类是研究由不同模态体现的语篇之间的关系， 比如图像语篇和语言语篇之间的关系，语言、 数学符号和图像之间的关系，态势与口语的协 作以及图像，语言和声音的协作。第三类是研 究多模态语篇中不同模态之间的关系。目前大 致有三种观点：意义关系，成分衔接和符号隐 喻。
受Saussure和Peirce的影响，主要的符号学研究都在 寻求能够适用于所有符号的理论框架。根据Hervey （1982）的观察，Morris将符号学分为研究符号与存 在之间关系的语义学，符号与人的创造性使用的语用 学以及符号与符号之间关系的语形学。Barthes把符 号视作一种社会文化意识形态，将符号学的研究范围 扩展到整个社会，包括文学、语言、图片、电影、烹 饪和衣着等。学者们应用符号学的理论对交通信号系 统、罗马数字系统、语表意文字、文学作品、电影、 广告作了分析。
多模态研究关注的一个重点是教育，尤其是多模态读 写（multiliteracy）。胡壮麟（2007: 7）将多模态读 写解释为具有能阅读所能接触到的各种媒体和模态的 信息，并能循此产生相应的材料，如阅读互联网或互 动的多媒体。传统方式的读写在多媒体时代已不够用。 教室中不断增加的多媒体设备已使教育多模态化。多 模态的发展使传统的文字读写向多模态读写转变，教 学方法、教材编写和学习任务等也相应发生了变化。 Duncum（2004）认为多模态读写涉及不同媒介的互 动来构建意义。
Lemke（2002）提出超模态（hypermodality）的概 念，指超媒体（如网络）中的语言、图像和声音等体 现的意义的互动。超模态不同于多模态，前者不仅是 具有超链接的语篇，也不仅仅是图像、文字和声音的 并置，而且还有它们之间的多种隐性或者显性的联系。 Lemke 认为，两个网页之间存在着交换关系、取向关 系和呈现关系。此外，颜色在空间分布上的差异也体 现出不同的突显模式。Djonov（2006）也分析了儿 童网站上最常见的逻辑-语义关系及其超链接对使用 者的导航作用。
对视频语篇的多模态话语分析——以一则企业形象电视广告为例
对视频语篇的多模态话语分析——以一则企业形象电视广告为例对视频语篇的多模态话语分析——以一则企业形象电视广告为例摘要：本文以一则企业形象电视广告为例，采用多模态话语分析方法，对广告的观众定位、话语策略、图像和语言之间的关系以及广告效果进行分析。
研究发现，这则广告通过多媒体的运用和多样化的话语，成功地塑造了企业形象，实现了信息传达的效果。
同时，广告画面和声音相辅相成，共同构建了一个积极向上、高效专业的企业形象，引起了观众的共鸣和认同。
本文的研究方法和结果对于进一步解析广告语篇具有一定的指导意义。
关键词：多模态话语、视频语篇分析、企业形象、电视广告一、引言随着传媒技术的发展，多媒体广告已成为企业推广的主要手段之一。
在众多的广告形式中，电视广告因其声、视、情节优势，成为各类企业塑造形象的重要推广平台。
广告的多模态性使得观众通过图像、声音、文字等多种感官通道同时接收信息。
本文通过对一则企业形象电视广告的多模态话语分析，探讨了广告的观众定位、话语策略、图像和语言之间的关系以及广告效果。
二、观众定位企业广告的首要任务是确定受众群体，并通过针对性的话语策略吸引目标观众。
该企业形象广告的目标观众为商务人士和潜在的合作伙伴。
广告通过选择商务办公场景，展示现代化办公设施和舒适的工作环境，以及高效专业的员工形象，从而吸引这部分目标观众。
三、话语策略广告的话语策略是为了实现信息传达的目的，通过引起观众的兴趣和共鸣，激发用户的欲望。
这则广告通过有节奏的音乐配合精美的画面，迅速吸引观众的注意力。
同时，广告采用行业术语和亲切友好的语言，深入浅出地介绍企业的业务和核心竞争力。
话语的整体效果是让观众对企业产生信任感，并愿意了解更多信息。
四、图像和语言的关系图像和语言是多模态话语的核心组成部分。
在这则广告中，图像和语言相辅相成，相互补充，共同构建了一个积极向上、高效专业的企业形象。
例如，广告在画面上展示现代化办公设施的同时，语言部分又通过简洁明了的表述加以强调。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
近年来的多模态研究主要有四种视角：交互社 会学的视角、认知的视角、语体学的视角和功 能符号学视角。从交互社会学的视角，学者应 用交互社会学理论研究即席话语和公共场所中 的多模态，关注人们如何在交际时采用不同模 态构建他们所处的情景和身份。其出发点不是 语篇而是人们的行为，主要代表人物有 Scollon和Norris等。
模态在符号属性、认知取向和语义潜势上体现 出区别性特征。
符号属性指模态的内在结构和使用者惯常使用 该模态构建意义的方式。图像对世界的表征手 段是象似性，是对现实世界的直接模拟，而语 言则是象征性的。
语言是线性结构，在认知取向上要求把线性的 符号组织成短语，短语组织成句子等。图像则 基于整体的完形感知（gestalt-perception）。 因此，与语言相比，图像是更快捷的意义构建 模式。心理学实验表明，图像比语言更容易吸 引读者的注意力，更容易记忆。
受Saussure和Peirce的影响，主要的符号学研究都在 寻求能够适用于所有符号的理论框架。根据Hervey （1982）的观察，Morris将符号学分为研究符号与存 在之间关系的语义学，符号与人的创造性使用的语用 学以及符号与符号之间关系的语形学。Barthes把符 号视作一种社会文化意识形态，将符号学的研究范围 扩展到整个社会，包括文学、语言、图片、电影、烹 饪和衣着等。学者们应用符号学的理论对交通信号系 统、罗马数字系统、语表意文字、文学作品、电影、 广告作了分析。
线性阅读和图像式阅读相辅相成，互为补充。
功能符号学的视角运用系统功能语言学理论， 分析包括语言之内不同模态的意义构建模式。 在多模态话语的研究上，这一视角的研究成果
最多，成为多模态研究的主要力量。其代表人 物包括Kress，van Leeuwen，O’Toole， Lemke，O’Halloran，Baldry，Thibault， Bateman和Martinec等。功能符号学的多模态 分析理论基础主要来自Halliday（1978）的语 言是社会符号的观点。
从认知的视角，学者们关心的是概念化理论如
何指导交际者选择不同的模态或模态组合进行
连贯的交际。他们侧重研究理想的认知模式中
源和目标如何同时以一种以上的模态表征。其 主要代表人物有Forceville和Holsanova等人， 其主要代表作品有Pictorial Metaphor in Advertising（Forceville 1996）等。此外， Stöckl（2004）也做了相关的研究，认为不同
有些学者认为各种模态的三个元功能具有同等 的作用。
他们根据系统功能语法中的概念功能、人际功 能和语篇功能，分析了图像的再现功能、互动 功能和构图功能。
但是视觉符号与语音层不同，有点、线条、颜 色、光等。
此外，也有些学者认为某个元功能占主导作用 （Martinec 2005）。Van Leeuwen（1999） 认为音乐中人际功能占主导地位，因为音乐的 结构特征是韵律的和递归的，即旋律和节奏。 Lemke（1998）对书面科学语篇中的图形和图 表的分析表明呈现意义和组织意义要比取向意 义更前景化，并显示出明显的多样化。 Martinec（2001; 2004）认为在动作模态中经 验功能占主导地位。
多模态语篇分析
当今，人们在交际过程中经常同时使用多种符号工具 来表达意义或创造信息。多模态（multimodality）也 称多符号（multi-semiotic），指包括口语、书面语、 图像、图表、空间以及其他可以用来构建意义的各种 符号资源。随着现代技术的发展，人们使用的交际模 态和交际媒体都发生了很大的变化。多模态话语冲击 了传统上文字在交际领域中的中心地位。在许多情况 下，语言与其它符号资源各有所长，一起构建意义。 各种模态以整合的整体共同为交际服务。
语体学视角关注的语体特征与多模态的关系。 Lanham（1983；2003）注意到受计算机技术 的影响，“散文”的概念已发生了变化：从书 面到电子、从静态到动态、从无声到有声等。 他认为散文分析应该包括传统的书面散文和现 代的多媒体散文，并指出计算机给文本写作提 供了动态的三维空间。因此，我们需要一种描 写这种三维文本的语法，特别是描写文字同声 音和图像的关系。
一些学者运用系统功能语言学理论研究语言之 外的某种模态，较早的两部专著是Kress与 Van Leeuwen合著的Reading Images: The Grammar of Visual Design (1990/1996/2006） 和O’Toole的Language of Displayed Art （1994）。两者都致力于视觉语法的构建：前 者关注图像，后者主要研究油画、雕塑和建筑。
如今，我们生活在一个多模态的社会，使用各 种符号资源来完成意义表征和交际。正如 Kress（2001: 68）所提到的，在教材、报纸、 机构报告、电子媒介、网络等，图像正替代语 言成为主要的意义构建资源，或者与语言平分 秋色。在“视觉文化”的影响下，意义的构建 往往通过文化处所或实体来体现，视听动为现代符号学研究始于Saussure和 Peirce。Saussure（1916）认为符号学属于 社会心理学，主要研究符号的构成及其支配规 律。他认为语言学是符号学的一个组成部分。 符号包括能指和所指两方面组成。符号同符号 之间的区别构成符号系统，用于实现交际目的。 Peirce（1958）则认为符号由三方面组成：表 征、对象和解释。他重点区分了三种符号：图 像符号、指示符号和象征符号。
早期的功能符号学多模态研究关注用Halliday的系统 功能语法来分析语言之外的某种模态，如O’Toole （1994）对油画、建筑和雕塑的分析，Kress & van Leeuwen对图像的分析。20世纪90年代末以来，系统 功能符号学者开始关注多模态话语中模态间的分工与 整合。
O’Halloran（2007; 2008）称之为系统功能的多模态 话语分析（Systemic Functional Multimodal Discourse Analysis，简称SF-MDA）。 SF-MDA主 要研究符号资源的意义潜势在不同层面（语境、语篇 语义、词汇语法、语音、书写/图形）的体现和多模态 话语中符号选择的意义整合。