多模态话语分析研究在中国的发展
近几年多模态话语分析在中国的发展
刘燕
（山西大学商务学院，山西太原030031）
摘要：目前，话语分析正在由传统的语言话语分析转向多模态话语分析。多模态话语分析基于社会符号学理论，把言语信息和非言语信息交际纳入分析框架，从语言与社会文化情景的互动关系来研究语言。国内在这个前沿领域的研究虽处于起始阶段，但在理论和应用层面都取得了一定的成果。分析研究中的问题与不足，可以拓宽今后的研究思路。
关键词：多模态话语分析；理论研究；应用研究；综述
一、引言
从某种意义上说，话语分析研究已经进入了多模态话语分析的阶段。这不是偶然的，而是必然现象，因为话语或者语篇是一个意义单位（Halliday 1978/1985），而意义并不是单纯由语言来体现的，而是可以由语言之外的其他符号系统，或者多种符号系统共同体现的。所以，单纯从语言的角度已经不能对话语进行深入全面的分析和研究。因此，多模态话语分析应运而生。目前，多模态话语在国外的研究如火如荼，但在国内却还处于起步阶段。令人欣喜的是，多模态话语近年来引起国内学者的广泛关注，在理论研究及实际应用方面都取得了可喜成果。本文将就目前国内多模态话语的研究状况做简单述评，并指出研究中的优势和不足，及未来的发展方向。
二、数据来源
正如曾方本（2009）指出的那样，国内对多模态语篇分析的关注始于李战子于2003年发表的题为“多模式话语的社会符号学分析”的论文，尽管该论文只是对Kress&Van Leeuwen(1996)“视觉语法”的介绍。在网络版《中国期刊全文数据库》中，键入关键词“多模态（式）、话语”，我们可以发现，在2003年以前国内主要学术期刊上相关论文一篇都没有，从此以后呈日益增加趋势（2003年至2005年1篇，2006年2篇，2007年13篇，2008年18篇，2009年13篇，2010年27篇，2011年35篇)。
统计分析发现，这些论文既有理论的探索，也有理论的应用。本文将从这两方面对我国学者在多模态方面的研究进行分析。
三、理论引进与探索
（一）基本概念的讨论
自话语分析理论诞生以来，关注的焦点一直是语言本身。随着多媒体技术的不断发展，人们越来越认识到多模态话语的重要性。在国内，胡壮麟（2007），朱永生（2007），顾曰国（2007）等都对多模态话语分析的理论基础和研究方法做过相关论述，开创了国内多模态语篇研究的先河，成为该领域的领军人物。
然而，究竟何为模态与多模态话语，有关学者对此有着不同看法。据掌握的资料来看大致有两种倾向，一种认为多模式即多符号，代表论述如李战子（2003）：“交际和再现意义经常需要多种符号编码，即多模式，如图像、手势、身体语言等”。另一种则倾向于从感官上来定义，代表论述如顾曰国（2007）：“多模态文本就是一段关于某项多模活动的含音频的视频流”。而朱永生(2007)关于多模态话语的论述“多模态话语如何识别？第一条标准是看涉及的模态种类有多少…第二条标准是看涉及的符号系统有多少…”又把二者揉和到了一起。由于所有语篇都是多模态的(Kress&Van Leeuwen 1998:186)，曾方本(2009)提出我们需要注意的两点：1）对模态的理解可做狭义和广义之分。模态即感官，是狭义的；模态即符号，属语言学的理解，是广义
1
的。2）多模态符号不仅指不同的符号系统，而且包括同一符号的不同变体（variant）.并且首次提出对多模态语篇的分类方式，即将多模态语篇分为静态多模态语篇和动态多模态语篇，并进一步将静态多模态语篇分为单符号系统多模态语篇和多符号系统多模态语篇。这样，我们在具体的语篇分析过程中就有了清晰的理解和一致的标准，即模态就是符号形态，多模态语篇是多种符号资源整合的结果(Kress&Van Leeuwen1996:183)。
（二）理论框架和分析方法
法国著名的符号学家Bartehes是最早系统分析多模态语篇的学者，而他所采用的是符号学的视角，所以，多模态语篇分析从一开始就被打上了符号学的烙印。由于多模态话语分析打破了传统的单一的言语信息的桎梏，转向了更开阔的视野，不单单是语言学的范畴，同时融入更多领域的研究，比如社会学、认知学、心理学等等。辛志英(2008)总结了目前多模态话语分析的主要流派：即社会符号学流派，交互社会学流派和认知学流派。
在语言学界，活跃在多模态话语分析领域的中坚力量一直是系统功能语言学家。他们以社会符号学为基本视角，以功能语法为理论基础(曾方本2009)，认为图像、声音等非语言模态作为符号资源在意义的构建过程中与语言具有同样的功能作用，并将传统的分析语言的理论拓展应用到非语言模态的分析当中，最具代表性的应属Kress&Van Leeuwen的“视觉语法”(Visual grammar)。
国内学者同样认为系统功能语言学是最适合研究多模态话语的理论框架，张德禄(2009)就此总结出一下三方面的原因：1）系统功能语言学不仅关心语言内部的运作机制，同时研究语言外的环境和动因，以及伴随语言的实际意义的特征；2）系统功能语言学把话语的意义和功能放在首位，而不是符号系统；3）意义的实现是以多模态形式进行的，语言只是最有效的一种。朱永生(2007)也认为多模态话语分析深受系统功能语言学的影响，系统功能语言学中的基本理论，如语言是社会符号(social semiotic)和意义潜势(meaning potential)，三大纯理功能(three metafunctions)及语域理论(register)等都被多模态话语分析所接受。
通过对相关文献的回顾我们不难发现，国内学者已对多模态话语分析的基本理论框架和分析方法有了系统的认识，但还主要是介绍和引进国外相关的研
究，如何进一步发展和完善这些理论是我国学者下一步研究的重点。
（三）多元读写
多元读写(multiliteracy),又叫多元识读，是指具有能阅读所接触到的各种媒体和模态的信息的能力，并能循此产生相应的材料(胡壮麟2007)。传统的以读写为主的识读能力在如今的多媒体时代已不够用，多模态话语分析的研究正是在1994年由新伦敦小组所从事的“国际多元读写项目”(International Multiliteracies Project)基础上发展起来的.在多元读写研究与多元识读能力培养面，我国远远落后于西方国家。多元读写的重要性需引起教育界人士的广泛关注，并付诸实践，改变传统的办学理念，使学生能够在多模态环境下有创造性地学习和做事，如阅读互联网、设计互动的图像操作软件、电子音乐、科学模拟等多媒体(朱永生2008)。在这方面国内也已经有了一些研究，王惠萍(2010)就着重探讨了英语阅读教学中培养多模态识读能力的必要性、书面语篇中的多模态资源以及多模态识读能力的培养方式。然而，在多媒网络技术飞速发展的今天，有关多元读写的研究远远不够，相关学者今后应加强该领域的研究，使学生能够真正适应急剧的社会变化，迎接全球化带来的挑战。
四、应用研究
多模态话语分析在国内尽管还处于初始阶段，学者们在不长的时间内已经从不同角度对多种类型多模态语篇进行了研究。统计发现，多模态话语分析的应用已涉及了外语教学、教材研究、计算机语言及网络语篇等多个方面。
（一）外语教学
张德禄(2010)探讨了外语课堂教学中的设计及模态的调用，提出了教学设计中对模态系统的选择原则，即最佳效果总原则下包含有效、适配和经济三个一般原则。在此基础上，张德禄&王璐(2010)通过对两个教学案例的对比，讨论了在大学英语课堂教学中，各种不同模态是如何相互协同，共同完成教学目标的，并提出六点教师应注意和改进的方面。龙宇飞等(2009)则通过实证研究，得出在听力教学中将元认知策略与多模态教学相结合，更有助于促进听力理解。刘芹等(2010)运用多模态话语分析的方法，对中国大学生英语口语非言语交际能力进行研究，探索性地提出了六项对非言语交际进行量化分析的指标，揭示了大学生在非言语交际方面
2
存在的问题。
可以看出，多模态话语分析在外语教学方面的研究还很局限，还没有深入到外语教学的各个方面。多模态话语很难把握，所做的分析与结论存在很大的主观性，还需学者们做更深层次的挖掘。
（二）教材研究
教育语篇已经进入多模态话语分析研究者的视野，而教材作为教育语篇的代表，自然作为了研究的重点。张德禄&张淑杰(2010)从理论层面探讨了多模态性外语教材的编写原则，论述了制约外语教材编写的因素及多模态性外语教材的基本特点，进而提出了多模态性外语教材的宏观编写原则和具体编写原则。陈瑜敏&王红阳(2008)尝试从语域角度对不同阶段多模态教科书语篇进行概念意义和图文关系的分析，总结出各阶段教科书图文关系的显著差异。作为延伸的研究，陈瑜敏(2010)又考察了情态分析在多模态外语教材语篇中的应用，得出视觉情态的选择与交际双方的认同密切相关，为多模态教材的研究提供了新的视角。
教育语篇一直以来都是系统功能语言学关注的重点。随着多媒体技术的发展，教材越来越具有多模态的特性，只有不断深入展开对多模态性教材的研究，才能跟上时代的步伐。
（三）PPT语篇和计算机网络语篇
在信息技术十分发达的今天，人类社会已经进入了超文本时代。超文本一词指的是不同于传统印刷语篇的非线性书写和显示，即“利用计算机的功能将自然语言文本与非线性文本相结合，进行交互分支或动态显示”(叶起昌2006)。PPT语篇及网络语篇作为一种全新的语类，已经给人们的交流尤其是教学方式带来了突破性的改革。
PPT语篇借助PPT软件工具创建的多种符号资源来传递信息，具有很明显的多模态特性，学者们在进行多模态话语分析的研究时给予了其应有的关注。胡壮麟&董佳(2006)就尝试着通过分析一次PPT 演示竞赛中的参赛作品，进行了与多模态化相结合的计算机介入的语篇分析。戴培兴等(2008)和张征(2010)则讨论了多模态PPT演示在英语教学中的应用及其与学生绩效的相关性。
网络语篇方面，叶起昌(2006)选取人民网的实例，从社会符号学的角度阐释了超文本中视觉空间的划分及图像与观察者之间的社会关系。除此之外，在外语类核心期刊上，对网络语篇进行多模态话语
分析的论文还很少见，研究者们今后可对该语类多做些尝试。在技术开发方面，王立非(2008)主要介绍了多模态分析软件ELAN及其主要功能，为应用语言学的多模态话语分析研究提供了有力的技术支持，具有很高的应用价值。
（四）其他语篇
多模态是话语的基本属性，随着科学技术的发展，话语的多模态性日益突显，各种语类的语篇进入了多模态分析语言学家的视野，除上述几种语篇之外，对于海报、徽标及诗歌等不同类型的语篇，语言学家们也作了多模态话语分析的解读。郑海翠&张迈曾(2008)就应用多模态话语和批评性社会符号学理论解读了北京申奥会徽中所传达的和谐理念。刘晓琳(2009)则将多模态话语分析的方法应用到对英语诗歌的解读当中，实为英语文学作品研究的全新视角。
五、研究中存在的问题与不足
纵观近年来的研究成果可以看出，多模态话语分析的研究正进入方兴未艾的时代，我国学者无论在理论方面还是理论的应用方面均取得了可喜的成果。有的学者已经在前人研究的基础上，经过改进提出了多模态话语分析的理论框架。在应用层面，其范围已经涵盖了多种类型的多模态语篇。这些有益的尝试对于完善多模态话语分析理论和拓宽该理论的应用范围起到了很大的作用。
同时我们也应该看到，我国在这方面的研究还存在着很大不足。首先，从已发表的论文来看，我国学者的文章大都是介绍和引进西方的相关理论，或借用相关理论进行应用分析，提出完整分析理论框架的文章并不多。其次，文本分析的主观性太强。
由于分析者个人知识结构、文化背景或者解读动机等方面的差异，加之多模态话语分析中的语法分析缺乏严格意义上的语法依据，使得在面对同一成分时，出现仁者见仁、智者见智的情况。第三，目前的多模态语篇分析中，仍然以图像或者“文字+图像”的研究为主，很少涉及声音等多种模态。还有各种模态之间的配合和协同作用还没有得到清楚的研究，还存在很多不确定因素。声音模态与各种模态间的互动整合应该是下一步应该重点研究的问题。第四，目前来看，从事多模态话语分析研究的主要是语言学家，尤其是系统功能语言学家，而多模态话语分析是跨学科的，单纯从语言学的角度出发是远远不够的，只有将不同学科融合起来，才能
3
更加全面的解读多模态语篇。这些都是今后研究中需要不断深入探索的问题。
六、结语
多模态话语分析作为新兴学科，已对传统话语的定义和话语分析方法提出了挑战，对话语研究领域提出了新的要求。任何事物的发展都需要一个过程，多模态话语分析理论上还需要创新与借鉴，方法上仍需改进，其完善与发展需要几代人的共同努力。可以预见，多模态话语分析的研究队伍会不断壮大，应用前景会越来越广阔。
参考文献：
[1]Halliday,https://www.360docs.net/doc/915041544.html,nguage as Social Semiotic: The Social Interpretation of Language and Meaning [M].London:Arnold,1978..
[2]Halliday,M.A.K.Written and Spoken Language [M].Victoria:Deakin University Press,1985
[3]Kress,G&van Leeuwen,T.Reading Image[M]. London:Routledge,1996.
[4]陈瑜敏,王红阳.多模态语篇图像的概念意义与图文关系[J].宁波大学学报,2008(1):124-129. [5]陈瑜敏.情态分析在多模态外语教材研究中的应用探析[J].外语教学,2010(1):69-72.
[6]戴培兴等.技术与意义生成—论多模态PPT在大学英语课堂中的应用[J].东华大学学报,2008(2):122-129.
[7]胡壮麟,董佳.意义的多模态构建—对一次PPT 演示竞赛的语篇分析[J].外语电化教学,2006(3):3-12.
[8]胡壮麟.社会符号学研究中的多模态化[J].语言教学与研究,2007(1):1-9.
[9]顾曰国.多模态多媒体学习剖析[J].外语电化教学,2007(2):3-12.
[10]李战子.多模式话语的社会符号学分析[J].外语研究,2003(5):1-8.
[11]刘芹,潘鸣威.多模态环境下中国大学生英语口语非言语交际能力研究初探[J].外语电化教学,2010(2):38-43.
[12]刘晓琳.从多模态话语分析解读英语诗歌[J].齐齐哈尔大学学报,2009(4):88-90.
[13]龙宇飞,赵璞.大学英语听力教学中元认知策略与多模态交互研究[J].外语电化教学,2009(4):58-62.
[14]王惠萍.英语阅读教学中多模态识读能力的培
养[J].外语界,2010(5):20-25.
[15]王立非,文艳.应用语言学研究的多模态分析方
法[J].外语电化教学,2008(3):8-12.
[16]辛志英.话语分析的新发展—多模态话语分析[J].社会科学辑刊,2008(5):208-211.
[17]叶起昌.超文本多语式的社会符号学分析[J].
外语教学与研究,2006(6):437-442.
[18]曾方本.多模态符号整合后语篇意义的嬗变与
调控[J].外语教学,2009(6):28-31.
[19]张德禄.多模态话语理论与媒体技术在外语教
学中的应用[J]外语教学,2009(4):15-20.
[20]张德禄.多模态外语教学的设计与模态调用初
探[J].中国外语,2010(3):48-53.
[21]张德禄,张淑杰.多模态性外语教材编写原则探
索[J].外语界,2010(5):26-33.
[22]张德禄,王璐.多模态话语模态的协同及在外语
教学中的体现[J].外语学刊,2010(2):97-102. [23]张征.多模态PPT演示教学与学生学习绩效的
相关性研究[J].中国外语,2010(3):54-58.
[24]郑海翠,张迈曾.和谐理念的多模式话语建构[J].
外语学刊,2008(2):107-112.
[25]朱永生.多模态话语分析的理论基础与研究方
法[J].外语学刊,2007(5):82-86.
[26]朱永生.多元读写能力研究及其对我国教学改
革的启示[J].外语研究,2008(4):10-14.
附：
项目基金：山西省教育厅基金资助项目《大学英语快乐教学模式研究》
山西大学商务学院基金项目《〈大学英语〉课程的探索型实践教学研究》（WY2009047）作者简介：刘燕（1981-），女，硕士，研究方向：功能语言学及英语教学法
邮寄地址：山西省太原市亲贤北街佳地花园竹苑501,030006
联系方式：135********
e-mail:sxlysophia@https://www.360docs.net/doc/915041544.html, Abstract:Nowadays,discourse analysis is turning from the traditional linguistic discourse analysis to multimodal discourse analysis.Based on the social semiotic theory,MDA bring the non-linguistic semiotic into analytical framework,study language from the perspective of interaction between language
4
and social context.Although the research in this leading field at home is still in its initial period,we have gained achievements in the aspects of both theory and application.Concluding the fruits and analyzing the demerits in the research can suggest future orientations.
Key Words:multimodal discourse analysis;theory research;application research;review Development of Multimodal Discourse Analysis at Home in Recent Years
Business College of ShanXi University
LIU YAN
5