文学语篇的语言学研究视角： 多模态认知诗学—— 《多模态、 认知和实验文学》 评介_split_1
多模态语篇分析的基本问题探讨
多模态语篇分析的基本问题探讨一、本文概述随着信息技术的飞速发展，我们已经进入了一个多模态时代，信息的传递不再局限于单一的文字或语言，而是融入了图像、声音、动作等多种模态。
多模态语篇，作为这种时代背景下产物，其重要性日益凸显。
本文旨在探讨多模态语篇分析的基本问题，以期对多模态交际的理论和实践提供有益的参考。
本文首先对多模态语篇的基本概念进行界定，明确多模态、模态、语篇等核心概念，为后续分析提供理论基础。
接着，文章将深入探讨多模态语篇分析的主要方法，包括系统功能语言学、认知语言学、视觉语法等多种理论框架，以期提供一个全面而深入的分析视角。
本文还将关注多模态语篇分析在实际应用中的挑战与前景。
一方面，我们将分析多模态语篇分析在实际应用中可能遇到的问题，如数据收集、处理和分析等方面的困难；另一方面，我们也将展望多模态语篇分析在未来的发展趋势，如在、机器学习等领域的潜在应用。
本文旨在全面而深入地探讨多模态语篇分析的基本问题，以期推动多模态交际研究的深入发展，为未来的多模态交际实践提供理论支持和实践指导。
二、多模态语篇分析的理论基础多模态语篇分析的理论基础主要源自语言学、符号学、认知科学、传播学等多个学科领域。
在语言学领域，系统功能语言学为多模态分析提供了重要的理论框架。
系统功能语言学认为，语言是一种社会符号，具有三大元功能：概念功能、人际功能和篇章功能。
这一理论框架为多模态分析提供了理解符号系统如何构建意义、实现交际目的的理论基础。
符号学为多模态分析提供了符号系统的基本概念和分析工具。
符号学认为，符号是由能指和所指组成的，它们之间的关系构成了符号的意义。
在多模态语篇中，除了语言符号外，还包括图像、声音、颜色等非语言符号。
这些符号系统共同构成了多模态语篇的符号网络，实现了意义的多元化表达。
认知科学为多模态分析提供了人类如何处理和理解多模态信息的理论支持。
认知科学认为，人类在处理多模态信息时，会利用多种感官和认知机制进行信息的整合和理解。
语言学专业毕业论文 认知语篇分析的文化语言学视角
语言学专业毕业论文认知语篇分析的文化语言学视角在语言学专业的毕业论文中，认知语篇分析是一个重要的研究方向。
本文将从文化语言学的视角出发，探讨认知语篇分析在语言学研究中的应用和意义。
一、引言在全球化和跨文化交流日益频繁的背景下，了解语言与文化之间的关系具有重要的学术和实践意义。
而文化语言学作为语言学和人类学交叉的研究领域，为我们揭示了语言与文化的紧密联系。
认知语篇分析作为文化语言学的一个重要方法，可以深入挖掘语言背后的文化内涵。
二、认知语篇分析的基本概念认知语篇分析是以认知学为基础，探讨语篇结构、语义和认知过程之间关系的一种研究方法。
它旨在揭示人们在语篇中如何通过认知过程来理解和解释语义信息。
在文化语言学的视角下，认知语篇分析能够帮助我们理解不同文化背景下语篇结构和意义的差异。
三、认知语篇分析的应用领域1. 广告语言分析广告作为一种重要的文化现象，其语言使用和信息传递方式的背后蕴含着丰富的文化内涵。
通过运用认知语篇分析的方法，研究者可以深入挖掘广告语言中的文化符号和隐喻，揭示广告所传达的文化价值观和观念。
2. 新闻报道分析新闻报道作为一种日常的信息传递方式，其语言使用也受到文化因素的影响。
通过认知语篇分析，可以研究不同文化背景下的新闻报道的语义信息，揭示其中的文化隐喻和价值观。
3. 语言教学与学习在语言教学与学习中，了解不同文化背景下语篇结构和理解方式的差异对于提高语言学习者的语言能力具有重要意义。
通过运用认知语篇分析的方法，可以帮助教师和学生更好地理解语篇结构和意义，提高语言学习效果。
四、认知语篇分析的研究案例1. 高、低语境文化下的广告隐喻分析通过对高、低语境文化下广告隐喻的分析，我们可以发现不同文化之间的广告隐喻使用差异，进一步理解不同文化中的观念和价值观。
2. 新闻报道中的社会角色刻画研究新闻报道中的社会角色刻画可以揭示不同文化中对社会角色的认知差异，从而帮助我们更好地理解不同文化背景下的新闻报道。
《诗画语言—王维诗歌及其英译本的多模态特征认知诗学解读》范文
《诗画语言—王维诗歌及其英译本的多模态特征认知诗学解读》篇一诗画语言——王维诗歌及其英译本的多模态特征认知诗学解读一、引言王维，唐代著名的诗人，其诗歌以诗中有画、画中有诗的独特风格著称。
在跨越语言与文化的背景下，其诗歌的英译本如何传达原作的诗画语言，成为了一个值得深入探讨的课题。
本文旨在运用多模态特征认知诗学理论，对王维诗歌及其英译本进行解读，以揭示其诗歌的内在艺术魅力及跨文化传播的有效性。
二、王维诗歌的多模态特征王维的诗歌以其独特的诗画语言为人们所喜爱。
其诗歌不仅具有丰富的意象和情感，还通过色彩、线条、空间等视觉元素，构建出了一幅幅生动的画面。
这些画面与诗歌的韵律、节奏相互映衬，形成了王维诗歌独特的艺术魅力。
（一）色彩与意象王维的诗歌中，色彩的运用是其多模态特征的重要表现。
如“青溪一道穿桃李，万丈高峰踏白云”，通过“青”、“桃李”、“万丈”、“白云”等色彩与意象的交织，构建出了一幅色彩斑斓、意境深远的画面。
（二）空间与构图王维的诗歌在空间构图上也有着独到之处。
如“空山不见人，但闻人语响”，通过空间的空旷与声音的回响相互映衬，营造出了一种幽静、深远的氛围。
三、王维诗歌英译本的多模态特征在跨文化传播的背景下，王维诗歌的英译本如何传达原作的多模态特征，成为了一个重要的课题。
通过对英译本的分析，我们可以发现其在传达原作诗画语言的过程中，主要采用了以下策略：（一）意象的再现英译本在传达原作意象的过程中，尽量保持了原作的视觉元素和情感色彩。
如“空山不见人”被翻译为“In the empty mountain where no one is seen”，保留了原作的意象和空间感。
（二）韵律与节奏的再造在韵律与节奏方面，英译本也尽量贴近原作。
通过对诗歌进行适当的断句和调整词序，使译文在音韵和节奏上与原作相协调。
四、多模态特征认知诗学解读在多模态特征认知诗学理论的指导下，我们可以对王维诗歌及其英译本进行深入的解读。
《2024年诗画语言—王维诗歌及其英译本的多模态特征认知诗学解读》范文
《诗画语言—王维诗歌及其英译本的多模态特征认知诗学解读》篇一诗画语言——王维诗歌及其英译本的多模态特征认知诗学解读一、引言中国古典诗歌的韵味和意象之丰富，为世界所瞩目。
其中，王维的诗歌以其独特的诗画语言、深厚的文化底蕴和多模态特征而独树一帜。
本文将从认知诗学的角度，对王维的诗歌及其英译本进行深入解读，旨在揭示其多模态特征在诗画语言中的体现，并探讨其在跨文化、跨语言传播中的价值。
二、王维诗歌的诗画语言特征王维的诗歌以诗画相融、情景交融为特点，其诗歌语言富有画面感和音乐性。
在王维的笔下，自然景物、人物情感都以细腻的笔触和生动的意象呈现出来，形成了一种独特的诗画语言。
首先，王维的诗歌善于运用色彩、线条、构图等绘画元素，将自然景色描绘得栩栩如生。
如《山居秋暝》中的“空山新雨后，天气晚来秋。
明月松间照，清泉石上流。
”诗人通过描绘山间的清新景色，将读者带入一个宁静、幽美的世界。
其次，王维的诗歌注重情感与景物的融合，通过寓情于景、借景抒情的手法，将情感融入景物之中。
如《送元二使安西》中的“渭城朝雨浥轻尘，客舍青青柳色新。
劝君更尽一杯酒，西出阳关无故人。
”诗人以细腻的情感描绘了送别友人的场景，使读者能够深刻感受到诗人对友人的依依惜别之情。
三、王维诗歌英译本的多模态特征在跨文化、跨语言的传播过程中，王维诗歌的英译本也呈现出多模态特征。
译者在翻译过程中，不仅关注原文的语言形式和意义，还注重传达原文的诗画意境和情感色彩。
首先，译者在翻译过程中运用了多种翻译策略和技巧，如音译、意译、增译等，以尽可能地传达原文的意境和情感。
同时，译本还注重运用英语中的修辞手法和表达方式，使译文更加贴近英语读者的审美习惯和阅读心理。
其次，译本在呈现形式上也有所创新。
例如，一些译本配以精美的插图，以更好地呈现原文的诗画意境。
这些插图不仅丰富了译本的形式，还增强了读者对原文的理解和感受。
四、认知诗学视角下的解读从认知诗学的角度来看，王维的诗歌及其英译本的多模态特征体现了人类认知和表达的基本规律。
《诗画语言—王维诗歌及其英译本的多模态特征认知诗学解读》
《诗画语言—王维诗歌及其英译本的多模态特征认知诗学解读》篇一诗画语言——王维诗歌及其英译本的多模态特征认知诗学解读一、引言王维作为唐代杰出诗人，其诗歌艺术在历史长河中独树一帜。
诗中，自然景观、人世情感、哲思领悟相融交织，呈现出独特的诗画语言。
本文将从多模态特征认知诗学的角度，深入解读王维诗歌的艺术魅力及其英译本的特征。
二、王维诗歌的多模态特征1. 自然景观的描绘王维的诗歌善于运用生动的意象和细腻的描绘，将自然景观呈现得栩栩如生。
如“明月松间照，清泉石上流”，通过明暗交替、动静结合的描绘，使读者仿佛置身于那片静谧的林间，感受清泉流淌的细腻触感。
2. 人世情感的抒发王维的诗歌中，人世情感丰富多样。
通过对亲情、友情、爱情等情感的抒发，以及对人生哲理的探讨，使诗歌具有深厚的情感内涵。
如“独在异乡为异客，每逢佳节倍思亲”，表达了诗人对家乡亲人的深深思念。
3. 诗画相融的艺术风格王维的诗歌以诗画相融的艺术风格著称。
诗中画意盎然，画中诗意深长。
其诗歌往往以简洁的语言表达丰富的意象，给人留下无限的想象空间。
三、认知诗学视角下的王维诗歌英译本1. 翻译中的文化传递王维诗歌的英译本在传递文化方面具有重要意义。
翻译过程中，译者需充分理解原诗的文化背景和内涵，将其准确地传达给目标语读者。
同时，还需注重文化元素的保留和再现，使目标语读者能够更好地理解和欣赏原诗。
2. 多模态翻译策略的应用在翻译王维诗歌时，可采用多模态翻译策略，将原诗中的图像、声音、情感等元素与文字相结合，使译文更加生动形象。
例如，在翻译自然景观时，可通过生动的语言描述和形象的画面呈现相结合的方式，使读者更好地感受原诗中的美景。
3. 译本的接受与传播王维诗歌的英译本在海外传播中发挥了重要作用。
译本的接受程度与译者的翻译水平、目标语读者的文化背景和审美需求等因素密切相关。
为使译本更好地被接受和传播，需关注目标语读者的需求和反馈，不断优化译本质量。
四、多模态特征在认知诗学中的作用多模态特征在认知诗学中具有重要意义。
浅谈多模态话语理论与英语文学语篇的教学
浅谈多模态话语理论与英语文学语篇的教学"【论文关键词】多模态话语英语文学语篇文体特征教学【论文摘要】本文旨在将多模态话语理论应用于英语文学语篇的教学.本文首先简要回顾了多模态话语的研究历史，然后简要分析了英语文学语篇教学的现状，最后通过具体分析《白丽尔小姐》这一文学语篇的文体特征重点探讨多模态教学的必要性.在话语分析领域，随着研究的不断深入，学者们发现单纯从语言的角度已经不能对话语进行深入全面的分析和研究，还应该考虑其他非语言的意义表现形式，如图像、声音、动作等，因为很大一部分话语意义正是由这些非语言因素体现的.综合所有这些因素来看，人们的交际不再只是利用一种模式进行，而是利用两种甚至多种模式同时进行.由此产生的话语就是多模态话语.由此可见，多模态话语是时代发展的产物，是人类的感知通道在交际过程中综合使用的结果。
1 文献综述与国外相比，国内对多模态话语的研究还处在起始阶段.李战子（2003）用系统功能语言学的理论对多模态话语理论进行研究；胡壮麟（2007）中讨论了多模态符号学和多媒体符号学的区别；朱永生(2007)&张德禄（2009）对多模态话语分析的理论进行了全面阐述；张德禄（2009；2010）把多模态话语理论应用于外语教学。
该领域其他的研究者还有杨信彰、张征等.2 英语文学语篇教学的现状在我国各大高校，英美文学课一直都是英语专业学生的主干课程，这样的课程安排和英美文学课的重要性是分不开的.然而，当今社会重商主义的风气盛行，因此出现了轻视英美文学课的现象，反而觉得学习一些实用性强的课程更为实际.而且我国的英美文学课在教学方法和手段方面也存在严重问题，比如“教学方法陈旧、单一”，“不用或很少采用现代教学手段”（程爱民等，2002）等等.由此可见，英美文学课虽然重要，但是目前的教学现状并不令人满意.笔者认为，多模态教学能为英语文学语篇的教学注入新的活力，真正实现英美文学课的教学目标.文体特征分析对于英语文学语篇的教学意义重大.下面本文将通过具体分析《白丽尔小姐》这一文学语篇的文体特征重点探讨多模态教学的必要性.3 《白丽尔小姐》的文体特征及多模态教学的必要性 3.1 语言形式的前景化文学语篇最重要的一个文体特征就是语言形式的前景化，即某些语言形式会偏离语言常规.这种偏离是出于艺术目的的偏离，是一种别有用意的突出.语言形式的前景化具体表现在语言的语音结构、词汇结构、语法结构等方面。
多模态体认诗学——基于体认语言学的研究
2023年9月第39卷㊀第5期外国语文(双月刊)Foreign Languages and Literature(bimonthly)Sep.,2023Vol.39㊀No.5收稿日期:2023-03-27基金项目:教育部人文社会科学规划基金项目 多模态能源舆情话语的认知批评研究 (21YJA740055)㊁北京市社会科学基金规划项目 多模态视域下中西能源话语比较研究 (21YYB006)的阶段性成果作者简介:赵秀凤,女,中国石油大学(北京)外国语学院教授,博士,博士生导师,主要从事认知诗学与多模态认知批评研究㊂崔亚霄,女,中国石油大学(北京)外国语学院副教授,博士,硕士生导师,主要从事认知诗学与文体学研究㊂引用格式:赵秀凤,崔亚霄.多模态体认诗学 基于体认语言学的研究[J].外国语文,2023(5):82-92.多模态体认诗学基于体认语言学的研究赵秀凤㊀崔亚霄(中国石油大学外国语学院,北京㊀102249)摘㊀要:本文把多模态文学的认知研究置于体认语言学理论视域,考察多模态文学交流的体认性特征,提出构建和推动 多模态体认诗学 的研究设想㊂多模态文学的认知研究结合具体文学作品揭示了多模态文学交流过程的多维体认特征㊂一方面,多模态文学符号也与语言符号一样,具有认知性㊁社会性和文化性,其交流过程也涉及身体体验和认知加工的循环互动;另一方面,多模态文学交流过程中的体认特征也体现出一定的独特性,即体认的多模态性㊁多维交互性和复杂系统性㊂为此,本文提出应从拓宽体认语言学的外延㊁丰富体认语言学的理论蕴含㊁推动体认语言学和诗学的交叉融合三个方面,推动 多模态体认诗学 研究㊂本研究从文学和语言学跨学科视野,探讨人类符号交际的体认性,有助于在后现代语境下切实推动多领域的互动交流对话,践行体认语言学的后现代主义哲学观,推动学术研究的开放多元㊂关键词:多模态认知诗学;体认语言学;多模态文学;体认诗学中图分类号:H0-05㊀㊀㊀文献标志码:A㊀㊀㊀文章编号:1674-6414(2023)05-0082-110㊀引言近年来,在欧美兴起了一种新的文学研究动向 多模态认知诗学研究,从认知的角度考察多种模态协同表征的文学的交流过程和效果㊂这一研究动向由以英国谢菲尔德大学艾莉森㊃吉本斯(Alison Gibbons)为代表的一批学者推动,他们把研究对象从纯文字小说拓展到运用多种模态符号创作的各类文学如后现代实验文学(Page,2009;Gibbons,2012;Caracciolo,2014)㊂该研究动向关注语言和非语言符号协同构成的多模态实验文学对读者认知体验和接受产生的影响,反过来,也考察读者的认知体验对后现代实验文学创作发挥的制约性作用,即关注多模态文学与读者之间的互动体验㊂多种模态符号协同互动所创建的文学作品对读者的常规阅读图式,包括感知体验㊁认知解读㊁理解和情感反应,都带来了新的改变或挑战,其突出特点就是后现代多模态文学高度彰显文学作品自身的物质性㊁互文指涉㊁排版的新奇性等,对读者在文学体验过程中的涉身参与提出了新要求㊂不同于传统纯文字小说,多模态小说不但需要读者想象性参与虚构小说故事世界,而且需要切实调动身体器官实施相应行为,需要不断在小说创建的文本世界和作者及读者所在的话语世界之间穿插切换,这种新型文学交流得以顺畅进行的前提正是多模态符号的体认性㊂㊃28㊃㊀赵秀凤㊀崔亚霄㊀多模态体认诗学 基于体认语言学的研究㊀正是基于对后现代实验文学多模态交互体认特征的认识,吉本斯于2012年出版了‘多模态认知诗学和实验文学“(Multimodality,Cognition,and Experimental Literature)一书,整合认知语言学㊁神经认知科学㊁视觉感知㊁多模态符号学等多领域研究成果,强调沿用广义认知原则,如多感官感知原则㊁涉身体验原则等,探究多模态叙事对读者叙事体验和情感反应的影响㊂在该书中,吉本斯以四部后现代实验小说为例,详细阐述了读者的阅读感知体验㊂之后,吉本斯沿用这一研究路径,发表了系列研究成果(Bray et al.,2012;Gibbons,2016;Gibbons,2021),使多模态认知诗学成为文学认知研究领域的后起之秀㊂纵观已有的多模态认知诗学研究,笔者发现无论其理论阐述还是应用实践都与王寅(2014)提出的 体认语言学 (Embodied-cognitive Linguistics,简称:ECL)的核心观点不谋而合㊂本文意在基于体认语言学的理论视域,梳理并考察多模态认知诗学阐述的多模态体认观,加强两个不同研究领域之间的互动,进一步推动文学和语言学研究在 后现代哲学 语境下的 同堂对话 (贾娟等, 2020:32),丰富 体认 内涵,拓展体认语言学的应用范畴,推动构建 多模态体认诗学 ㊂另一方面来看,体认语言学(王寅,2014)无论是在理论建构,还是个案分析及应用方面,都得到了蓬勃发展㊂体认语言学对语言的各个层面都展示出了强大的阐释力,如转喻(魏在江,2019)㊁指类句(雷卿,2019)㊁兼语构式(刘云飞,2019)㊁名谓句(帖伊等,2019)㊁虚拟位移(张克定,2020)㊁歇后语(王寅,2020)等㊂笔者认为,体认语言学不但精确概括了语言的本质,其基本观点和核心原则对其他社会符号也有强大的阐释力㊂例如,在特定社会文化语境中,人们用于社会交往的各类手势㊁视觉符号乃至声音,更是在人与现实世界体验互动和认知加工过程中形成的,兼具认知性和社会性㊂之所以能够进入社会交际,正是因为这类对复杂现实进行简约性表征的非语言符号也是 来自人与人㊁人与自然的互动,来自人对这些互动的体验和认知加工 (牛保义,2021:28)㊂正是在这层意义上,我们赞同王铭钰等(2021)的主张,应把体认语言学上升为 体认符号学 ,有必要结合多种符号组合和应用实例,阐述 体认 在更广泛符号层面的普遍意义和价值㊂基于以上考虑,本文试图结合已有研究,从多模态文学交流的体认特征入手,阐述借鉴体认语言学的核心理论和方法,针对多模态文学的语类特征,推动 多模态体认诗学 研究㊂1㊀多模态文学交流的体认特征1.1体认的多模态性王寅(2014)在认知语言学涉身体验基础上,结合中国传统哲学和后现代哲学的基本立场,提出了语言意义的 体认观 ,将其哲学立场命名为 体认哲学 ,强调 人本性 和 唯物论 的辩证统一㊂体认观一方面坚持了乔姆斯基和认知语言学从人的心智角度研究语言的基本取向(王铭玉等, 2021:2),另一方面又与后现代哲学的人本主义立场一脉相承,突出强调语言和语言研究中的人本性(贾娟等,2020:33),主张语言研究必须强调人对现实世界进行的体验(王寅,2014:61-67),因此,体认哲学观更加全面综合,更接近人类语言交际的现实㊂体认的人本观决定体认的多模态本质㊂ (黄萍等,2021:118)正如顾曰国(2013:3)所言: 人类在正常情况下跟外部世界(包括人与人之间)的互动都是多模态的㊂ 由视觉㊁听觉㊁触觉㊁嗅觉㊁味觉组成的多模态感官系统参与到人体察世界的过程中,形成人与世界的多模态互动体验,经由认㊃38㊃㊀外国语文2023年第5期㊀知系统的认知加工,形成理性认识(顾曰国,2015)㊂这一过程说明体认本身蕴含多模态性,体认是多模态感官系统和认知系统互动的产物㊂有学者指出: 语言的产生和使用是基于 多模态感官系统 的 互动体验 与基于 认知系统 的 认知加工 进行互动的结果㊂ (黄萍等,2021:118)事实上,多模态互动体认不限于语言的产生和使用,而是体现于人类话语交际的全过程㊂在实际的话语交际过程中,交际双方往往是多感官协同参与,并不断互动㊂多模态感官的协同联动不但刺激产生互动感知体验,而且诱发对意义的认知加工升华㊂人类交际过程的 多模态 性,不仅体现于面对面交际中的身体姿势㊁手势㊁声音㊁语调㊁表情,还体现在书面交际中的字体㊁排版㊁颜色㊁物质性媒介等多模态特征㊂也就是说,在实际交际过程中,多模态既是人类用于交际的符号手段,又是人类多种感官协同参与的体认通道㊂正是基于这一认识,我们认为有必要探讨多模态交际的体认性特征,丰富体认语言学的理论体系,拓展其应用范畴㊂在这一方面,多模态认知诗学先行一步,结合后现代实验文学的多模态特征,进行了开创性研究㊂吉本斯运用认知-叙事学研究路径(cognitive-narratological approach),不但把模态视为表意资源,还把不同表意系统所诱发的多感官感知㊁体验和认知方式纳入研究视野,她所建构的多模态认知诗学综合性分析框架旨在剖析阐释多模态文学交流的体认过程㊂当然,多模态体认过程研究的前提是认知诗学的基本主张 文学是 人类经验的一种具体形式 (Gavinset al.,2003:1), 文学研究可向我们揭示认知实践,借此我们不但可以阅读文学作品,还可以感知和理解世界 (Gibbons, 2012:26)㊂多模态认知诗学认为 人们不仅通过语言,而且也通过视觉㊁听觉和心理等其他方式接触世界 (Gibbons,2012:38),因此,多模态认知诗学把研究焦点确定为读者对多模态进行理解和体验的复杂动态过程,并运用科学的方法对该过程进行动态描述㊂多模态文学倾向于突出符号的物质性和意义理解的多模态性,往往通过调动读者的身体参与,诱发和强化心理体验㊂因此,多模态文学的认知研究高度关注读者在字体㊁排版㊁图像形状㊁颜色㊁布局等视觉因素的刺激或操控下作出的行为反应或注意力变化㊂如吉本斯(Gibbons,2012:45)运用图形-背景理论,解释眼睛如何在一个视域内部或跨视域之间移动㊂ 在阅读视觉语篇时,意义的理解尤其需要阅读路径的动态调整 (Gibbons,2012:25),眼睛在阅读文本中的移动路径是在视觉结构诱发下人所做出的主体性反应,如图1(见下页)㊂读者在阅读到该页时,会主动做出选择,调整阅读路径㊂在‘书页之屋“这一多模态小说中,有很多类似的视觉操控手段,调动和激发读者的阅读行为,读者需要根据对故事世界的理解自动调整阅读顺序,甚至需要手动调整书页的方向,这类设计突出了图书作为阅读对象的物理属性,赋予读者更多自主性,可以自行选择阅读顺序和路径㊂这种在物理行为上的 身体 介入,往往会诱发读者心理上的自我投射(projection)㊁自我暗示(self-implication)㊁情感或认知反应(emotional response) (Gibbons,2012:27),从而直接影响读者对故事世界的体验和认知㊂再如,在托马苏拉(Tomasula)小说‘VAS:平地上的歌剧“(VAS:An Opera in Flatland:A Novel,文后简称:VAS)中,作者通过排版设计等视觉化手段使符号的物质性被高度前景化,调动读者的身体器官实施相应行为(赵秀凤, 2021:xiii),如翻页㊁调整书本方向㊁调控阅读视角等行为反应㊂由此,读者直接参与叙事进程,从而 高度彰显了读者在文本体验过程中的涉身参与性 强化阅读㊁存在㊁认知和想象等过程的涉身本质 (赵秀凤,2021:xiii)㊂㊃48㊃㊀赵秀凤㊀崔亚霄㊀多模态体认诗学 基于体认语言学的研究㊀图1㊀‘书页之屋“(Danielewski,2000:133)节选多模态小说VAS中的主题隐喻是运用多模态符号调动多感官参与,彰显动态性体认的典型实例㊂该部小说以多种方式反复建构和表征一个主题隐喻[人类是书籍]㊂一方面,这一隐喻体现为故事内聚焦人物感知觉的语言表达㊂如主人公 四边形 (小说中主人公的名字)把手术视为 对自己身体的改写 (Tomasula,2002:193)和 一次简单的编辑 (Tomasula,2002:312),以下段落更清晰地表征了人物感知和认知域中的[人体 书籍隐喻]:四边形(小说内主人公的名字)停下了笔,看了看指尖的涡纹,这些由线构成的巧妙图像是祖祖辈辈,世世代代,甚至是经过125,000代追溯到类人猿时期传承下来的,它可以由AGCT四个基本字母来表示,这四个字母又可以构成单词GAT㊁ATA㊁AGG,然后这些单词构成了基因的双螺旋句子,进而填充细胞内染色体,最后由这些细胞构成躯体这本书㊂(Tomasula,2002:312;吉本斯,2021:80)该段中关于身体的医学术语 双螺旋㊁基因㊁染色体㊁细胞 与关于书籍/写作的常用词语 句子㊁文章㊁书籍 整合编织在一起,最后直接用 躯体这本书 更加显性表征[书籍 身体隐喻]㊂另一方面,该书还刻意创建物理相似性,激活读者的视知觉感知,亲身体会 书籍 域与 身体域 的整合:封面主色调为桃红色,数条蓝灰色横线隐约穿插而过,隐喻皮肤及皮下静脉;书页以肉色为主,其中的㊃58㊃㊀外国语文2023年第5期㊀文本和图片渐变为红色㊁黑色和米黄色,使整本书的视觉构造仿佛人的躯体,随着读者阅读的深入(即人的年龄的增大),皮肤日渐失去光泽,布满皱纹㊂在文字和视觉模态的协同作用下,读者 多模态器官 体验且认识到身体与书籍之间不仅是概念上的跨域映射关系,也是自己身体和心理互动体验下的 合二为一 ㊂这一实例完美地揭示了多模态文学对多模态体认的 前景化 调用,突出了体认的多模态性㊂1.2体认的交互性体认语言学在阐述其核心原则 现实 认知 语言 时,格外强调体认的 互动性 :一是人通过对外部现实世界(包括自然㊁社会㊁文化等)直接感性接触所产生的互动体验,二是人在外界感性接触基础上进行的认知加工㊂从 体的互动体验 到 认的认知加工 ,再返回到体验,循环升华(王寅,2020:22)㊂从语言的产生㊁语言的发展到语言的习得都是以人的体认为基础的(林正军等, 2021), 现实 认知 和 语言 之间的互动推动了语言的产生和使用㊂体认语言学在阐释各类语言现象时所使用的理论工具,如概念隐喻㊁认知参照点㊁意象图式㊁理想认知模型㊁识解等都是围绕人与世界的互动展开的理论阐述,都强调人与人㊁人与自然互动过程中身体感知觉体验的规律性特征对于语言符号的产生㊁表达和理解的作用㊂例如,王寅(2020)结合大量实例,阐述了隐藏在歇后语背后统一的体认型式:歇后语的前项描写人较为直观的感性生活体验,后项揭示由该体验所引发的认识, 反映了人们从 感性到理性 ,从 具体到抽象 ,从 外延到内涵 ,从 参照点到目标 ,从 明示到推理 ,从 背景到图形 ,从 表层到深层 (由表及里)的体认过程 (王寅,2020:2)㊂体认语言学关于互动性的论述主要阐释语言产生和使用的规律性特征㊂其实,体认的互动性理论能更充分地阐释读者在阅读多模态文学过程中的身心交互特征,如多模态小说VAS中第139页末端的文字为( Still,it moves )在排版上颠倒了文字的方向(图2)㊂图2㊀VAS(Tomasula,2002:139)节选要识读这些文字,读者必须把书旋转过来㊂这种设计配合该部分表达的主题 宇宙的本质一直处于运动之中,呼应该句 一直在动 的语义,因为读者必须做出翻转书本的身体行为,才能读到 一直在动 这句话㊂在该情况下,读者的身体机能与语言对行为的触发双向互动, 执行一个动作有助于理解包含行为动词的修辞短语和文学短语 (Gibbs,2005:88)㊂因此,读者翻动图书的身体动作同时启动了 移动/运动 这一概念,使读者得以身心协同体验 移动/运动 ,加深对 一直在动 这句话的理解㊂此外,该页配有众多箭头和线条组织成的旋转图像,视觉㊁行为动作㊁感知和文字理解多路径协同,创造关于宇宙旋转移动的感性体验和理性认知㊂关于身心体认及其与世界的互动,认知科学家莱德曼(Lederman)和克莱茨(Klatzy)曾指出: 人们使用触觉系统来感知真实物体和虚拟物体同时存在的世界,并与其进行互动㊂ (2001:71)同㊃68㊃㊀赵秀凤㊀崔亚霄㊀多模态体认诗学 基于体认语言学的研究㊀样,马克斯(Marks,2002:2)也指出: 我们正是通过协同触觉㊁动觉和本体感受,才同时在阅读书籍的过程中获得身体感知和内心体验㊂ 从这一意义来说,通过调动读者的身体与书本在实体意义上的直接接触,VAS成功激活并强化了读者的交互性体认㊂体认的交互性还体现为读者与人物之间的 协同共振 ㊂与常规文字小说不同,多模态小说往往借助多模态符号,频繁调动读者对故事世界的身体参与,这一点在叙述人物行为动作时,表现得尤为突出㊂例如,在‘书页之屋“第440-441页,作者通过排版(见图3)设计出如具象诗般的文字,描述人物戴维森(Davison)攀爬探险的行为过程:图3㊀‘书页之屋“(Danielewski,2000:400)节选戴维森步伐缓慢,但是十分坚定,双手交互爬行上了梯子 他仍然继续攀爬,最终他的坚持不懈有了回报,爬行了大概半个小时后,他终于爬完了梯子的最后一根㊂几秒钟过后,他站在一个非常 (Danielewski,2000:400;吉本斯,2021:58)显然,这段文字被排列为一个梯子的形状,从底部一行开始,每个横档错落排开,在空白周边的映衬下,深黑色字体形成的横档越发突显,如同一架梯子斜依在墙上㊂文字的排列顺序和空间摆放方式,决定了读者的阅读方向和顺序:自下而上,从左到右,这一顺序与人物的攀爬动作一致 从低到高㊂可以说,读者在视觉符号的引导下,眼睛紧随人物攀爬的动作,拾级而上,与人物 亦步亦趋 ,一起 攀爬 ㊂梯子横档一级级向上,迫使眼睛不时穿过空白处,形成视觉跳跃(Gibbons,2021: 60)㊂眼睛发挥 动能闭合 (kinetic occlusion)作用,戴维森 不断换手 攀爬梯子㊂从侧面来看,当他在前面的那只手抓到高一级横档时,后面的手便跟着向前,这个动作类似于眼睛的动能闭合 读完一段文字后,空白处便进入眼帘㊂该例同时充分体现了两类互动:读者的身心互动及读者与人物的协同共振㊂当然,这种双维互动的前提是多模态符号对读者体认感知的诱发性潜势㊂从一般抽象意义来说,是不同模态之间的符号互动激发了读者的身心互动及读者与人物的互动㊂正如吉布斯(Gibbs,2005:66-67)所言: 认知是身体与物理/文化世界互动的产物㊂思维并不是存在于人的身体内部,而是存在于大脑㊁身体㊁世界 交织形成的网络㊂ 涉身 就是指大脑㊁身体和物理/文化环境之间的动态交互㊂ 约翰逊(Johnson,1987:5)也指出: 我们所认识的现实由以下因素所塑造:身体运动型式㊁时空定位轨迹㊁我们与物体的互动形式;它绝不仅仅是抽象的概念和命题判断㊂ 为此,吉本斯(Gibbons,2012:42)强调: 既然涉身是人类理解和体验的奠基之本,那么我们似乎可以做出这样的逻辑推演:身体在阅读中的参与度越多,阅读就越有意义,影响就越深远㊂㊃78㊃㊀外国语文2023年第5期㊀以上实例分析表明,多模态文学语篇充分运用多种模态符号,调动读者的多维交互体验,无论是人与符号资源在物理意义上的本体互动,还是文本内多种模态符号之间互动所引发的读者在身体感知和心理认识之间的互动,都反映了多模态符号对读者整体体认过程的影响㊂1.3㊀体认的复杂系统性从复杂动态系统理论视角来看(Complex Dynamic Systems,简称:CDS),在多模态文学的交流过程中,读者的体认也呈现出复杂动态系统性特征㊂根据CDS理论,复杂系统具有以下突出特征: 复杂性,即构成元素和施动体丰富多样㊁互动方式多元;动态性,即构成元素与施动体始终变化,互动方式亦始终在变;开放性,即新元素和施动体随时可进入系统;非线性,即系统的整体变化不可预测,无法以变量分析法找到规律;此外,系统可具自发组织性和共适性,有时体现为相对稳定的状态㊂ (单理扬,2019:94)就多模态文学交流而言,一方面,读者的体认具有多模态感官联动性,另一方面,多模态文学的构成要素丰富多样,这些都对多模态文学的理解体认过程产生直接影响,使体认本身成为一种复杂的动态系统,呈现出复杂系统的一般特征㊂首先,多模态文学交流的对象,文学作品本身就是一个由多个子模态符号系统构成的复杂系统,如后现代实验小说系统往往包含图像㊁图形㊁页面设计㊁空间布局㊁字体㊁颜色㊁词汇㊁语法㊁篇章结构㊁文学常规等等多个子系统㊂多模态小说尤其是后现代实验文学达到了高度的形式自觉,大量运用元小说和互文指涉手段㊁彰显实体性㊁创新文本排版形式等㊂吉本斯(Gibbons,2012:2)把这种形式自觉在符号上的主要体现概括为以下八类:存在明显的文本布局和页面设计;排印方式多样,在文字和图像中运用色彩;类似于具象诗,把文本文字具象化;使用包括元小说写作在内的多种手段;吸引读者关注文本的物质属性;使用脚注和其他形式传递自我质疑;使用翻页书技巧设计部分章节;混合使用多种文学样类,包括文学创作风格上的混搭,如恐怖,也包括视觉效果的混搭,如剪报和剧本对白㊂每个子系统之间相互联系,相互制约,表征和建构小说世界,创建文学意义㊂其次,读者个体也可以看作一个高度复杂的动态系统,对多模态符号的阅读理解过程本身也受个体㊁社会㊁认知㊁文化和环境等多因素的影响㊂如在识读鲁宾(Robin)的花瓶图像(图4)时,某人可能第一眼倾向于解读为 看到了一个置于白色背景的黑色花瓶 ,而另一个人则解读为 黑色背景下的两张白色面孔 ; 图像阅读并没有线性结构的强制要求,即读者具有主体性选择,当然即使有个体差异,在特定社会文化群体中,也一定有规律性体验阅读路径 (Gibbons,2012:14)㊂因此,他们又都可以在这两种解读之间任意切换,体现了读者体验的个体性差异㊂图4㊀鲁宾的花瓶图像(吉本斯,2021:35,源自Rubin,1958/1915:201)㊃88㊃㊀赵秀凤㊀崔亚霄㊀多模态体认诗学 基于体认语言学的研究㊀多模态文学交流是一个多要素相互作用的系统,文学构成要素和认知主体要素的多样性和动态变化性,使文学意义的理解和体悟过程本身也呈现出复杂动态系统特征,多模态符号系统内部诸要素与读者的多模态感官系统及认知系统之间存在 竞争㊁互补㊁对立和适应等多种交错叠加的互动关系 (曾小燕,2017:35)㊂在真实交际活动中,体认的复杂动态性既体现于读者与文学作品及其环境之间的互动,又存在于读者个体多种素质和能力的互动,多维互动在多模态文学符号的诱发下呈现出高度的动态性和自组织性㊂例如,当读者翻开多模态小说‘书页之屋“,读到的开篇之句是 This is not for you (这不是为你写的)(Danielewski,2000:ix)㊂该句的否定语法结构 not 和指向故事外读者的第二人称代词 you ,都令读者感到某种 不适 ,该句似乎在实施一种禁止性言语行为,阻止读者进入小说世界㊂这显然违背小说常规,与读者固有阅读体验及打开小说的阅读冲动和欲望之间形成直接冲突,令读者感到 认知失调 (cognitive dissonance)㊂事实上,作者是 希望借此激将法诱使读者深入阅读 (Gibbons,2012:51)㊂ 失调给人带来心理不适感,会促使人们努力减少不适,达到协调㊂ (Festinger,1957:3)当人们的行为和认知发生冲突时,内心急求缓解这种失调的愿望便会异常强烈(Gibbons,2012:53),因此,读到这句阻止性否定句后,读者反而往往会做出 认知对抗 (cognitive reactance)反应,即产生强烈的反抗心理,就会反其道而行之㊂可见,常规㊁语言㊁读者的阅读欲望㊁心理预期及其个体心理调整适应等多要素联动,相互作用与制衡㊂该句的阅读理解过程 从体会到符号意义表层上的被排斥,经认知对抗,做出逆反性继续阅读行为 充分体现了体认的动态性㊁复杂性和自组织性,是多种子系统连接互动的结果㊂此外,该句单独构成一页,位于按照常规应该是献词页的位置,这一空间位置本身又形成了激活文学常规的符号要素,与文学作品的语类结构及其相应的阅读常规图式形成联动关系,直接影响阅读个体的体验和认知,以及随之产生的对抗认知反应㊂2㊀走向多模态体认诗学综上所述, 多模态体认观 拓宽了 语言体认观 的适用视域㊂多模态文学实例表明,语言符号具有认知性㊁社会性和文化性,多模态符号更是如此;多模态符号的协同㊁组合㊁应用更涉及身体体验和认知加工的循环互动㊂多模态文学交流也遵循 现实 认知 符号 这一核心原则,也大量启用图形-背景㊁意象图式㊁概念隐喻等体认机制㊂因此,我们可以说,体认语言学理论为我们阐释多模态文学的交流过程提供了强有力的理论工具㊂我们可以通过拓展体认语言学的应用范畴,从多模态符号的体认性出发,阐释读者与文学作品之间的互动体验,推动 多模态体认诗学 研究㊂笔者认为可以从以下三个方面展开:首先,拓宽体认语言学的外延㊂体认语言学侧重从语言生产角度论述体认的作用,阐述 现实 认知 符号 三者之间的关系㊂作为揭示语言人本性的体认语言学,理应从语言产生的一般规律出发探讨本源问题,但事实上人类用于交际的所有符号都具有体认性特征㊂21世纪起的后现代实验文学,充分利用各类图文符号,激活人的感知体验㊁情感和认知加工;这类文学的日渐兴盛也充分说明了多模态符号体认性对文学的影响㊂因此,我们有必要拓宽体认语言学的外延,从广义的符号层面,考察体认的过程;如针对后现代实验文学的多模态组合特征,阐释该类文学得以产生㊁接受㊁形成独特文学样类背后的体认机制;通过透视读者的阅读体验和认知加工过程,揭示多模态文㊃98㊃。
《诗画语言—王维诗歌及其英译本的多模态特征认知诗学解读》
《诗画语言—王维诗歌及其英译本的多模态特征认知诗学解读》篇一诗画语言——王维诗歌及其英译本的多模态特征认知诗学解读一、引言中国古典诗歌的魅力在于其深厚的文化底蕴和独特的艺术表达方式。
王维作为唐代著名诗人，其诗歌以诗画交融、意境深远而著称。
本文旨在从多模态特征认知诗学的角度，对王维的诗歌及其英译本进行解读，探讨其诗歌中的诗画语言及其在跨文化传播中的价值。
二、王维诗歌的诗画语言王维的诗歌以诗中有画、画中有诗的特点著称。
其诗歌语言简练，意境深远，常以自然景色为描写对象，通过细腻的描绘和抒情的表达，将自然景色与人的情感融为一体。
在王维的诗歌中，诗与画的交融体现在以下几个方面：1. 描绘自然景色的细腻性：王维善于运用简洁明了的词语，将自然景色的细节描绘得栩栩如生，如“大漠孤烟直，长河落日圆”等诗句，将大漠、长河、孤烟、落日等元素巧妙地组合在一起，形成了一幅生动的画面。
2. 抒发情感的深刻性：王维的诗歌不仅描绘自然景色，还通过细腻的抒发表达自己的情感。
他将情感与自然景色融为一体，使读者在欣赏画面的同时，也能感受到诗人内心的情感。
3. 意象的丰富性：王维的诗歌中运用了大量的意象，这些意象既可以是具体的自然景物，也可以是抽象的情感。
通过这些意象的运用，王维将诗歌的意境拓展得更加深远。
三、王维诗歌英译本的多模态特征王维诗歌的英译本在跨文化传播中具有重要价值。
其多模态特征主要体现在以下几个方面：1. 语言模态：英译本的诗歌语言地道、流畅，能够准确传达原诗的意境和情感。
同时，译者在翻译过程中还注重保留原诗的语言特色和韵律美感。
2. 文化模态：在跨文化传播中，英译本需要传达原诗所蕴含的文化信息。
译者在翻译过程中注重对原诗所蕴含的文化背景和历史典故进行解释和补充，使读者能够更好地理解原诗的内涵。
3. 视觉模态：为了更好地传达原诗的意境和情感，英译本的出版往往配以精美的插图。
这些插图以绘画的形式展现了原诗所描绘的自然景色和情感氛围，使读者在欣赏文字的同时，也能感受到画面的美感和情感的表达。
《诗画语言—王维诗歌及其英译本的多模态特征认知诗学解读》
《诗画语言—王维诗歌及其英译本的多模态特征认知诗学解读》篇一诗画语言——王维诗歌及其英译本的多模态特征认知诗学解读一、引言王维，唐代著名诗人，其诗歌以诗画交融、意境深远而著称。
随着跨文化交流的深入，王维诗歌的英译本也逐渐受到关注。
本文旨在运用认知诗学的方法，对王维诗歌及其英译本进行多模态特征解读，探究其诗画语言的独特魅力及其在跨文化传播中的价值。
二、王维诗歌的多模态特征1. 诗画交融的意象王维的诗歌常以山水、花鸟等自然景象为背景，通过细腻的描绘，将画意与诗意融为一体。
如《山居秋暝》中，“空山新雨后，天气晚来秋”一句，既展现了山间雨后的清新景象，又传达出诗人内心的宁静与淡泊。
这种诗画交融的意象，使诗歌具有了视觉和听觉上的多模态特征。
2. 音韵与节奏的和谐王维的诗歌在音韵和节奏上具有很高的艺术性。
他善于运用平仄、押韵等手法，使诗歌在诵读时具有音乐般的韵律美。
如《送元二使安西》中的“渭城朝雨浥轻尘，客舍青青柳色新”，平仄相间，读来朗朗上口，给人以美的享受。
三、王维诗歌英译本的多模态特征1. 翻译中的视觉元素在王维诗歌的英译本中，译者往往通过添加注释、插图等方式，为读者提供更多的视觉信息。
这些视觉元素有助于读者更好地理解诗歌的意境和文化背景。
例如，在翻译《山居秋暝》时，译者可以在注释中解释“空山”、“新雨”等词汇的文化内涵，同时在插图中展现山间雨后的景象，使读者更加直观地感受诗歌的意境。
2. 翻译中的语言艺术王维诗歌的英译本在语言上也有很高的要求。
译者需要准确传达原诗的意境和情感，同时又要使译文具有音乐性和韵律美。
在翻译过程中，译者可以采用押韵、重复等手法，使译文在语言上与原诗相呼应。
此外，译者还需要注意保持译文的流畅性和自然性，使读者能够轻松理解诗歌的内容。
四、认知诗学视角下的解读从认知诗学的角度来看，王维诗歌及其英译本的多模态特征体现了人类认知过程中的体验性、想象力和符号性。
诗人通过诗画交融的意象、音韵与节奏的和谐等手段，将自然景象与内心情感相融合，为读者提供了丰富的感官体验。
《诗画语言—王维诗歌及其英译本的多模态特征认知诗学解读》范文
《诗画语言—王维诗歌及其英译本的多模态特征认知诗学解读》篇一诗画语言——王维诗歌及其英译本的多模态特征认知诗学解读一、引言在中国古代文学中，诗歌与画面的关系总是息息相关，互相启迪。
作为中国古代文人的杰出代表，王维的诗歌便是一种以诗入画、画中有诗的典型范例。
其诗歌中独特的诗画语言，在文学和艺术上均有着极高的价值。
本文旨在从多模态特征认知诗学的角度，对王维的诗歌及其英译本进行解读，以揭示其诗画语言的独特魅力。
二、王维诗歌的诗画语言王维的诗歌以其独特的诗画语言著称，其诗歌往往以景生情，以情入景，情景交融，如画中游。
他的诗歌语言简洁明快，意境深远，常常通过细腻的描绘和丰富的想象，将自然景色、人物情感以及社会生活呈现得栩栩如生。
在语言的选择上，王维善于运用颜色、声音、动感等元素，创造出丰富的画面感和听觉感受，使得读者在欣赏诗歌的同时，也能感受到画面和音乐的魅力。
三、多模态特征认知诗学解读多模态特征认知诗学是一种以多模态为手段的诗歌解读方法，它强调在解读诗歌时，不仅要关注诗歌的语言文字，还要关注诗歌中的图像、声音、色彩等非语言文字元素。
在解读王维的诗歌时，我们可以从以下几个方面进行多模态特征认知诗学解读：1. 图像模态：王维的诗歌常常通过描绘自然景色、人物形象等，创造出丰富的画面感。
这些画面不仅具有视觉美感，还能引发读者的情感共鸣。
例如，他的《山居秋暝》一诗中，就通过对自然景色的细腻描绘，展现了一种静谧而深远的美感。
2. 声音模态：王维的诗歌善于运用声音元素来营造氛围和情感。
通过运用不同的语音、语调以及修辞手法，王维能够使读者在听觉上感受到诗歌的情感色彩和节奏韵律。
3. 色彩与动感模态：王维的诗歌在色彩和动感的运用上也非常出色。
他善于运用色彩来表现自然景色的丰富变化，通过描绘动态的场景和人物动作，使诗歌更具生动性和感染力。
四、王维诗歌英译本的多模态特征认知诗学解读对于王维诗歌的英译本，我们同样可以从多模态特征认知诗学的角度进行解读。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
认知诗学文学语篇的语言学研究视角：多模态认知诗学——《多模态、认知和实验文学》评介唐淑华（重庆三峡学院，重庆 404000）摘要：简要介绍了Alison Gibbons 2012年出版的Multimodality, Cognition, and Experimental Literature一书的背景和结构之后，重点介绍了多模态认知诗学理论的形成，并以几部具体的实验文学作品为例详细地展示了多模态认知诗学对文学语篇研究的全新方法，最后对该书的独到之处和不足进行了简要的评述。
关键词：多模态认知诗学；介绍；多模态，认知和实验文学中图分类号：I0-03 文献标识码：A 文章编号：978-7-119-09247-8(2014)01-0090-05 A Linguistic Approach to Literature: Multi-modal Cognitive Poetics: Review on Multimodality Cognition, and Experimental LiteratureTANG ShuhuaAbstract: This paper, after briefly introducing the background and structure of Multimodality, Cognition, and Experimental Literature by Alison Gibbons in 2012, mainly introduces how the theory of multi-modal poetics came into being and its unique approach to literary texts in details, and finally summarizes the book’s unique contributions as well as its insufficiency.Key words: multi-modal poetic; introduction; Multimodality, Cognition, and Experimental Literature1.引言继《叙事和多模态研究的新视角》（New Perspectives on Narrative and Multimodality）（Ruth Page，2009）和《多模态》（Multimodality）（O’Halloran & Smith，2011）两部力作之后，《多模态、认知和实验文学》（Multimodality，Cognition，and Experimental Literature）（Gibbon，2012）又面世，这三部著作被新加坡国立大学Kay L. O’ Halloran 编成Routledge Studies in Multimodality三部曲。
《多模态、认知和实验文学》全书共8章，包括理论（第1至3章）、多模态认知诗学对文学语篇的分析（第4至7章）和结论（第8章）三部分。
概括起来，该书有三大亮点：（1）多模态认知诗学吸收了认知诗学和多模态研究的精华，为解决语言学与文学研究老死不相往来的窘况提供了全新的研究路径；（2）多模态的分析涉及了语言模态以外的视觉、听觉、触觉、嗅觉等多种模态对小说主题思想表达的路径；（3）所选文本：House of Leaves（Mark Z. Danielewski，2000）（下称HOF）、VAS: An Opera in Flatland（Steve Tomasula & Stephen Farrell，2004）（下称VAS）、Extremely Loud & Incredibly Close（Jonathan Safran Foer，2005）（下称ELIC）以及Woman’s World（Graham Rawle，2006）（下称WW）四部小说极具实验文学的典型性，充分凸显了多模态认知诗学在分析文学小说方面的精妙以及理论与实践结合的优势。
下面对该书作简要介绍。
2.多模态认知诗学的理论探讨第1章里，Gibbons回顾了实验文学的发展以及与多模态的关系，总结了多模态小说的一些主要特征：（1）独特的文本布局和页面设计；（2）多样化的排印；（3）在印刷文字和图案内容方面颜色的运用；（4）具像诗似的用文本编排形成的图案；（5）注意文本物质性的方法，包括原创小说；（6）脚注和自我批判的关键声音；（7）翻转书部分；（8）类型的融合，在文学术语方面，比如恐怖，在视觉效果方面，如报纸的剪裁和戏剧对话。
作者还就多模态认知诗学的研究参数和研究方法以及该书的总体结构进行了简要介绍。
第2章里，Gibbons回顾了多模态、模态的定义，多模文学语篇的语言学研究视角：多模态认知诗学态理论的形成和发展过程，认为：系统功能的方法依赖于语言结构，有强调多模态文本中单一模态分析的风险，把语言和视觉模态混为一谈；Bateman （2008）的“多模态语言学”，主要集中于多模态的文本构成，而未能理解这些多模态组合的使用者和接受者。
多模态应该调查这些文本组合里的认知隐含，探索文学小说在特定语境下的多模态意义建构，这也是该书的主要目的。
第3章是多模态认知诗学理论的核心部分。
Gibbons 认为认知诗学是文学研究认知转向的一个部分，还处在起步阶段。
作为网络时代的第一个分支学科之一（Stockwell, 2005: 267），它利用了认知科学里许多学科的重要成果：认知心理学、认知科学、神经学和认知语言学。
认知诗学关注具体语境中文学的形式、风格和语言。
多模态认知诗学不仅仅是小说如何通过形式模态的整合生成意义，重点还关注这些模态是如何被读者整合、理解和经历的。
Gibbons 在回顾了认知诗学的基本框架：图形背景、认知语法、认知指示、概念隐喻、多模态隐喻、概念整合、文本世界理论等后认为，认知诗学有一种文学语言倾向，绝大多数运用在文学、诗学和语言手段方面，几乎还未关注到其他艺术形式。
文学经历的视觉方面被认知诗学的学者们忽略。
Oatley （2003: 162）“认知诗学是文学，包括能读的文本，能看的电影、戏剧和能听的诗歌”的说法也可以证明这一点。
Gibbons 认为认知诗学研究的不足是它坚持把文字从图像中分离出来以便集中在某人喜爱的表达方式上，或者用单一理论，或者本质上迎合一种模态来解释两者，文体学和文学批评的研究倾向于前者，视觉分析者们倾向于后者。
因此，多模态研究方法要努力理解词与图像整合对文本解读的复杂效果。
Gibbons 重点介绍了多感官感知、体验、视觉感知几个概念。
不同于传统研究文学语篇的方法，该书主要从多模态的视角，突出社会符号方法，主要针对小说文本以外的其他因素，如书页的排版布局、字体字号的设计、标点符号、字体和书页的颜色、花体以及小说文本以外的图案设计、文中删除符号、文字的上下颠倒等独具匠心的运用，甚至通过粘贴而成小说的粘贴方式、粘贴的形状、剪辑的图案、颜色等因素，是如何为表达小说作者的主题思想以及读者对小说意义建构方面的影响方面进行了全新的分析，凸显了多模态认知诗学研究视觉交流的优势，彰显了多模态研究对文学语篇强大的阐释力和认知诗学在语言研究方面的魅力。
多模态认知诗学是一个跨学科的重要整合，兼收并蓄，既借用了认知诗学中最相关的成分：图形背景、认知语法、认知指示、概念隐喻、概念整合和文本世界理论，又把它的认知方法同视觉感知和多模态研究工具整合起来，彰显了多模态研究的新路径。
其目的在于解释文本意义建构的结构。
重要的是，这种新的方法主要目的是从经验主义者的角度探索多模态，能更好地理解所见、所读，弄懂文学和我们周围世界。
3.多模态认知诗学对文学语篇研究的新视角 传统的文学研究，方法各有千秋，研究视点各异，但基本上都离不开文学小说的文本本身，该书对文学小说的分析，可谓另辟蹊径，主要分析文学小说中文本以外的其他因素是如何为小说作者表达主题思想服务的。
Kress(2010：79)将模态明确定义为“在社会文化中形成的创造意义的符号资源”。
任何模态（包括图像、手势、音乐）都是完整的表意系统，跟语言一样具有形式层、词汇语法层和语篇语义层。
3.1 文学语篇中排版布局对主题的凸显第4章里，Gibbons 对小说HOF 中第440页和441页中叙述文本的梯子形状的版面设计进行了多模态的分析，“攀爬梯子”的主题思想通过“梯子”形状的排版方式形象地凸显出来（如下图1），其功效文本本身望尘莫及。
HOF 第132-133页上迷宫似的安排与西方文学的典型排版也迥异，却能更好地引起读者对书页视觉表面的更大关注（如图2）。
Gibbons 分析认为，对#4的探索一开始，页面的文本设计完全不同，一列列的文本组成了单词的走廊，这些走廊由构成小说的不同篇章形成：从“The Navidson Record ”开始对#4房子的探索的描述，脚注，互文引用到Truant 的评论。
排版注重了阅读时方向的变换和页码位置或意向主义的设计。
“#4 探索”中展开的两页里一系列斜体、印刷上下颠倒的建筑师和资助人长达8页的名字和橱柜（119-142页脚注144的内容）和图书馆（131-135页脚注167）的版面设计更好地凸显了“探索房子”的主题。
Slocombe （2005：97-98）认为“走廊”或者脚注，不是脚注，而是房子内的房间，有些空着（空白部分），有时布满了人群（如121页上建筑师的名单），也包括商店里的橱窗（第119-142页的脚注144的供应和对象）和图书馆（第131-135的脚注167）。
图1图2Slowly but surelyHand over handNavidsonThe ladder, but Pulls himself up …认知诗学第5章里，Gibbons分析了小说V AS的印刷布局，作者用多模态认知诗学分析V AS带给读者的双情形主要集中在小说的开篇，别具一格（如图3）。
第9页上只有“FIRST PAIN”两个单词，其余留下了大片空白。
第10页上出现：“Then knowledge: a paper cut…”这种布局建立了体验的主题，这是V AS的中心。
对小说V AS第139页上（如图4）和第141页上（如图5）“Still，It Moves”倒立，不同地方的重现、其意大利语版本形成的图案与太阳系的类比，和涡轮状线条图案进行了分析，得出了“Still，It Moves”是一个多模态的话语，是认知、神经、单词、意象和身体运动整合的结论。
图3 图4 图5 图63.2 颜色、字体、字号的运用对文学语篇主题的表达运用颜色、字体、字号等来表达小说作者独特用意是多模态认知诗学对文本小说分析的重点。