多模态语篇中语义连贯对读者加工理解的影响——一项对中国英语培训广告的眼动实验
多模态视角下的广告语言研究
多模态视角下的广告语言研究在当今社会，广告无处不在，而广告语言则是广告中至关重要的一部分。
从多模态视角对广告语言进行研究，可以帮助我们更全面地理解广告信息的传递和影响。
本文将探讨广告语言多模态视角下的研究现状、理论框架、研究方法、结果与讨论以及结论，以期为该领域的研究提供有益的参考。
多模态视角下的广告语言研究主要广告语言的非文字层面，如图像、声音、色彩等。
目前，国内外研究者已取得了一定的成果。
例如，陈瑜等（2021）从多模态隐喻的角度研究了广告语言的认知效果，发现多模态隐喻在广告语言中具有丰富的表达力和较强的认知效果。
然而，这一领域的研究还存在一些不足之处。
例如，部分研究只了广告语言的某一种模态，而未考虑到其他模态的影响。
大多数研究集中在广告语言的认知效果上，而对广告语言的情感影响等方面的研究相对较少。
从多模态视角研究广告语言，需要基于多模态交际理论。
该理论认为，交际过程是一种多模态的交互过程，其中包括语言、图像、声音、色彩等多种模态。
在广告中，这些模态相互交织、相互影响，共同构成了一个完整的广告信息。
同时，该理论还强调了语境在广告语言理解中的重要性。
因此，从多模态视角研究广告语言，应当不同模态之间的协同作用以及它们如何共同构建广告的意义。
研究广告语言多模态视角的方法多种多样，包括定性和定量研究方法。
在定性研究中，可以通过观察、深入访谈和内容分析等方法，对广告语言的多种模态进行深入的分析。
在定量研究中，可以使用实验法、问卷调查法和语料库分析等方法，对广告语言的多种模态效果进行测量和评估。
在具体的研究过程中，可以结合具体的研究问题选择合适的研究方法。
例如，如果要研究广告语言中图像和文字之间的关系，可以使用定性和定量相结合的方法，通过深入分析广告中的文字和图像，探究它们之间的相互影响和作用。
通过研究，我们发现多模态视角下的广告语言具有以下特点：广告语言的多种模态之间存在相互作用。
在广告中，文字、图像、声音和色彩等模态相互关联、相互影响，共同构建了广告的意义。
多模态视角下的广告语言研究
多模态视角下的广告语言研究广告语言作为一种商业传播工具，使用广泛且具有巨大的影响力。
然而，传统的广告语言研究大多限于语言本身的分析，忽视了广告中其他模态的信息表达方式，如图像、声音和动作。
因此，本文将从多模态视角出发，对广告语言进行研究，并探讨其在商业传播中的影响。
首先，我们需要明确多模态视角的基本概念。
多模态研究指的是对不同模态（语言、图像、声音等）在信息传达中的相互作用和整合进行研究。
在广告中，语言往往与图像、声音等模态相结合，共同营造出丰富的信息环境，以吸引受众的注意力。
因此，通过多模态视角的研究，我们可以更加全面地理解广告语言的表达方式和效果。
在广告语言中，文字往往是最直接和明确的表达方式。
具有清晰的信息传递和意义解码的优势。
然而，广告文字的效果常常依赖于与其他模态的互动。
例如，一句简短的文字配合着吸引人的图像，可以更容易地引起观众的共鸣和回忆。
此外，声音也可以与文字相互呼应，加强广告的表达力。
因此，多模态的组合可以提升广告语言的效果，让广告更具吸引力和影响力。
除了互动方面，多模态视角还可以帮助我们理解广告语言的意义生成过程。
在传统的语言研究中，广告语被视为一种信息传递工具，其含义和效果主要依赖于文字的解码。
然而，多模态视角认为，广告语言的意义是通过与其他模态的互动和整合生成的。
例如，一则广告中的言语与图片相结合，可以产生共同的语义场景，从而加强广告的信息传递效果。
因此，多模态视角可以帮助我们更好地理解广告语言的意义生成机理。
此外，多模态视角还能够帮助我们研究广告语言对受众的影响。
广告语言在商业传播中的最终目的是影响受众的消费行为。
传统的语言研究主要关注广告语言的表达方式和语义分析，忽略了广告对受众情感和认知的影响。
然而，多模态视角认为广告语言通过与其他模态的结合和整合，能够激发观众的情感共鸣，引发他们的注意力，并最终影响其购买决策。
因此，多模态视角的研究能够帮助我们更全面地了解广告语言的影响机制。
多模态话语分析在中小学英语教学中的研究
多模态话语分析在中小学英语教学中的研究作者：盛林姗来源：《科教导刊·电子版》2020年第10期摘要在新媒体时代，多模态话语分析在教学实践中呈现出比单一话语分析更明显的优势：丰富课堂教学内容和形式，提高学生多元识读能力和培养学生跨文化意识。
课前发挥多模态话语之间的优势、课上注重多模态话语之间的协同以及课后布置创新的多模态话语作业，实现多模态话语分析与英语教学相融合，是中小学英语教师提高英语课堂教学质量的有效途径。
关键词多模态话语分析中小学英语教学0引文教学是通过师生之间的交流与互动，促进学生学习和发展的专门社会实践活动。
多模态话语分析在中小學英语教学中强调利用合适的多模态资源（如图像、视频、录音等），以此培养中小学生多元识读能力，提高教师教学水平。
当前以多模态话语分析为理论指导，以多模态资源为辅的英语教学在我国得到了广泛推广。
本文探究多模态话语分析理论在中小学英语教学中的作用与应用，为中小学英语教师教学实践提供借鉴。
1多模态话语分析早期的话语分析主要研究使用一种模态的单模态话语，主要是对文字层面进行分析，已经无法满足人们对于新媒体时代多模态话语的阐释和理解。
因此以社会符号学为视角和韩礼德的系统功能语法为理论基础的多模态话语分析应运而生。
社会符号学将语言视为社会符号，探讨语言符号是怎样构成意义。
韩礼德的系统功能语法是为了探索语言功能而建立，并在后来将语言的功能归纳为三种：概念功能、交际功能和语篇功能。
它们都围绕语言这一符号，而多模态话语分析认为社会符号不仅包括语言形式，也包括非语言形式（图片、视频等）。
因此，多模态话语分析在对研究社会符号和构建意义方面更为丰富。
国内学者对多模态话语分析定义都有着自己的看法。
李战子指出多模态话语为除了文本之外，还带有图像、图表等的复合话语，或者说任何一种以上的符号编码实现意义的文本;张德禄认为多模态话语是指运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象;朱永生将多模态话语分析定义为同时包含两个或多个信息符号系统或模态的话语交流。
多模态隐喻在英文公益广告中的认知分析
一
４ ３ ４ ０ ２ ０ ）
画面切换到牛奶被人买 回 、 喝 完 以后 拿 去 回收 ， 但红色 的
丢人循 环箱 。 蓝 色 的掉 在 了 地 上 ， 此刻音 乐转变 为急速悲伤 。 蓝 色 罐 被 丢 人 垃 圾 箱 ．红 色罐 只 能 远 远 地 看 着 ，并 且 越 走 越 远， 蓝 色 罐 在 垃 圾 箱 里 镜 头 向另 一 个 方 向越 切 越 远 ， 这 里 表 达 的是 情 侣 之 间 的分 离 。 最 后 蓝 色 罐 被 运 到 了垃 圾 处 理 厂 ， 此 时 画 面上 有 几 滴 咖 啡 滴 在 蓝 瓶 的 眼 睛 上 ，表 达 蓝 色 罐 正 在 为 自 己 的遭 遇 流 眼 泪 。 广 告 最 后 写 了一 句话 ， 告 诫 人 们 面对 环 境 。 想 要 喜 剧 收 场 就 必 须 减 少 垃 圾 的堆 放 ， 并 加 大 回 收力 度 。 （ 二） 源域 与 目标 域 的 映射 表 达
从 画 面 和 含义 方 面着 手 。相 反 ， 对 文 字 的处 理 则 需 逐 字 逐 句 阅 读再进行整合理解 ， 并 分 析 出 表 面 与 隐 含 意义 。 三、 多模 态 隐 喻 在 公 益 广 告 《 牛奶罐的爱情》 中 的应 用 （ 一） 广 告 内容及 隐喻 分析
随 着科 技 的 进 步 ， 当多 种 符 号 出 现 在 眼 前 时 ， 人 们 的感 官 会 通 过 协 同 作用 处 理 符 号 的 理 解 与 感 知 。多 模 态 隐 喻 的 出 现 给 了 我 们一 个 更 好 的 平 台 理 解 这 些 高 于 语 言 层 面 的符 号 。 在 公 益 广 告 中 ，很 多 诉 求 通 过 多 模 态 隐喻 展 现 以后 能更 好 地 被 人 们 接 受 和 传播 。 它 不 仅 是 认 知 隐 喻 理论 的 扩 展 ． 而 且 是 广 告 研究的扩展。
新视野大学英语教材中的多模态话语研究
新视野大学英语教材中的多模态话语研究【摘要】当前大学英语教材中的多模态话语充分运用了听觉、视觉及触觉等感官，在声音、图像、语言和动作的联合作用下对语篇中的多模态问题进行系统阐述，这样的资源交换行为正是模态意义建构的核心内容。
多模态话语普遍存在于大学英语教材当中，关于多模态话语的研究不仅涉及到相关的语言功能学及社会符号学内容，甚至还与交际化的语言教学模式之间有着必然关联。
文章从语言运用角度对大学英语教材中的多模态话语进行了深入分析与探究。
【关键词】大学英语教材；多模态话语；理论分析；实践研究大学英语课堂教学当中，关于语篇的分析和研究方面在不断得到更新，语篇的研究对象从最先的文字分析逐渐过渡到情境对话相关的多模态话语研究，这对大学英语课程教学效率的提升大有裨益。
教材是课程实施的核心指导内容，对英语教材中的多模态话语研究基于现代化文字处理技术的不断进步，类似图表、图像等多模态内容在大学英语教材中随处可见，这显然比原先的单纯文字信息更加具备实际教学价值。
以符号编码为主要特征的多模态话语是语言文字系统的多重融合，在教材符号资源系统整合过程中达到最终的意义构建目的。
无论是大学英语课程下的试听课还是读写课，多模态语篇均能从学生的基本认知规律出发，在符号使用和知识讲解过程中提高学生的元认知能力。
一、多模态话语研究概述当前大学英语教学中的应试教育成分仍占据着教学主导位置，教学过程忽视了对学生基本听说能力的训练，无论是教学重难点还是课堂英语教学氛围都对学生英语技能的提升造成了诸多阻碍。
从大学英语课程的教学目标来看，分数压力已经不是大学英语教学首要考虑的内容，如何从词汇与语法教学的局面过渡到培养学生的兴趣和交际意识成为了当前大学英语课程教学中面临的首要问题。
多模态话语研究背景下的大学英语教学可以充分利用教材中的图片和影像资源来辅助自身课堂教学活动的实施，让学生在真实的语言情境中提升对英语知识的整体感知。
可见，关于多模态话语的研究成为了当前高校在实施英语课程教学时尤为关注的问题。
运用视觉语法多模态话语分析理论解读一则公益广告-应用语言学论文-语言学论文
运用视觉语法多模态话语分析理论解读一则公益广告-应用语言学论文-语言学论文——文章均为WORD文档，下载后可直接编辑使用亦可打印——在当前和谐文明的社会背景下，广告业日趋成熟，公益广告为树文明、扬正气和提高全民素质发挥了重要作用，因而公益广告的研究受到了学术界的广泛关注。
电视广告是集结声音、图像和文字的多模式媒体，随着3G和3D时代的到来，媒介的多样性已成为时代话语的明显趋势，传统的单一的语法语义分析已然不能满足解读广告的整体意义。
笔者以系统功能语言学和理论为框架，尝试运用Kress Van Leeuwen提出的视觉语法多模态话语分析理论解读一则公益广告---《Family-爱的表达式》的整体意义的构建，以理解公益广告作为一盏社会明灯，感染受众的交际目的。
一、理论基础（一）研究现状Kress Van Leeuwen最先提出多模态语篇是指利用多种符号来实现意义的语篇，并且完善了多模态定义。
他们延伸了Halliday的语言符号的三大元功能的外延扩展到了图像符号，创立了分析图像的视觉语法（visual grammar）的多模态话语分析包括图像的再现意义（representationalmeaning）、互动意义（interpersonal meaning）和构图意义（compositional meaning）。
视觉语法分析把分析语篇的系统功能语法运用到视觉领域，引起国内外学者的关注，成果涌现。
其中包括理论本体研究；应用领域研究包括平面图文的多模态语篇分析如平面广告语篇等；三维立体图文关系研究如电视新闻，影视宣传等；教育教学多模态理论应用分析如PPT 多模态意义构建和外语课堂教学的多模态话语研究，如多模态英语写作教学，多模态听力自主学习等；建筑及徽标的实物多模态研究如申奥标志研究等。
（二）视觉语法视觉语法的多模态话语分析以Halliday的系统功能语言学和社会符号学为基础，借鉴吸收了语言的三大元功能即概念功能、人际功能和组篇功能，社会符号学把语言、图像、插图和声音等因素看成是一种社会符号，其研究的对象不是静态的符号系统或文本系统，而是研究社会大环境下符号之间是如何通过相互作用完成表意的（socially situated signprocess）。
多模态广告语篇的互动意义的构建
多模态广告语篇的互动意义的构建随着数字时代的到来，广告业也在不断变革和创新。
多模态广告语篇的互动意义构建成为了广告创作的新趋势。
本文将探讨如何通过多模态语言手段，提升广告的互动性，给消费者带来更丰富的品牌体验。
在围绕主题展开情节方面，我们以一家时尚品牌为例，该品牌推出了一款新型手表。
在广告中，我们通过多种方式向消费者展示了这款手表的特点和优势。
我们采用了动态图像，让消费者能够清晰地看到手表的细节和功能。
我们配合了动感的音乐，营造出时尚、活力的氛围。
我们邀请了知名模特佩戴这款手表，向消费者展示如何搭配不同服饰，展现出品牌所倡导的时尚态度。
多模态互动意义的构建方面，我们依然以上述时尚品牌为例。
在广告中，我们不仅通过视觉和听觉手段吸引消费者，还通过互动环节让他们参与到广告中。
例如，我们设计了一个AR互动游戏，让消费者可以在手机或电脑上下载并体验。
在游戏中，消费者可以与虚拟模特互动，并搭配不同风格的手表和服装，展示自己的时尚品味。
我们还设置了社交媒体互动环节，鼓励消费者在朋友圈分享自己的搭配成果，参与品牌抽奖活动，进一步提高广告的互动性和参与度。
总结来说，多模态广告语篇的互动意义构建对于提高广告效果和品牌体验至关重要。
通过综合运用视觉、听觉等多种模态语言手段，我们可以更好地吸引消费者，提高广告的互动性和参与度。
未来，随着科技的不断发展和应用，我们有理由相信，多模态广告语篇将会在品牌营销中发挥更大的作用。
在广告语篇中，多模态转喻和隐喻的动态构建是创作过程中常见的修辞手法。
通过这些手法，广告能够将复杂的概念以直观、生动的方式传达给受众，从而达到推销产品或服务的目的。
多模态转喻是在广告中经常使用的一种表达方式，它通过将文字、图像、声音等多种模态相结合，来传递广告信息。
例如，一则手机广告可能会通过展示手机的像素高、屏幕清晰、操作简便等特点，来转喻出该手机“拍照清晰”、“使用方便”等优点。
这种转喻方式通过将产品的特点与广告信息相关联，从而让受众能够更容易地理解并记住广告内容。
英语公益广告中多模态互动意义的解读
这则英语公益广告就通过图片上小狗的情态传达了流浪动物 也需要关爱的情感 ， 将图片 、 文字 、 情态都处理得恰到好 处，让接收者在观看图片时心生对流浪动物的怜悯之情，达 到情态下的互动意义。 （二）多模态互动意义中的视角意义 英文公益广告在结合了多种模态的情况下要如何有效地 组织不同的模态，使其效果最大化，还需要抓住视角特点， 表达出多模态下的整体意义。一般情况下，如果采用水平视 角，能缩小广告中景物与接收者间的距离；如果采用垂直视 角，则可以表现出不同的等级关系；如果从下往上，容易使 广告中的形象变得高大，但过分的高大则会有距离感，代表 其隐藏的权威性；而从上往下，则容易让接收者以平等的关 系来看待广告中的事物，缩小距离。因此不同的视角代表的 亲疏远近不尽相同 ， 因此如何将不同的模态组合 ， 运用恰 到好处的视角表达出广告的主题是关键，让接收者能较为容 易地接收广告中的信息。例如：一则号召人们保护森林的广 告，图片上用较远的视角将森林组成一个类似人类心肺的图 形，如果用较近的视角就不能形象地将森林比喻成地球的肺 这一形象表现出来，并且观察其细节能发现其中一部分的森 林已经被砍伐殆尽，地球的肺部已经出现了残缺，最后结合 文字Before it’s too late!,让人们从这个视角上看森林消失殆 尽的情况，让人们意识到保护森林应马上行动。
四、结语
英文公益广告中多模态互动意义的解读首先应理解广 告中多模态的含义，在讨论广告模态时将其拓展到图片、声 音、颜色等听觉、视觉模态上。同时理解互动的意义，通过 英语公益广告，让接收者能在广告的影响上理解广告中反映 的问题，并在广告的号召下行动起来达到互动的效果。而如 何更好地将英语公益广告中的互动意义表现出来，需要在应 用上结合情态、视角，将这些模式整合，提高英语公益广告 整体的表达效果，将互动意义最大化。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
图式 等 。这些研 究 多 从 理论 层 面 进行 ， 而 缺乏
实证 数据 的支持 。
１ ． 文 献 综 述
总体来 看 ， 语 言学 界 注重 研 究 语 篇 连 贯 的构
成 因素 ， 而 心理学 界 关 注 的 是读 者 的 阅读行 为 和
心理 。
读 者 的认知加 工过 程无 法靠语 言 学研究 方法
均注视时 间也呈显著 负相关。这说 明 ： １ ） 多模 态语篇理 解具有整体性 ， 不同模 态的符 号的理解有赖 于整体的 理解 ； ２ ） 语篇连贯是动态的 ， 是读者在 阅读过程 中构建起来的。
关键词 ： 多模 态语 篇 ； 连贯 ； 加工 ； 眼 动 实验 ； 中 国 英语 培 训 广告 中图分类号 ： Ｈ ０ ３ ０ 文献 标 志码 ： Ａ 文章编号 ： １ ６ ７ ３ — ８ ０ ３ ９ （ ２ ０ １ ４ ） ０ ２ － ０ ０ ５ ０ — ０ ７
题 的发现 一方 面可 以为语 言学 的连贯 理论 提供 实
收 稿 日期 ： ２ ０ １ ３ － １ ０ － ０ ６
基金项 目： 中国科 学院研 究生院院长基金项 目 “ 多模 态视 角下的身份认 同研 究” （ Ｙ ２ ５ １ ０ Ｚ Ｑ Ｎ ０ ０ ） 作者简介 ： 孟艳 丽（ １ ９ ８ ２ 一） ， 女， 河 南孟津人 ， 文学博士 ， 中国科 学院大学外语 系讲 师 ； 李 晶（ １ ９ ７ ８ 一） ， 女， 河北邯郸
人， 文学硕 士， 北京 中医药大学人文学院英语 系讲 师。
・
５ ０・
家 的 日益 关注 ， 因此 多模 态 语篇 分 析 成 为语 篇 分
析领 域 的一个新 热点 。 连贯 是语篇 研 究 中的一 个 重 要课 题 ， 很 多语
材料 ， 探 讨 多模态 语 篇 中的语 义连 贯 与读 者 的认
知加工 过程 之 间的关 系 。
言学家就语篇连贯 的条件做出过有价值的论述 ，
多模 态语篇 是包 含语言 、 图像 、 声 音等 多种表
意符 号模 式 的语 篇 。 随着 多媒 体 技 术 的普 及 ， 多 模态语 篇 在实 际生 活 中随处 可 见 ， 引 起 了语 言学
证 数据 的验 证 ， 另 一 方 面 可 以为 心 理 学 中读 者 阅 读行 为提供 深 层 的理 论 阐释 。 因此 ， 本 文 旨在 利 用 眼动 实验技 术 ， 以 中 国英语 培 训 广 告册 为 研 究
摘
要： 本研 究 采 用 眼 动 实 验技 术 以 中国 英语 培 训 广告 为 实验 材 料 ， 研 究其 中 图 画与 文 字 之 间语 义 连 贯
பைடு நூலகம்
对 读 者 加 工 理 解 的影 响 。 结果 发 现 ， 图 文之 间 的语 义连 贯 强 度 与 视 线 转 换 次 数 呈 显 著 负相 关 ， 与 文 字 区 的 平
本 阅读 和 图片 ， 只有 极 少 量 基 于平 面 广 告 的 眼动 实验研 究 涉及到 多模 态语篇 。而 且这 少量研 究也
是通 过对平 面广 告 的控 制性 调 配 ， 旨在 为 阅 读 行 为心理 和广 告设 计 提 供建 议 ， 几 乎 没 有 从语 篇连 贯 的角度进 行 的研 究 。
得 以确 定 ， 而必须 依 靠 心 理学 的 眼动 技 术加 以解
决 。眼动技 术是 一 种 心 理学 实 验 方 法 ， 通 过 观测 视 觉信 息下 的眼 动特征 和数 据来探 讨人 脑 的信息 加工过 程 ， 可用来 研 究 阅读 中 的注 意 力 等认 知机
语篇 的连贯 程度 与读者 认知 加工 所需 的时 间
Ｍａ ｒ ． ． ２ ０１ ４ Ｖ０ Ｉ ． ３１ Ｎｏ． ２
第３ １卷第 ２期
多模态语 篇 中语义连贯对读者加工理解 的影 响
— — 一
项 对 中 国英语 培 训广 告 的眼动 实验
孟 艳 丽 ， 李 晶
（ １ ． 中国科学院大学 外语 系， 北京 １ ０ ０ ０ ４ ９ ； ２ ． 北京 中医药大学 人文学院 ， 北京 １ ０ ０ ０ ２ ９ ）
２ ０ １ ４年 ３月
鲁东大学学报 （ 哲学社会科学版 ）
Ｌ ｕ ｄ ｏ ｎ ｇ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ Ｊ ｏ ｕ ｒ ｎ ａ ｌ （ Ｐ ｈ ｉ ｌ ｏ ｓ ｏ ｐ ｈ ｙ ａ ｎ ｄ Ｓ ｏ ｃ ｉ ａ ｌ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ｓ Ｅ ｄ ｉ ｔ ｉ ｏ ｎ ）
言学 和心 理学 两个 学 科 的视角 和 方 法 ， 而 这 一课
制。由于平面广告通常综合 了文字、 图像 、 色彩等 多种视 觉 资源 ， 因此 眼动 技 术被 认 为 是 研究 广告
注意 心理 的最佳 手 段 之一 。 国 内外 的眼 动研 究
主要 是在 心理学 框 架 内进行 ， 大 多基 于 纯 语 言 文
和努 力直 接 相 关 ， 对读者理解有重要影 响， ｌ ６ 多 模态 语篇 作 为语篇 的一 种 ， 其 连 贯 方式 自然 也影 响读 者 的加工 理解 。但 多模 态语 篇涉 及不 同表 意 符号（ 如 图像 和文字 ） ， 这些 差异 巨大 的表 意 单 位 之 间 的衔 接连贯 方式 与纯语 言语 篇截 然不 同 。多 模 态语篇 中各个 图像 和文 字组块 究竟 是如何 在读 者 加工过 程 中形成 一 个 连 贯 的整 体 ， 需 要 结 合语