张德禄-多模态话语分析理论与外语教学.ppt
张德禄-多模态话语分析理论与外语教学
2. 理论基础
多模态话语分析理论的基础是社会符号学
索绪尔：能指（signifier)----所指(signified)。只研究个体符号的特性； 只研究“Langue”，不研究“parole”。
皮尔斯发展了符号范畴：图标、索引和语符。他论述的媒介、对象、解 释三位一体的三角关系。
韩礼德提出了“语言是社会符号”的理论。社会符号学优先研究的是把
语言
多 模 态 话 语 媒 体 系 统
非语言
伴语言 纯语言 身体
非身体
音响 音调 字体 布局 声音 文字 动作（移动） 比拟 面容
肢体
工具
环境
表情 眼神 五官 手势 姿势 摇动 PPT 音响扩放 网络 实验室 同声传译室
（2） 静态与动态
Thibault(2004)对符号资源的研究比较具体。他从身体动 力学的研究区分动态的和静态的:
根据新伦敦小组(New London Group 2000)的观点，任 何制造意义的过程基本上都是设计行为。一般有三个部分:
第一,已有资源：根据“可利用的设计”，择取某些符号资 源和常规，如话语形式、语类和方言。
第二,设计过程,：包括将符号资源转变成自己的声音，将老 材料作新用途等。根据这一观点，读和听、写和说是进行 设计的实例，因为每个人都可利用可利用的设计来产生意 义，根据各自的兴趣和个人经验，将所读到和听到的材料 转化成意义。
设计者根据符号特殊的修辞目的，用尽各种手段来劝诱那些有 机遇接触该信息的人们。页面/网址的设计者不再是权威性语 篇的“作者”，但他是材料的提供者，按照想象中读者的所谓 特点进行安排。
设计者的作用是将材料集中，加工为访问者可提取的“信息”。 屏幕设计要考虑访问者的兴趣。对访问者来说,“信息是个体选
张德禄中国海洋大学外国语学院
图一：李姆的综合性多符号模式（Lim, 2004）
媒介与物质
语言 印刷术 词汇语法
话语意义
视觉图形
图形学 表达层面
整合空间
视觉语法
内容层面
话语意义
语域
体裁
语境层面
意识形态
6
这个框架是对语言与图像所形成的多模态话语的分析 框架，还不是一个对所有模态都适用的框架。但其基 本思路是正确的：
第一，他的层次的思想是正确的 第二，不同的模态涉及由不同的媒体来体现 第三，不同的模态需要整合在一起
了便利条件，可以提供图像、录像、声音，作为学习的实 际环境。利用从真实交际场合中得到的录像材料作为： （1）学习材料，让学生了解和认识真实语境的实际情 况，使获得的语境知识更加具体； （2）背景信息，让学生与录像中的交际者在录像提供 的语境中进行交际。 发展现代多媒体技术的一个最基本的理念是多模态交际可 以使受话人通过多通道获得信息，比单模态话语更容易使 受话者理解和记忆。 如 PPT: 文字、语音、图形、图像、录像：视觉和听觉
在这个框架中，语言和图画作为交际模态共有意识形态、体裁、语域 和话语意义四个层面。
在内容层面，图画具有视觉语法，而语言则有词汇语法； 在表达层面，语言由印刷符号体现；图形由图形符号体现。 在这里最主要的研究领域是把两者在内容层面和表达层面整合为一体，
特别是在内容层面研究的任务最重。
5
这样从两种模态的关系上讲，听觉是主模态，主导交际的 进程；而视觉模态则对听觉模态起主要两个作用：强化和 补充。
19
6.3 模态选择的原则
总体原则：充分利用现代媒体技术，最大限度地充分表 达讲话者的意义，取得最佳效果，为更好地利用现代技 术提供一个合适的理论框架。
张德禄 多模态
As we still don’t know how the lexical grammatical systems of other modes work, we dream of being able to describe them the same as we describe the lexicogrammatical system of language. As a result, we now mainly look at the lexicogrammatical system of other modes in a top-down way, that is, we first discuss their semantic system, the meaning they realize, and then see how they realize the meanings, so that we get a comparable lexicogrammatical system like that of language. Here we can say that the research on multimodal grammar is still in its infantile stage.
Along with the development of modern technology, more and more multimedia technologies have been employed in the classroom teaching. Thus, the multimodality of the classroom discourse becomes the main area of research. The classroom teaching is mainly accomplished by more than one mode, such as space, gestures, gaze, posture, motion, sound, tone of voice, music, three-dimension objects, oral, written, image, tables, diagrams, pictures, etc. (Jewitt, 2009:14） Each of them becomes an independent mode of communication.
张德禄多模态话语分析pdf
张德禄多模态话语分析pdf1 张德禄多模态话语分析简介张德禄多模态话语分析(ZDLMT)是一种语言识别技术，由张德禄（2006）提出，是一种交叉领域的分析方法，由语音识别，语音分析，和语言分析组成。
它主要用于理解多模态话语中的信息内容，包括文本，语音，电影，图像，和视频内容。
ZDLMT分析技术可以帮助识别出跨不同模态特征的"细微"变化，从而达到更准确的分析结果。
2 张德禄多模态话语分析方法张德禄多模态话语分析主要包括以下几个步骤：（一）信息收集：采用多模态信息采集技术，从多源信息中收集需要分析的话语。
（二）特征提取：从每一种模态中提取信息，如文本中的关键词、语音特征等，并将模态特征存储在一起，形成模态特征空间。
（三）话语分析：利用聚类，分类，标记和关联技术，对多模态特征空间中的信息进行分析，得出话语中内容的概要。
（四）结果演示：将话语的内容等汇总成图文的可读格式，以便于用户更好的理解和解释分析结果。
3 张德禄多模态话语分析的应用张德禄多模态话语分析的应用非常广泛，它可以广泛应用于国家安全、商业营销、教学训练、社交分析、情绪分析和疾病检测等多个领域中。
其中，在国家安全领域中，可以使用ZDLMT分析技术来快速定位和识别可疑文本、语音或图像信息，为社会安全提供可靠的技术支撑。
在商业营销领域中，ZDLMT分析技术可以帮助企业更好地理解和把握营销活动中用户的意向，从而实现有效的营销策略。
在教学训练领域中，可以分析学生在训练中做出的正确和错误回答，并对其进行更加准确的分析，从而及时发现和纠正学生错误回答的方式和原因。
4 结论总之，张德禄多模态话语分析技术是一种多功能、高效的分析技术，可以帮助人们更好地理解多模态的话语内容，并将它们分析结果汇总成可读格式，从而实现各种应用场景中的实施精准、实时监控、安全应急管理等许多功能。
张德禄多模态话语分析框架
张德禄多模态话语分析框架
张德禄多模态话语分析框架一种新的分析框架，是由张德禄在20世纪80年代提出的。
它依据科学研究结果及其应用，用来理解有关感觉、思维、语言和行为之间的关系。
这个框架由三个关键概念组成：
多模态话语，多模态认知过程和多模态行为分析。
模态话语定义为双向的有意义的交流，它是一种将内容与情感相
结合的语言，使当事人能够互相交流情感和心理状态。
在模态话语中，人们不仅能够交流内容，还可以通过调整语气和强度来传达情感。
多模态认知过程是指人们在模态话语中进行认知活动，以理解和
表达感受、想法和意图。
通过认知和表达，人们可以构建一种共同的
理解，从而形成一些共同的行为进程。
最后，多模态行为分析指的是人们在模态话语的情境中表现出的
具体行为。
通过分析这些行为，研究者可以更好地理解当事人的情况，并分析行为可能的原因，从而给出更有效的干预建议。
张德禄多模态话语分析框架的出现，为研究者提供了一种探索情
绪心理和行为特征的新工具。
它既可以用于实用咨询，也可以用于研究，丰富了当代心理学研究的工具，并有助于更好地理解和分析人类
的行为特征。
张德禄中国海洋大学外国语学院
第三，有挑战性的环境，或对抗的环境，或者幽默的环境， 可以激发人们参与的热情，如提供一些有一定难度的破解题 ，谜题；描述一个对抗的语境；或者提供一项交际任务等。
第一，他的层次的思想是正确的 第二，不同的模态涉及由不同的媒体来体现 第三，不同的模态需要整合在一起
据此，我们根据韩礼德的系统功能语言学理论，和我 们以上研究的结果，提出了如下的理论框架（见图 二）。
7
图二：多模态话语分析综合框架
文化层面
文化语境
意识形态 体裁
语境层面
情景语境
话语范围 话语基调 话语方式
2. 强化，一种模态表达整体意义，另一种来突出部分意 义，例如：（重音、黑体、前景图像、彩色等）
目的：使重点意义突出。
27
3. 吸引注意力，一种模态表达基本的意义，另一种来更 加具体和形象地重现这种意义；例如，用文字标出某个 动物或者植物的名称，用图像把这种动物或者植物的典 型形式表现出来；用语言艺术、图像、动作来幽默的表 达意义，吸引听话者的注意力等；
25
6.3.4 多模态选择的目标 从经济的角度讲，使用单模态要比用多模态要简单、省
力，所以使用多模态进行交际必然要有一定的理由，组 成这些理由的最主要因素是使用多模态的所要取得的效 果或者目标；形成多模态选择的动因可以总结为一下几 个方面：
26
1. 补缺，一种模态不足以表达意义，或不能使听话者理 解意义，用另一种来补充剩余的意义，即一种模态只能 体现要表达的部分意义，另一部分需要通过另一种模态 来体现，例如：在较远的距离内或者噪杂的环境中喊叫 某个人时同时打手势；在幽默图画中只提供语境依赖性 强的书面话语，或者在录像中提供同类口头话语。图画 没有文字则不能把整体意义表达出来；同样录像没有口 头话语也会使看者一头雾水。
多模态话语分析理论在英语教学中的应用研究
多模态话语分析理论在英语教学中的应用研究作者：申琴来源：《成才之路》 2018年第8期时代的发展和进步，要求教学模式也要与时俱进。
对于英语教学来说，传统的教学模式由于方式单一、内容枯燥，其教学效果难以达到预期目标。
如今，英语能力已成为评价学生综合素质的重要指标。
为进一步提升英语教学质量，相关教育者对此展开了大量理论研究和实践探索。
其中，多模态话语分析理论在英语教学中的应用，成为大家关注的焦点。
多模态话语分析理论在英语教学中的应用和发展，对提升英语教学水平具有重要的作用。
一、多模态话语分析理论的介绍张德禄认为，“多模态话语分析指运用听觉、视觉、触觉等多种感觉, 通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。
”教师在课堂上使用PPT进行辅助教学，就属于常见的多模态教学，因为PPT包含图片、动画、声音等模态类型，能调动学生的视觉和听觉。
而且，教师在讲解PPT的过程中，还会调动触觉。
多模态话语分析理论的提出，顺应了社会发展的需要。
对于牛津版初中英语教学而言，该理论的应用能够优化教学环境，营造良好的课堂氛围。
所以，很多英语教师非常重视应用多模态话语分析理论，以更好地满足学生的学习需求，提升教学效果和教学质量。
二、运用多模态教学的优势和作用其一，能够弥补单模态教学的不足。
即某一种模态的使用可以弥补另一种模态意义表达的不足，如语言表述不尽意时可以通过肢体语言来补充，在图画教学中可以添加与语境相关的书面话语等。
其二，能强化课堂教学内容。
可以用另一种模态突出部分意义，如口语加重音、书写加黑体或下划线、理论性强的授课部分用PPT画面等。
其三，能吸引学生的注意力。
运用语言艺术、简笔画艺术或动作等表达意义，可以吸引学生的注意力。
其四，能抒发情感。
一种模态无法充分抒发应有的情感时，可运用另一种模态进行强化，如用照片再现场景、用恰当的语调和语气渲染课堂气氛等。
其五，能加深学生对教学材料的理解。
纯文本往往不能完全说明比较抽象、概括、偏僻、难度大的概念，如教材中的环保概念，而加入形象的图形、通俗易懂的表格则可以帮助学生理解。
多模态性外语教材编写原则探索_张德禄
多模态性外语教材编写原则探索*张德禄1 张淑杰2提要:本文重点探讨具有多模态特点的外语教材的编写原则。
首先,文章对以往有关外语教材编写原则的研究成果进行了综述,包括普通外语教材的编写原则和具有多模态特点的外语教材的编写原则。
其次,文章论述了外语教材编写的制约因素,包括培养目标、培养环境、教学条件和教材的体裁结构等,提出了语境支配下外语教材编写的基本原则。
第三,文章阐述了多模态性外语教材的基本特点,提出了多模态性外语教材的类型:纸质教材、电子教材和演示教材。
第四,文章初步探讨了三种多模态性外语教材的宏观编写原则和具体编写原则。
最后,文章提出了本研究的局限性和将来的研究方向。
关键词:编写原则;多模态性教材;电子教材;演示教材Abstrac t:T his paper ism a i n l y intended to investi ga te the co m pil a ti on pri nc i ples of fore i gn l anguag e tex t books w ith mu lti m oda l characteristi cs.F irstly,t he paper rev i ew s t he prev i ous stud i es on the comp ilati on pri nc i ples o f fore i gn language tex t books,i ncl uding those o f o rd i nary fo re i gn language textbooks and t hose of fo re i gn language textbooks w ith mu lti m oda l characteristi cs.Second l y,it i dentifi es the constra i n i ng factors i n foreign l anguage tex t book com pilation, such as t he goa l and the env iron m en t o f teach i ng,teach i ng cond iti ons,and t he g enre struc t ure o f foreign l anguag e tex tbooks,and proposes t he bas i c co m pil a tion princ i p l es o f fo re i gn language tex t books under the constra i nts o f the contextual factors.T h i rdly,it expounds t he gene ra l character i stics of m ulti m oda l fore i gn l anguage tex tbooks,and d i v i des them i nto three types:pri n ted,e lectron ic and presenta ti ona l textbooks.F ourthly,it e laborates on the m acro-pr i nciples,t he m icro-pri nc i ples o r t he concrete pr i nciples of comp ili ng m ulti m oda l fore i gn l anguage tex tbooks.F i na lly,t he paper sho w s the li m ita ti ons of the present st udy and the prospect for f urther i nvestigati on i n m ulti m oda l fore i gn language tex tbook comp ilati on.K ey word s:com pilation princ i p l e;m ulti m oda l tex t book;electronic tex t book;presentati ona l tex tbook中图分类号:H319 文献标识码:A 文章编号:1004-5112(2010)05-0026-081.引言教材编写是一个十分复杂的过程,不仅涉及学生学什么以及在什么阶段学,还涉及如何使其符合学习规律,如何使学生容易学、喜欢学、乐意学等问题。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1.1 多模态话语分析研究
1.最早的研究者之一是R. Barthes，在他1977年发表的论文《图像的修 辞》（ Rhetoric of the image）中探讨了图像在表达意义上与语言的相 互作用。另外几个主要的研究者包括：
2. Kress， G. and van Leeuwen， T. (1996; 1998; 2001; 2002)研究了模态 与媒体的关系，专门探讨了多模态现象规则地表达意义的现象，包括 视觉图象、颜色的语法，以及报纸的版面设计和不同媒介的作用等。
在现代语言学研究中：被看作非语言特征和伴随语言特征； 一种语言的辅助表达系统，没有作为意义表达模态来研究。
多模态产生的原因： （1）是话语分析理论发展的一个历史阶段：人们发现话语
的意义很大一部分是由非语言特征实现的。
（2）人类话语越来越多模态化：多媒体和网络的产生促进 了多模态话语的研究；人类的交际过程需要听觉、视觉、 触觉并用；在一些领域，交际的主模态已经由语言转为图 像或其它模态，网页3 、电影、画展等。
3. O'Halloran， K. L. (1999a；1999b; 2000; 2003; 2004)不仅研究多模态的 理论建构，还专门研究了数学语篇中的多模态现象。
5. Royce， T. (1998a; 1998b; 2002)研究了不同符号在多模态话语中的互 补性，以及在第二语言课堂教学中多模态的协同性等。
9
Kress(2001)认为，所有的模态(视觉的、姿态的、动作的) ， 像语言一样，在社会使用过程中共同形成社会资源的模态 (Halliday 1985, Kress 1997) 。
传统上书写和口语的模态强调语言方面，而把其他资源，如 姿势、语音音律、注视、动作等看作是“副语言的”，不把 这些看作是能与语言同时作用的完整的符号资源。多模态话 语分析把它们提高到相同的层面。
皮尔斯发展了符号范畴：图标、索引和语符。他论述的媒介、对象、解 释三位一体的三角关系。
韩礼德提出了“语言是社会符号”的理论。社会符号学优先研究的是把
所指行为作为实例，并把社会的所指实践作为经常的、可重复的、可识
辨的类型。社会有意义的实践构成各种文化(社会符号系统) 。符号系统
是对这些实践的抽象(如从言语得到语言符号) 。
多模态话语分析 理论及在教学中的应用
张德禄 dlzh@
1
目录
1. 引言 2. 理论基础 3. 符号资源 4. 多模态设计 5. 多模态语法 6. 模态之间的关系 7. 模态选择及用途 8. 多模态读写 9. 问题与不足 10. 将来的研究
2
1.引言
多模态性在历史上没有受到人们的重视;
10
媒体资源的分类
（1） 语言与非语言
所谓习惯性的方法指可确认的符号架构( semiotic formations) ，是一个社团中的成员同时采用一些符号资源形 成的经常的、可重复的、可识别的、有意义的、文化的和历 史的特殊符号类型。如某一时期的文学语类是符号架构。同 样，建筑风格、房子类型、宗教仪式、特定节日、饮食、衣 着的特定样式都可以定义为可行动的有规律的范式，对社会 是有意义的实践的范式。
社会符号学把语言看作众多符号之一，各种符号系统都能够用 以社会交际，体现讲话者的意义。这样，交际就是多模态的了。
8
3.符号资源
符号系统实际上是符号资源( semiotic resource)系统，人们通 过可识别的、多半是习惯性的(有时是原创的)方法从这些资 源中选择，就可以进行有意义的活动(Lemke 1993) 。
还有其他许多研究者：Jewitt 2008；New London Group (1996)；Lemke, J. (2002)；Bednarek & Martin （2010）。
4
1.2 模态与媒体（Mode vs medium）
模态（modality）来自于mode/model(方式、模式），表示可 对比和对立的符号系统；
Saussure → Langue
Pierce
Parole ← Hall和应用符号学，它与话语 分析、多媒体分析、教育研究、文化人类学、政治社会学有更 紧密的关系。
再者，它也回答了索绪尔符号学所难以摆脱的一个悖论：这个 理论一方面把语言看作是静态的不变的，另一方面又不得不承 认“所指的变化导致概念的变化”，“思想可能被迫接受符号 的物质状态给它提供的特殊方式” (Lemke 2005) 。这说明语言 结构底层的常规是不固定的，而是受到实际言语的影响。 (Beaugrande 1991: 2 - 27)。
多模态话语：运用听觉、视觉、触觉等多种感觉，通过语言、 图像、声音、动作等多种手段和符号资源进行交际的现象。
6
2. 理论基础
多模态话语分析理论的基础是社会符号学
索绪尔：能指（signifier)----所指(signified)。只研究个体符号的特性；只 研究“Langue”，不研究“parole”。
5
1.3 单模态 (monomodality) vs 多模态 (multimodality
单模态是只通过一种模态进行交际活动的现象，如说话、听 录音、读书。前者为通过听觉模态；后者为通过视觉模态。
多模态表达可以分解为同时表达意义的两个或两个以上的单 模态(Bernsen 2002) 。我们每天在看报纸、杂志、广告、招 贴画、故事书、教科书、活页文选、百科全书、说明书、计 算机界面时，甚至在我们相互交往时都离不开多模态。我们 谈话时手舞足蹈，有声有色，也意味着使用了多模态。
媒体是符号分布印迹的物质手段，如产生语篇采用印刷的或 手写的手段，说话时发出的声音，身体的动作，或计算机显 示器上的光脉冲( Scollon & Levine 2004) 。
我们感受客观世界的视觉、听觉、触觉、味觉、嗅觉是不同 的感知模态，但眼、耳、手、舌、鼻则是媒体。
这样，模态是用某种媒体表达信息的特殊方式。媒体是表达 信息的物理工具。