面向混合学习的多模态交互分析机制及优化策略

面向混合学习的多模态交互分析机制及优化策略田阳1,陈鹏2,黄荣怀1,曾海军3(1.北京师范大学教育学部教育技术学院,北京100875;2.首都师范大学教育学院,北京100048;3.互联网教育智能技术及应用国家工程实验室,北京100875)[摘要]“互联网+教育”促进了混合学习的实践应用。

混合学习融合了物理空间、社交空间、资源空间等,这使得学习交互的内在机理成为学术界重点关注的议题之一,研究团队尝试从混合学习的多模态分析视角揭示混合学习交互内在机理。

通过对混合学习的多模态交互特征分析,归纳出其特征为跨空间交互、同步与异步交互并存、多情境转换、具身情感性、可表征等。

结合混合学习运行规律,发现混合学习的多模态交互过程中可表征多模态和抽取多模态信息,并总结出多模态交互分析的主要流程为数据采集、加工与筛选、数据分析、数据表征可视化、反馈调节等。

多模态交互信息经过可视化表征,将分析得到的结果经过仪表盘反馈给教师、学生,帮助教师和学生及时调整教与学的方法,并促进混合学习多模态交互策略的优化。

[关键词]多模态;混合学习;多模态交互分析;学习分析;优化策略[中图分类号]G434[文献标志码]A[作者简介]田阳(1988—),男,黑龙江勃利人。

博士研究生,主要从事互联网教育应用、学习与社会交互等方面的研究。

E-mail:tianyang001@。

一、引言互联网技术的教育应用所引发的课堂变革,促进了慕课(MOOC)、翻转课堂、SPOC等教学形态的涌现,使得教与学的物理空间、资源空间、社交空间逐渐走向融合,尤其是教育大数据、云计算、人工智能、区块链等新兴技术在教育领域的运用,以及数据挖掘和学习分析等技术的应用,多模态融合协同成为可能。

同时,在教学方式和方法层面,混合学习是一种能促进教与学过程中的物理空间、资源空间、社交空间协同的有效教学方法,实现线上、线下教与学的融合。

但是面对复杂的物理空间、资源空间、社交空间的交互,混合学习的学习交互成为促进有效学习的关键问题,有待我们深入研究,尤其是混合学习的学习交互模式与方法尚未得到有效验证,这对实现混合学习在教育领域的经济和社会价值有着制约作用。

本文通过分析线上线下混合学习的多模态交互模式,以期构建混合学习的多模态交互方法,从而形成富有成效的学习。

二、多模态交互(一)多模态模态本身是一种客观存在的、可表征的符号系统,例如人的语音、表情、眼神、手势、身体动作等经过转码后都可以称为一种模态[1]。

模态的价值在于其可以通过一些技术手段进行观察和分析,然后基于多种模态综合判断,可用来衡量事物发展的情况,进而作出相关判断或预测。

克瑞斯(Kress)等人早先定义了多模态的概念,多模态是指“在符号产品或者事件中几种符号模态的使用,促进人类感官与外界环境发生交互的符号系统”[2]。

多模态的出发点是把语言及其意基金项目:教育部基础教育司基础教育管理专项研究课题“线上(网络)教育规范管理机制研究”(课题编号:1052403017);江苏开放大学“十三五”科研规划课题“混合学习的社会交互研究”(课题编号:16SSW-Q-012)67义的社会阐释扩展到所有的呈现和交际模态———诸如图像、文字、手势、凝视、言语、姿态等[3]。

多模态信息类似于语义网络,但是它又并非单纯地表达语义,语义网络仅是模态的一种形式。

多模态的概念十分复杂,原因就在于它涉及了多种模式的符号表征系统,包含视、听、触、味、嗅等[4],往往这些符号表征系统不是单一使用,而是多个组合使用[5]。

基于这种表征系统,将不可观察或者很难观察的符号特征编码量化后变得可以分析,并基于相关的设备不断采集和分析判定[6]。

多模态信息主要是用于人与人的交互、人机交互、机器与机器交互等方面。

尤其是随着第五代移动互联技术(5G)的发展,将促进人与万物互联的同时,需要进行多模态交互[7],多模态信息就显得尤为重要,因为人与人的交互、人与机器、人与空间(物理空间、信息空间、人类社会)的交互需要多模态信息识别。

近年来,大数据分析、人脸识别、语音识别、云计算、表情识别、体态识别技术的成熟和应用,强化了多模态信息的可用性。

未来的教与学场景[8]中将会更多地聚合物联网技术、人工智能技术、云计算技术、大数据分析技术、学习分析技术等,针对多模态的分析将成为一种常态。

多模态的应用更多地体现在交互方面,通过模态感知、模态测量、模态分析、有源模态追溯、模态衍生等技术手段促进人与人的有效交互和深层次的理解,以及人与机器的交互等。

对于多模态分析,以往仅仅凭借个体的感官采集信息,经过人的大脑加工判断交互对象表征符号的含义,进而作出相关的回应性行动;如今随着科学技术的使用,尤其是智能技术的应用[9],更容易关注到多模态表征的细节内容,通过增加模态信息的颗粒度和种类,使得多模态分析的精度和准度大大提高。

(二)多模态交互“交互”一词在《汉语词典》里的含义是互相、彼此;交替地。

随着时代的变化,交互一词在计算机应用方面,它的含义变为参与活动的对象,可以相互交流,双方面互动[10]。

在教育领域,交互更多地强调师—生互动、生—生互动、生—机互动、师—机互动等,这种交互强调双方的可沟通性、互惠性和目的性[11]。

在交互的过程中,多种模态信息通过渠道传递给识别器(对于人来说,识别器是大脑;对于计算机来说,识别器可能是程序模式或人工智能模块),经过识别后作出相关反应的过程。

早期的多模态交互研究多应用于话语分析,话语分析从简单的语言分析走向了对语音、表情、眼神、姿态等多种模态综合分析的态势,形成了基于多模态的话语分析研究[12]。

多模态交互是指参与交互的对象发出的语音、表情、眼神、体态、体温等连续可表征的符号信息统称,这些连续的表征符号信息是交往互动过程中参与者用于判断、甄别、反应的基础。

多模态交互研究是从多模态的价值被挖掘伊始就进行的,多模态本身含有大量的信息和被表征的符号,通过对多模态信息的分析[13],可以判断多模态源的状态和心理活动等。

多模态交互不仅局限于话语分析,随着情报分析技术的进步,通过采集面部表情、语音音色变化、眼睛视点、体态等多模态信息进行综合分析[14],结合心理学相关方面的研究,实现了对多模态交互的诊断[15]和掌控。

多模态交互将过去教与学过程中的交互途径细化,它能关切到交互过程中两个对象或者多个对象的情感变化、真实意图、注意力程度、理解偏差等,通过更加丰富的信息颗粒度综合判断交互过程中的情境变化,促进交互者之间的深度理解,实现有效交互[16]。

这在传统的交互过程中是不可能体现出来的,传统教与学的交互更多地强调师生之间、学生之间等的宏观性质交互,例如通过语言、视听等模式进行交互,课堂上的交互无外乎教师提问、学生回答;或者学生主动提问后教师进行回答的模式。

远程教育领域的互动更多的是进行在线提问,一般可以实现同步回答或异步回答,但往往体现于文本内容上[17]。

这种交互容易忽略主动交互者的情感、重点关注内容、情境等,交互过程容易出现偏差或者误解。

多模态交互分析属于交叉学科概念,多模态交互分析是基于数据采集技术,将多种模态信息采集编码,并结合大数据分析、学习分析、情感识别、情境感知等技术,聚合判断交互情境中对象的生理、心理、认知、行为等方面的变化[18],为教与学或社会互动提供深层次的理解,并为促进有效的教与学提供数据支持,以及进行决策判断使用。

它跨越了社会学、教育学、心理学等学科,自哈贝马斯的交往行动理论[19]到交互学习理论[20],再到心理学领域的交互分析理论[21]和班杜拉的社会学习理论[22]等,以及近年来备受关注的社会资本中提到的交往互动过程中的动机调用和互惠。

远程教育领域更为关注交互理论的发展,穆尔的交互自治理论、贝茨的双向交流理论、基更的教学再整合理论、安德森的等效交互原理等得到了广泛的研究和应用,近年来远程教育学方面也更加关注联通主义学习理论的交互作用,认为连接即是学习[23]。

这些涉及交互与学习方面的研究,奠定了基于信息化技术手段进行多模态交互学习分析的理论基础和实践方向。

68三、混合学习的多模态交互分析(一)混合学习的多模态交互特征混合学习的价值在于,它是一种行之有效的教学方式,通过学习形式的转换,促进学习资源、交互方式、教学方法、学习方式等聚合使用,让学习者能深刻理解学习内容,并将学习内容转化为个人知识储备[24]。

混合学习在交互过程中有教师与学生之间的交互;其次是教师与教学设备的交互,这些教学设备主要是教室中的电教设备,涉及投影、音响、网络、计算机等;再者,学生与学习设备的交互也是重要的交互环节,学生使用网络、投票答题器、交互白板等参与课堂互动与线上学习等;最后是学生与学生之间的交互,学生与学生之间的交互体现在分组活动、协作学习、问题讨论、社会交往等方面,尤其是学生进行在线学习时的同伴陪同机制将有利于调动学生学习的积极性[25]。

混合学习的多模态交互恰好发生于这四类交互当中[26],模态形式主要有文本、语音、视频、图片、图像、语言、表情、眼神、体态、手势、触碰等(见表1),交互过程中的模态形式往往是多种模态组合出现,表现出多模态的特征。

表1混合学习中不同交互类型的模态混合学习的多模态交互也有其固有特征。

线上线下相融合的混合学习本身具有跨越物理学习空间和网络学习空间的特征[27],多模态交互伴随着混合学习的进行也同时发生于跨空间交互当中,这是混合学习多模态交互的主要特征之一。

此外,线上线下相融合的混合学习使得多模态交互具有同步与异步交互的特征;混合学习的多模态交互发生于不同的学习场景当中,依赖于学习情境的变化而变化,多情境转化也是混合学习多模态交互的特征之一[28]。

混合学习多模态交互过程中参与的个体本身是有情感交流的,多模态信息中的表情、眼神、音色等都赋予了一定的情感特色,具身情感性也是混合学习多模态交互特征之一。

混合学习多模态交互往往发生在特定的空间或场景中,本身可以被观察和测量,大量的多模态信息被编码成表征信息进行分析和判断,多模态信息可表征也是其特征之一。

跨空间交互。

混合学习多模态交互主要在线上的网络学习空间和线下的物理学习空间进行,学生之间、教师与学生之间进行的交互行为也存在于社会生活空间中,尤其是社交行为,这充分体现了混合学习的多模态交互跨空间特征。

同步与异步交互并存。

线上、线下相融合的混合学习过程中,普遍存在线上与线下的异步和同步学习现象,多模态交互便随着这种同步与异步交互而发生。

这种同步与异步交互具有一定的时效性和差异性,同步交互可以同时判断多模态交互中个体的状态和情绪、情感变化,异步交互如果不进行多模态交互分析,很难判断交互者的情感状态等的变化,这对交互是不利的,因此,在这种交互过程中,分析多模态交互信息将促进异步交互的良性发展。