新媒体交互艺术下的多感官体验

新媒体交互艺术下的多感官体验

摘要:在数字媒体时代的语境下，数字技术与艺术的联姻诞生了新媒体艺术这个

时代宠儿。作为新媒体艺术分支之一的交互艺术改变了传统媒体的线性秩序叙事

方式，强调观众参与的积极性和能动性，通过视、听、触、嗅等多感官手段的结

合建立起新的认知体验，实现即时交互以达到全身心的融入、沉浸和交流。

关键词:交互；多感官；参与度；体验；沉浸感

艺术从本质上讲是一种信息传达和情感交流的活动。交互艺术作为新兴的一

门新媒体艺术形式 , 特指观众能够通过视、听、触、嗅等感觉手段和智能化技术

使艺术作品实现即时交互，得到多感官的沉浸式体验。

1“互动”到“交互”的延展

“互动”到“交互”的延展“互动”原为社会学概念，自20世纪60年代以来成为

计算机领域的专有名词，译为参与活动的对象根据相应的指令后而相应地做出反

应的过程及行为。而“交互”也被认定为新媒体艺术的核心和灵魂。

“互动”是人与世界、自然 , 以及一切事物进行交互活动的一个过程，人类是

地球上最具交互性的动物。在我们与他人面对面时，用视觉的、听觉的、嗅觉的、触摸的方式从对方吸收各种不同信息，再经消化反馈给对方。

在新媒体交互艺术领域，“交互”的意思就是通过多感官和动觉纽带，在观赏

者和艺术作品之间建立联结，从而使观赏者能够参与到作品当中，与艺术作品甚

至创作者双向交流，并能从作品中得到愉悦和共鸣。交互的目标是要依靠交互技

术达到人和虚拟对象自然和谐、即时双向的交流方式，引导用户更好地认知所要

传达的信息并且做出反馈。交互技术融合了多感官体验，将我们对图像的理解转

变为一个基于时间空间框架的多感官交互空间。在这样的虚拟空间中，环境也会

与人产生互动 , 观众还可以在某种程度内调整他们所发现的环境，营造最强的沉

浸感。

交互艺术是以人机相互作用为基础的艺术形式，它强调人与机器之间的相互

影响，交互艺术还强调观众的积极性和能动性，它要求观众参与到作品中来并通

过这种互动使作品本身发生可逆或不可逆的变化，从而产生实时的、可变的艺术

效果。

2交互艺术的特性——基于感官的输入输出

交互艺术作品需要经过“连结”、“融入”、“互动”、“转化”、“初入” 五个阶段实现。罗伊 ·阿斯柯特认为新媒体艺术最鲜明的特征是它的“连结性”与“互动性”。“互动”或者说“交互”过程是参与对象之间的信息交流过程，其目的是实现某一特

定的目标。观众或者说“人” 的介入和参与是互动艺术不可分割的一部分,观众角色被赋予了新的、积极的意义，“参与度”和“沉浸感”成为互动艺术的重要衡量标准。

互动艺术家探索如何能够调动人类的五大感官、动作和姿态借助于既有的技

术资源从而使之主动、深度参与互动中来。其通常的形式是通过数字摄像头、遥

控器、红外线感应等多种采集工具将观众的语言、表情、动作或其他肢体语言进

行捕捉和数据分析，并根据计算机的程序处理，通过声音、图像、音乐、光线、

数字视频、动画和机械互动装置等给观众反馈信息，完成与观众即时的对话或情

感交流。触发形式往往多是声音、触合成摸或动态动作。如上海世博会德国馆动

力之源大厅的互动金属球，金属球的基座设有声控及互动控制装置，能够对外来

声音产生反应，只要金属球顶部的基座接收到轻微的震动，就能将悬挂于其下的

金属球带入摆动状态。当观众齐声高喊时，球内的声控驱动装置就能够左右金属

球摆动的方向，球体表面上不断变化的影像和色彩也随之投映至大厅。这种以声

音触发的虚拟现实技术为沉浸式交互艺术的发展体。

在交互设计中，通过感官获得的感知体验也显得尤为重要。卡纳基梅隆大学

设计学院前任院长 Dan Boyarski 曾说过，交互的目标是用户来体验，使用者有良

好的体验。而“交互艺术”借助虚拟现实技术、三维实境技术、多通道交互技术或

机械数控装置打造出用户体验的“沉浸”环境。但它是理解媒介发展的一个关键词汇。沉浸是指精神的全神贯注，是一种精神状态到另一种精神状态的发展、变化

和过渡的过程，增加对当前事件的情感投入。

沉浸式交互艺术作品主要是在艺术场馆、博物馆、公共空间中展。这种艺术

作品通过计算机捕捉人的多种感觉 ( 如言语、眼神、脸部表情唇动、触觉、嗅觉

或味觉等 ) 和动作通道 ( 如语音、手写、姿势、视线、表情等 )，并实现即时反馈，而观众则以并行或非精确的方式“沉浸”于虚拟计算机交互环境中。沉浸式交

互作品通常需要一个“相对封闭式的交互艺术空间”或“虚拟展厅”来实现观众的沉

浸体验。此外也有利于电子屏幕、声光电效果或其他模拟自然环境的效果干扰地

反馈给观众，由此达到最佳的用户体验效果。上海世博会沙特馆就是一个悬浮在

空中的封闭球面体，享受 720 度空间多媒体视听盛宴。封闭的空间内四周布满美

轮美奂的画面，就连脚底都有壮观的影像。达到了沉浸式全面面影像，悬浮体验”的梦幻效果。

沉浸式交互艺术作品的反馈形式通常有直接反馈和间接反馈两种：间接反馈

型的交互艺术通过“环境交互”的方式使观众与作品进行接触和交互，观众对环境

的沉浸体验是这些作品构成的重要因素。其交互作品对参与者行为的反馈为间接的、环绕式的或“滞后”的。有的交互作品并不需要观众的直接接触 , 而是通过“探测”的方式与观众进行“互动”。中国艺术家黄石、李敬峰创作的《空窗子》是通过

分析观众脑电波来实现互动的艺术装置。如眨眼时竹叶落下。观众的注意力集中

程度、眨眼频率也会对画面产生影响。直接反馈使观众通过较直接方式与作品进

行接触和互动，对周围环境的依赖相对较小，其接触方式包括控制杆、遥控器、语言、手势或肢体动作。

3交互艺术在现实中的应用

互动艺术已逐渐走出艺术与科技的象牙塔，渗透、参与到现实生活中的方方

面面。现如今，在广告与品牌营销领域中、在互动游戏装置中、在各类展览会当

中都不难捕捉到互动艺术装置的身影，它以独特的趣味性与互动性吸引着公众的

注意力，带给人们特有的惊喜。

凌仕机场互动广告，广告凌仕香水在伦敦维多利亚机场里上演了与天使邂逅

相逢的场面。借助 AR 增强现实技术只要站在天使翅膀形状的标识物中，程序便

可以检测到，从而触发播放特效，预先摄制好的美女模特扮演的天使就从天而降，并可以根据观者的肢体动作做出相应的交互。

IKEA( 宜家 ) 是当今时代令人人眩目的商业奇迹之一。宜家采用“生动化营销”

的方式。宜家把各种配套产品进行家居组合，以充分展现每种产品的现场效果。

为了使样板间更加的生动，宜家极富创意地在床垫上放置互动装置，该装置是

用投影机在床垫上投下一个熟睡的男主人影像，他以一种熟睡的姿态睡觉，仿佛

这里不是宜家的样板间而是走进了刚刚装修好的房间。当你用手拍拍床垫的时候，男主人将会翻身。摄像头用来捕捉客人的动作 , 然后软件处理视频的变化。这一