人机交互技术及其应用(科普)

人机交互技术及其应用（科普）

信息技术的高速发展对人类生产、生活带来了广泛而深刻的影响。高科技成果为人们带来便捷、快乐的同时，也促进着人机交互技术的发展。作为信息技术的重要内容，人机交互技术比计算机硬件和软件技术的发展要滞后许多，已成为人类运用信息技术深入探索和认识客观世界的瓶颈。因此，人机交互技术已成为21世纪信息领域亟需解决的重大课题和当前信息产业竞争的一个焦点，世界各国都将人机交互技术作为重点研究的一项关键技术，例如，在美国21世纪信息技术计划中，将软件、人机交互、网络、高性能计算列为基础研究内容，美国国防关键技术计划也把人机交互列为软件技术发展的重要内容之一，在我国的“863”、“973”和自然科学基金等项目中，也将人机自然交互理论与方法作为信息技术中需要解决的关键科学问题。

一、人机交互的概念

人机交互（Human-Computer Interaction，HCI）是关于设计、评价和实现供人们使用的交互式计算机系统，且围绕这些方面主要现象进行研究的科学，狭义的讲，人机交互技术主要是研究人与计算机之间的信息交换，它主要包括人到计算机和计算机到人的信息交换两部分。人们可以借助键盘、鼠标、操纵杆、数据服装、眼动跟踪器、位置跟踪器、数据手套、压力笔等设备，用手、脚、声音、姿势或身体的动作、眼睛甚至脑电波等向计算机传递信息，同时，计算机通过打印机、绘图仪、显示器、头盔式显示器、音箱等输出或显示设备给人提供信息。

人机交互与计算机科学、人机工程学、多媒体技术和虚拟现实技术、心理学、认知科学和社会学以及人类学等诸多学科领域有密切的联系，其中，认知心理学与人机工程学是人机交互技术的理论基础，而多媒体技术和虚拟现实技术与人机交互技术相互交叉和渗透。作为是信息技术的一个重要组成部分，人机交互将继续对信息技术的发展产生巨大的影响。

二、人机交互的研究内容

人机交互的研究内容十分广泛，涵盖了建模、设计、评估等理论和方法以及在移动计算、虚拟现实等方面的应用研究与开发，在此列出几个主要的方向：●人机交互界面表示模型与设计方法（Model and Methodology）

一个交互界面的好坏，直接影响到软件开发的成败。友好人机交互界面的开发离不开好的交互模型与设计方法。因此，研究人机交互界面的表示模型与设计方法，是人机交互的重要研究内容之一。

●可用性分析与评估（Usability and Evaluation）

可用性是人机交互系统的重要内容，它关系到人机交互能否达到用户期待的目标，以及实现这一目标的效率与便捷性。人机交互系统的可用性分析与评估的研究主要涉及到支持可用性的设计原则和可用性的评估方法等。

●多通道交互技术（Multi-Modal）

在多通道交互中，用户可以使用语音、手势、眼神、表情等自然的交互方式与计算机系统进行通信。多通道交互主要研究多通道交互界面的表示模型、多通道交互界面的评估方法以及多通道信息的融合等。其中，多通道整合是多通道用户界面研究的重点和难点。

●认知与智能用户界面（Recognition and Intelligent User Interface）

智能用户界面（Intelligent User Interface，IUI）的最终目标是使人机交互和人－人交互一样自然、方便。上下文感知、眼动跟踪、手势识别、三维输入、语音识别、表情识别、手写识别、自然语言理解等都是认知与智能用户界面需要解决的重要问题。

●虚拟环境（Virtual Environment）中的人机交互

“以人为本”的、自然和谐的人机交互理论和方法是虚拟现实的主要研究内容之一。通过研究视觉、听觉、触觉等多通道信息融合的理论和方法、协同交互技术以及三维交互技术等，建立具有高度真实感的虚拟环境，使人产生“身临其境”的感觉。

●移动界面设计（Mobile and Ubicomp）

移动计算（Mobile Computing）、普适计算（Ubiquitous Computing）等对人机交互技术提出了更高的要求，面向移动应用的界面设计问题已成为人机交互技术研究的一个重要应用领域。针对移动设备的便携性、位置不固定性和计算能力有

限性以及无线网络的低带宽高延迟等诸多的限制，研究移动界面的设计方法，移动界面可用性与评估原则，移动界面导航技术，以及移动界面的实现技术和开发工具，是当前的人机交互技术的研究热点之一。

三、人机交互技术的发展

自1946年世界上第一台数字计算机诞生以来，计算机为人的能力的扩展提供了巨大的帮助，作为计算机系统的一个重要组成部分，人机交互一直伴随着计算机的发展而发展。人机交互的发展过程，也是人适应计算机到计算机不断地适应人的发展过程。

从人机界面（Interface）的到人机交互（Interaction），从1969年第一次人机系统国际大会，到2010年的中国人机交互研讨会，人机交互理论和技术经历了多个阶段的发展。特别是20世纪90年代后期以来，人机交互的研究重点放在了智能化交互，多模态（多通道）-多媒体交互，虚拟交互以及人机协同交互等方面，也就是放在以人为在中心的人机交互技术方面。概括地讲，人机交互的发展经历了以下几个阶段：（1）早期的手工作业阶段；（2）作业控制语言及交互命令语言阶段；（3）图形用户界面（GUI）阶段；（4）网络用户界面的出现；（5）多通道、多媒体的智能人机交互阶段；（6）虚拟交互界面。

鼠标的出现，使人们更流畅地进行人机交互。与键盘中的方向键相比，它显然更加符合人的自然习惯。这是人机交互的第一次革命。键盘与鼠标的人机交互组合，从PC时代一直延续到互联网时代，并无太大改变，直到智能手机和多点触摸的出现。迅速普及的多点触摸技术，是人机交互史上的第二次革命，而引领它的又是苹果公司与它的革命性手机iPhone。多点触摸打开了另外一扇窗户，它让所有人意识到其实键盘可以成为触摸的一部分，而很多命令其实能通过多个手指在触摸屏上划动方式的不同来完成，比如放大和缩小图片。问世不久的Kinect则可以称得上人机交互的引领新潮流的第三次革命。它整合了具有革命性的技术—3D图片识别与视频捕捉，加上硬件体验的不断优化，再加上对应其特性的专属游戏开发，在游戏这一特定的应用场景对技术的强化，最终塑造了Kinect这一人机互动的革命性产品。

四、自然和谐的人机交互

当前，虚拟现实、移动计算、普适计算等新技术发展迅速，对人机交互技术提出了新的挑战和更高的要求，同时也提供了许多新的机遇。在这一阶段，自然和谐的人机交互方式得到了一定的发展，其主要特点是基于语音、手写体、姿势或者跟踪、表情等输入手段进行多通道交互，其目的是使人能以声音、动作、表情等自然方式进行交互操作，这正是理想的人机交互所强调的“用户自由”之所在。

在自然和谐的人机交互的发展过程中，人们除了致力于研究开发友好的逼真的三维用户界面，基于声音、动作、表情等多种通道的自然交互方式，还发明了大量的新交互设备，如头盔式立体显示器，数据手套等。目前，对于人类重要的自然交互方式——语音和笔的交互技术，包括手写识别、笔式交互、语音识别、语音合成、数字墨水（Digital Ink）等，其发展已经有了很大的成效，如中科院自动化所开发的“汉王笔”手写汉字识别系统，经过近20年的研究和开发，已能识别27000汉字，当用非草写汉字、以每分钟12个汉字的速度书写时，识别率可达99.8%；微软亚洲研究院多通道用户界面组发明的数字墨水技术，采用全新易操纵的笔交互设备、高质量的墨水绘制技术、智慧的墨迹分析技术等，使它不仅可用作为文字识别、图形绘制的输入，而且作为一种全新的“Ink”数据模型，使手写笔记更易阅读、获取、组织和使用。数字墨水技术已作为产品，结合在微软的Tablet PC 操作系统中，产生了巨大的社会影响。它还将继续发展，有可能成为新一代优秀的自然交互设备；在笔式交互技术研究中，中国科学院软件所人机交互技术与智能信息处理实验室在笔式交互软件开发平台、面向教学的笔式办公套件（包括课件制作、笔式授课、笔式数学公式计算器、笔式简谱制作等）、面向儿童的神笔马良系统的开发应用方面均有出色的工作，其中不少已经实用化、产品化；IBM公司的Via Voice，中国科学院自动化所“汉语连续语音听写系统”等等。

虚拟现实（Virtual Reality，VR）技术的发展和进步极大的推动了人机交互技术的发展。虚拟现实是借助于计算机技术及硬件设备，建立高度

真实感的虚拟环境，使人们通过视觉、听觉、触觉、味觉、嗅觉等感官在其中看、听、触、闻起来像真实的，以产生身临其境的感觉的一种技术。虚拟现实技术有三个鲜明特征：真实感、沉浸感和交互性。其中，自然和谐的交互方式也是虚拟现实技术的一个重要研究内容，其目的是使人能以声音、动作、表情等自然方式与虚拟世界中的对象进行交互,人们除了致力于研究开发虚拟友好的用户界面，还发明了大量的三维交互设备，如立体眼镜、WorkBench、头盔式显示器、洞穴式立体显示器（CAVE）、墙式大屏幕立体显示器、数据服装、位置跟踪器、眼动跟踪器、触觉和力反馈装置、三维扫描设备、三维鼠标、三维跟踪球、三维游戏杆等等。虽然人机交互并不是虚拟现实的全部，但虚拟现实为人机交互的研究提供了很好的契机和媒介。

五、基于人手的人机交互技术与应用

自然人机交互模式是以直接操纵为主的的人机交互形式，而理想的人机交互模式就是要充分体现“用户自由”。现在很多人使用触摸屏是因为触摸屏更容易得心应手，而在人的身体构成上，人手是最为灵活的部件，具有高度的自由度，所以基于人手的交互，体现了人机交互的和谐自然所在。

手势是一种自然、直观、易于学习的人机交互手段 ,手势输入是实现自然、直接人机交互不可缺少的关键技术。目前的手势识别技术主要分为基于数据手套和基于视觉两种。这两种方法各有自己的长处，也都取得了一些研究成果，但都还不成熟。手势输入作为一种自然、丰富、直接的交互手段在人机交互技术中占有重要的地位。其研究内容包括手势的定义、手势分割、手势建模、手势分析、手势识别以及基于手势的人机交互等。

由于人手是一个复杂的非刚性的多链接物体,且手势本身具有多义性、多样性以及在时间和空间上存在差异性的特点，手势的这种高维状态表达是姿态估计中有效全局搜索真实手势的最大障碍。济南大学xx重点实验室结合计算机科学和认知心理学等相关学科,对3D运动人手跟踪进行多学科的交叉讨论和研究，提出了基于认知模型的运动人手的三维跟踪方法，并对涉及的关键问题进行了研究。下面主要对基于人手的人机交互的应用进行概括和总结。

（1）手语识别和合成

中国科学院计算所研制成功了基于多功能感知的中国手语识别与合成系统，它采用数据手套可识别大词汇量（5177个）的手语词。该系统建立了中国手语词库。对于给定文本句子(可由正常人话语转换而成)，自动合成相应的人体运动数据。最后用计算机人体动画技术，将运动数据应用于虚拟人，由虚拟人完成合成的手语运动。它可输出大词汇量的手语词，为中国聋哑人的教育、生活提供了有用的辅助工具，使他们用手语与正常人的交流成为可能。

（2）手势遥控器

澳大利亚、台湾、日本的一些科学家和公司已经发明了手势遥控装置，能够使用简单的手势进行家用电器，如电视、DVD、音响等的操作，进行开关、音量调节、换频道等。例如，握紧拳头表示“开始”，将手掌舒展开表示“开机”，用Ｖ字形手势，再将手掌横过来表示“选择频道”，翘起大拇指则表示“向上调频道”等。日本松下公司已经试制了电视机用手势输入遥控器，遥控器在功能上类似于游戏手柄，用户拿着它通过挥动就可实现对3D电视的控制。种手势装置的工作原理并不复杂，用户将内置有摄像头的遥控装置安装在与电视和使用者均无视线阻隔的书架或桌子上即可，装置内的软件可识别用户事先储存的简单手势，然后向一个可操控多种电器的遥控器发出信号，最终电器将按照使用者手势“行事”。

（3）教育领域：

人机交互技术在教育领域的应用正在兴起，特别是基于人手的交互应用，如虚拟白板，虚拟实验，以及方便课堂教学的其他应用，例如腾讯的QQ手势达人，它可以通过普通摄像头来进行手势控制，抛弃了从电脑诞生之日起就一直使用的键盘和鼠标，完全由手势控制PPT的演示，提供了PPT 的启动播放、上翻页、下翻页、结束播放等四个常用手势命令。

（4）游戏控制：

该类应用主要是通过对手势的识别进行游戏的控制，例如基于微软Kinect的体感游戏控制等。

（5）医学领域应用

?外科手术操作学习/模拟

可以通过构建“手眼协调、实时交互、双手操作”的虚拟现实系统提供通用的医学外科手术模拟与操作学习。这些技术将可以用到需要双手协同、手眼协调的各类精细操作任务中，例如医疗领域的牙科手术、腹腔镜微创手术、眼科手术等，当然也可以还可以用到军事、航天等训练领域。这样可以节约学习成本，提高学习的效率与准确性。

?人手运动功能虚拟康复

依据康复医学发展的需要和趋势，可以将触觉人机交互技术与人手运动功能相结合进行人手虚拟康复。例如，可以将具有力反馈功能的、能够提供主动运动、被动运动、助力运动和阻抗运动等多种康复训练模式的人手康复交互装置的设计理论和方法与传感器进行集成，对人手运动技能进行建模，模拟人手虚拟康复，从而通过视频捕获病人的人手运动，进行康复监督和建议。

（5）工业领域：虚拟制造与设计

在工业领域，可以通过基于人手的人机交互进行虚拟装配、产品设计等工作，从而可以节约成本，提高熟练度和便利。

（6）商业领域：

包括娱乐产品设计，商业展览，交互式橱窗，KTV点歌等领域都可以通过基于人手的交互设计提高互动性和新颖性、便利性。例如，非接触式互动橱窗，该个系统有四个摄像头，两个用于追踪手部的动作，两个用来追踪脸部和眼睛。经过该橱窗的行人，可以通过手势来获取商品信息

六、人机交互的未来

在人机交互领域，更加大胆的创新精神正在被唤醒，视频捕捉技术、

语音识别技术、红外遥感技术、多通道等等技术的整合发展，必然给人机交互技术的带来前所未有的突破。新的技术层出不穷，人机交互技术的发展将带给人们更多的科技技术的期盼和惊喜。

在未来的计算机系统中，将更加强调“以人为本”、“自然、和谐”的交互方式，以实现人机高效合作。概括的讲，新一代的人机交互技术的发展将主要围绕以下几个方面：

1. 集成化：

人机交互将呈现出多样化、多通道交互的特点。桌面和非桌面界面，可见和不可见界面，二维与三维输入，直接与间接操纵，语音、手势、表情、眼动、唇动、头动、肢体姿势、触觉、嗅觉、味觉以及键盘、鼠标等交互手段将集成在一起，是新一代自然、高效的交互技术的一个发展方向。

2. 网络化：

无线互联网、移动通信网的快速发展，对人机交互技术提出了更高的要求。新一代的人机交互技术需要考虑在不同设备、不同网络、不同平台之间的无缝过渡和扩展，支持人们通过跨地域的网络（有线与无线、电信网与互联网等）在世界上任何地方用多种简单的自然方式进行人机交互，而且包括支持多个用户之间以协作的方式进行交互。另外，网格技术的发展也为人机交互技术的发展提供了很好的机遇。

3.智能化：

目前，用户使用键盘和鼠标等设备进行的交互输入都是精确的输入，但人们的动作或思想等往往并不很精确，人类语言本身也具有高度模糊性，人们在生活中常常习惯于使用大量的非精确的信息交流。因此，在人机交互中，使计算机更好地自动捕捉人的姿态、手势、语音和上下文等信息，了解人的意图，并做出合适的反馈或动作，提高交互活动的自然性和高效性，使人－机之间的交互像人－人交互一样自然、方便，是计算机科学家正在积极探索的新一代交互技术的一个重要内容。

4.标准化：

目前，在人机交互领域，ISO已正式发布了许多的国际标准，以指导产品设计、测试和可用性评估等。但人机交互标准的设定是一项长期而艰巨

的任务，并随着社会需求的变化而不断变化。