第3章(孟祥旭主编人机交互)
山东大学院(部)近期迎评工作方案(讨论稿)
人机交互技术课程教案课程名称：人机交互技术本次授课内容认知心理学和人机工程学教学日期：2012年3月2日授课教师姓名：王璐职称：讲师授课对象：软件学院09级本科生授课时数：2选用教材名称及版本：孟祥旭等编著《人机交互基础教程（第2版）》清华大学出版社授课方式：讲课本单元或章节的教学目的与要求通过本单元的学习，使学生在了解各种认知活动对交互系统设计影响的基础上，使学生掌握一些基本的交互设计原则；理解什么是交互系统的概念模型，了解人们认知概念模型的几种方法，并指导交互系统的设计。
了解人机工程学对显示与控制界面设计的基本原则，并了解典型的三种数字化人机工程系统。
授课主要内容及学时分配第一节：认知活动对交互系统设计影响，概念模型定义，认识概念模型的思维和信息处理模型；第二节：认识概念模型的外部和分布式认知模型；人机工程学重点、难点及对学生的要求重点：认知活动特点对交互系统设计原则，交互系统的概念模型的含义。
难点：交互系统的概念模型，交互系统设计的概念，认知心理学关于概念模型的认知理论。
掌握认知活动特点对交互系统设计原则影响，掌握交互系统的概念模型。
了解认知心理学关于概念模型的认知理论（自学）。
主要外语词汇Touch，Haptic perception, focus, cognition psychology, conceptual model, cognition model辅助教学情况：多媒体课件思考题:1）结合实际的交互系统，举2-3例说明人们的认知特点在系统中的应用。
2）什么是交互系统的概念模型，举例说明，并根据实例说明如何对概念模型进行认识3）针对旅游帮助系统，设计系统的交互方式，交互形式，并说明系统中提供哪些手段让用户快速理解这样一个帮助系统是如何工作的。
4）举例说明人机工程学原理对交互系统界面设计的影响。
参考书（资料）：Neisser U. 认知心理学，Prentice Hall, 1967.董士海等人机交互和多通道用户界面，科学出版社，1999。
人机交互技术 教材
人机交互技术教材
《人机交互技术》是一本由周苏、王文编写的教材，于2016年6月1日由清华大学出版社出版。
该书主要面向高等院校计算机科学与技术、软件工程、信息管理与信息系统等相关专业的“人机交互技术”或“人机界面设计”等课程。
全书通过一系列在网络环境下学习和实践的实验练习，将人机交互技术的概念、理论知识与技术融入实践当中，以加深对该课程的认识和理解。
此外，《人机交互》(第3版)是国外计算机科学教材系列中的一册，由电子
工业出版社于2006年3月出版。
该书集计算机科学、认知科学、心理学和社会学于一体，对人机交互进行了多学科的交叉探讨，并突出人机交互的创新设计、以任务为中心、结构化和理论概括等理念。
如需更多人机交互技术相关教材，建议访问国家数字图书馆、当当网等网站获取更多资源。
人机交互技术智慧树知到课后章节答案2023年下黑龙江科技大学
人机交互技术智慧树知到课后章节答案2023年下黑龙江科技大学黑龙江科技大学第一章测试1.人机交互可划分（）三个要素。
A:计算机B:地理位置C:交互D:人答案:计算机;交互;人2.人机交互只研究计算机等机械装置，不研究人的因素。
（）A:错 B:对答案:错3.微软的DOS系统主要是基于键盘的命令行的交互方式。
（）A:对 B:错答案:对4.上世纪60年代中期，基于（）成为大多数计算机的主要交互方式。
A:图形用户界面B:键盘的命令行接口C:触摸屏输入接口D:语言交互接口答案:键盘的命令行接口5.命令行界面，操作员主要通过操作键盘输入数据和命令信息，界面输出以（）为主。
A:字符B:影像C:声音D:图像答案:字符6.图形用户界面的主要特点是（）。
A:WIMP技术B:直接操纵C:桌面隐喻D:所见即所得答案:WIMP技术;直接操纵;桌面隐喻;所见即所得7.自然人机交互阶段目的是使人能以声音、动作、表情等自然方式进行智能交互操作。
（）A:错 B:对答案:对8.人机交互方式多种多样，比如（）等，都是未来智能交互技术发展的方向。
A:手势识别B:体感识别C:图像识别D:答案选项均不正确答案:手势识别;体感识别;图像识别9.完整的人体动作分析过程主要包括（）部分。
A:动作分类识别B:答案选项均正确C:动作特征描述D:动作捕捉答案:答案选项均正确10.虚拟现实交互技术在医疗领域的应用，包括以下几个方面（）。
A:远程协作手术B:远程会诊C:虚拟手术训练D:手术规划及导航答案:远程协作手术;远程会诊;虚拟手术训练;手术规划及导航第二章测试1.认知过程即是认识客观事物的过程，即对信息进行加工处理的过程，反映客观事物特征与内在联系的心理活动。
（）A:错 B:对答案:对2.格式塔心理学认为这个图形属于（）。
A:对称性法B:接近法则C:闭合法则D:相似法则答案:接近法则3.人与计算机的交互中，用户接受计算机输出的信息，向计算机输入信息，这个过程主要通过（）感知完成的。
人机交互web界面
2020/5/18
14
1.1 人机交互基础知识
1.1.1 人机交互的概念 1.1.2 人机交互与其他学科的关系 1.1.3 人机交互的研究内容 1.1.4 人机交互的发展历史 1.1.5 人机交互的应用
《人机交互与界面设计》
2020/5/18
15
1.1.2 人机交互与其他学科的关系
人机交互与认知心理学、人机工程学、多媒体技术和 虚拟现实与增强现实技术密切相关。
《人机交互与界面设计》
2020/5/18
27
1.1.4 人机交互的发展历史
人机交互的发展过程，是人适应计算机到计算机不断 地适应人的发展过程。它经历了几个阶段：
命令行
图形用户界面
自然和谐的交互
《人机交互与界面设计》
2020/5/18
28
1.1.4 人机交互的发展历史
语言命令交互阶段
计算机语言经历了由最初的机器语言，而后是汇编语言，直至 高级语言的发展过程。这个过程也可以看作早期的人机交互的 一个发展过程。
7
课程内容
第 1 章 人机交互基础 第 2 章 Web应用基础 第 3 章 浏览器端交互程序设计 第 4 章 服务器端交互程序设计
《人机交互与界面设计》
2020/5/18
8
第1章 人机交互基础
学习要点：
理解人机交互、人机界面的基本概念 了解人机交互与其他学科的关系以及人机交互的研
究内容 掌握人机交互发展的三个阶段 掌握Web界面的设计原则 理解Web界面要素的设计
《人机交互与界面设计》
2020/5/18
13
1.1.1 人机交互的概念
人机交互与人机界面
从信息传递的角度来看，用户界面的任务是为人类的感觉和效 应通道与计算机的感知和输出机制提供通信接口。
人机交互基础教程第二版课程设计
人机交互基础教程第二版课程设计1. 课程简介本课程是一门介绍人机交互基础知识的课程，主要涉及人机交互的概念、历史、发展、设计原则、用户界面设计等方面，旨在帮助学生了解人机交互的基础知识，理解用户体验的重要性，为未来的人机交互设计工作打下基础。
2. 课程目标通过本课程的学习，学生应该掌握以下能力：1.理解人机交互的概念、历史和发展趋势。
2.掌握人机交互设计的基本原则和规范。
3.熟悉用户界面设计的基本方法和技巧。
4.能够使用人机交互设计工具进行设计和评估。
5.培养团队协作和沟通能力。
3. 教学大纲第一章人机交互概述1.1 人机交互的概念和定义1.2 人机交互的历史和发展1.3 人机交互的应用领域第二章人机交互设计基础2.1 人机交互设计的基本原则和规范2.2 用户需求分析和用户调研2.3 任务分析和交互设计2.4 用户体验评估方法第三章用户界面设计基础3.1 基本要素和设计原则3.2 布局和页面设计3.3 图标和按钮设计3.4 颜色和字体设计第四章人机交互设计工具4.1 Axure原型设计工具4.2 Sketch设计工具4.3 Adobe XD设计工具4.4 快速原型设计工具第五章团队协作和沟通5.1 团队合作和沟通技巧5.2 协同工具和流程4. 课程作业实验一原型设计设计一个手机购物App的交互原型，包括以下功能：1.商品分类和搜索功能。
2.商品详情页面和加入购物车功能。
3.购物车、结算和订单页面。
实验二用户调研和需求分析针对设计的手机购物App，进行用户调研和需求分析，包括以下内容：1.用户画像和需求分析报告。
2.用户场景和任务分析报告。
3.用户体验设计建议报告。
实验三设计评估和优化针对设计的手机购物App，进行设计评估和优化，包括以下内容：1.适应性评估和用户体验测试报告。
2.评估结果分析和设计优化建议报告。
3.重新设计和原型制作。
5. 评分标准实验一原型设计 40分，包括完整的原型设计和演示说明。
人机交互设计(第2版)教材类别
人机交互设计(第2版)教材类别随着信息技术的快速发展，人机交互设计作为一门新兴的学科领域，逐渐受到人们的关注。
人机交互设计旨在研究如何使人与计算机系统更加有效地交互，以及如何设计更加用户友好的界面。
《人机交互设计(第2版)》是一本介绍人机交互设计基本原理和方法的教材，下面将从几个方面对此教材进行分析。
一、教材内容《人机交互设计(第2版)》主要分为七个部分，分别是介绍、用户界面设计、人机交互设计的基本理论、任务分析、动态用户界面设计、用户界面评估和用户界面开发。
每个部分都涵盖了该领域内的重要知识和技术，既涉及到理论框架，又有大量的案例分析和实际操作，很好地帮助学生理解和掌握人机交互设计的基本理论和方法。
二、教材特点1. 综合性强：《人机交互设计(第2版)》全面介绍了人机交互设计的基本理论和方法，内容涵盖了该学科的各个方面，既有理论的讲解，又有大量的实例分析，非常适合初学者学习和掌握。
2. 创新性：该教材在人机交互设计的一些前沿领域，如动态用户界面设计、用户界面评估等方面进行了深入的论述，涉及到了一些最新的理论和技术，有助于学生了解行业发展的最新动态。
3. 操作性强：教材中穿插了大量的案例分析和实际操作，有利于学生将理论知识与实际操作相结合，加深对人机交互设计的理解。
三、教材适用对象《人机交互设计(第2版)》适合于计算机相关专业的本科生、研究生以及从事人机交互设计工作的相关专业人士。
对于从事互联网、软件开发、用户体验设计等相关行业的人员，也是一本很好的参考书。
四、教材的使用建议1. 引导学生先学理论后做实验：在教学时，可以先讲解相关的理论知识，然后通过相关的案例分析和实验操作来巩固学生的理论知识。
2. 鼓励学生多加实践：人机交互设计是一个需要不断实践和改进的过程，教师可以鼓励学生多进行实际操作，培养学生的设计能力和实践能力。
3. 关注最新动态：由于人机交互设计是一个不断发展的学科，教师可以引导学生多了解行业发展的最新动态，不断更新知识储备。
移动终端人机交互技术发展趋势
移动终端人机交互技术发展趋势摘 要：㊀随着移动信息时代的到来，移动终端正从一个仅具备特定功能的终端工具升级为一个综合信息处理平台，这为移动终端提供了更加宽广的发展空间㊂移动终端的人机交互方式也从单一的字符命令形式到图形用户界面，再到智能化人机交互，历经了从人适应计算机到计算机不断适应人的发展过程㊂而在人工智能㊁大数据㊁云计算㊁ＶＲ／ＡＲ等新一代信息技术群的集中推动下，自然交互㊁移动增强现实㊁多模态融合㊁情感计算的研究与发展，必将使得移动终端的人机交互逐步走向更人性化㊁更智能化㊁更容易被用户接受的自然体验层面㊂关键词：㊀移动终端㊀自然人机交互㊀智能化一 移动革命时代与移动终端对于计算和互联网来说，今天已经是一个移动的世界㊂在Ｎｅｔｗｏｒｋｅｄ：ＴｈｅＮｅｗＳｏｃｉａｌＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ一书中，李㊃雷恩尼（ＬｅｅＲａｉｎｉｅ）和巴瑞㊃威曼（ＢａｒｒｙＷｅｌｌｍａｎ）将移动革命（ｍｏｂｉｌｅｒｅｖｏｌｕｔｉｏｎ）与互联网革命（ｉｎｔｅｒｎｅｔｒｅｖｏｌｕｔｉｏｎ）㊁社会网络革命（ｓｏｃｉａｌｎｅｔｗｏｒｋｒｅｖｏｌｕｔｉｏｎ）并列为新时期影响人类社会的三大革命，其中的移动革命指移动终端与无线网络的发展给人们的社会生活带来的巨大变化㊂移动终端，是指能提供数字化信息服务或者通过网络进行数据信息交互的消费类电子产品，是可以在移动中使用的计算机设备，包括智能手机㊁笔记本㊁平板电脑以及其他智能终端设备等㊂在４Ｇ和即将开启的５Ｇ时代，移动通信正朝着越来越宽带化的方向发展，而随着集成电路技术的飞速发展，现今的移动终端设备大多拥有了强大的计算能力，从原来的移动网络末梢迅速转变为互联网业务的关键入口，成为移动互联网时代主要的创新平台㊂在移动终端设备中，智能手机具有独立的操作系统和内存空间，除了具备基本的通话功能，还可以由用户自行安装各类型软件，如阅读㊁游戏㊁地图导航㊁购物等第三方服务商提供的程序，并通过移动通信网络接入互联网㊂另外，智能手机日益大屏化，为用户提供了足够的屏幕尺寸，为软件运行和内容服务提供了支持，手机上的应用，如新闻㊁交通㊁天气㊁商品购物㊁视听娱乐㊁支付等成为用户日常 必需品 ㊂有关统计数据显示，睡觉前每三个人中就会有两个将智能手机放在床头柜上，手机也是他们睁开眼之后查看的第一件物品，可见人们对智能手机的强烈依赖，智能手机成为人们对自身的一种新的扩展与延伸，移动终端应用俨然成为一种 贴身科技 ①，①Ｓ Ｃ 莫蒂：‘触动心灵：移动产品成功法则“，袁中菊译，电子工业出版社，２０１８㊂我们的生活正在被 移动化 ㊂中国互联网络信息中心第４１次‘中国互联网络发展状况统计报告“①表明，２０１７年我国手机网民规模高达７ ５３亿，使用手机上网的人群占比已提升至９７ ５％；手机不断挤占其他个人上网设备的使用，以手机为中心的智能设备，成为 万物互联 的基础㊂移动互联网服务场景在不断丰富㊁移动终端规模在加速增长㊁移动数据量也正在持续扩大，以手机为首的移动终端超越ＰＣ成为第一屏幕，移动终端的人机交互技术也进入快速发展阶段㊂二 人机交互技术发展人机交互（Ｈｕｍａｎ⁃ＣｏｍｐｕｔｅｒＩｎｔｅｒａｃｔｉｏｎ，ＨＣＩ）②是一门综合学科，主要是研究人与计算机之间的信息交换，研究人类与计算机进行交互的技术㊂它与认知心理学㊁人机工程学㊁多媒体技术㊁虚拟现实技术等密切相关，涉及计算机科学㊁行为科学㊁工业设计和媒体研究等诸多学科㊂人机交互的研究内容十分广泛，涵盖建模㊁设计㊁评估等理论和方法㊂在人机交互方式上，研究人的视觉㊁听觉㊁触觉和力觉等多通道信息的融合，研究人机交互界面的表示模型与设计方法，旨在设计开发出友好的人机界面，使人机交互和人人交互一样自然与方便㊂人机交互技术作为计算机系统的一个重要组成部分，随着计算机的发展而发展，历经了从人适应计算机到计算机不断适应人的发展过程㊂此外，在当今ＰＣ互联网日趋饱和，移动互联网井喷式发展，移动终端已然成为第一屏幕的场景之下，面向移动应用的人机界面成为人机交互技术研究的一个重要内容㊂移动界面的设计方法㊁移动界面可用性与评估原则㊁移动界面导航技术以及移动界面的实现技术与开发工具，都是当前人机交互技术研究的热点之一㊂①②第４１次‘中国互联网络发展状况统计报告“，中国互联网络信息中心，ｈｔｔｐ：／／ｃｎｎｉｃ ｃｎ／ｇｙｗｍ／ｘｗｚｘ／ｒｄｘｗ／２０１８０１／ｔ２０１８０１３１＿７０１８８ ｈｔｍ㊂孟祥旭等：‘人机交互基础教程“，清华大学出版社，２０１６㊂三 移动终端人机界面人机界面是人与机器㊁环境之间沟通交流的媒介，界面设计是人机交互的重要设计对象㊂良好的界面设计便于用户操作和使用产品，从而提高用户使用产品的交互体验满意度㊂移动终端的人机界面设计遵循人机交互设计的基本规律，但由于其便携性㊁环境多变性㊁计算能力有限性以及网络带宽的限制等，又具有自己的特点㊂下面以手机界面的演化过程为例，分析移动终端人机交互的发展历程与发展趋势㊂1 字符形式的手机界面摩托罗拉是最早研发出手机的公司，也是最早进入中国市场的手机品牌㊂１９９３年摩托罗拉在中国市场推出了第一部 大哥大 Ｍｏｔｏｒｏｌａ３２００㊂当时，手机作为新生事物，技术研发还未成熟，受限于当时的技术水平，人们想要的只是一部能打电话的手机 有接收信号的天线㊁听筒㊁话筒㊁物理键盘以及单行显示的屏幕，能够实现通话和发短信功能㊂人机交互主要采用字符形式，虽具有占用资源相对较低㊁准确㊁高效的特点，但操作很不方便㊂由于市场上手机供小于需的关系，也使得手机成为稀缺的资源，人对手机的通信功能需要远远大于其他需求，因而对手机的大小㊁重量㊁美观㊁交互㊁体验等没有进一步的要求，手机生产厂商更多的是将目光放在相关功能和技术研发上，造成手机外观设计不美观，在交互上不流畅，仅能实现基本的人机交互行为，用户操作体验较差㊂2 图形用户界面的手机界面随着通信技术的发展，第二代移动通信技术实现了由模拟向数字化的转换，依托于第二代移动通信技术的２Ｇ手机的硬件新增了很多功能，屏幕尺寸增大，分辨率提高，手机功能的改进㊁性能的提高，也让手机的操作变得复杂，手机界面随之复杂起来，此时，图形界面相比字符界面更利于用户的操作和理解，成为手机界面的主流㊂这一阶段的手机界面更注重外形美观，人机交互上主要关注的是如何提供操作界面让用户能使用手机各项功能，此阶段的用户界面以满足功能实现为主要目的，按照手机的物理逻辑来组织界面，是一种功能型用户界面，用户在交互过程中更多的是适应手机，而用户体验未真正受到关注㊂随着通信技术的突破，２００８年３Ｇ网络正式开通，智能手机也得到进一步的发展，为适应３Ｇ网络而推出的３Ｇ手机将无线通信与互联网等多媒体通信结合㊂与２Ｇ相比，３Ｇ手机能高效地处理音乐㊁图像㊁视频流等多媒体形式，在手机上即可实现网页浏览㊁电话会议及网上购物等㊂３Ｇ手机界面随着功能的演进也发生了变化，为了增大屏幕的可适性，传统的物理数字键盘消失，取而代之的是触屏界面，通过手指或笔与屏幕的直接触控输入指令和信息，新的触屏交互方式极大地方便了用户快速地进行人机交互，一种新的人机交互方式就此产生㊂随着智能手机的发展和普及，人们对手机界面的需求不再局限于对界面美学形式的创新，以及覆盖所有功能节点的功能型用户界面，人机交互设计也从以物为设计对象，转变为研究用户行为逻辑㊁强调用户体验，构建行为型用户界面㊂２００７年苹果手机ｉＰｈｏｎｅ的问世就是一个跨时代的革命性产品㊂ｉＰｈｏｎｅ简洁明了的外观形式，视觉上完美又和谐，充分符合了当时人们对手机的审美标准㊂４英寸可多点触控的屏幕，分辨率可达６４０ˑ９６０ｐｘ，宽大的屏幕不仅方便用户进行操作，也利于用户上网冲浪和看视频等㊂图标设计上，采用了拟物化的设计风格，方便人们对图标的理解，在交互方式上也进行了创新，采用手势进行人机交互，画面与画面间的过渡采用动画进行转场，视觉感受流畅自然㊂此外，ｉＰｈｏｎｅ手机还加入了重力感应，使得界面不管是横还是竖都能够完美地适配自适应，操作起来也显得更加人性化，关注用户体验成为主要的手机界面设计理念，自此，以用户为中心的人机交互设计成为主流㊂3 多通道手机界面多通道交互（Ｍｕｌｔｉ⁃ＭｏｄａｌＩｎｔｅｒａｃｔｉｏｎ）是一种使用多种通道与计算机通信的人机交互方式，一般涵盖用户表达㊁执行动作或感知信息的各种感觉通道和动作通道，用户以并行的㊁非精准的方式与计算机进行交互，可使人们从传统的非自然的交互方式中解脱出来，进入自然和谐的人机交互时期㊂由于手机具备随身携带的特点，人们更迫切地需要通过多个交互渠道，如视觉㊁听觉㊁触觉等改善人机信息沟通的方式，进一步提高使用手机的流畅度㊂目前运用在手机上较为成熟的功能主要有：手势交互㊁语音交互和表情交互等㊂手势交互主要指通过人的手势来进行交互㊂手势一般包括人体各部位的运动，但通常指脸部和手的运动㊂通过手指直接在屏幕上点摁来设置手机主屏壁纸；抑或在手机屏幕上通过滑动来解锁手机等㊂手势所含的信息量非常丰富，运用手势能进行很多高效的交互，因为它不仅能够实现快速的通信，而且也能够迅速地传输大量的信息，目前手势交互广泛地运用在手机的人机交互上㊂语音交互技术是在用户语音输入后，手机对语音信息加以识别，获取语义以达到人机交互沟通的一个重要方法㊂如ｉＰｈｏｎｅ手机的Ｓｉｒｉ，只要按ｈｏｍｅ键两秒就可以和手机进行语音交流，手机可直接按用户要求进行操作，代替了过去必须通过手指与屏幕的接触来进行沟通的方式，提升了人机交互的流畅度㊂表情交互技术是通过识别人的面部表情进行交互的方式㊂如手机支付宝应用可通过对面部表情的识别进行付款，ｉＰｈｏｎｅＸ使用３Ｄ面部识别（ＦａｃｅＩＤ）传感器解锁手机㊂多通道交互技术成为近年来迅速发展的一种人机交互技术，目前，多通道用户界面综合采用语音㊁手势㊁视线等多个交互通道，便于用户以自然㊁并行㊁协作的方式进行人机对话，但目前各个通道的信息识别和处理大多还是分离的，只有通过将多个通道的㊁精确的和非精确的输入进行有效整合，获取用户的真实意图，以此提高人机交互的自然性，人机交互界面才能真正实现智能化㊂四 移动终端人机交互发展趋势1 自然人机交互自然人机交互，是指在人与计算机交互时，用户仅使用已有的认知习惯及熟悉的行为方式与计算机进行交互，是以一种非精确的自然行为与计算机进行交互的过程㊂比尔㊃盖茨于２００８年提出了 自然用户界面 （ＮａｔｕｒａｌＵｓｅｒＩｎｔｅｒｆａｃｅ，ＮＵＩ）的概念㊂现今移动终端的人机界面主要采用图形用户界面（ＧＵＩ），这种用户界面使用键盘或鼠标输入用户指令，用户需要先学习软件开发者已设置好的操作方法，在操作过程中依照预设的操作流程完成交互过程，这对于用户来说，具有一定的学习成本，是一种非自然的人机交互㊂而ＮＵＩ则允许人们使用最自然的交流方式，如通过自然语言㊁手势动作，视线等与机器互动，传统的键盘与鼠标输入将被更为自然的触摸式㊁视觉型以及语音控制界面所代替，人机交互呈现出更加自由的互动模式㊂移动终端因其便携性及移动性，使得用户可以用最简单方便的交互手段去操作，如用手去触摸，用视觉㊁听觉等多种感官进行交互和反馈，以此改进用户体验㊂移动终端的自然交互也成为一个必然的发展方向㊂自然人机交互的目标是摆脱鼠标和键盘的束缚，允许用户综合运用自身的各种感官和已有的生活经验进行操作，最大程度地降低用户的学习成本和负担㊂一方面要求系统能提供可支持语言㊁手势㊁动作㊁表情等多种感觉通道的输入方式，输出上能支持听觉㊁视觉㊁触觉甚至嗅觉等多感官界面表现方式㊂另一方面也要求计算机不再只是一个接收指令㊁执行指令的 笨 系统，而是一个具备学习能力和认知能力甚至是有情感的智能机器人㊂就未来发展趋势而言，自然交互界面将朝着多感官㊁多通道㊁多维度㊁智能化的交互模式方向发展㊂目前，最常见的自然交互技术包括多点触控技术㊁手势识别技术㊁表情识别技术㊁语音交互技术及眼动跟踪技术等㊂随着自然交互技术的进步，自然用户界面已逐步形成㊂然而，自然用户界面在使用的过程中也存在一些可用性问题㊂一是使用场景有限㊂当处在需要精确输入的场景时，自然交互存在明显的不足㊂二是缺乏功能可见性㊂由于操作的非精确性，细节把握能力差，手势交互时，用户往往只能记住几种较常用的手势交互动作；当交互动作层次较深时，用户则不易掌握㊂三是认知的差异性㊂在不同文化背景下往往会因手势所隐喻的交互内容不同而造成认知的偏差㊂这些可用性问题反过来会增加用户的学习成本，使自然交互变得 不自然 ㊂由此可见，自然交互技术应用于计算机与人的交互过程中，也未必是最自然的交互方式㊂从另一层含义上讲，自然交互必须注重用户体验，以用户为中心，综合研究用户心理㊁用户习惯㊁用户类型及使用场景等，设计出用户体验最佳的交互方式，使用户通过其习惯的方式最自然地与计算机交互，真正做到 隐形 的用户界面㊂最好的交互是自然的，最好的界面是没有界面㊂①一个理想的自然人机交互应当能让用户的注意力完全集中在所要进行的操作上而忘记人机界面本身的存在，自然的人机交互将从有形的界面向无形的界面发展㊂移动终端的人机交互必将逐步走向更人性化㊁更智能化㊁更容易被用户接受的自然体验层面㊂2 移动增强现实技术在虚拟现实（ＶｉｒｔｕａｌＲｅａｌｉｔｙ，ＶＲ）的基础上发展起来的增强现实（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ，ＡＲ）是近年来为用户所认可的高新技术㊂②与虚拟现实不同，增强现实更强调 虚实结合 ，它将现实世界的真实环境和计算机生成的虚拟环境实时地融合在一起，从而给用户在听觉㊁视觉㊁触觉等方面带来相对逼真的综合感受，实现人与环境的自然交融㊂随着移动终端设备的飞速发展，以高性能的智能手机㊁穿戴式设备（智能眼镜等）等为代表的产品为增强现实在移动端的现实应用提供了载体㊂如可将ＡＲ系统整合到一部手机上，摄像头负责采集图像，处理单元对其进行分析和重构，实现坐标系的对齐并进行虚拟场景的融合计算，处理后的图像就会显示在手机屏幕上，从而达到增强现实的效果㊂相对于依赖笨重头盔的ＶＲ，ＡＲ更加便捷灵活，可与智能手机完美融合，更适合目前智能手机的形态㊂用户不需要单独购买ＡＲ设①②ＧｏｌｄｅｎＫｒｉｓｈｎａ：‘无界面交互：潜移默化的ＵＸ设计方略“，杨名译，人民邮电出版社，２０１７㊂王剑：‘增强现实眼控交互技术的研究及应用“，西北工业大学硕士学位论文，２０１５㊂备，仅通过智能手机就能获得ＡＲ所带来的优质体验㊂苹果公司于２００９年９月首次在ｉＯＳ版本中实现对增强现实技术的支持㊂随后，高通等芯片厂商也加大了对移动增强现实技术的硬件支持㊂在ＷＷＤＣ２０１７大会上，苹果宣布在ｉＯＳ１１中配备了全新的增强现实组件ＡＲＫｉｔ，目前通过ｉＰｈｏｎｅ的ＡＲ功能仅用单个摄像头就可以测量距离，而且数据相当精确㊂谷歌的ＰｒｏｊｅｃｔＴａｎｇｏ也是一个针对智能手机的增强现实项目㊂通过手机摄像头㊁传感器和芯片，能实时对用户周围的环境进行３Ｄ建模，通过手机屏幕，将虚拟物品呈现在真实环境中㊂华硕智能手机ＺｅｎＦｏｎｅＡＲ就搭载了对Ｔａｎｇｏ进行了技术优化的高通骁龙８２１移动平台，拥有专门为增强现实而设计的三重镜头系统，包含了能够追踪用户动态的追踪镜头㊁测量自身周围环境的深度感应镜头，再加上捕捉现实环境的２３００万像素主摄像头，能够精准地记录㊁绘制三维空间信息，让虚拟和现实完美结合㊂ＡＲ向用户提供了全新的交互方式，实现更有沉浸感的交互体验㊂集成ＡＲ功能也将会促进手机硬件的进一步发展，如ＩＭＵ惯性测量单元等传感器将成为标配，双摄像头的作用不只有虚化，还能进行环境识别和深度感知㊂ＡＲ手机并不需要在硬件设计上有太大的改变，却能实现更好玩的ＡＲ体验㊂面向增强现实的人机交互具有虚实叠加性㊁三维性㊁交互实时性的特点，面向ＡＲ的人机交互方式也成为一个研究热点㊂ＡＲ／ＶＲ交互方式包括动作捕捉㊁触觉反馈㊁眼球追踪㊁肌电模拟等，其中将眼控交互技术的研究引入增强现实，用户只通过眼睛和界面产生交互，利用图像处理技术，使用能跟踪拍摄人眼睛的摄像机，通过摄入红外线光源，拍摄人的眼角膜和晶状体表面产生的普金野象变化，从而记录人在处理视觉信息时的眼动轨迹㊂①计算机通过眼动记录准确理解用户的真实意图，用户通过视线操作，来替代鼠标和键盘的输入，这种交互方式也尤其适合移动终端ＡＲ的人机交互，达到了增强①王剑：‘增强现实眼控交互技术的研究及应用“，西北工业大学硕士学位论文，２０１５㊂现实的最高境界，即 所见即所想，所想即所能 ㊂3 移动人工智能与多模态交互在大数据㊁移动互联网㊁云计算等新一代信息技术群的推动下，人工智能迎来了第三次发展浪潮，呈现出深度学习㊁跨界融合㊁人机协同㊁群智开放㊁自主操控等新特征，这将深刻改变人类的社会生活㊁改变世界㊂未来５ １０年，人工智能可能会像水和电一样成为我们生活的必需品㊂①在 万物互联 和人工智能快速发展的当今，人工智能和移动终端的结合，使得移动终端成为重要的创新平台，将为我们带来更加便捷和智能化的移动生活服务㊂人机交互界面的智能化，需要将多种感官信息进行融合，即多模态融合㊂如看到某张图片生成文字或看到文字生成图片和视频，智能体需完成在视觉和语义之间的模态转换，可见多模态人机交互实际上是人与人之间自然交互的模拟，它将人与人之间的交互方式移植到人与计算机的交互中，旨在促进自然便捷的人机交互，减少人机隔阂，营造和谐的人机环境㊂多模态用户界面是采用视线追踪㊁语音识别㊁手势输入等新技术，用户运用多个感觉通道以自然㊁并行和协作的方式进行人机交互的界面㊂系统通过融合多通道精确和非精确信息，快速捕捉用户的意图，这依赖于 多模态深度学习 技术，让智能体本身能够理解多模态信号，从算法本身就需要容纳听觉㊁视觉㊁传感信号进行统一思考，让机器进行多模态协同学习，真正地 聪明 起来㊂如阿里巴巴语音团队提出的多模态智能语音交互技术的解决方案中，通过唇读识别机器视角内人的嘴部动作以识别说话人，并判断说话人与机器的距离以及确定拾音角度，将计算机视觉技术融合到语音识别技术中，解决了嘈杂环境下的远讲降噪问题㊂目前人工智能在感知层有较大的突破，比较成熟的技术是对话式人工智能，人可以运用自然语言控制软件的运行，人和计算机能够直接对话，这是现阶段最现实的一种人工智能应用，包括苹果Ｓｉｒｉ㊁微软①刘庆峰：‘人工智能＋未来已来“，ｈｔｔｐ：／／ｗｗｗ ｓｏｈｕ ｃｏｍ／ａ／１１９８８０７６５＿４８１６４６㊂Ｃｏｒｔａｎａ㊁谷歌ＧｏｏｇｌｅＡｓｓｉｓｔａｎｔ㊁亚马逊Ａｌｅｘａ㊁三星Ｂｉｘｂｙ等在内的多款智能语音助手都在探索这种对话式的人工智能应用㊂智能语音交互作为人工智能发展的核心方向之一，在 万物互联 时代，极有可能成为下一代核心交互模式㊂基于人工智能技术的移动终端，如未来的智慧手机在某种意义上也是一个机器人，具有视觉㊁听觉㊁嗅觉㊁味觉等各种传感器，手机上的移动应用除了拥有感知智能外，还可以通过网络连接云端大脑，拥有认知智能㊂目前有很多利用人工智能技术的移动应用，如语音助手㊁人脸支付㊁名片识别㊁实时翻译等㊂①然而，人工智能在移动终端的应用仍存在计算能力不足的问题㊂人工智能的算法实现需要系统具有较强的计算能力，造成芯片成本过高㊁体积和重量较大，目前仅依靠移动端来实现人工智能应用有较大的难度，这使得人工智能在移动终端的表现力大大降低㊂当前大部分移动人工智能的解决方案是依靠云计算来实现的，但是在需要高度实时响应的应用场景中，移动终端的计算却必不可少，除此之外，安全性㊁隐私性也都是需要利用终端计算的优势，随着移动端ＡＩ芯片升级和算法的优化，人工智能有待将一部分计算处理功能从云端迁移到移动终端，这也是未来移动人工智能的一大趋势㊂4 情感计算被赋予了多种智能的计算机，目前仍然无法理解和适应人的情绪或心境，缺乏人类情绪识别功能，也无法表达情感㊂很难指望计算机拥有类似人一样的智慧，也很难期望人机交互能够真正和谐与自然㊂１９９７年ＭＩＴ媒体实验室Ｐｉｃａｒｄ教授提出了情感计算的概念，她指出， 情感计算是与情感相关，来源于情感或能够对情感施加影响的计算㊂情感计算包括情感识别㊁情感表示㊁情感建模㊁情感交互等四个方面 ㊂②情感计算就是要赋予计算机类似于人的观察㊁理解和生成各种情感的能力，最终①②刘升平：‘移动端人工智能最看好会话交互应用“，ｈｔｔｐ：／／ｇｅｅｋ ｃｓｄｎ ｎｅｔ／ｎｅｗｓ／ｄｅｔａｉｌ／９９４９７㊂ＲｏｓａｌｉｎｄＷ Ｐｉｃａｒｄ，ＡｆｆｅｃｔｉｖｅＣｏｍｐｕｔｉｎｇ，Ｃａｍｂｒｉｄｇｅ：ＴｈｅＭＩＴＰｒｅｓｓ，１９９７．使人机交互与人人交互一样自然㊂情感计算是一个高度综合化的研究领域㊂通过计算科学与心理科学㊁认知科学的结合，将情感计算用于人机交互过程，通过研究人与人交互和人与计算机交互时的情绪特点，设计出具有情感反馈的人机交互环境，使得人机交互不仅具有高的感知和认知智力，同时具备高的情绪智力，让计算机也具有高情商，从而有效地解决人机交互中的情境感知㊁情绪理解与情感表达问题，并做出合乎情理的应对㊂当前，情感计算仍处于起步阶段，研究热点及成果大多体现在情感识别层面㊂众所周知，人类的情感非常复杂㊂情感信息还受到环境㊁生理㊁心理㊁文化背景㊁语境㊁语义等因素的影响㊂情感特征的准确提取是情感识别中的难点之一㊂人类在面对面交流时，情感性的信息往往是从语音语调㊁面部表情㊁肢体动作等维度表达出来的，在人机交互过程中，情感特征识别也需要从多个维度来计算，如通过文本情感分析㊁面部表情识别㊁语音情感识别㊁姿态识别，甚至通过生理模式识别，如皮肤电反应㊁呼吸㊁心率㊁体温㊁脑电波等多模态的角度进行情感信息融合，结合当时所处情境的上下文信息，准确地识别并理解人的情感㊂基于情感计算的人机交互如图１所示㊂图１ 基于情感计算的人机交互示意。
课件人机界面与人机交互
2019/2/24
2、1963年发明鼠标器的美国斯坦福研究所的 D.Engleberg，他预言鼠标器比其他输入设备都 好，并在超文本系统、导航工具方面会有杰出的 成果。10年后鼠标器经Xerox研究中心改进后，成 为影响当代计算机使用的最重要成果 3、1963年美国麻省理工学院I.Sutherland开创了计 算机图形学的新领域，随后美国布朗大学A.Van Dam等人组织了SIGGRAPH。I.Sutherland还在1968 年开发了头盔式显示器。
多媒体技术是指将文本、声音、图形、图
像、视频等集成在一起的技术
动画、音频、视频等动态媒体，大大丰富了计 算机表现信息的形式，拓宽了计算机输出的带 宽，提高了用户接受信息的效率 多媒体带来的信息冗余性可消除人机通信过程 中的歧义性及噪声 目前多媒体技术的研究基本上限于信息的存储 和传输方面，媒体理解和推理研究较少
重大课题。例如，美国二十一世纪信息技术 计划中的基础研究内容定为四项，即软件、 人机界面、网络、高性能计算。
6
人机交互技术是21世纪信息领域需要解决的
人机交互概念有广义和狭义的区别
2019/2/24
广义人机交互
广义上讲，人机交互以实现自然、高效、和谐的
人机关系为目的，与之相关的理论和技术都在其 研究范畴，是计算机科学，心理学，认知科学以 及社会学等学科的交叉学科
21
2019/2/24
三、人机交互的发展历史
人机交互一直伴随着计算机的发展而发展。
人机交互的发展过程，也是人适应计算机 到计算机不断地适应人的发展过程。它经 历了几个阶段： 1.语言命令交互阶段 2.图形用户界面（GUI）交互阶段 3.自然和谐的人机交互阶段（现状）
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
，不存在明显的亮区和暗区；由于各个发光单元的结构完全 相同，因此不会出现CRT显示器那样存在某些区域聚焦不良 或因使用时间过长出现散焦的毛病。
缺点：是价格较高，由于显示屏上的玻璃较薄使屏幕较脆弱 。
打印机
◦ 打印机是目前非常通用的一种输出设备，其结构可分为机 械装置和控制电路两部分。
光学式运动捕捉
◦ 利用计算机视觉原理。从理论上说，对于空间中的一个点 ，只要它能同时为两部摄相机所见，则根据同一时刻两部 摄相机所拍摄的图像和对应参数，就可以确定这一时刻该 点在空间的位置。摄相机以足够高的速率连续拍摄时，从 图像序列中就可以得到该点的运动轨迹。光学式运动捕捉 便是利用这一点通过对目标上特定光点的监视和跟踪来完 成运动捕捉的任务。
◦ 非接触式的三维扫描仪，主要有三维激光扫描仪，照相式 三维扫描仪等，分别是基于激光扫描测量和结构光扫描测 量等技术设计的。
这类设备的优点是扫描速度快，易于操作，且由于不需接触 被测量的物体，所以对物体表面损伤少等。
机械式、电磁式、光学式捕捉设备
机械式动作捕捉设备
◦ 利用可伸缩的机械结构安装于捕捉物体上，以取得各部分 的运动量。
◦ 常见的有针式、喷墨、激光打印机三类。
◦ 打印分辨率、速度、幅面、最大打印能力等是衡量打印机 性能的重要指标。
语音交互设备
◦ 语音作为一种重要的交互手段，日益受到人们的重视。 ◦ 基本的语音交互设备
耳机 麦克风 声卡
虚拟现实系统要求计算机可以实时显示一个三维场 景，用户可以在其中自由的漫游，并能操纵虚拟世 界中一些虚拟物体。因此，除了一些传统的控制和 显示设备，虚拟现实系统还需要一些特殊的设备和 交互手段，来满足虚拟系统中的显示、漫游以及物 体操纵等任务。
◦ 三维空间定位设备 ◦ 三维显示设备
◦ 空间跟踪定位器或称三维空间传感器是一种能实时地检测 物体空间运动的装置，可以得到物体在六个自由度上相对 于某个固定物体的位移，包括：X、Y、Z坐标上的位置值 ，以及围绕X、Y、Z轴的旋转值（转动，俯仰、摇摆）。
◦ 这种三维空间传感器对被检测的物体必须是无干扰的，也 就是说，不论这种传感器是基于何种原理或使用何种技术 ，它都不应当影响被测物体的运动，因而称为“非接触式 传感器”。
◦ 优点是成本低廉，但这种方式限制了运动物体的自由运动 ，且由于机械设备的尺寸、重量等问题，因而限制了其应 用范围。
电磁式设备
◦ 将若干低频磁场感应器安装在捕捉物体上，根据感应器接 收到的磁场，可以计算出接收器相对于发射器的位置和方 向。但其由于易受电磁干扰影响到了捕捉数据的精度和稳 定性，对于作业场地的要求也非常严格。
彩色CRT光栅扫描显示器有三个电子枪，它的荧光
屏上涂有三种荧光物质，分别能发红、绿、蓝三种 颜色的光。
◦ 在充电条件下，液晶能改变分子排列，继而造成光线的扭 曲或折射。
◦ 液晶显示器工作原理是通过能阻塞或传递光的液晶材料， 传递来自周围的或内部光源的偏振光。以电流刺激液晶分 子产生点、线、面配合背部灯管构成画面。
根据传感方式的不同，三维扫描仪主要分为接触式 和非接触式两种。
◦ 接触式的三维扫描仪采用探测头直接接触物体表面，通过 探测头反馈回来的光电信号转换为物体表面形状的数字信 息。该类设备主要以三维坐标测量机为代表。
其优点是具有较高的准确性和可靠性，但也存在测量速度慢 、费用较高、探头易磨损以及误差修正等缺点。
◦ LCD比CRT显示器具有更好的图像清晰度，画面稳定性和
更低的功率消耗，但液晶材质粘滞性比较大，图像更新需 要较长响应时间，因此不适合显示动态图象。
◦ 等离子显示器诞生于二十世纪60年代，它采用等离子管作 为发光材料，1个等离子管负责一个像素的显示：等离子
管内的氖氙混合气体在高压电极的刺激下产生紫外线，紫 外线照射涂有三色荧光粉的玻璃板，荧光粉受激发出可见 光。
指点输入设备
◦ 指点设备常用于完成一些定位和选择物体的交互任务。 物体可能处于一维、二维、三维或更高维的空间中，而 选择与定位的方式可以是直接选择，或通过操作屏幕上 的光标来完成。
鼠标 光笔 控制杆 触摸板 触摸屏
显器
◦ 显示器是计算机的重要输出设备，是人机对话的重要工具 。它的主要功能是接收主机发出的信息，经过一系列的变 换，最后以光的形式将文字和图形显示出来。
第3章 交互设备
重点大学计算机专业系列教材
输入设备 输出设备 虚拟现实交互设备 交互设备的整合应用
文本输入设备
◦ 键盘输入是最常见、最主要的文本输入方式。
◦ 手写等一些更自然的交互方式也可为文本输入提供辅助手 段。
图像输入设备
◦ 二维扫描仪可以快速地实现图像输入，且经过对图像的分 析与识别，可以得到文字、图形等内容；
◦ 阴极射线管显示器、液晶显示器和等离子显示器
构成：由阴极、电平控制器（即控制极）、聚焦系 统、加速系统、偏转系统和阳极荧光粉涂层组成， 这六部分都在真空管内。其中，阴极、电平控制器 （即控制极）、聚焦系统、加速系统等统称为电子 枪。
当显像管内部的电子枪阴极发出的电子束，经强度 控制、聚焦和加速后变成细小的电子流，再经过偏 转线圈的作用向正确目标偏离，穿越荫罩的小孔或 栅栏，轰击到荧光屏上的荧光粉发出光线。
◦ 摄像头是捕捉动态场景最常用的工具。
三维信息输入设备
◦ 在许多领域，如机器视觉、面形检测、实物仿形、自动加 工、产品质量控制、生物医学等，物体的三维信息必不可 少的。
三维扫描仪是实现三维信息数字化的一种极为有效的工具。
动作捕捉设备则用于捕捉用户的肢体甚至是表情动作，生成 运动模型。在影视、动漫制作中已被大量应用。
◦ 三维空间跟踪定位器一般与其他VR设备结合使用，如：数 据头盔、立体眼镜、数据手套等。
◦ 数据手套一般由很轻的弹性材料构成，紧贴在手上。整个 系统包括位置、方向传感器和沿每个手指背部安装的一组 有保护套的光纤导线，它们检测手指和手的运动。数据手 套将人手的各种姿势、动作通过手套上所带的光导纤维传 感器，输入计算机中进行分析。这种手势可以是一些符号 表示或命令，也可以是动作。手势所表示的含义可由用户 加以定义。