人机交互重点整理
第一章绪论
人机交互定义：
人机交互是关于设计、评价和实现供人们使用的交互式计算机系统，且围绕这些方面的主要现象进行研究的科学。
人机交互研究：
人机交互界面表示模型与设计方法
多通道交互技术
人机交互历史：
①手工作业阶段
穿孔卡片等，最早的计算机采用
②命令方式
键盘输入，DOS等操作系统采用
③图形用户界面GUI
键盘输入，鼠标，Windows系列采用
④自然人机交互界面
采用人的自然通道（视觉/听觉）实现人机交互
手写，语音，视觉，多通道
第二章感知和认识基础
①人机交互过程中人们经常利用的感知有哪几种？每种感知有什么特点？
第三章交互设备
①输入设备
文本输入设备
图像输入设备
三位图像输入设备
指点输入设备
②输出设备
显示器
声音的输出
数字纸等
③虚拟现实系统中的交互设备
掌握内容：
2）三维激光扫描仪工作原理
3）运动捕捉设备分类及工作原理
第四章交互技术
掌握内容：
人机交互输入模式多通道用户交互界面
命令行用户界面、图形用户界面、虚拟现实概念模型图形用户界面主要思想
设计图形用户界面的一般性原则
窗口的排列方式及其优缺点
基本交互技术
图形交互技术
三维交互技术
多通道用户界面的基本特点
眼动跟踪的基本原理
主要手势识别技术
语音识别处理流程
表情识别步骤
联机手写识别主要阶段和原理框图
人机交互输入模式
1）请求模式
在请求模式下，输入设备的启动是在应用程序中设置的，
应用程序执行过程中需要输入数据时，暂停程序的执行，
直到从输入设备接收到请求的输入数据后，才继续执行程序。
2）采样模式
输入设备和应用程序独立地工作，输入设备连续不断地把信息输入进来，
信息的输入和应用程序中的输入命令无关。
应用程序在处理其他数据的同时，输入设备也在工作，新的输入数据替换以前的输入数据当应用程序遇到取样命令时，读取当前保存的输入设备数据。
优点：这种模式对连续的信息流输入比较方便，也可同时处理多个输入设备的输入信息
缺点：当应用程序的处理时间较长时，可能会失掉某些输入信息。
3）事件模式
输入设备和程序并行工作。输入设备把数据保存到一个输入队列，也称为事件队列，所有的输入数据都保存起来，不会遗失。
应用程序随时可以检查这个事件队列，处理队列中的事件，或删除队列中的事件。
图形用户界面（GUI）概念模型
图形用户界面又称为WIMP界面，由窗口（Windows），图标（Icons）、菜单（Menus）、
指点设备（Pointing Device）四位一体，形成桌面（Desktop）。
**********************************
多通道用户界面概念模型
多通道用户界面的研究是为了消除当前WIMP/GUI用户界面通信带宽不平衡的瓶颈，
综合采用视线、语言、手势等新的交互通道、设备和交互技术，
通过整合来自多个通道的、精确的和不精确的输入来捕捉用户的交互意图，提高人机交互的自然性和高效性
概念模型：
**********************************
虚拟现实的概念模型
①虚拟现实是人们可以通过视、听、触等信息通道感受到设计者思想的用户界面，由两部分组成：
一部分是创建的虚拟世界（环境），另一部分是介入者（人）
②虚拟世界的核心是强调两者之间的交互操作，即反映出人在虚拟世界（环境）中的体验。
③人机交互是虚拟现实的核心。
**********************************
图形用户界面的主要思想
·图形用户界面的三个主要思想：
①桌面隐喻：桌面隐喻是指在用户界面中用人们熟悉的桌面上的图例清楚地表示计算机可以处理的能力。
②所见即所得：在WYSIWYG交互界面中显示的用户交互行为与应用程序最终产生的结果是一致的。
③直接操纵：直接操纵是指可以把操作的对象、属性、关系显式地表示出来，
用光笔、鼠标、触摸屏或数据手套等指点设备直接从屏幕上获取形象化命令与数据的过程
·隐喻的分类：
1）直接隐喻：隐喻本身就带有操纵的对象
如Word中的表格、图表等图标，图标分别代表了操纵对象
2）工具隐喻：代表所使用的工具
如用磁盘图标隐喻存盘操作、用打印机图表隐喻打印操作等，
这种隐喻设计简单，形象直观，应用也是最为普遍。
3）过程隐喻：通过描述操作的过程来暗示该操作
如Word中的撤销和恢复图标。
窗口状态（Windows States）
Tiled Windows Cascading Windows【】
Overlapping WindowsInterrupted Cascade【】
Window Interfaces-MDI
Window Interfaces-TDI
**********************************
基本交互技术
⒈定位是确定平面或一个空间的一个点的坐标，是交互中最基本的输入技术之一
⒉笔画输入用于输入一组顺序的坐标点，它相当于多次调用定位输入，
输入的一组点常用于显示折线或作为曲线的控制点。
⒊定值（或数值）输入用于设置物体旋转角度、缩放比例因子等。
它是要在给定的数字范围内输入一个值。
⒋选择是在某个选择集中选出一个元素，通过注视、指点或接触一个对象，
使对象成为后续行为的焦点，是操作对象时不可缺少的一部分。
它可以用于指定命令，确定操作对象或选定属性等。
⒌字符串：键盘是目前输入字符串最常用的方式，
现在用写字板输入字符也已经很流行。
**********************************
图形交互技术
·橡皮筋技术
是拖动的另一种形式，不同的只是被拖动的对象的形状和位置随着光标位置的不同而变化。·操作柄技术
操作柄（Handle）技术可以用来对图形对象进行缩放、旋转、错切等几何变换。
先选择要处理的图形对象，该图形对象的周围会出现操作柄，移动或旋转操作柄就可以实现相应的变换。
**********************************
三维交互技术
·直接操作
通过三维光标，用户可以选择并直接操作虚拟对象，三维光标可以是人手的三维模型，输入设备的位置和方向被映射为虚拟手的位置和方向。
·三维Widgets
三维交互界面中的一些小工具。包括在三维空间中漂浮的菜单，
用于拾取物体的手的三维图标，平移和旋转指示器等。
·三视图输入
借助三视图输入技术，用而未输入设备在一定程度上实现三维的输入。
**********************************
多通道用户界面的基本特点
·使用多个感觉和效应通道
·允许非精确的交互
·三维和直接操纵
·交互的双向性
·交互的隐含性
·（包括各个方面的含义）
**********************************
眼动跟踪的基本原理
用红外摄像机摄取受试者眼睛图像，经过MPEG编码后送入计算机进行图像数据采集分析，实时计算出眼珠的水平和垂直运动的时间、位移距离、速度及瞳孔直径、注视位置。
瞳孔-角膜反射向量法（基于注视点）
通过固定眼摄像机获取眼球图像，利用亮瞳孔和暗瞳孔的原理，
提取出眼球图像内的瞳孔利用角膜反射法校正眼摄像机和眼球的相对位置，
把角膜反射点数据作为眼摄像机和眼球的相对位置的基点，
瞳孔中心坐标就表示视线的位置。
**********************************
语音识别
·目前主流的语音识别技术是基于统计的模式识别的基本理论，如下图所示：
语音识别系统的组成
·语音特征提取
1）从语音俆号中提取语音的特征，既可以获得语音的本质特征, 也起到数据压缩的作用。
2）输入的模拟语音信号首先要迚行预处理，包括预滤波、采样和量化、加窗、端点检测、预加重等。
·声学模型
1）声学模型对应于语音到音节概率的计算。
在识别时将输入的语音特征同声学模型（模式）进行匹配与比较，得到最佳的识别结果。
2）目前采用的最广泛的建模技术是隐马尔科夫模型HMM建模和上下文相关建模。
**********************************
人脸识别
AAM过程
·首先为人脸的形状和纹理分别进行建模得到各自的模型，
然后以一定方式结合形状和纹理模型，从而建立起可以描述整个人脸发化的统计外观模型。
·AAM识别人脸图像是使用了基亍优化算法进行搜索的基本思想，
将合成的模型人脸去匹配给出的目标人脸，
用之间的差异不断修正合成人脸，以使模型与目标人脸相适应，
最终形成反映目标人脸形状和纹理的合成模型图，从而得到人脸特征点的位置。
**********************************
联机手写识别
·联机手写文字的识别过程通常分为四个阶段：预处理、特征抽取、特征匹配和判别分析
第五章界面设计（重点）
任务分析
·用例图、序列图
·Eg：点餐系统
顾客：阅览菜品、点菜、查看已选菜品等操作
餐厅服务员：开台、加菜、查看订单等操作
第六章人机交互界面的表示模型（重点）
·行为模型
GOMS，UAN及LOTOS模型
·结构模型
状态转换网络和产生式规则
·模型转换
在人机交互界面表示模型中，
GOMS模型的主要作用是什么？
LOTOS模型的主要作用是什么？
UAN模型的主要作用是什么？
（1）GOMS模型的主要作用是：在交互系统中用来分析建立用户行为的模型。
它采用“分而治之”的思想，将一个任务进行多层次的细化。
（2）LOTOS模型的主要作用是通过用进程之间的约束关系来描述交互子任务之间的关系，复杂的进程行为由简单的行为表达式通过表示时序关系的LOTOS算符组合而成。（3）UAN模型的主要作用是描述最基本的原子操作。
其他题型：
·给出一个LOTOS模型，要求结合GOMS和LOTOS对某个任务进行描述
·用UAN模型描述某个原子任务的实现。
·利用由事件引导的系统的产生式规则描述某个交互任务的交互过程。
Eg：“画多边形”
·画出某一个交互过程的状态转换网络。
Eg：用鼠标点击中的圆画圆的过程。
·给出一个LOTOS或者GOMS模型，转换成状态转换网络。
整理 by 冰曜莲华
人机交互技术的发展与现状
人机交互技术的发展与现状 一.什么是人机交互技术？ 二.人机交互技术（Human-Computer Interaction Techniques）是指通过计算机输入、 输出设备，以有效的方式实现人与计算机对话的技术。人机交互技术包括机器通过输出或显示设备给人提供大量有关信息及提示请示等，人通过输入设备给机器输入有关信息，回答问题及提示请示等。人机交互技术是计算机用户界面设计中的重要内容之一。它与认知学、人机工程学、心理学等学科领域有密切的联系。也指通过电极将神经信号与电子信号互相联系，达到人脑与电脑互相沟通的技术，可以预见，电脑甚至可以在未来成为一种媒介，达到人脑与人脑意识之间的交流，即心灵感应。二. 人机交互技术的发展人机交互的发展历史，是从人适应计算机到计算机不断地适应人的发展史。 1959年美国学者B.Shackel从人在操纵计算机时如何才能减轻疲劳出发，提出了被认为是人机界面的第一篇文献的关于计算机控制台设计的人机工程学的论文。1960年，Liklider JCK首次提出人机紧密共栖（Human-Computer Close Symbiosis）的概念，被视为人机界面学的启蒙观点。1969年在英国剑桥大学召开了第一次人机系统国际大会，同年第一份专业杂志国际人机研究（IJMMS）创刊。可以说，1969年是人机界面学发展史的里程碑。在1970年成立了两个HCI研究中心：一个是英国的Loughbocough大学的HUSAT研究中心，另一个是美国Xerox公司的Palo Alto研究中心。 1970年到1973年出版了四本与计算机相关的人机工程学专着，为人机交互界面的发展指明了方向。 20世纪80年代初期，学术界相继出版了六本专着，对最新的人机交互研究成果进行了总结。人机交互学科逐渐形成了自己的理论体系和实践范畴的架构。理论体系方面，从人机工程学独立出来，更加强调认知心理学以及行为学和社会学的某些人文科学的理论指导；实践范畴方面，从人机界面（人机接口）拓延开来，强调计算机对于人的反馈交互作用。人机界面一词被人机交互所取代。HCI中的I，也由Interface(界面/接口)变成了Interaction(交互)。人机
仿生机器人关键技术
仿生机器人关键技术 “仿生机器人”是指模仿生物、从事生物特点工作的机器人。，涉及到机械设计、计算机、传感器、自动控制、人机交互、仿生学等多个学科。因此，机器人领域中需要研究的问题非常多。主要研究问题包括以下五个方面： 1 建模问题 仿生机器人的运动具有高度的灵活性和适应性。其一般都是冗余度或超冗余度机器人，结构复杂，运动学和动力学模型与常规机器人有很大差别，且复杂程度更大。为此，研究建模问题，实现机构的可控化是研究仿生机器人的关键问题之一。 2 控制优化问题 机器人的自由度越多，机构越复杂，必将导致控制系统的复杂化。复杂巨系统的实现不能全靠子系统的堆积，要做到整体大于组分之和，同时要研究高效优化的控制算法才能使系统具有实时处理能力。 3 信息融合问题 在仿生机器人的设计开发中，为实现对不同物体和未知环境的感知，都装备有一定量的传感器。多传感器的信息融合技术是实现其具有一定智能的关键。信息融合技术把分布在不同位置的多个同类或不同类的传感器所提供的局部环境的不完整信息加以综合，消除多传感器信息之间可能存在的冗余和矛盾，从而提高系统决策、规划、反应的快速性和正确性。 4 机构设计问题 合理的机构设计是仿生机器人实现的基础。生物的形态经过千百万年的进化，其结构特征极具合理性，而要用机械来完全仿制生物体几乎是不可能的，只有在充分研究生物肌体结构和运动特性的基础上提取其精髓进行简化，才能开发全方位关节机构和简单关节组成高灵活性的机器人机构。 5 微传感和微驱动问题 微型仿生机器人有些已不是传统常规机器人的按比例缩小，它的开发涉及到电磁、机械、热、光、化学、生物等多学科。对于微型仿生机器人的制造，需要解决一些工程上的问题，如动力源、驱动方式、传感集成控制以及同外界的通讯等。实现微传感和微驱动的一个关键技术是机电光一体结合的微加工技术。同时，在设计时必须考虑到尺寸效应、新材料、新、工艺等问题。
人机交互的未来论文(精)
虚拟的现实 ----人际交互的未来 序言:回顾人类的历史,人类生存空间中的信息最开始是存贮在纸张、大脑、物体等介质上。是计算机构建了一个01空间,它像一个有强大引力的黑洞,将人类生存空间中的各式各样的信息都逐渐吸进去变成010101,黑洞用这些010101通过一些基本运算产生新的010101, 并可将这些010101组成一些虚构的图象呈现在人们面前,甚至将人类生存的世界也开始建成010101的代码. 人机交互研究已经历了两个界限分明的时代,第一代是以文本为基础的交互, 如菜单、命令、对话等,难用且不灵活。第二代则是直接操作界面,它引出更自然的视觉通信交互。是交互多媒体集成方法,需要大量使用语言,自然语言和高级图形,也可使用其它交互媒体,如人的动作、手势和三维图像等. 随着虚拟技术的发展,在某一天图形用户界面也会被新的虚拟界面淘汰,新一代的用户界面将向用户提供身临其境和多感觉通道体验,在你烦恼的时候,想吹海风、听海浪、看雪山、小桥流水、将卧室的窗户推开,而不论你在哪里!计算机都将会为你完成这一切,计算机模拟人类感觉的世界而生成一种世界,这里的“世界”是指具有真实感的立体图形,它既可以是某种特定现实世界的真实再现,也可以是纯粹构想的世界。操作者可以通过视觉、听觉、触觉、力觉等与之交互,从而能产生“身临其境”场景. 简介:这种虚拟的现实是以用户对界面的需求变化为出发点,使用户界面的外在形式和内部机制能符合不同用户的需要,这就是以用户为中心的设计思想。非特定人的连续语音识别技术将使计算机能理解人们的要求,是一种重要的输入界面和手段。现在我们已经有的鱼眼技术使屏幕观察(或光标位置附近的内容被放大,便于用户观察。在传统的人机系统中,人被认为是操作者,人去适应机器;在一般的人机系统中,人被称为用户,能与机器对话,但无主动控制能力;而在虚拟现实系统中,人才是主动的参与者,机器将对人的各种动作做出反应。
(完整word版)第五代移动通信的关键技术
第五代移动通信的关键技术 5G 是面向未来的通信发展需求的移动通信系统，第五代移动通信技术兴起的主要驱动力为互联网和物联网，将来人机交互和数据共享是人们日常生活的一部分，在这种交互下，人们的生活将会更加高效舒适。第五代移动通信系统不仅通信容量大，速率高，其可靠性和安全性也比第四代移动通信有了更好的改进，具有很大的发展空间，下面简单介绍几种第五代移动通信的关键技术。 1.Massive MIMO技术 大规模MIMO技术是指基站端采用大规模天线阵列，天线数超过十根甚至上百根，并且在同一时频资源内服务多个用户的多天线技术。大规模MIMO技术将传统的时域、频域、码域三维扩展为了时域、频域、码域、空域四维，新增维度极大的提高了数据传输速率。大规模MIMO天线技术提供了更强的定向能力和赋形能力如图1，大规模MIMO的空间分辨率与现有MIMO相比显著增强，能深度挖掘空间维度资源，使得网络中的多个用户可以在同一时频资源上利用大规模MIMO提供的空间自由度与基站同时进行通信，从而在不需要增加基站密度和带宽的条件下大幅度提高频谱效率。大规模MIMO可将波束集中在很窄的范围内，从而大幅度降低干扰，大幅降低发射功率，从而提高功率效率，减少用户间干扰，显著提高频谱效率。 当基站侧天线数远大于用户天线数时，各个用户的信道将趋于正交，小区内同道干扰及加性噪声趋于消失，系统性能仅受限于邻区导频的复用，这使得系统的很多性能都只与大尺度相关，与小尺度无关。大规模MIMO的无线传输技术将有可能使频谱效率和功率效率在4G 的基础上再提升一个量级。 图1. 大规模MIMO天线技术方向图
2. 非正交多址接入技术（NOMA） 5G的无线接入技术目前还有的观点关注多载波调制，如滤波器组多载波（FBMC，_ lter _bank based multicarrier），其天然的非正交性和不需要先前的分布式发射机同步。一种新的调制方式，被称为通用滤波后的多载波（UMFC）被提出。开始是OFDM信号，通过滤相邻子载波组，以减少时间/频率同步造成的旁瓣水平和载波间干扰。要解决OFDMA正交的时间窗口的缺点，即需要较大的保护带CP，使用多载波滤波器组就可以允许大的传输时延和任意高的频率补偿。日益发展的软件无线电，FFT块的大小，子载波间隔和CP长度可根据信道条件改变。因此，OFDMA允许一些参数可调，可以很好地适应5G的要求。 3. 射束分割多址技术（BDMA） 有限的频谱资源对于移动和无线技术而言是一个重大的挑战，即如何把有限的频率和时间分配给不同用户。由于这个情况，要实现提高系统的容量和质量，目前使用的多址技术包括频分多址（FDMA）、时分多址（TDMA）、码分多址（CDMA）、正交频分多址（OFDMA）等。然而，现在使用的所有多址技术中，通信系统容量依赖于时间和频率。如何发展多址接入系统，提高有限频率的系统容量是一个新的挑战。 目前发明的BDMA技术，根据MS的位置分配天线波束，实现多址接入，从而显著增加系统的容量。按此观点，MS和基站在视距（LOS）的状态，因此他们明确知道彼此的位置。在此条件下，他们能够将波束直接传送到彼此的位置以通信，而不受移动台在小区边缘的干扰。 为了在5G中适应BDMA，就要发展相位阵列天线，智能天线要能够调整波束。调整波束天线通过收集从基站和MS到达角（AOA）信息设置无线配置。自适应天线阵列的使用，是提高能力的一个可能性。 4. 全频段技术 5G网络通信技术将会以智能化、宽带化和多元化为主要的发展方向。未来网络数据业务的发展方向主要在热点密集地区和室内，而当前网络数据的流量如果在少数人使用状态下不存在延迟、低网速等问题，但一旦放开使用用户数量，网络延迟和网络速度都将会是一个巨大的问题，而物联网和智能终端所依赖的移动通信网络将会处于堵塞状态，很难发挥物联网和智能终端的优势。目前5G移动通信技术所研究的超密集组网，可以针对高度使用移动数据的地区提升流量容量1000倍，很好的解决了网络数据使用密集地区的数据传输和数据容量问题。该技术的发展，虽然在数据流量方面提升率非常高，但是由于其拓扑结构也更加复杂，各网络之间的信号干扰也是一个很大的麻烦，大家都知道一旦同一个区域的无线网络过多，就会相互之间产生干扰，影响网络的传输。因此，该技术还需要进一步的研究以适用
人机交互的新进展
人机交互的新进展 刘强 摘要：本文阐述了人机交互的概念和地位，分析了当前人机交互领域的一些进展情况。 关键词：人机交互；识别技术；感知；融合；Virtual Reality(虚拟现实)； 1人机交互的概念和地位 人机交互，简单来说，就是人类与计算机交流互动。两者之间有这样一个传导链：通过人机接口技术，使人能够与计算机发生联系;而计算机则通过一种界面，使人能了解联系后的效果。 人机交互是计算机系统的重要组成部分，是当前计算机行业竞争的焦点，它的好坏直接影响计算机的可用性和效率。计算机处理速度和性能的迅猛提高并没有相应提高用户使用计算机交互的能力，其中一个重要原因就是缺少一个与之相适应的高效、自然的人-机界面。人机交互是未来IT的核心技术，也是目前国际上计算机科学研究领域中的一个热点。随着计算机在人们日常生活和工作中的作用越来越大，人机交互技术变得越来越重要。 2 人机交互的现状 目前，在国际上人机交互研究的内容主要包括以下几个方面：单一模式的识别技术研究；多模式人机交互技术研究；多感知信息的融合机理研究等。其中，最重要的是多模式人机交互技术研究和多感知信息的融合机理研究。 2.1 多模式人机交互 多模式人机交互实际上是人与人之间的交互的模拟。它的目标是将人与人之间的自然交互方式移植到人与计算机的交互中，即将人的各种行为通过键盘、鼠标、麦克风及摄像机等转换成计算机能感知到的位置、运动及听觉、视觉等信息。感知过程是人机交互的基础，但其实现也是非常困难的。特别是视觉感知部分尚未很好地得到解决，在处理诸如人体感知、手势识别、表情识别等感知行为时，目前的技术尚处于实验室研究阶段。 多模式人机交互的研究主要包括以下几个部分： 2.1.1语音识别技术 通过语音与计算机交互是人机交互过程中最自然的一种交互方式，也是未来最被看好的人机交互方式。目前，在此领域内可用的技术包括：语音识别、自然语言理解、自然语句的生成及自然语言对话等。语音识别的研究工作可以追溯到20世纪50年代贝尔实验室的Audry系统，此后研究者们逐步突破了大词汇量、连续语音和非特定人这三大障碍。目前，国内外已经出现了一些商业化的产品，比如语音识别在身份确认上的应用，准确率已经达到99%，一句“芝麻开门”打开房门已经不是传说。 2.1.2手势识别技术 在人与人之间的交互过程中，手势一般是伴着语音同时进行的。在语言交流存在困难的情况下，手势的理解是非常重要的。而在大部分场合下，手势是对语言交互的补充。比如，我们在介绍一个物体的模糊的大小时，往往要利用手势。在人机交互过程中，手势分为两种：一种是基于笔输入的二维手势，另一种是真正用手作出的三维手势。目前比较常用的是基于笔输入的手势，这是因为这种手势的识别处理相对容易一些。而三维手势，由于计算机视觉技术存在的困难，目前实用化的系统不多。有些系统虽然采用了三维手势技术，但大多是利用数据手套完成的。而这一方面系统成本较高，另一方面，交互起来也不自然。最近，在ieee的模式识别与机器智能杂志上，连续发表了几篇有关三维手势的识别研究，他们采用的方法主要有隐马尔可夫模型（hmm）及彩色petri网模型。 2.1.3人脸识别技术 表情是人类交流信息的一种重要手段。因此，表情识别可以大大增强计算机的友好程度，提高其智能感知水平。另外，人脸的方向、人眼的跟踪都表达着交互的信息。视点的变化既能反映心理活动，又能反映注意方向，正所谓眼睛是心灵的窗户。通过视点跟踪，可以检测目光在屏幕上的所及之处，并作出恰当的响应。这尤其可帮助某些行动不便的残疾人使用计算机。因此，有关人脸的研究，在新一代人机交互中非常重要。相应的
人机交互软件工程方法期末考试大作业申请及试卷
《人机交互软件工程方法》期末考试大作业申请 根据《人机交互软件工程方法》课程特点和教学基本要求，本课程希望学生能够较全面地学习有人机交互的基本理论和实用技术，掌握各种交互设备及其工作原理，人机交互技术，人机界面设计方法及其表示模型和实现方法。着重培养学生应用所学知识分析解决实际问题的动手能力、实践能力与创新能力。因此申请2018-2019（2）学期课程《人机交互软件工程方法》期末考试采取大作业项目设计的形式。 考试班级：16计科软件班 考试课程：人机交互软件工程方法 申请人：肖锋 2019.5.6
课程成绩说明 本课程最终成绩由平时成绩及期末大作业成绩组成，具体评分标准如下：1.平时成绩由实验成绩、平时作业及考勤成绩综合给出。其中： 实验成绩：需按照实验要求完成实验内容并提交实验报告，实验一共8次，每次5分，满分40分； 平时作业：根据平时作业提交及完成情况给出，满分20分。 考勤成绩：根据平时考勤记录给出，满分40分。 2.期末大作业成绩采取百分制，根据学生提交大作业的内容的完成情况进行评 分。 3.课程最终成绩采取百分制，60分及格，由平时成绩与大作业成绩加权计算得 出，平时成绩与大作业成绩各占总成绩的30%和70%。 课程大作业 大作业内容共四道题，要求见大作业试卷。 大作业要求：提交项目设计方案及程序代码，设计方案需条理清晰，格式齐整，程序代码需完整可运行。 提交时间及方式：提交设计方案电子档及程序源代码，第18周周四提交，由班干部收齐后统一提交。
学院数学与计算机科学出卷教师肖锋系主任签名 制卷份数专业计算机班级编号 江汉大学2018 ——2019 学年第2 学期 考试试卷 课程编号： 410802046 课程名称：《人机交互软件工程方法》试卷类型：项目设计考试形式：大作业考试时间：十八周周四提交一、考试说明 根据课程特点，考试采取大作业形式。为了考试学生的对课程基本理论、基本知识点的考察，要求学生完成项目设计的基本要求；同时，为了充分发挥学生的自我能动性、积极性、创造性，要求学生在满足基本要求的前提下，可以根据个人的能力充分发挥。 二、考核内容及评分标准 1.窗体程序界面设计 要求设计一个窗体程序界面，完成一个简单的计算器功能（实现加减乘除运算）。编程语言及编译环境任选（建议使用VS平台及C#），提交详细的项目设计文档及程序工程文件。 设计要求： 项目设计文档需调理清晰，格式齐整。完整地说明窗体设计的模型、窗体设计时考虑的人机交互原则，以及程序模块的具体设计关键代码的说明。 其中重点需要给出如下内容： ●画出任务设计的用例图及程序中各个界面视图的关联关系。 ●需利用GOMS划分设计程序的任务分解图，并利用LOTOS描述认为之 间的约束关系。 评分标准： ?程序界面正常运行：（5分）。 ?项目设计文档需调理清晰，格式齐整（5分）。 ?凸显方案的核心技术、步骤、以及人机交互界面的设计遵循的原则
项目名称人机交互力反馈遥操作机器人关键技术及应用
项目名称：人机交互力反馈遥操作机器人关键技术及应用 完成人：宋爱国，宋光明，李会军，唐鸿儒，崔建伟，赵国普，徐宝国，吴涓，李建清，卢伟，包加桐 完成单位：东南大学，扬州大学 项目简介： 人机交互力反馈遥操作机器人系统将人的知识智慧与机器人的适应性相结合，通过人与机器人之间传感与控制信息的交互，可以实现各种远地环境或危险环境中的复杂作业任务，是当前各发达国家竞相发展的高技术。随着人机交互遥操作机器人在远程作业、远程监控、远程制造、远程医疗等领域的应用，迫切需要解决多个技术难题与技术瓶颈。本项目针对人机交互力反馈遥操作机器人的力感知、力反馈、大时延控制和人机交互界面设计等关键技术，经过十多年系统深入的研究，突破了多项核心技术，研制成功人机交互遥操作的关键支撑设备，填补了国内空白，并在多个重要领域得到成功应用。 本项目的技术创新点：（1）提出了一种自解耦的机器人多维力传感器的敏感单元设计方法，从传感器的结构设计上有效降低了多维力传感器的维间耦合效应；提出了一种基于误差建模的多维力传感器解耦算法，提高了多维力传感器的测量精度，测量精度可达1%F.S.。（2）提出了一种基于磁流变液控制的无源力觉再现方法，解决了大量程力反馈人机交互设备的体积大、惯性大与不安全问题，实现了大量程安全柔性的力触觉人机交互。提出了一种基于并联机构的异构式机器人力反馈手控器设计方法，解决了力反馈手控器三维平动和三维转动之间运动与力的耦合问题，六维运动位置测量精度达1%F.S.，力反馈精度达2%F.S.。（3）针对人机交互力反馈遥操作机器人在双边通讯环节上存在的短时延（≤2 秒）造成的不稳定问题，提出了力反馈遥操作机器人的多模式控制技术和自适应阻抗匹配无源控制算法，解决了短时延情况下力反馈遥操作机器人的稳定性和操作性问题；针对人机交互力反馈遥操作机器人在双边通讯环节上存在的大时延（>2 秒）造成的不稳定难题，提出了基于虚拟环境建模的力反馈遥操作机器人预测控制技术，给出了基于滑动最小二乘法的环境动力学参数在线辨识算法和模型滚动修正方法，解决了大时延情况下力反馈遥操作机器人稳定性和操作性问题。（4）提出了以提高人的感知能力为目标的交互式力反馈遥操作机器人的多感知界面设计方法，并针对人机交互界面力触觉感知与视觉感知的协调同步问题，提出了一种分布式力触觉交互的快速计算算法和无源稳定性判据，实现了多感知通道人机交互方式下具有力觉临场感的遥操作。 本项目获国家发明专利授权33项；获实用新型专利授权5项；获计算机软件著作权2项。发表论文186，其中SCI收录65篇，EI收录107篇，论文被他人引用1200多次，其中SCI他引375次，并在国际遥控机器人会议上作大会特邀报告。本项目相关成果曾获2010年国家知识产权局中国专利优秀奖、2012年与2013年日内瓦国际发明金奖等。
现代人机交互技术最新情况
现代人机交互技术最新情况 普适计算 1.IBM研发的BlueBoard （蓝板）技术,BlueBoard是一片薄薄的屏幕板，使用者只用其胸前挂着的看上去与普通员工卡没什么两样的小卡片，对准蓝板一下，就可以显示出其个人主页及定制好的其它内容。其后的一切操作和任务都只靠使用者的手指在蓝板上指指划划就全部搞定了，包括查阅资料、共享文件、与同事实时互传信息、发送指令、布置任务、协同工作等。 2. Informedia 数字图书馆系统，Informedia采用了多模态输入方式，用户 可以用语音提出查询请求。当用户要求从数据库中查找指定的电视新闻资料时，系统将根据用户的请求返回相应的视频片段。In formedia集成了语音、图像和自然语言理解技术，在目前的原型系统中，系统可以自动地分析视频数据，从中提取出摘要信息并编加索引。视频数据的分析过程结合了针对视频的镜头检测、 图像分析，以及字幕文本（Close Caption ）和伴音信息分析。与仅采用单一模态数据的分析方法相比，这种合成方式能够更好地提取视频的语义。 3. MIT的Galaxy系统,Galaxy系统向人们展示了系统如何与用户相协调， 从而提供对多种异构数据源的无缝访问。对于用户的请求，系统不仅仅是返回来 自各方面的答案，而且还尽可能地找出不同领域中的相关答案，并根据用户感兴趣的程度排序。随后，用户与系统进行更进一步的对话，最终获得尽可能准确的结果。这种带有联想性质的交互过程使得用户感觉不是在跟一个死板的计算机系 统打交道，而是与一个聪明的代理人交互。 可穿戴计算 从谷歌、苹果、RIM相继发布的智能眼镜系列产品，到Fitbit 、Jaw bone、耐克相继推出的智能腕带，可穿戴计算逐步成为了IT界的热词。iwatch，可以 给智能手机和其他小型电子产品充电的太阳能比基尼，随行键盘牛仔裤，可以使聋人和盲人发送短信的移动框架手套，能更新Facebook状态的社交牛仔裤，能在衣服上呈现任何图案的内置电流回路K服饰，可以打电话的移动手套，电子鼓机T恤，乐器节拍手套，能通过行走的热能给智能手机充电的充电鞋，对饮食和睡眠状态进行跟踪的智能腕带,,,可穿戴计算设备层出不穷，不断丰富着新一代IT产品市场。盛大、百度等企业也不甘落后，近期已相继出手，分别推出了geak智能手表和咕咚健康手环等产品。 多点触控 1. 微软:Surface电脑,5月，《华尔街日报》的“ D:AII Things Digital ”会议上，微软演示了一种Surface Computing（表面计算）技术，并由此组建了一个
智能机器人关键技术及其发展趋势
智能机器人的关键技术及其发展趋势 机器人是自动执行工作的机器装置。它既可以接受人类指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动。按联合国标准化组织采纳了美国机器人协会给机器人下的定义，即为：一种可编程和多功能的，用来搬运材料、零件、工具的操作机；或是为了执行不同的任务而具有可用电脑改变和可编程动作的专门系统。 而智能机器人有相当发达的“大脑”。在脑中起作用的是中央计算机，这种计算机跟操作它的人有直接的联系。它给人的最深刻的印象是一个独特的进行自我控制的“活物”。其实，这个自控“活物”的主要器官并没有像真正的人那样微妙而复杂。到目前为止，在世界范围内还没有一个统一的智能机器人定义。大多数专家认为智能机器人至少要具备以下三个要素：一是感觉要素，用来认识周围环境状态；二是运动要素，对外界做出反应性动作；三是思考要素，根据感觉要素所得到的信息，思考出采用什么样的动作。 智能机器人根据其智能程度的不同，又可分为三种： 传感型机器人，又称外部受控机器人。机器人的本体上没有智能单元只有执行机构和感应机构，它具有利用传感信息（包括视觉、听觉、触觉、接近觉、力觉和红外、超声及激光等）进行传感信息处理、实现控制与操作的能力。受控于外部计算机，在外部计算机上具有智能处理单元，处理由受控机器人采集的各种信息以及机器人本身的各种姿态和轨迹等信息，然后发出控制指令指挥机器人的动作。目前机器人世界杯的小型组比赛使用的机器人就属于这样的类型。 交互型机器人，机器人通过计算机系统与操作员或程序员进行人－机对话，实现对机器人的控制与操作。虽然具有了部分处理和决策功能，能够独立地实现一些诸如轨迹规划、简单的避障等功能，但是还要受到外部的控制。 自主型机器人，在设计制作之后，机器人无需人的干预，能够在各种环境下自动完成各项拟人任务。自主型机器人的本体上具有感知、处理、决策、执行等模块，可以就像一个自主的人一样独立地活动和处理问题。机器人世界杯的中型组比赛中使用的机器人就属于这一类型。全自主移动机器人的最重要的特点在于它的自主性和适应性，自主性是指它可以在一定的环境中，不依赖任何外部控制，完全自主地执行一定的任务。适应性是指它可以实时识别和测量周围的物体，根据环境的变化，调节自身的参数，调整动作策略以及处理紧急情况。交互性也是自主机器人的一个重要特点，机器人可以与人、与外部环境以及与其他机器人之间进行信息的交流。由于全自主移动机器人涉及诸如驱动器控制、传感器数据融合、图像处理、模式识别、神经网络等许多方面的研究，所以能够综合反映一个国家在制造业和人工智能等方面的水平。因此，许多国家都非常重视全自主移动机器人的研究。 下面就机器人的控制技术以及列举几种常见的机器人对当前智能机器人的关键技术进行分析。
2020年人机交互畅想
2020年人机交互畅想 一、人机交互的现状 自苹果公司推出装配有独特的iOS操作系统的iPhone、iPad、iPod touch系列高端电子产品之后，21世纪的不分国别和种族的人们得以亲身体验高科技带来前所未有的感官体验。iOS系统正是采用了可支持更复杂姿势识别的多触点电容式触摸屏技术，以及基于传感器的捕捉用户意图的隐式输入技术。这些新技术的使用寓意着人机交互技术在不久的将来必将成为IT行业的后起之秀，它给人类社会带来的变革将会是历史性和革命性的。因此，人机交互必将拥有广阔的发展前景。 目前，人机交互技术正处于多通道、多媒体的智能人机交互阶段。苹果公司推出的系列产品也足以说明该阶段已经取得了一定的研究成果。多通道技术方面，“汉王笔”手写汉字识别系统、微软的Tablet PC 操作系统中数字墨水技术、广泛应用于Office/XP的中文版等办公、应用软件中的IBM/Via V oice连续中文语音识别系统、以摄像机、图像采集卡作为输入设备的手势识别技术等都是在该领域具有代表性的研究成果；多媒体技术方面，触摸式显示屏实现的“桌面”计算机、能够随意折叠的柔性显示屏制造的电子书、从电影院搬进客厅的3D显示器、使用红绿蓝光激光二极管的视网膜成像显示器等也都是在该领域具有代表性的新产品。 基于现阶段，人们在人机交互领域所取得的成就以及人们对未来人机交互的高度期待，我们应该不难得到这样的论断：未来的更先进
的人机交互技术的可操作性将更加简洁，实用性更加完善，更易为普通用户接受以及熟练使用，更加友好的人机界面能给用户带来超越功能和形式的束缚，享受更积极、美好、和谐的生活乐趣。 二、人机交互技术畅想 首先，何为人机交互？ 简单来说，人机交互就是人类与计算机的交流互动。如上所述，如今的人机交互技术正处于起步阶段，对于更普通的用户来说，其操作仍然是复杂难懂的，并且也还没达到很高的智能化。在我的畅想中，2020年的人机交互技术将在给人们带来的视觉冲击、体感交互、语音交互等方面取得很大的进步。 视觉冲击： 2010年电影《阿凡达》上映接近尾声之时，索尼公司在中国首次展出了3D电视机，给大家带来了极大的视觉冲击，它实现了将3D 技术从电影院搬进了客厅。随后，夏普公司也推出了裸眼3D手机，这使得3D技术得以通过移动设备加以普及和运用。但是，这些都还是局限于有形的设备上技术。2020年，人机交互不再是局限于有形的设备，而更多的是基于虚拟设备。可以想象一下，每天回到家中，当你想看电视节目的时候，你要做的只是说一句简单的口令：“我要看电视。”然后你的语音信息将通过传感器传递到智能家庭设备控制中心，通过语音识别系统分析执行指令，并将下一步运行指令下达到
人机交互实验报告
实验一： 实验名称最新人机交互技术 实验目的了解最新人机交互的研究内容。 实验内容通过网络查询最新人机交互相关知识。 1、在百度中找到“最新人机交互视频”的相关网页，查看视频。 2、什么是eTable 。 3、人机交互技术在各个领域的应用。 实验二： 实验名称立体视觉 实验目的掌握立体视觉的原理。 实验内容通过网络查询立体视觉相关知识。 1、在虚拟环境是如何实现立体视觉？ 2、3D和4D电影的工作原理。 实验三： 实验名称交互设备 实验目的掌握常用的交互设备的工作原理如键盘、鼠标、显示器、扫描仪。 实验内容通过网络查询人机交互设备相关知识。 1、重点查找液晶显示器和扫描仪的工作原理和方法 2、什么是数字纸？工作原理是什么？ 实验四： 实验名称虚拟现实系统中的交互设备 实验目的掌握虚拟现实系统中人机交互设备的工作原理和方法。 实验内容通过网络查询人机交互设备相关知识。重点查找虚拟现实中使用的交互设备和较新的交互设备的工作原理和方法，如：数据手套、三维鼠标、空间跟踪定位器、触觉和力反馈器、头盔式显示器等。（实验报告中写出3种以上） 实验五： 实验名称人机交互界面表示模型 实验目的掌握人机交互界面表示模型中的GOMS、LOTOS和UAN的方法。 实验内容1、简述GOMS和LOTOS表示模型的方法。 2、结合GOMS和LOTOS对任务“中国象棋对弈”进行描述。 3、UAN描述“文件拖入垃圾箱”。 实验六： 实验名称WEB界面设计 实验目的掌握WEB界面设计的原则，了解页面内容、风格、布局、色彩设计的方法。
实验内容1、找到三种类型的网站：旅游景区、购物网站、政府部门网站，每种类型找三个以上网站，总结功能、布局、风格、色彩设计有什么相同和不同。 实验七： 实验名称移动界面设计 实验目的掌握移动界面设计的原则。 实验内容比较移动界面设计与WEB界面设计有什么相同和不同。 实验八： 实验名称可用性分析与评估 实验目的掌握可用性分析与评估的方法。 实验内容对某个网上银行进行可用性分析与评估（银行自定）。 辅导教师成绩
人机交互技术的发展与现状定稿版
人机交互技术的发展与 现状精编W O R D版 IBM system office room 【A0816H-A0912AAAHH-GX8Q8-GNTHHJ8】
人机交互技术的发展与现状 一. 什么是人机交互技术 二. 人机交互技术（Human-Computer Interaction Techniques）是指通过计算机输 入、输出设备，以有效的方式实现人与计算机对话的技术。人机交互技术包括机器通过输出或显示设备给人提供大量有关信息及提示请示等，人通过输入设备给机器输入有关信息，回答问题及提示请示等。人机交互技术是计算机用户界面设计中的重要内容之一。它与认知学、人机工程学、心理学等学科领域有密切的联系。 也指通过电极将神经信号与电子信号互相联系，达到人脑与电脑互相沟通的技术，可以预见，电脑甚至可以在未来成为一种媒介，达到人脑与人脑意识之间的交流，即心灵感应。二.人机交互技术的发展人机交互的发展历史，是从人适应计算机到计算机不断地适应人的发展史。 1959年美国学者B.Shackel从人在操纵计算机时如何才能减轻疲劳出发，提出了被认为是人机界面的第一篇文献的关于计算机控制台设计的人机工程学的论文。1960年，Liklider JCK首次提出人机紧密共栖（Human-Computer Close Symbiosis）的概念，被视为人机界面学的启蒙观点。 1969年在英国剑桥大学召开了第一次人机系统国际大会，同年第一份专业杂志国际人机研究（IJMMS）创刊。可以说，1969年是人机界面学发展史的里程碑。在1970年成立了两个HCI研究中心：一个是英国的Loughbocough大学的HUSAT研究中心，另一个是美国Xerox公司的Palo Alto研究中心。 1970年到1973年出版了四本与计算机相关的人机工程学专着，为人机交互界面的发展指明了方向。 20世纪80年代初期，学术界相继出版了六本专着，对最新的人机交互研究成果进行了总结。人机交互学科逐渐形成了自己的理论体系和实践范畴的架构。理论体系方面，从人机工程学独立出来，更加强调认知心理学以及行为学和社会学的某些人文科学的理论指导；实践范畴方面，从人机界面（人机接口）拓延开来，强调计算机对于人的反馈交互作用。人机界面一词被人机交互所取代。HCI中的I，也由
人机交互实验作业
实验一图形用户界面的设计 一实验目的和要求 1) 熟悉图形用户界面的设计原则 2) 利用一种设计工具完成图形化的用户界面设计 二预备知识 图形用户界面又称为WIMP界面，由窗口(windows)、图标(icons)、菜单(menu)、指点设备(pointing device)四位一体，形成桌面(desktop) ，如图所示。 WIMP界面 用 户 手 眼 击键/指点 窗口、图标 菜单、文本 应用例程 图形用户界面是当前用户界面的主流，广泛应用于各档台式微机和图形工作站。图形用户界面的共同特点是以窗口管理系统为核心，使用键盘和鼠标器作为输入设备。窗口管理系统除了基于可重叠多窗口管理技术外，广泛采用的另一核心技术是事件驱动(event-driven)技术。 WIMP界面可看作是第二代人机界面，是基于图形方式的人机界面。在WIMP界面中，人被称为用户，人机通过对话进行工作。用户只能使用手这一种交互通道输入信息，通过视觉通道获取信息。在WIMP界面中，界面的输出可以为静态或动态的二维图形或图像等信息。 这种方式能同时输出不同种类的信息，用户也可以在几个工作环境中切换而不丢失几个工作之间的联系，通过菜单可以执行控制型和对话型任务。由于引入了图标、按钮和滚动条技术，大大减少键盘输入，提高了交互效率。基于鼠标和图形用户界面的交互技术极大地推动了计算机技术的普及。 (1)图形用户界面的三个重要思想 1）桌面隐喻(desktop metaphor) 指在用户界面中用人们熟悉的桌面上的图例清楚地表示计算机可以处理
的能力。隐喻的表现方法:静态图标、动画、视频 2）所见即所得(What You See Is What You Get，WYSIWYG) 显示的用户交互行为与应用程序最终产生的结果是一致的。 3）直接操纵(direct manipulation) 直接操纵是指可以把操作的对象、属性、关系显式地表示出来，用光笔、鼠标、触摸屏或数据手套等指点设备直接从屏幕上获取形象化命令与数据的过程。直接操纵的对象是命令、数据或是对数据的某种操作。 (2)设计图形用户界面的原则 1) 一般性原则：界面要具有一致性、常用操作要有快捷方式、提供简单的错误处理、对操作人员的重要操作要有信息反馈、操作可逆、设计良好的联机帮助、合理划分并高效地使用显示屏、保证信息显示方式与数据输入方式的协调一致 2) 颜色的使用：颜色是一种有效的强化手段，同时具有美学价值。使用颜色时应注意如下几点：限制同时显示的颜色数；画面中活动对象的颜色应鲜明，而非活动对象应暗淡；尽量避免不相容的颜色放在一起，如黄与蓝，红与绿等，除非作对比时用；若用颜色表示某种信息或对象属性，要使用户理解这种表示，并尽量采用通用的表示规则。 3)图标的设计：图标是可视地表示实体信息的简洁、抽象的符号。图标设计是方寸艺术，需要在很小的范围内表现出图标的内涵。设计图标时应该着重考虑视觉冲击力，要使用简单的颜色，利用眼睛对色彩和网点的空间混合效果，做出精彩图标。 4）按钮的设计：设计按钮应该具有交互性，应该有3到6种状态效果(点击时的状态、鼠标放在上面但未点击的状态、点击前鼠标未放在上面时的状态、点击后鼠标未放在上面时的状态、不能点击时的状态、独立自动变化的状态)，按钮应具备简洁的图示效果，应能够让使用者产生功能上的关联反应。属于一个群组的按钮应该风格统一，功能差异大的按钮应该有所区别。 5）屏幕布局的设计：设计屏幕布局(Layout)时应该使各功能区重点突出,应遵循如下几条原则：平衡原则、预期原则、经济原则、顺序原则、规则化6）菜单界面的设计：菜单在图形界面的应用程序中使用得非常普遍，是软
人机交互技术实验四
重庆邮电大学移通学院学生实验报告
实验二：理解设计风格与原则 一、实验目的 （1）熟悉人机交互的风格，掌握人机交互设计的基本原则 （2）了解Windows“辅助功能选项”的人文设计 二、工具/准备工作 需要准备一台带有浏览器，能够访问因特网的计算机。 三、实验内容与步骤 1.知识扩展 硬件人机界面的发展以人类社会的三次技术革命作为分水岭。在发展过程中，出现了许多对后人有着重大影响的设计思潮和流派。请通过因特网搜素，来了解和学习其中的一些内容，并简述记录之。 （1）工艺美术运动：“工艺美术”运动的根源是当时艺术家们无法解决工业化带来的 问题，企图逃避现实，隐退到中世纪哥特时期。运动否定了大工业化与机械生产，导致它没有可能成为领导潮流的主要风格。从意识形态来看，它是消极的但是它却给后来设计家提供了参考，对“新艺术运动”有着深远的影响。因此，这场运动虽然短暂，但在设计史上依然是非常重要的，值得认真研究的。 （2）新艺术运动：是19世纪末20世纪初在欧洲和美国产生并发展的一次影响面相当 大的“装饰艺术”的运动，是一次内容广泛的、设计上的形式主义运动，涉及十多个国家，从建筑、家具、产品、首饰、服装、平面设计、书籍插画一直到雕塑和绘画艺术都受到影响，延续长达十余年，是设计史上一次非常重要的形式主义运动。这场运动实质上是英国“工艺美术运动”在欧洲大陆的延续与传播，在思想理论上并没有超越“工艺美术运动”。新艺术运动主张艺术家从事产品设计，以此实现技术与艺术的统一. （3）德意志制造联盟：德国在19世纪末期的工业水平迅速赶上了老牌资本主义国家 的英国、法国，居于欧洲第一位。德国在上升期不仅要求进一步工业化，而且希望成为工业时代的领袖。为了使后起的德国商品能够在国际市场上与英国抗衡，企业家、艺术家和技术人员组成了全国性的组织──德意志制造联盟，目的在于提高工业制品的质量以求达到国际水平.
人机交互发展状况深度分析及前景预测分析汇总
人机交互发展状况深度分析及前景预测分析 一、人机交互概念 人机交互（Human-ComputerInteraction，HCI）主要是研究用户与系统之间的信息交换，它主要包括用户到系统和系统到用户的信息交换两部分。系统可以是各种各样的机器，也可以是智能电视机、智能手机以及计算机系统和软件。用户可以借助操纵杆、数据服装、眼动跟踪器、位置跟踪器、数据手套、压力笔等各类穿戴设备，用手势、声音、姿势或身体的动作、眼睛甚至脑电波等向系统传递信息，同时，系统通过各类机器、显示器、音箱等输出或显示设备给人提供信息。 理想状态下，人机交互将不再需要依赖机器语言，在没有键盘、鼠标以及触摸屏等中间设备的情况下，实现随时随地实现人机的自由交流。从而实现人们的物质世界和虚拟网络的最终融合。 从本质上，人机交互技术是一个典型的模式识别问题，智能机器通过多种传感器，获取人的表情、姿态、手势、语音、语调、血压、心率等各种数据，结合当时的环境、语境、情境等上下文信息，识别和理解用户的情感。这包括传感器技术、计算机科学、认知科学、人机工程学、多媒体技术和虚拟现实技术、心理学、哲学以及人类学等诸多学科领域有密切的联系。 二、人机交互发展阶段 从以设备为主到忽略设备存在，是人机交互的基本发展思路。交互建立初始，从按键到触控屏的转变是关键，重点是提高触控性能和扩大触控范围；同时显示质量从VGA至UHD （4K）；工业设计方面则是更纤薄的曲面显示。之后，专注于用户的个性化交互还是被广泛应用，变革的标志是密码的使用正在减少，取而代之的是生物识别（用户独有的特征）。这将推动移动支付的普及，但仍需要协调银行，支付机构，商家，技术提供商等各个环节，因此需要FIDO（线上快速身份验证）联盟来制定标准。接下来，专注于环境的情景识别交互是必然趋势，这个阶段的目标是让设备能够了解环境情况，能够预知用户的潜在需求。这需要不同类型的传感器一起工作，增强现实感。最终，个人设备将退居幕后，甚至消失在信息基础设施中，取而代之的是纤巧尺寸的传感器将无处不在。这是通过全方位感知来获得终极用户体验的阶段。 三、人机交互产业链
人机交互实验报告
中北大学软件学院实验报告 专业：软件工程 方向：电子商务 课程名称：人机交互基础教程 班级：1021010C01 学号： 姓名： 辅导教师：李玉蓉 2012年2月制
成绩： 实验时间年月日时至时学时数 1.实验名称 最新人机交互技术 2.实验目的 了解最新人机交互的研究内容 3.实验内容 通过网络查询最新人机交互相关知识。 1、在百度中找到“最新人机交互视频”的相关网页，查看视频。 2、什么是eTable 。 3、人机交互技术在各个领域的应用 4. 实验原理及流程图
成绩： 5.实验过程或源代码 Etable是一种多功能电脑桌，集时尚、实用、经济于一“桌”，无论是居家卧室，还是出差旅途，都可以提供一个舒适、惬意的网上时光，部件有：多角度调节桌面、2个风扇、1个USB插口、1个活动USB插头、鼠标垫、桌腿可调节长度。 人机交互技术的发展极大地促进了计算机的快速发展和普及，已经在制造业、教育、娱乐、军事和日常生活等领域得到 广泛应用。在制造业用于产品设计、装配仿真等各个环节；在 教育中用于研发沉浸式的虚拟世界系统，供学者学习；在军事 方面头显示器等的出现给军事训练提供了极大地方便；在娱乐 中3d和4d电影的拍摄都应用到此技术；体育方面用于体育训 练和报道等；生活中，触屏手机，人脸识别技术等都用到人机 交互技术。 6.实验结论及心得 通过在网上查阅有关近期最新人机交互的视频和网页，我对人机交互的发展及在各方面的应用有了初步了解和认识
实验时间年月日时至时学时数1.实验名称 立体视觉 2.实验目的 掌握立体视觉的原理 3.实验内容 通过网络查询立体视觉相关知识。 1. 在虚拟环境是如何实现立体视觉？ 2. 3D和4D电影的工作原理。 4.实验原理及流程图
浅谈人工智能中六大关键技术
浅谈人工智能中六大关键技术 当前，人工智能可谓是科技领域炙手可热的话题了，很多公司完善人工智能技术，研发人工智能产品。从Siri语音到智能家居，从无人驾驶到人工智能机器人，人工智能正在一步步改变我们的生活方式，我们还在憧憬着，人工智能还能带给我们些什么。现如今，人工智能已经逐渐发展成一门庞大的技术体系，在人工智能领域，它普遍包含了机器学习、深度学习、人机交互、自然语言、机器视觉等多个领域的技术，下面进行这些人工智能中这些关键技术的介绍。 机器学习 机器学习是一门多领域交叉学科，涉及统计学、系统辨识、逼近理论、神经网络、优化理论、计算机科学、脑科学等诸多领域。通过研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能。通过知识结构的不断完善与更新来提升机器自身的性能，这属于人工智能的核心领域。基于数据的机器学习是现代智能技术中的重要方法之一，研究从观测数据（样本）出发寻找规律，利用这些规律对未来数据或无法观测的数据进行预测。阿尔法Go就这项技术一个很成功的体现。 根据学习模式将机器学习分类为监督学习、无监督学习和强化学习等。根据学习方法可以将机器学习分为传统机器学习和深度学习。 深度学习技术 深度学习的概念由Hinton等人于2006年提出。深度学习可以有人监督（需要人工干预来培训基本模型的演进），也可以无人监督（通过自我评估自动改进模型）。深度学习目前广泛运用于各类场合，在财资管理领域，如可以通过深度学习来进行现金流预测和头寸智能化管理。 深度学习则是是机器学习各项技术中发展最旺盛也是最成功的一个分支。我们常说的人工神经网络是机器学习中的一种算法。机器学习的其他算法包括聚类算法、贝叶斯算法等。在量化交易、智能投资和智能风控中，往往会应用机器学习技术。 人机交互