人机交互概述

人机交互的软件工程方法

人机交互概述

南京大学软件学院人机交互的软件工程方法2012年春

什么是人机交互？

你听说过“人机交互”吗？

能说一些人机交互相关的概念吗？?

为什么要学习人机交互？

你觉得人机交互重要吗？

人机交互与软件工程之间是什么样的关系？?

如何撰写人机交互方面的学位论文？

不推荐！

人机交互工程师就像品酒师

南京大学软件学院

人机交互的软件工程方法

2012年春

日常生活中的交互设计

?银行的自动应答系统

电子商务网站上，中国(China)不在以”C”开头的国家列表？

“返回桌面”图标的位置

?Mac OS 平台和Windows 平台的菜单栏位置?

……

南京大学软件学院人机交互的软件工程方法2012年春

身边的交互设计

选择“插入剪贴画”

……

南京大学软件学院人机交互的软件工程方法2012年春

南大人力资源页面

南京大学软件学院人机交互的软件工程方法2012年春

课程练习举例

谁将使用你的产品？用户需要什么样的产品？用户具有哪些技能？

用户会怎么看待你的产品？

以用户为中心的设计！

南京大学软件学院人机交互的软件工程方法2012年春

功能完备的软件未必是好软件！?

Q ：什么样的软件才是好软件？

南京大学软件学院

人机交互的软件工程方法

2012年春

课程简介

内容

什么是HCI

相关的认知心理学内容如何开展交互设计

软件可用性评估方法

考核方式

出勤、日常练习(10%) 闭卷考试(50%)

实践项目(40%)

南京大学软件学院人机交互的软件工程方法2012年春

课程纪律要求

作业

请及时确定作业分组，截止日期一周后无效

推迟作业将扣除相应分数（每次作业满分10分）

?推迟一天，扣除一分?推迟二天，扣除二分?……

?推迟一周后，分数无效?

补交作业请联系助教

抄袭

作业无效

南京大学软件学院人机交互的软件工程方法2012年春

第一部分背景知识

南京大学软件学院

人机交互的软件工程方法

2012年春

人机交互发展历史

人机交互的发展历史，是从人适应计算机到计算机不断地适应人的发展史。交互的信息也由精确的输入输出信息变成非精确的输入输出信息。一、简单的人机交互界面由于受到制造技术和成本等原因限制，早期的人机交互在设计上较少考虑人的因素，一味强调输入输出信息的精确性，因而使用不够自然和高效。 1.早期的手工作业。当时交互的特点是由设计者本人(或本部门同事)来使用计算机，他们采用手工操作和依赖机器(二进制机器代码)的方法去适应现在看来是十分笨拙的计算机； 2.作业控制语言及交互命令语言。这一阶段的特点是计算机的主要使用者—程序员可采用批处理作业语言或交互命令语言的方式和计算机打交道，虽然要记忆许多命令和熟练地敲键盘，但已可用较方便的手段来调试程序、了解计算机执行情况； 3.图形用户界面(GUI)。 GUI的主要特点是桌面隐喻、WIMP技术、直接操纵和“所见即所得(WYSIWYG)”。由于GUI简明易学、减少了敲键盘、实现了“事实上的标准化”。因而使不懂计算机的普通用户也可以熟练地使用，开拓了用户人群。它的出现使信息产业得到空前的发展； 4.网络用户界面。以超文本标记语言HTML及超文本传输协议HTTP为主要基础的网络浏览器是网络用户界面的代表。由它形成的WWW网已经成为当今Internet的支柱。这类人机交互技术的特点是发展快，新的技术不断出现，如搜索引擎、网络加速、多媒体动画、聊天工具等；二、自然的人机交互界面随着网络的普及性发展和无线通讯技术的发展，人机交互领域面临着巨大的挑战和机遇，

传统的图形界面交互已经产生了本质的变化，人们的需求不再局限于界面的美学形式的创新，现在的用户更多的希望在使用多媒体终端时，有着更便捷、更符合他们的使用习惯，同时又有着比较美观的操作界面。利用人的多种感觉通道和动作通道(如语音、手写、姿势、视线、表情等输入)，以并行、非精确的方式与(可见或不可见的)计算机环境进行交互，使人们从传统的交互方式的束缚解脱出来，使人们进入自然和谐的人机交互时期。这一时期的主要研究内容包括：多通道交互、情感计算、自然语言理解、虚拟现实、智能用户界面等方面。（1）多通道交互多通道交互(Multi Modal Interaction,MMI)是近年来迅速发展的一种人机交互技术，它既适应了“以人为中心”的自然交互准则，也推动了互联网时代信息产业(包括移动计算、移动通信、网络服务器等)的快速发展。MMI是指“一种使用多种通道与计算机通信的人机交互方式。通道（modality）涵盖了用户表达意图、执行动作或感知反馈信息的各种通信方法，如言语、眼神、脸部表情、唇动、手动、手势、头动、肢体姿势、触觉、嗅觉或味觉等”。采用这种方式的计算机用户界面称为“多通道用户界面”。目前，人类最长使用的多通道交互技术包括手写识别、笔式交互、语音识别、语音合成、数字墨水、视线跟踪技术、触觉通道的力反馈装置、生物特征识别技术和人脸表情识别技术等方面。（2）情感计算让计算机具有情感能力首先是由美国MIT大学Minsky教授（人工智能创始人之一）提出的。他在1985年的专著“The Society of Mind”中指出，问题不在于智能机器能否有任何情感，而在于机器实现智能时怎么能够没有情感。从此，赋予计算机情感能力并让计算机能够理解和表达情感的研究、探讨引起了计算机界许多人士的兴趣。这方面的工作首推美国MIT媒体实验室Picard教授领导研究小组的工作。情感计算一词也首先由Picard教授于1997年出版的专著“Affective Computing(情感计算)”中提出并给出了定义，即情感计算是关于情感、情感产生以及影响情感方面的计算。 MIT对情感计算进行全方位研究，正在开发研究情感机器人，最终有可能人机融合。其媒体实验室与HP公司合作进行情感计算的研究。IBM公司的“蓝眼计划”，可使计算机知道人想干什么，如当人的眼瞄向电视时，它竟知道人想打开电视机，它便发出指令打开电视机。此外该公司还研究了情感鼠标，可根据手部的血压及温度等传感器感知用户的情感。CMU 主要研究可穿戴计算机。日本在对感性信息处理的研究中，有众多研究单位参与，主要集中在研究所和高校。特别值得一提的是，日本欧姆龙公司研制生产的机器玩具曾风行一时，最

人机交互技术的发展与现状

人机交互技术的发展与现状一.什么是人机交互技术？二.人机交互技术（Human-Computer Interaction Techniques）是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。人机交互技术包括机器通过输出或显示设备给人提供大量有关信息及提示请示等，人通过输入设备给机器输入有关信息，回答问题及提示请示等。人机交互技术是计算机用户界面设计中的重要内容之一。它与认知学、人机工程学、心理学等学科领域有密切的联系。也指通过电极将神经信号与电子信号互相联系，达到人脑与电脑互相沟通的技术，可以预见，电脑甚至可以在未来成为一种媒介，达到人脑与人脑意识之间的交流，即心灵感应。二. 人机交互技术的发展人机交互的发展历史，是从人适应计算机到计算机不断地适应人的发展史。 1959年美国学者B.Shackel从人在操纵计算机时如何才能减轻疲劳出发，提出了被认为是人机界面的第一篇文献的关于计算机控制台设计的人机工程学的论文。1960年，Liklider JCK首次提出人机紧密共栖（Human-Computer Close Symbiosis）的概念，被视为人机界面学的启蒙观点。1969年在英国剑桥大学召开了第一次人机系统国际大会，同年第一份专业杂志国际人机研究（IJMMS）创刊。可以说，1969年是人机界面学发展史的里程碑。在1970年成立了两个HCI研究中心：一个是英国的Loughbocough大学的HUSAT研究中心，另一个是美国Xerox公司的Palo Alto研究中心。 1970年到1973年出版了四本与计算机相关的人机工程学专着，为人机交互界面的发展指明了方向。 20世纪80年代初期，学术界相继出版了六本专着，对最新的人机交互研究成果进行了总结。人机交互学科逐渐形成了自己的理论体系和实践范畴的架构。理论体系方面，从人机工程学独立出来，更加强调认知心理学以及行为学和社会学的某些人文科学的理论指导；实践范畴方面，从人机界面（人机接口）拓延开来，强调计算机对于人的反馈交互作用。人机界面一词被人机交互所取代。HCI中的I，也由Interface(界面/接口)变成了Interaction(交互)。人机

多模态人机交互综述(译文)

Alejandro Jaimes, Nicu Sebe, Multimodal human–computer interaction: A survey, Computer Vision and Image Understanding, 2007. 多模态人机交互综述摘要：本文总结了多模态人机交互(MMHCI, Multi-Modal Human-Computer Interaction)的主要方法，从计算机视觉角度给出了领域的全貌。我们尤其将重点放在身体、手势、视线和情感交互(人脸表情识别和语音中的情感)方面，讨论了用户和任务建模及多模态融合(multimodal fusion)，并指出了多模态人机交互研究的挑战、热点课题和兴起的应用(highlighting challenges, open issues, and emerging applications)。 1. 引言多模态人机交互(MMHCI)位于包括计算机视觉、心理学、人工智能等多个研究领域的交叉点，我们研究MMHCI是要使得计算机技术对人类更具可用性(Usable)，这总是需要至少理解三个方面：与计算机交互的用户、系统(计算机技术及其可用性)和用户与系统间的交互。考虑这些方面，可以明显看出MMHCI 是一个多学科课题，因为交互系统设计者应该具有一系列相关知识：心理学和认知科学来理解用户的感知、认知及问题求解能力(perceptual, cognitive, and problem solving skills)；社会学来理解更宽广的交互上下文；工效学(ergonomics)来理解用户的物理能力；图形设计来生成有效的界面展现；计算机科学和工程来建立必需的技术；等等。 MMHCI的多学科特性促使我们对此进行总结。我们不是将重点只放在MMHCI的计算机视觉技术方面，而是给出了这个领域的全貌，从计算机视觉角度I讨论了MMHCI中的主要方法和课题。 1.1. 动机在人与人通信中本质上要解释语音和视觉信号的混合。很多领域的研究者认识到了这点，并在单一模态技术unimodal techniques(语音和音频处理及计算机视觉等)和硬件技术hardware technologies (廉价的摄像机和其它类型传感器)的研究方面取得了进步，这使得MMHCI方面的研究已经有了重要进展。与传统HCI应用(单个用户面对计算机并利用鼠标或键盘与之交互)不同，在新的应用(如：智能家居[105]、远程协作、艺术等)中，交互并非总是显式指令(explicit commands)，且经常包含多个用户。部分原因式在过去的几年中计算机处理器速度、记忆和存储能力得到了显著进步，并与很多使普适计算ubiquitous computing [185,67,66]成为现实的新颖输入和输出设备的有效性相匹配，设备包括电话(phones)、嵌入式系统(embedded systems)、个人数字助理(PDA)、笔记本电脑(laptops)、屏幕墙(wall size displays)，等等，大量计算具有不同计算能量和输入输出能力的设备可用意味着计算的未来将包含交互的新途径，一些方法包括手势(gestures)[136]、语音(speech)[143]、触觉(haptics)[9]、眨眼(eye blinks)[58]和其它方法，例如：手套设备(Glove mounted devices)[19] 和and可抓握用户界面(graspable user interfaces)[48]及有形用户界面(Tangible User interface)现在似乎趋向成熟(ripe for exploration)，具有触觉反馈、视线跟踪和眨眼检测[69]的点设备(Pointing devices)现也已出现。然而，恰如在人与人通讯中一样，当以组合方式使用不同输入设备时，情感通讯(effective communication)就会发生。

人机交互的新进展

人机交互的新进展刘强摘要：本文阐述了人机交互的概念和地位，分析了当前人机交互领域的一些进展情况。关键词：人机交互；识别技术；感知；融合；Virtual Reality(虚拟现实)； 1人机交互的概念和地位人机交互，简单来说，就是人类与计算机交流互动。两者之间有这样一个传导链：通过人机接口技术，使人能够与计算机发生联系;而计算机则通过一种界面，使人能了解联系后的效果。人机交互是计算机系统的重要组成部分，是当前计算机行业竞争的焦点，它的好坏直接影响计算机的可用性和效率。计算机处理速度和性能的迅猛提高并没有相应提高用户使用计算机交互的能力，其中一个重要原因就是缺少一个与之相适应的高效、自然的人-机界面。人机交互是未来IT的核心技术，也是目前国际上计算机科学研究领域中的一个热点。随着计算机在人们日常生活和工作中的作用越来越大，人机交互技术变得越来越重要。 2 人机交互的现状目前，在国际上人机交互研究的内容主要包括以下几个方面：单一模式的识别技术研究；多模式人机交互技术研究；多感知信息的融合机理研究等。其中，最重要的是多模式人机交互技术研究和多感知信息的融合机理研究。 2.1 多模式人机交互多模式人机交互实际上是人与人之间的交互的模拟。它的目标是将人与人之间的自然交互方式移植到人与计算机的交互中，即将人的各种行为通过键盘、鼠标、麦克风及摄像机等转换成计算机能感知到的位置、运动及听觉、视觉等信息。感知过程是人机交互的基础，但其实现也是非常困难的。特别是视觉感知部分尚未很好地得到解决，在处理诸如人体感知、手势识别、表情识别等感知行为时，目前的技术尚处于实验室研究阶段。多模式人机交互的研究主要包括以下几个部分： 2.1.1语音识别技术通过语音与计算机交互是人机交互过程中最自然的一种交互方式，也是未来最被看好的人机交互方式。目前，在此领域内可用的技术包括：语音识别、自然语言理解、自然语句的生成及自然语言对话等。语音识别的研究工作可以追溯到20世纪50年代贝尔实验室的Audry系统，此后研究者们逐步突破了大词汇量、连续语音和非特定人这三大障碍。目前，国内外已经出现了一些商业化的产品，比如语音识别在身份确认上的应用，准确率已经达到99%，一句“芝麻开门”打开房门已经不是传说。 2.1.2手势识别技术在人与人之间的交互过程中，手势一般是伴着语音同时进行的。在语言交流存在困难的情况下，手势的理解是非常重要的。而在大部分场合下，手势是对语言交互的补充。比如，我们在介绍一个物体的模糊的大小时，往往要利用手势。在人机交互过程中，手势分为两种：一种是基于笔输入的二维手势，另一种是真正用手作出的三维手势。目前比较常用的是基于笔输入的手势，这是因为这种手势的识别处理相对容易一些。而三维手势，由于计算机视觉技术存在的困难，目前实用化的系统不多。有些系统虽然采用了三维手势技术，但大多是利用数据手套完成的。而这一方面系统成本较高，另一方面，交互起来也不自然。最近，在ieee的模式识别与机器智能杂志上，连续发表了几篇有关三维手势的识别研究，他们采用的方法主要有隐马尔可夫模型（hmm）及彩色petri网模型。 2.1.3人脸识别技术表情是人类交流信息的一种重要手段。因此，表情识别可以大大增强计算机的友好程度，提高其智能感知水平。另外，人脸的方向、人眼的跟踪都表达着交互的信息。视点的变化既能反映心理活动，又能反映注意方向，正所谓眼睛是心灵的窗户。通过视点跟踪，可以检测目光在屏幕上的所及之处，并作出恰当的响应。这尤其可帮助某些行动不便的残疾人使用计算机。因此，有关人脸的研究，在新一代人机交互中非常重要。相应的

行为理解综述-人机交互与媒体集成研究所-清华大学

_________________________ 基金项目: 国家自然科学基金资助项目(60673189) 收稿日期: 2008-11-28 改回日期:2008-12-03 第一作者简介: 1940.现为普适计算教育部重点实验室，清华大学计算机系人机交互与媒体集成研究所教授，博士生导师。目前他的主要研究领域为计算机视觉，人机交互，普适计算计算技术。IEEE 高级会员，CCF 会员。动作识别与行为理解综述徐光祐曹媛媛普适计算教育部重点实验室清华大学计算机科学与技术系北京，100084）摘要随着“以人为中心计算”的兴起和生活中不断涌现的新应用，动作识别和行为理解逐渐成为计算机视觉领域的研究热点。本文主要从视觉处理的角度分析了动作识别和行为理解的研究现状，从行为的定义和表示、运动特征的提取和动作表示以及行为理解的推理方法三个方面对目前的工作做了分析和比较。并且指出了目前这些工作面临的难题和今后的研究方向。关键词以人为中心动作识别行为理解中图法分类号：TP391 文献标识码：A Action Recognition and Activity Understanding: A Review XU Guangyou, CAO Yuanyuan (Key Lab of Pervasive Computing, Ministry of Education, Department of Computer Science and Technology, Tsinghua University, Beijing 100084, China) Abstract As the “Human-centered computing ” is getting more and more popular and novel applications are coming up, action recognition and activity understanding are attracting researcher s’ attention in the field of computer vision. In this paper, we give a review of the state in art of work on action and activity analysis, but focus on three parts: Definition of activity, low-level motion features extraction and action representation, and reasoning method for activity understanding. Furthermore, open problems for future research and potential directions are discussed. Keywords human-centered computing, action recognition, activity understanding 引言计算正渗透和影响到人们生活的各个方面，根据传感器数据来识别和理解人的动作和行为就成为未来”以人为中心的计算”(Human-centered computing)中的关键[1]。其中基于视觉的动作识别和行为理解尤为重要。因为在人之间的人际（interpersonal ）交互过程中，视觉是最重要的信息。视觉可以帮助人们迅速获得一些关键特征和事实，如对方的表情、手势、体态和关注点等，这些视觉线索综合起来反映了对方的态度，潜在意图和情绪等信息。未来人机交互和监控中，机器要感知人的意图很大程度上就需要依靠视觉系统。此外，视觉传感器体积小、被动性和非接触式的特点，使得视觉传感器和视觉信息系统具备了无所不在的前提。近年来，在对计算机视觉提出的层出不穷的新要求中，行为理解是一个具有挑战性的新课题，在诸如智能家居，老年人看护，智能会议室等应用中都起着至关重要的作用。它要解决的问题是根据来自传感器（摄像机）的原始图像（包括图像序列）数据，通过视觉信息的处理和分析，识别人体的动作，并在上下镜(context)信息的指导下，理解人体动作的目的、所传递的语义信息。行为理解作为近几年开始兴起的研究，正在逐渐获得越来越多的关注。人体检测、定位以及人体的重要部分（头部，

人机交互系统概述

随着国家信息化步伐的加快和高等教育的规模的扩大，社会对计算机专业的人才的需求不仅体现在数量的增加上，而且体现在质量要求的提高上，培养具有研究和实践能力的高层次的计算机专业人才已成为许多大学计算机专业教育的主要目标。这些，足以说明人机交互在我们的发展中开始占据一定的地位了，我们应该开始逐渐重视人机交互带给我们的影响。以往对计算机软件的研究，较少关心人的因索问题。重点就在如何最有效地使用两种宝贵的资源——计算速度和存储空间。程序的效率是最高目标。现在，由于硬件价格急剧下降，越来越强的适用于图形的个人计算环境的出现，我们可以首要考虑如何使用户的使用效率最高，而不是着重于计算机的效率。许多功能相似的图形交互式系统已经走入市场。能否取得成功，取决于该系统使用起来是否方便。如何使系统在使用时变得方便已经成为设计中越来越要考虑的关键问题。用户与计算机接口的实际计算机科学。感性心理学认知心理学，且人的因素对一个成功的设计者来说，也是非常关键的。建立友好的人机交互界面的目的就是使系统对它的用户来说既易于理解又易于使用。但是，什么是人机交互呢？所谓人机交互就是指关于设计、评价和实现供人们使用交互式计算机系统，并围绕相关的主要现象进行研究的学科。狭义的讲，人机交互技术主要是研究人与计算机之间的信息交换，它主要包括人到计算机和计算机刀刃的信息交换两部分。对于前者，人们可以借助键盘、

鼠标、操纵杆、数据服装、眼动跟踪器、位置跟踪器、数据手套、压力笔等设备，用手、脚、声音、姿势、或身体的动作、视线甚至脑电波等向计算机传递信息；对于后者，计算机通过打印机、绘图仪、显示器、头盔式显示器、音箱等输出或显示设备向人们提供可理解的信息。人机交互是一门综合学科，它与认知心理学、人机工程学、多媒体技术、虚拟现实技术等密切相关。其中，认知心理学与人机工程学是人机交互技术的理论基础，而多媒体技术、虚拟现实技术与人机交互是相互交叉渗透的。人机交互的研究内容很广泛。涵盖了很多方面，如建模、设计、评估等理论和方法，以及在Web、移动计算、虚拟现实等方面的应用研究，主要包括了以下内容。 1.人机交互的界面表示模型与设计方法友好的交互界面的开发离不开好的交互模型与设计方法。因此，研究人机交互界面的表示模型与设计方法是人机交互的重要研究内容之一。 2.可用性分析与评估可用性人机交互关系到人机交互能否达到用户期待的目标，以及实现这一目标的效率和便捷性。对人机交互系统的可用性分析与评估的研究主要涉及到支持可用性的设计原则和可用性的评估方法等。 3.多通道交互技术多通道交互主要研究多通道交互界面的表示模型、多通道交互界

人机交互的发展历程及产业链分析

一、人机交互概念人机交互（Human-ComputerInteraction，HCI）主要是研究用户与系统之间的信息交换，它主要包括用户到系统和系统到用户的信息交换两部分。系统可以是各种各样的机器，也可以是智能电视机、智能手机以及计算机系统和软件。用户可以借助操纵杆、数据服装、眼动跟踪器、位置跟踪器、数据手套、压力笔等各类穿戴设备，用手势、声音、姿势或身体的动作、眼睛甚至脑电波等向系统传递信息，同时，系统通过各类机器、显示器、音箱等输出或显示设备给人提供信息。理想状态下，人机交互将不再需要依赖机器语言，在没有键盘、鼠标以及触摸屏等中间设备的情况下，实现随时随地实现人机的自由交流。从而实现人们的物质世界和虚拟网络的最终融合。从本质上，人机交互技术是一个典型的模式识别问题，智能机器通过多种传感器，获取人的表情、姿态、手势、语音、语调、血压、心率等各种数据，结合当时的环境、语境、情境等上下文信息，识别和理解用户的情感。这包括传感器技术、计算机科学、认知科学、人机工程学、多媒体技术和虚拟现实技术、心理学、哲学以及人类学等诸多学科领域有密切的联系。二、人机交互产业链从人机交互过程来讲，可分为四步：通过传感器直接或间接与人接触获得感知信息；通过建立模型对感知信息进行分析与识别；对分析结果进行推理达到感性的理解；将理解结果通过合理的方式表达出来。也就完成了人机交互的全过程。从功能实现看，人机交互作为一个闭环的模式识别系统，应该包括感知信号的获取、感知信息的分析与识别、感知信息的理解和信息表达等功能四个环节，当感知信息与标准信息存在差异时，将发出指令给予修正或反馈信息给予告警和提示。在这四个方面的环节中，感知信息的识别和感知信息的理解是核心技术的关键所在。从技术实现过程看，信息获取和信息识别环节属于感知层的范畴，而感知信息的理解和信息表达属于应用层的内容。体感设备实现信息的获取，而嵌入芯片实现体感信号的模式识别，然后通过后台计算机或分布式计算平台建立数学模型、实现强大的运算系统，实现感知信息的理解（理解用户姿态或手势的真实目的），最后转入应用层，调用相关应用程序，满足用户的最终需求。

人机交互技术现状与发展趋势研究【文献综述】

毕业论文文献综述教育技术学人机交互技术现状与发展趋势研究本文的目的是通过对国内外人机交互技术的历史及现状回顾，来揭示人机交互技术的发展规律。人机交互技术伴随着计算机而诞生，它的发展与计算机息息相关，从70年代中后期第一个图形用户界面的产生到如今已经有了三十多年的发展历程。本文将系统的介绍国内外学者对人机交互技术的研究历程和研究领域以及提出的主流技术，并提出自己对人机交互技术发展趋势的展望。一、国内外研究历史及各种观点 1.国外研究历史 1959年美国学者B.Shackel从人在操纵计算机时如何才能减轻疲劳出发，提出了被认为是人机界面的第一篇文献的关于计算机控制台设计的人机工程学的论文。1960年，Liklider JCK首次提出人机紧密共栖（Human-Computer Close Symbiosis）的概念，被视为人机界面学的启蒙观点。1969年在英国剑桥大学召开了第一次人机系统国际大会，同年第一份专业杂志国际人机研究（IJMMS）创刊。可以说，1969年是人机界面学发展史的里程碑。在1970年成立了两个HCI研究中心：一个是英国的Loughbocough大学的HUSAT研究中心，另一个是美国Xerox 公司的Palo Alto研究中心。 1970年到1973年出版了四本与计算机相关的人机工程学专著，为人机交互界面的发展指明了方向。 20世纪80年代初期，学术界相继出版了六本专著，对最新的人机交互研究成果进行了总结。人机交互学科逐渐形成了自己的理论体系和实践范畴的架构。理论体系方面，从人机工程学独立出来，更加强调认知心理学以及行为学和社会学的某些人文科学的理论指导；实践范畴方面，从人机界面（人机接口）拓延开来，强调计算机对于人的反馈交互作用。人机界面一词被人机交互所取代。HCI中的I，也由Interface(界面/接口)变成了Interaction(交互)。 20世纪90年代后期以来，随着高速处理芯片，多媒体技术和Internet Web技术的迅速发展和普及，人机交互的研究重点放在了智能化交互，多模态（多通道）-多媒体交互，虚拟交互以及人机协同交互等方面，也就是放在以人为在中心的人机交互技术方面。 2.国内研究历史：国内对人机交互技术的研究比较晚，在20世纪90年代开始起步，到世纪末

2019智能汽车人机交互现状及发展趋势研究报告

目录一、研究背景和意义 (5) （一）人机交互与人机交互界面 (5) （二）人机交互发展趋于人性化、高效化 (5) 1、早期手工作业阶段 (6) 2、作业控制语言及交互命令语言阶段 (6) 3、图形用户界面(GUI)阶段 (6) 4、网络用户界面阶段 (6) 5、多通道人机交互阶段 (6) （三）人机交互已成为智能汽车的发展的核心问题 (7) 二、智能汽车人机交互设计现状 (7) （一）人机交互研究呈多学科融合特征 (7) （二）以用户为中心的设计理念和设计流程 (8) （三）智能化趋势对人机交互提出更高的要求 (9) （四）国内外典型的人机交互系统 (10) 1、宝马iDrive 系统 (11) 2、奔驰COMAND 系统 (11) 3、奥迪MMI 系统 (11) 4、安吉星系统 (12) 5、福特MyFordTouch 系统 (12) 6、沃尔沃SENSUS 系统 (13) 7、日产CARWINGS 系统 (13) 8、丰田G-book 系统 (14) 9、荣威inkanet 系统 (14) 10、比亚迪DiLink 智能网联系统 (15) 三、智能汽车人机交互发展趋势 (15) （一）交互内容和场景的扩展 (15) 1、智能汽车与环境充分交互 (16)

2、智能汽车的多场景化交互 (16) 3、车内及车外信息显示与分析 (17) 4、智能汽车人机共驾交互设计 (17) （二）交互方式的创新和新技术的应用 (18) 1、显控一体化交互 (18) 2、多通道协同交互 (19) 3、基于生物识别和感知技术的人机交互 (19) 4、基于智能化技术的情感交互 (20)

现代人机交互技术最新情况

现代人机交互技术最新情况普适计算 1.IBM研发的BlueBoard （蓝板）技术,BlueBoard是一片薄薄的屏幕板，使用者只用其胸前挂着的看上去与普通员工卡没什么两样的小卡片，对准蓝板一下，就可以显示出其个人主页及定制好的其它内容。其后的一切操作和任务都只靠使用者的手指在蓝板上指指划划就全部搞定了，包括查阅资料、共享文件、与同事实时互传信息、发送指令、布置任务、协同工作等。 2. Informedia 数字图书馆系统，Informedia采用了多模态输入方式，用户可以用语音提出查询请求。当用户要求从数据库中查找指定的电视新闻资料时，系统将根据用户的请求返回相应的视频片段。In formedia集成了语音、图像和自然语言理解技术，在目前的原型系统中，系统可以自动地分析视频数据，从中提取出摘要信息并编加索引。视频数据的分析过程结合了针对视频的镜头检测、图像分析，以及字幕文本（Close Caption ）和伴音信息分析。与仅采用单一模态数据的分析方法相比，这种合成方式能够更好地提取视频的语义。 3. MIT的Galaxy系统,Galaxy系统向人们展示了系统如何与用户相协调，从而提供对多种异构数据源的无缝访问。对于用户的请求，系统不仅仅是返回来自各方面的答案，而且还尽可能地找出不同领域中的相关答案，并根据用户感兴趣的程度排序。随后，用户与系统进行更进一步的对话，最终获得尽可能准确的结果。这种带有联想性质的交互过程使得用户感觉不是在跟一个死板的计算机系统打交道，而是与一个聪明的代理人交互。可穿戴计算从谷歌、苹果、RIM相继发布的智能眼镜系列产品，到Fitbit 、Jaw bone、耐克相继推出的智能腕带，可穿戴计算逐步成为了IT界的热词。iwatch，可以给智能手机和其他小型电子产品充电的太阳能比基尼，随行键盘牛仔裤，可以使聋人和盲人发送短信的移动框架手套，能更新Facebook状态的社交牛仔裤，能在衣服上呈现任何图案的内置电流回路K服饰，可以打电话的移动手套，电子鼓机T恤，乐器节拍手套，能通过行走的热能给智能手机充电的充电鞋，对饮食和睡眠状态进行跟踪的智能腕带,,,可穿戴计算设备层出不穷，不断丰富着新一代IT产品市场。盛大、百度等企业也不甘落后，近期已相继出手，分别推出了geak智能手表和咕咚健康手环等产品。多点触控 1. 微软:Surface电脑,5月，《华尔街日报》的“ D:AII Things Digital ”会议上，微软演示了一种Surface Computing（表面计算）技术，并由此组建了一个

人机交互论文摘要整理

7、HMM based Hand Gesture Recognition:A Review on Techniques and Approaches Abstract-Gesture is one of the most natural and expressiveways of communications between human and computer in avirtual reality system. We naturally use various gestures toexpress our own intentions in everyday life. Hand gesture isone of the important methods of non-verbal communicationfor human beings for its freer in movements and much moreexpressive than any other body parts. Hand gesturerecognition has a number of potential applications in human-computer interaction, machine vision, virtual reality, machinecontrol in industry, and so on. As a gesture is a continuousmotion on a sequential time series, the HMMs (HiddenMarkov Models) must be a prominent recognition tool. Themost important thing in hand gesture recognition is what theinput features are that best rep resent the characteristics of the moving hand gesture.This paper presents part of literaturereview on ongoing research and findings on differenttechnique and approaches in gesture recognition using HMMsfor vision-based approach. 7.基于隐马尔可夫模型的手势识别：技术与方法的综述摘要：在虚拟现实的系统中，手势是人与计算机之间交流时，非常重要的并且十分有价值的途径之一。日常生活中，我们很自然地使用各种各样的的手势来表达自己的意图。手势对人类来说是一种重要的非语言的交流方法，因为这在时间上是自由的，并且相比于身体其他的部分，表达的意思更加深刻。手势识别在人机交互领域，机器视觉领域，虚拟现实领域，工业的自动控制领域等等，都有很多有价值的的应用。由于手势是在连续时间上的连续运动，所以，所以，隐马尔可夫模型必然是一种优良的识别工具。在手势识别方面，最重要的是输入手势的特征所代表的移动手势的特征。这篇文章展示了部分在手势识别领域使用隐马尔可夫模型进行研究和发现的一些文献综述。 8、Human Activity Recognition: A Review Abstract—Human Activity Recognition is one of the active research areas in computer vision for various contexts like security surveillance, healthcare and human computer interaction. In this paper, a total of thirty-two recent research papers on sensing technologies used in HAR are reviewed. The review covers three area of

人机交互

1.1什么是人机交互（HCI）是指关于设计、评价和实现供人们使用的交互式计算机系统，并围绕相关的主要现象进行研究的学科。狭义地讲，人机交互技术主要是研究人与计算机之间的信息交换。人到计算机的信息交换是用手、脚、声音、姿势或身体的动作、视线甚至脑电波等像计算机传递信息，计算机到人的信息交换是用输出或显示设备向人们提供可理解的信息。 1.2人机交互的研究内容1.人机交互界面表示模型与设计方法 2.可用性分析与评估 3.多通道交互技术 4.认知与只能用户界面 5.群件 6.Web设计 7.移动界面设计 1.3人机交互的发展历史1.命令行界面交互阶段 2.图形用户界面交互阶段 * 3.自然和谐的人机交互阶段2.1人的感知：1.视觉 2.听觉 3.触觉 2.2影响认知的因素： 1）情感（积极的情感会使人的思想更有创造性、解决复杂问题的能力更强，而消极的情感使人的思考更加片面，还会影响其他方面的感知和认知能力） 2）人的个性差异 2.3对概念模型的认知：1.思维模型 2.信息处理模型 3.外部认知模型 3.1输入设备 1.文本输入设备（键盘、手写输入设备） 2.图像输入设备（二维扫描仪、数码摄像头） 3.三维信息输入设备（三维扫描仪、动作捕捉器） 4.指点输入设备（鼠标、光笔、控件杆、触摸板、触摸屏） 3.2输出设备：显示器、打印机、语音交互设备 *3.3显示器的工作原理：显示器是计算机的重要输出设备，是人机对话的重要工具。它的主要功能是接受主机发出的信息，经过一系列的变换，最后以光的形式将文字和图形显示出来。 3.4显示器的类型阴极射线管显示器、液晶显示器、等离子显示器阴极射线管显示器原理：主要由阴极、电平控制器、聚焦系统、加速系统、偏转系统和阳极荧光粉涂层（前四个组成电子枪）组成。CRT 显示终端的工作原理就是将显像管内部的电子枪阴极发出的电子束，经强度控制、聚焦和加速后变成细小的电子流，再经过偏转线圈的作用向正确的目标偏离，穿越荫罩的小孔或栅栏，轰击到荧光屏上的荧光粉发出光。液晶显示器的原理：以电流刺激液晶分子产生点、线、面，并配合背部灯管构成画面。液晶显示器依驱动方式可分为静态驱动、单纯矩阵驱动及主动矩阵驱动三种。由于成像原理的不同，LCD比CRT显示器具有更好的图像清晰度、画面稳定性和更低的功率消耗。 *4.1人机交互输入模式：请求模式、采样模式、事件模式请求模式原理：在请求模式下，输入设备的启动是在应用程序中设置的。应用程序执行过程中需要输入数据时，暂停程序的执行，直到从输入设备接收到请求的输入数据后，才继续执行程序。应用程序和输入设备交替工作，如果要求进行数据输入时，用户没有输入，则整个程序被挂起。采样模式原理：在采样模式下，输入设备和应用程序独立的工作。输入程序连续不断地把信息输入进来，信息的输入和应用程序中的输入命令无关。应用数据在处理其他数据的同时，输入设备也在工作，心得输入数据替换以前的输入数据。当应用程序遇到取样命令时，读取当前保存的输入设备数据。这种模式对连续的信息流输入比较方便，也可同时处理多个输入设备的输入信息。事件模式原理：在事件模式下，输入设备和程序并行工作。输入设备把数据保存到一个输入队列，也称为事件队列，所有的输入数据都保存起来，不会遗失。每次用户对输入设备的一次操作以及形成的数据叫做一个事件当某台设备被置成事件方式，应用程序和设备将同时、各自独立地工作。从设备输入的数据或事件都存放在事件队列里，事件以发生的时间排序。 4.2.基本交互技术：定位、笔画、定值、选择、字符串 5.1图形用户界面的主要思想：桌面隐喻、所见即所得、直接操纵 5.2桌面隐喻：隐喻的表现

人机交互技术的发展与现状定稿版

人机交互技术的发展与现状精编W O R D版 IBM system office room 【A0816H-A0912AAAHH-GX8Q8-GNTHHJ8】

人机交互技术的发展与现状一. 什么是人机交互技术二. 人机交互技术（Human-Computer Interaction Techniques）是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。人机交互技术包括机器通过输出或显示设备给人提供大量有关信息及提示请示等，人通过输入设备给机器输入有关信息，回答问题及提示请示等。人机交互技术是计算机用户界面设计中的重要内容之一。它与认知学、人机工程学、心理学等学科领域有密切的联系。也指通过电极将神经信号与电子信号互相联系，达到人脑与电脑互相沟通的技术，可以预见，电脑甚至可以在未来成为一种媒介，达到人脑与人脑意识之间的交流，即心灵感应。二.人机交互技术的发展人机交互的发展历史，是从人适应计算机到计算机不断地适应人的发展史。 1959年美国学者B.Shackel从人在操纵计算机时如何才能减轻疲劳出发，提出了被认为是人机界面的第一篇文献的关于计算机控制台设计的人机工程学的论文。1960年，Liklider JCK首次提出人机紧密共栖（Human-Computer Close Symbiosis）的概念，被视为人机界面学的启蒙观点。 1969年在英国剑桥大学召开了第一次人机系统国际大会，同年第一份专业杂志国际人机研究（IJMMS）创刊。可以说，1969年是人机界面学发展史的里程碑。在1970年成立了两个HCI研究中心：一个是英国的Loughbocough大学的HUSAT研究中心，另一个是美国Xerox公司的Palo Alto研究中心。 1970年到1973年出版了四本与计算机相关的人机工程学专着，为人机交互界面的发展指明了方向。 20世纪80年代初期，学术界相继出版了六本专着，对最新的人机交互研究成果进行了总结。人机交互学科逐渐形成了自己的理论体系和实践范畴的架构。理论体系方面，从人机工程学独立出来，更加强调认知心理学以及行为学和社会学的某些人文科学的理论指导；实践范畴方面，从人机界面（人机接口）拓延开来，强调计算机对于人的反馈交互作用。人机界面一词被人机交互所取代。HCI中的I，也由

人机交互地概念

1、人机交互的概念：定义1：有关交互式计算机系统设计、评估、实现以及与之相关现象的学科[ACM] 定义2：研究人、计算机以及他们之间相互作用方式的学科，学习人机交互的目的是使计算机技术更好地为人类服务[Alan Dix] 定义3：有关可用性的学习和实践，是关于理解和构建用户乐于使用的软件和技术，并能在使用时发现产品有效性的学科[Carroll] 主要内容：1、界面设计的方法和过程。即在给定任务和用户的前提下，设计出最优的界面，使其满足给定的限制，并对易学性和使用性效率等属性进行优化。2、界面实现方法。如软件工具包和库函数，以及其他各种高效开发方法等3、界面分析和评估技术。4、开发新型界面和交互技术。5、构建交互相关的描述模型和预测模型 1、框架是提供理解或定义的一种结构，他能够帮助人们结构化设计过程，认识设计过程中的主要问题，还有助于定义问题所涉及的领域 2、执行/评估活动周期EEC：活动的四个基本组成部分：目标（想做什么）、执行（实现目标必须进行的操作）、客观因素（执行活动时必须考虑的客观条件）、评估（用于衡量活动执行的结果语目标之间的差距）七个阶段：建立目标、形成操作意向、明确动作序列、执行动作、感知系统状态、解释系统状态、对照目标评估系统状态执行隔阂：用户为达到目标而制定的动作与系统允许的动作之间的差别评估隔阂：系统状态的实际表现与用户预期之间的差别 3、扩展EEC框架（1）交互式系统的四个组成部分：系统（S）、用户（U）、输入（I）、输出（O）（2）其中，输入和输出构成了界面（3）执行阶段包括三个翻译过程：定义：用户阐述某个目标，然后通过输入语言进行协调和链接执行：输入语言被转换成内核语言，表示系统要执行的操作表现：系统使用输出语言吧内核语言的执行结果表示出来（4）评估阶段的过程观察：用户将输出与原有的目标进行比较从而评估交互的结果问答界面：通过询问用户一系列问题实现人与计算机的交互（Web问卷是典型的采用问答方式进行组织的应用，应允许用户方便地取消其中一个界面的选项）优点：对记忆的要求较低；每个界面具有自解释性；将任务流程以简单的线性表示；适合新手用户。缺点：要求从用户端获得有效输入；要求用户熟悉界面控制；纠错过程可能比较乏味。隐喻界面：本质：在用户已有知识的基础上建立一组新的知识，实现界面视觉提示和系统功能之间的知觉联系，进而帮助用户从新手用户转变为专家用户优点：直观生动；无需学习。缺点：不具有可扩展性；不同用户对同一事物可能产生不同的联想；紧紧地

人机交互风格及其发展趋势 (UI设计发展趋势)

人机交互风格及其发展趋势 (UI设计发展趋势) 摘要人机交互的风格经历了命令界面、图形界面、多媒体界面等主要发展阶段，目前正向虚拟现实技术和多通道用户界面的方向发展。本文简要回顾人机交互技术的历史，并进而探讨什么是理想、自然的人机交互模式。关键词人机交互交互风格多通道用户界面虚拟现实 Abstract The style of human computer interaction has gone through several stages includingcommand user interface, graphical user interface, direct manipulation user interface,multimedia user interface, and is rogressing toward multimodal user interface and virtualreality. This paper reviews the history of human computer interaction and discuss what isthe ideal and natural human computer interaction mode. Key Words Human computer interaction Interaction style Multimodal user interface Virtualreality 引言人们对人机系统关系的认识问题，伴随着人机关系基本观点的变化由来已久。在计算机出现的不足半个世纪的时间里，人机交互技术经历了巨大的变化。以下从几个不同的角度来观察和总结人机交互技术发生的变化及发展趋势： (1)就用户界面的具体形式而言，过去经历了批处理、联机终端(命令接口)、(文本)菜单等多通道——多媒体用户界面和虚拟现实系统。 (2)就用户界面中信息载体类型而言，经历了以文本为主的字符用户界面(CUI)、以二维图形为主的图形用户界面(GUI)和多媒体用户界面，计算机与用户之间的通信带宽不断提高。 (3)就计算机输出信息的形式而言，经历了以符号为主的字符命令语言、以视觉感知为主的图形用户界面、兼顾听觉感知的多媒体用户界面和综合运用多种感观(包括触觉等)的虚拟现实系统。在符号阶段，用户面对的只有单一文本符号，虽然离不开视觉的参与，但视觉信息是非本质的，本质的东西只有符号和概念。在视觉阶段，借助计算机图形学技术使人机交互能够大量利用颜色、形状等视觉信息，发挥人的形象感知和形象思维的潜能，提高了信息传递的效率。早期的计算机系统只有单调的峰鸣声，虽然多媒体技术将声频形式和视频形式同时带入人机交互，但仍缺少听觉交互手段，即人处于被动收听状态，声音缺少位置和方向的变化，交互输入方面仍沿用图形用户界面所采用的键盘和鼠标器等交互设备。当前，在人机交互中结合进视觉的、听觉的以及更多的通道是必然趋势，特别是将听觉通道作为补充的或替换的信息通道已显示出重要性和优越性〔1〕。 (4)就人机界面中的信息维度而言，经历了一维信息(主要指文本流，如早期电传式终端)、二维信息(主要是二维图形技术，利用了色彩、形状、纹理等维度信息)、三维信息(主要是三维图形技术，但显示技术仍利用二维平面为主)和多维信息(多通道的多维信息)空间。不论从何种角度看，人机交互发展的趋势体现了对人的因素的不断重视，使人机交互更接近于自然的形式，使用户能利用日常的自然技能，不须经过特别的努力和学习，认知负荷降低，工作效率提高。这种“以人为中心”的思想特别是自80年代以来，在人机交互技术的研究中得到明显的体现。本文通过简要回顾和