第7章 人机交互系统
人机交互多通道人机交互ppt课件
通过整合来自多个通道的、精确的和不 精确的输入来捕捉用户的交互意图，提 高人机交互的自然性和高效性
MMI
手
用
嘴
…
击键/指点 通
语音
道
眼神
整
…
合
户
眼
手
…
2D/3D 多媒体信息
图5－1 多通道人机界面概念模型
应用例程
多通道用户界面研究的目标
互补性可能存在一个“优势通道 （Dominant Modality）”，并需要其他通道 予以辅助，例如，用语音直指（“This city”），则需鼠标在屏幕对象上指点
指派性
指派性是指某通道是完成特定交互任务唯 一途径的情形，即某通道必须被用于实现 特定交互任务而没有其他通道可以替代
指派性可分为两种情形
多通道用户界面主要关注人机界面中用 户向计算机输入信息以及计算机对用户 意图的理解
交互的自然性
使用户尽可能多地利用已有的日常技能与计算机 交互，降低认识负荷；
交互的高效性
使人机通讯信息交换吞吐量更大、形式更丰富， 发挥人机彼此不同的认知潜力；
与传统的用户界面特别是广泛流行的 WIMP/GUI兼容
交替而独立地使用不同的通道不是真正 意义上的多通道技术，必须允许充分地 并行、协作的通道配合关系
允许非精确的交互
人类语言本身就具有高度模糊性，人类 在日常生活中习惯于并大量使用非精确 的信息交流
允许使用模糊的表达手段可以避免不必 要的认识负荷，有利于提高交互活动的 自然性和高效性
多通道人机交互技术主张以充分性代替 精确性
有关视踪原理和技术的研究 二是在使用这种交互方式后，人机界面的设计技术和原
CAM课件第7章
CAPP系统结构组成
7.2 零件信息的描述与输入
零件信息描述要求：
①描述应准确、完整，与实际生产要求相一致，适合计算机处理； ②应简洁易懂，易于理解和掌握，便于输入操作； ③数据结构要合理，利于提高处理效率，便于信息集成。
零件信息描述内容：
①零件几何信息：包括零件几何形状、尺寸、以及各几何元素间的拓扑 关系。方法：可从零件三维模型进行描述；也可将结构分解，对分解的形 体或型面单元分别进行描述。 ②零件工艺信息：加工精度、表面粗糙度、零件材料、毛坯特征、热处 理等。 ③生产管理信息：加工批量、生产周期等。
优点： • 产生式规则结构接近人类专家思考问题方式；
• 各条规则相互独立，易于查询、修改和扩充； • 容易添加解释功能，以便观察系统如何进行推理； • 具有描述不确定知识的能力。
专家系统推理方式
1）正向推理 从已知事实出发，按照给定控制策略，利用生产式规则
最终推断出结论。在CAPP系统中，由毛坯一步步推导出最终零件的整 个加工工艺过程。
创成式CAPP开发过程
1)确定系统对象范围，是针对回转体零件还是非回转体零件；
2)确定零件描述方法，是型面单元描述还是体素组合语言描述； 3)确定和建立工艺决策模型，用决策表还是决策树；
4)建立加工资源数据库，包括机床、夹具、刀具、切削用量等；
5)设计系统主控模块、人机接口模块、工艺文件生成和输出模块。
系统运行的软件模块。
l •解释模块 对专家系统推理结果作出必要解释，使用户了解专家系统
推理过程，接受所推理的结果。
•知识获取模块 将人类专家的专门知识提取出来，经整理转化为计算机
内部数据结构形式，是知识库建立和维护的工具和手段。
•用户接口模块 将专家和用户输入的信息转换为系统可以接受的形式，
人机交互各章知识点
答：命令行界面交互阶段、图形用户界面交互阶段、自然和谐的人机交互阶段4.发展趋势
答：集成化、网络化、智能化、标准化5.狭义的讲人机交互技术
37、界面描述语言一般分为两类：命令式语言；陈述式语言。
38、窗口系统的三种结构？在各个应用程序内部实现和管理多任务；在操作系统核心集中处理多任务管理；多任务的管理可由独立的管理程序进行管理。39、UIMS：用户界面管理系统。
40、对话独立性的概念：是人机交互研究领域的主要问题，主要是强调业务（应用程序的定义）与提供给用户的界面的分离。
WEB界面基本设计技术
HTML、JavaScript、JavaApplet、服务器端脚本语言、AJAX技术
第9章
1.可用性的定义及5个“E”。
答：可用性是指特定的用户在特定环境下使用产品并达到特定的目标的效力、效率和满意的程度。5个“E”是指有效性(Effective)、效率(Efficient)、吸引力(Engaging)、容错能力(Error Tolerant)、易于学习(Easy to Learn)
29、美国IBM公司采用OVID方法，OVID模型有：设计者模型；编程者模型；用户感念模型。
30、OVID方法的关键是确定交互中涉及的对象，并把这些对象组织到交互视图中。31、行为模型的概念：主要从用户和任务的角度考虑如何描述人机交互界面32、结构模型的概念：主要从系统的角度来表示人机交互界面。
33、行为模型包括：GOMS:目标操作方法和选择行为模型是在交互系统中来分析用户复杂性的建模技术，主要被软件设计者用于建立用户行为模型。LOTOS：时序关系说明语言是一种作为国际标准的形式描述语言，它的特点是适于描述解决并发、交互、反馈和不确定性等问题的一系列系统的设计。UAN：用户行为标准是一种简单的符号语言，着眼于用户和界面两个交互实体的描述，主要描述用户的行为序列以及在执行任务时所用的界面。
基于双目视觉和深度学习的无人机人机交互系统
摘要现行的无人机控制主要依靠专业的设备，由经过专业训练的人来完成。
这给无人机的普及以及推广带来了不小的困难。
无人机越来越多的应用场景给操控的便捷性带来了越来越高的要求，现有的依靠设备的方法在很多应用场合有着很大的局限性，限制着无人机应用的扩展。
为此，本文研究了简化无人机人机交互的方法，该方法在拓展无人机应用方式上有着重要的应用意义。
本文完成的工作如下：搭建了一套无人机实验验证平台。
该平台包括了一台多旋翼无人机以及以Nvidia Tegra K1芯片为核心的机载嵌入式信号处理平台。
编写了机载嵌入式信号平台与无人机飞行控制系统的接口程序，为后续的无人机控制、导航以及其它类别的应用研究奠定了良好的软硬件实验验证基础。
设计并实现了一种基于双目视觉和深度学习的手势控制无人机方法。
首先跟踪并提取人物所在区域，通过立体匹配获取人物和背景均包含的深度图。
然后通过归一化并且阈值化的方法，将对动作识别造成干扰的背景去除，从而得到只含有领航员的深度图序列。
其次，通过对深度图序列前后两帧差分处理并且利用HSV色彩空间按照时间顺序进行色彩映射与叠加，将深度图序列转换为同时含有人物动作时间与空间信息的彩色纹理图。
然后用深度学习方法对所获得的彩色纹理图进行训练和分类，从而实现手势指令的识别。
由于神经网络的训练对硬件要求极高，因此本方案采用离线训练，在线分类的方式。
最后，构建了一个包含4个指令动作和一个非指令动作的数据集，利用数据集对神经网络进行训练并且进行了测试。
经验证，本文所述方法在室内和室外均可使用，有效控制范围达到10m，可以简化无人机控制复杂度，对促进无人机普及，拓展无人机应用范围都具有一定的参考价值。
关键词：无人机，人机交互，双目视觉，深度学习ABSTRACTTraditionally, interacting with UAV（Unmanned Aerial Vehicle）required specialized instrument and well trained operators. In many cases, the instrument based interaction method has been an obstacle in UAV application. In order to reduce the difficulty interacting with UAV. We make usage of the binocular camera on UAV which originally used in obstacle avoidance for motion capture by using depth sensing method. By using deep learning method for motion recognition, we develop a high accuracy human-robot interacting method which is non instrument based. This method reduces the interacting difficulty and has a great sense in experience of interacting with UAV. In our research, we finished following works:We set up an UAV platform for experimental usage. The platform includes an milticopter and an embedded signal processing platform equipped with NVidia Tegra K1 processor. We wrote an API which allow us control UAV from embedded signal processing platform. This has been the basis of UAV control, navigation and other further study.We designed and realize an interacting method with UAV based on stereo vision and deep learning. Firstly, tracking the people who was allowed to control the UAV and spilt it out. We got depth image which contained both the people and the background. We filtered out the background by normalizing and threadholding the depth image. Secondly, we overlay a series differential depth image. These image is colored by mapping the color and the depth image in HSV color space according the time of image captured to generate a colored texture image which including time and space information at the same time. Finally, we classify the colored texture image using deep learning method and recognized the gesture. We trained the neural network offline and executing the image classification online as the training of neural network required power computer.Finally, we built a data set containing four commanding gesture and a non-commanding gesture. We trained the neural network using this data set and prove the proposed classification method. The proposed method is robust for both indoor and outdoor situation and is effective in 10 meters. Make significant sense to the popularization of UAV and extend its application field.KEY WORDS：Unmanned Aerial Vehicle, Human Robot Interact, Stereo Vision, Deep Learning目录摘要 (I)ABSTRACT .......................................................................................................... I II 绪论 . (1)1.1引言 (1)1.2国内外研究现状 (2)1.2.1无人机及其控制 (2)1.2.2无人机人机交互方法 (3)1.2.3人类动作数据采集 (5)1.2.4动作识别 (6)1.3论文的主要研究内容 (7)1.4论文结构安排 (7)基于双目视觉的深度图生成以及处理 (9)2.1双目摄像头图像的采集 (9)2.2双目视觉测距原理 (10)2.3立体相机的标定 (12)2.4深度图的生成 (13)2.5立体图像的预处理 (16)2.6本章小结 (17)基于深度学习的动作识别方法 (19)3.1视频预处理 (19)3.1.1领航员的跟踪以及区域裁切 (19)3.1.2彩色纹理图序列的生成 (20)3.2卷积神经网络 (22)3.2.1 Caffe神经网络框架 (23)3.2.2 Alexnet网络 (23)3.3数据集的构建 (24)3.4神经网络的训练和动作识别 (26)3.5本章小结 (27)多旋翼无人机控制 (29)4.1多旋翼无人机控制 (29)4.1.1动力模型以及控制方法 (29)4.1.2无人机自动控制原理 (31)4.2无人机的外部控制 (32)4.2.1 ROS机器人操作系统 (32)4.2.2 Mavros工具包 (33)4.2.3系统软件架构 (35)4.3本章小结 (37)实验和数据分析 (39)5.1硬件平台 (39)5.1.1总体方案 (39)5.1.2嵌入式机载处理平台 (40)5.1.3地面站 (41)5.2手势识别算法性能比较 (41)5.3手势识别距离测试 (42)5.4本章小结 (44)总结与展望 (45)6.1本文工作总结 (45)6.2进一步的工作 (46)参考文献 (47)发表论文和参加科研情况说明 (51)致谢 (53)绪论1.1引言无人机已广泛应用于海域监测、电力巡线、森林防火，搜索救援、防灾减灾、国土资源监测、航测航拍、高速公路管理、毒气勘察、污染监测等领域，在降低成本，提高效率及安全性等方面展现了巨大优势。
第7章-人机系统设计
2023/5/24
1
6
Human Engineering, Lv Jiefeng, WUT Copyright Reserved
人机
工程学
HUMAN
ENGINEERING
第7章 人机系统设计
7.2 人机系统设计的基本原则
GB/T 16251—1996《工作系统设计的人类工效学原则》中规定了与人的生活质量、安全和健康 有关的工作系统设计的一般指导原则。（详见该标准）
人机
工程学
HUMAN
ENGINEERING第7章人机系统设计7.1 人机系统设计概述 7.2 人机系统设计的基本原则 7.3 人机系统设计的程序与方法 7.4 人机系统设计实例
2023/5/24
1
8
Human Engineering, Lv Jiefeng, WUT Copyright Reserved
7.2.1 工作空间和工作设备的设计
1.与身体尺寸有关的设计 2.有关身体姿势、肌力和身体动作的设计 3.有关信号、显示器和操纵器设计
7.2.2 工作环境设计 7.2.3 工作过程设计
2023/5/24
1
7
Human Engineering, Lv Jiefeng, WUT Copyright Reserved
事项 分析系统的
功能
系统构思
选择最佳设 想和必要的
设计条件 人因分析
设计细则
具体设计
设计评价 缺陷诊断 修改意见
生产 使用、保养
人机系统设计中应注意的事项 系统对安全、舒适、经济和效率的要 求 明确系统的重要事项 与设计有关的人员、设备、材料准备 详细划分系统的主要事项及其性能 对各项设想进行比较 系统的功能分配 系统的人机匹配 人机交互方式
物理学与人机交互
可持续发展 与环境影响
发展绿色环保的 交互技术
人性化设计 与个性化需
求
需要兼顾用户需 求和技术实现的
平衡
感谢观看
THANKS
增强现实技术是一种 技术，通过将虚拟信 息叠加到真实世界中， 增强用户的感知体验。 在人机交互领域，物 理学原理在增强现实 技术中发挥着重要作 用，为用户带来更丰 富、更直观的交互体 验。
光学原理在增强现实设备中的应用
折射、反射 应用
光学效应提升映 射质量
光学传感器 作用
实现用户交互
体积和重量 影响
交互理解
通过物理学知识更好理解 用户与计算机的交互过程
人机交互领域的发展趋势
技术进步
随着技术的不断 进步，人机交互 领域也在不断演
进
应用前景
物理学的应用将 在人机交互领域
发挥重要作用
物理学与人机交互的关键技术
01 触摸屏技术
用于用户界面的交互操作
02 姿势识别技术
识别用户的姿势以实现交互
03 虚拟现实技术
物理学与人机交互的结合
物理学与人机交互的结合将为人类带来更加智能、 便捷、真实的用户体验。通过不断深入研究物理 学在人机交互中的应用，可以为未来科技发展开 辟更加广阔的空间，推动技术不断创新。
挑战与机遇
技术融合与 创新
挑战传统技术的 边界，创造新的
交互方式
数据隐私与 安全性
保护用户数据隐 私，确保信息安
听觉
如何影响用户界 面设计
肌肉骨骼系统在人机交互中的影响
重要性
对体验的关键影响 支撑动作的重要性
生物物理学角度
应变和适应性 不同交互场景的应用
设计原则
符合人体力学的交互界面 设计 最佳实践
仿人机器人竞技娱乐运动设计第7章Choregraphe入门
第7章 Choregraphe入门 图7-3 Win7系统下Choregraphe的安装过程图3
第7章 Choregraphe入门 (3) 点击“Next”后出现如图7-4所示的界面。
图7-4 Win7系统下Choregraphe的安装过程图4
第7章 Choregraphe入门 (8) 选择“Finish”，如图7-9所示。 (9) 选择“确定”，安装完成。 安装完成后，系统不仅安装了Choregraphe软件，还加 载了附带的Monitor、NAOqi以及参考文档NAO Reference。
图7-9 Win7系统下Choregraphe安装过程图9
7.2 Choregraphe概述
Choregraphe是一款多平台的应用软件，用Choregraphe 可以创建应用于NAO机器人的行为模块，并连接到NAO机 器人上，测试用户所创建的行为模块。简而言之， Choregraphe是一款专门用于NAO机器人控制的软件。
Choregraphe采用的是图形化编程，其优势在于一个复 杂行为模块的创建(例如人机交互、跳舞、发送邮件等等)不 需要用户编写任何一条代码，因为Choregraphe自带了足够 丰富的指令盒，将这些指令盒通过拖动的方式进行组合，足 以实现多种复杂行为。当然，Choregraphe也提供用户自定 义功能，允许使用Python语言编写自定义模块。
第7章 Choregraphe入门
B：选择所需指令盒，所选中的指令盒会以暗条标示出 来。
C：提示信息，选择指令盒后，在这里会显示出相应的 提示信息，说明指令盒的功能。
另外，用户也可以创建自己的指令盒库，保存用户自己 编写的指令盒。具体操作是：在菜单栏上，选择“指令盒 库”→“新指令盒库”，右击新指令盒库的空白区域，选择 “创建新的文件夹”。将流程图操作区的指令盒保存到新指 令盒库的方法：右击指令盒，选择“添加至指令盒库”，在 菜单栏上选择“指令盒库”→“保存指令盒库”，或“指令 盒库”→“保存指令盒库为”。
CATIA二次开发技术基础-第7章_人机交互
7.1.3.2 FindObject 功能：在当前选择集中搜索指定类型的元素。 语法：
FindObject（CATBSTR iObjectType）As CATIABase
参数： ·iObjectType：元素类型，加上 CATIA 前缀，如 Point 类型应为 CATIAPoint。 示例： 如下代码在当前选择集中搜索 Pad 特征。
CATIA.ActiveDocument.Selection.PastSpecial“CATPrtResultWithOutLink”
7.1.4.6 Search 功能：搜索元素，并把结果加入当前选择集。 语法：
Search（CATBSTR iStringBSTR）
参数： ·iStringBSTR：搜索字串，格式同编辑菜单的搜索命令。 示例：如下代码在文档中搜索颜色为白色的草绘特征。 CATIA.ActiveDocument.Selection.Search（“Part.Sketch.Color=‘White’，all”）
·“CATMechProdCont”粘贴为“As specified in Assembly”， ·“CATProdCont”粘贴为“As specified in Product Structure”， ·“CATIA_SPEC”粘贴为“CATIA_SPEC” ·“CATIA_RESULT”粘贴为“CATIA_RESULT”. 在产品文档中： ·“CATProdCont”粘贴为“As specified in Product Structure”， ·“CATSpecBreakLink”粘贴为“BreakLink”。 示例：如下代码将当前选择集中的元素作为结果粘贴。
7.1.2 Selection 对象
Selection 对象包含了当前用户选择的物体。这些物体可以是用户用鼠标选择的，可以是 用搜索命令返回的结果集，也可以是用编程的方法添加的，它们可以用做下一步操作的对象。 每个文档只有一个 Selection 对象。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
教学重点 • 人机交互控制方式 • 键盘原理 • CRT显示器原理 教学难点
• 人机交互控制方式
CS&T Informat机交互系统 概述
典型人机交互 设备 人机交互的
发展
CS&T Information Course
7.1人机交互系统概述——人机交互的概念
教学重点 • 人机交互控制方式 • 键盘原理 • CRT显示器原理 教学难点
• 人机交互控制方式
CS&T Information Course
课程逻辑图
什么是程序？ （程序的本质） 信息的描述 （数码系统） 信息的处理 （运算与运算器） 什么是指令？ （指令系统） 指令存在什么地方？ （存储系统） 指令怎样执行？ （中央处理器） 指令怎样进入主存？ （人机交互系统） 人机交互界面 输入设备 人机交互设备 人机交互接口 人机交互控制方式 直接存储器访问方式 通道方式 输出设备 直接程序控制方式 中断程序控制方式 如何开发程序？
人机交互是一门科学学科，它主要研究用 户如何使用计算机以及如何设计一个可以帮助 用户提高工作效率的计算机系统，是一个多学 科的综合，涉及到计算机科学、心理学、社会 学、图形设计、工业设计等多个领域。
• 人机交互系统的主要作用是控制有关设备的运行和理解 并执行通过人机交互设备传来的有关的各种命令和要求。
7.2人机交互控制方式——直接存储器访问方式
• 基本概念
主存储器
CPU
外设端口
HLDA
HOLD
DMA控制器
CS&T Information Course
7.2人机交互控制方式——直接存储器访问方式
• DMA控制器的控制方式
– 周期窃取方式
总线控制权 CPU工作 DMA控制器工作
t
– 直接存取方式
总线控制权 CPU工作 DMA控制器工作
CS&T Information Course
7.1人机交互系统概述——人机交互系统的组成
人机交互界面
颜色
人机交互接口
串行接口
人机交互接口芯片
串行接口芯片 8251 并行接口芯片 8255 USB接口芯片 CH375
界面交互组件
并行接口
文本
PS2接口 USB接口 1394接口
语音和听觉
触觉和运动
CS&T Information Course
计算机学科要 解决的问题
程序如何执行？ （程序的外在）
编码器1 A2 A1 A0
D3
D2
D1
D0
D7
D6
D5
D4
CS&T Information Course
7.3典型人机交互设备——键盘
Vc
• 非编码键盘
– 逐行扫描法 – 反转扫描法（行列扫描法）
X0
X1
X2
从CPU输出
输 出 寄 存 器
X3
X4
X5
X6
X7 Y0 Y1 Y2 Y3 Y4 Y5 Y6 Y7
CS&T Information Course
7.2人机交互控制方式——中断程序控制方式
如果当外设准备 好或空闲时，主动向 CPU发出中断请求，表 示要传送数据，CPU响 应该请求后，执行中 断服务程序，实现与 外设的数据传送，这 种控制方式称为中断 程序控制方式。
CS&T Information Course
字符显示器 图形显示器 图像显示器
– 按功能分类
CS&T Information Course
7.3典型人机交互设备——显示器
• 显示的原理
– 字符显示原理 – 图形图像显示原理
7 6 5 4 3 2 1 0 0 1 2 3 4 5 6 7 8 9 A B C D FEH 80H 80H 80H FEH 80H 80H 80H FEH 00H 00H 00H 00H 00H
CS&T Information Course
7.3典型人机交互设备——打印机
• 针式打印机 • 喷墨打印机 • 激光打印机
CS&T Information Course
7.3典型人机交互设备——触摸屏
• • • • 电阻式 电容感应式 红外线式 表面声波式
CS&T Information Course
CPU的介入
接口的硬件 支持
最简单的硬件
增加中断控制器
CS&T Information Course
7.3典型人机交互设备——键盘
• 编码键盘
Vc 0 GS
3
0
1
…… 7
8
9
*
#
控0
控1
…… 控7
……
……
1
……
7
编码器3 A8 A7 A6
0 GS
2
1
2
3
编码器2 A5 A4 A3
0 GS
1
1
……
7
CS&T Information Course
Beyond Technology
大连东软信息学院精品课程
计算机组成原理
CS&T Information Course
第7章 人机交互系统
教学内容 • • • • 7.1人机交互系统概述 7.2人机交互控制方式 7.3典型人机交互设备 7.4人机交互的发展
7.2人机交互控制方式——直接程序控制方式
直接程序控制方式的主要 特点是，当外设启动后，外 设的整个工作过程均在CPU 的监控之下，也就是说CPU 只为外设服务，不再处理其 他事务，根据CPU与外设之 间传送数据的时机是由CPU 决定还是由外设决定，又可 将这种方式分为无条件传送 方式和程序查询方式（有条 件传送方式）两种。
t
– 数据块传送方式
总线控制权 CPU工作 中断请求 DMA控制器工作 中断返回
t
CS&T Information Course
7.2人机交互控制方式——三种访问方式的特点
直接程序 控制方式
完全介入
特点
中断程序 控制方式
CPU还可兼顾其 他事务
直接存储器 控制方式
CPU在传输的始末 介入
增加DMA控制器并 保留中断控制器
7.4人机交互的发展
手工操作和二 进制代码 批处理操作语 言或者交互命 令语言 鼠标和图形用 户界面GUI
多通道 多媒体
网络用户界面
CS&T Information Course
本章小结
教学内容 • • • • 7.1人机交互系统概述 7.2人机交互控制方式 7.3典型人机交互设备 7.4人机交互的发展
输入寄存器
输入到CPU
CS&T Information Course
7.3典型人机交互设备——鼠标
• 机械鼠标 • 光机鼠标 • 光电鼠标
CS&T Information Course
7.3典型人机交互设备——显示器
• 显示器的分类
– 按显示器件分类
阴极射线管显示器（C RT） 液晶显示器（LCD） 等离子显示器（PD） 发光二极管显示器（L ED）