多通道用户界面设计技术综述.

人机交互基础教程实验报告实验题目：多通道用户界面设计技术综述专业计算机科学与技术学生姓名班级学号教师指导单位计算机软件学院日期教师评语教师签名：年月日成绩评定备注一、实验目的1) 了解常见的多通道用户界面2) 查找资料，熟悉一种多通道用户界面并写出综述二 、预备知识为适应目前和未来的计算机系统要求，人机界面应能支持时变媒体，实现三维、非精确及隐含的人机交互，而多通道人机界面是达到这一目的的重要途径。

80年代后期以来，多通道用户界面成为人机交互技术研究的崭新领域，在国内外受到高度重视。

综合采用视线、语音、手势等新的交互通道、设备和交互技术，使用户利用多个通道以自然、并行、协作的方式进行人机对话，通过整合来自多个通道的、精确的和不精确的输入来捕捉用户的交互意图，提高人机交互的自然性和高效性。

多通道用户界面主要关注人机界面中用户向计算机输入信息以及计算机对用户意图的理解，所要达到的目标可归纳为如下方面：1)交互的自然性MMI用户 手 嘴 … 眼手… 2D/3D 多媒体信息 应用例程 击键/指点 通 语音 道 眼神 整 … 合使用户尽可能多地利用已有的日常技能与计算机交互，降低认识负荷。

2)交互的高效性使人机通讯信息交换吞吐量更大、形式更丰富，发挥人机彼此不同的认知潜力。

3)与传统的用户界面特别是广泛流行的WIMP/GUI兼容。

(1) 多通道用户界面的基本特点1)使用多个感觉和效应通道2)允许非精确的交互3)三维和直接操纵4)交互的双向性5)交互的隐含性(2)涉及的主要技术1)多媒体使用多种表示媒体，如文本、图形、图像和声音，使人机交互技术最终要向着更接近于人的自然方式发展，使计算机具有听觉和视觉，以更自然的方式与人交互。

多媒体技术引入了动画、音频、视频等动态媒体，大大丰富了计算机表现信息的形式，拓宽了计算机输出的带宽，提高了用户接受信息的效率，使人们可以得到更直观的信息，从而简化了用户的操作，扩展了应用范围。

2)虚拟现实又称虚拟环境，虚拟现实系统向用户提供沉浸和多感觉通道体验。

在虚拟现实中，人是主动参与者，复杂系统中可能有许多参与者共同在以计算机网络系统为基础的虚拟环境中协同工作。

虚拟现实系统具有三个重要特点：沉浸感、交互性、构想性。

3)眼动跟踪与视觉有关的人机交互自始至终都离不开视线的控制。

如果能通过用户的视线盯着感兴趣的目标，计算机便“自动”将光标置于其上，人机交互将更为直接，也省去了上述交互过程中的大部分步骤。

4)手势识别一个简单的手势蕴涵着丰富的信息，人与人可以通过手势传达大量的信息，实现高速的通信。

将手势运用于计算机能够很好地改善人机交互的效率。

在多数情况下我们笼统地认为手势是人的上肢(包括手臂、手和手指)的运动状态。

5)三维输入许多应用(如虚拟现实系统)需要三维空间定位技术，三维空间控制器的共同特点是具有六个自由度，分别描述三维对象的宽度、深度、高度、俯仰角、转动角、偏转角。

通过控制这六个参数，用户可以在屏幕上平移三维对象或光标，也可沿三个坐标轴转动三维对象。

在三维用户交互中必须便于用户在三维空间中观察、比较、操作、改变三维空间的状态。

6)语音识别语音识别是计算机通过识别和理解过程把语音信号转变为相应的文本文件或命令的技术。

语音识别又是一门交叉学科，它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。

7)表情识别面部表情是人体语言的一部分。

人的面部表情不是孤立的，它与情绪之间存在着千丝万缕的联系。

人的各种情绪变化以及对冷热的感觉都是非常复杂的高级神经活动，如何感知、记录、识别这些变化过程是表情识别的关键。

8)手写识别发展手写识别技术并嵌入到各种设备中，将是手写识别技术未来发展的重要方向之一。

联机手写识别技术的优点是不需专门学习与训练、不必记忆编码规则、安装后即可手写输入汉字，是最简单方便的输入方式。

同时符合人的书写习惯，可以一面思考、一面书写，不会打断思维的连续性，是最自然的输入方式。

9)数字墨水数字墨水是一种新的人机界面技术，它借鉴手写识别技术的同时，克服了它的许多局限性。

数字墨水在数学上是通过三阶贝塞尔曲线来描述笔输入的笔迹，它的记录格式与图像和文本格式都不同。

这种存储方式使得数字墨水文件的大小很小，从而可以更有效地进行存储。

三、实验内容与步骤(1)实验内容要求上网查找资料，熟悉一种多通道用户界面并写出综述，可以是眼动跟踪、手势识别、三维输入、语音识别、表情识别、手写识别等。

(2)实验步骤1)借助图书馆的中英文参考文献资料以及网络，确定出一种多通道用户界面；2)完成对该多通道用户界面的综述(包括定义、发展历史、当前的应用、主要的研究方法分类、以及发展前景以及中英文参考文献（至少各5篇）)噪音环境下的语音识别1.引言随着社会的不断进步和科技的飞速发展，计算机对人们的帮助越来越大，成为了人们不可缺少的好助手，但是一直以来人们都是通过键盘、鼠标等和它进行通信，这限制了人与计算机之间的交流，更限制了消费人群。

为了能让多数人甚至是残疾人都能使用计算机，让计算机能听懂人的语言，理解人们的意图，人们开始了对语音识别的研究．语音识别是语音学与数字信号处理技术相结合的一门交叉学科，它和认知学、心理学、语言学、计算机科学、模式识别和人工智能等学科都有密切关系。

2.语音识别的发展历史和研究现状2.1国外语音识别的发展状况国外的语音识别是从1952年贝尔实验室的Davis等人研制的特定说话人孤立数字识别系统开始的。

20世纪60年代，日本的很多研究者开发了相关的特殊硬件来进行语音识别RCA实验室的Martin等人为解决语音信号时间尺度不统一的问题，开发了一系列的时问归正方法，明显地改善了识别性能。

与此同时，苏联的Vmtsyuk提出了采用动态规划方法解决两个语音的时闻对准问题，这是动态时间弯折算法DTW(dymmic time warping)的基础，也是其连续词识别算法的初级版。

20世纪70年代，人工智能技术走入语音识别的研究中来．人们对语音识别的研究也取得了突破性进展．线性预测编码技术也被扩展应用到语音识别中，DTw也基本成熟。

20世纪80年代，语音识别研究的一个重要进展，就是识别算法从模式匹配技术转向基于统计模型的技术，更多地追求从整体统计的角度来建立最佳的语音识别系统。

隐马尔可夫模型(hidden Markov model，删)技术就是其中一个典型技术。

删的研究使大词汇量连续语音识别系统的开发成为可能。

20世纪90年代，人工神经网络(artificial neural network，ANN)也被应用到语音识别的研究中，并使相应的研究工作在模型的细化、参数的提取和优化以及系统的自适应技术等方面取得了一些关键性的进展，此时，语音识别技术进一步成熟，并走向实用。

许多发达国家，如美国、日本、韩国，已经IBM、Microsoft、 Apple、AT&T、Nrr等著名公司都为语音识别系统的实用化开发研究投以巨资。

当今，基于HMM和ANN 相结合的方法得到了广泛的重视。

而一些模式识别、机器学习方面的新技术也被应用到语音识别过程中，如支持向量机(support vector machine，SVM)技术、进化算法(evolutionary computation)技术等。

2.2国内语音识别的发展状况20世纪50年代我国就有人尝试用电子管电路进行元音识别，到70年代才由中科院声学所开始进行计算机语音识别的研究．80年代开始，很多学者和单位参与到语音识别的研究中来，也开展了从最初的特定人、小词汇量孤立词识别，到非特定人、大词汇量连续语音识别的研究工作．80年代末，以汉语全音节识别作为主攻方向的研究已经取得了相当大的进展，一些汉语语音输入系统已经向实用化迈进。

90年代j四达技术开发中心和哈尔滨工业大学合作推出了具有自然语言理解能力的新产品．在国家“863”计划的支持下，清华大学和中科院自动化所等单位在汉语听写机原理样机的研制方面开展了卓有成效的研究．经过60多年的发展，语音识别技术已经得到了很大发展，对于语音识别的研究也达到了相当高的水平，并在实验室环境下能达到很好的识别效果。

但是，在实际应用中，噪声以及各种因素的影响，使语音识别系统的性能大幅度下降，很难达到让人满意的效果。

因此，对噪声环境下的语音识别的研究有着异常重要的理论价值和现实意义．为解决噪声环境下，识别语音的特征参数和模叛库中的特征不匹配的问题我们必须想办法消除噪声对语音特征参数的影响，根据语音识别过程可知，有以下三种方法：(1)假定语音模板和背景噪声无关，即无论是清晰语音还是带噪语音，都用同一套模板来识别．在这种情况下，重点在识别阶段，从带噪语音中提取出抗噪的特征参数或者采取抗噪声的失真测度．(2)在语音的识别阶段，语音识别系统加一个前端处理，从带噪语音中提取出纯净语音，然后再提取语音的特征参数．这种方法被称为语音增强。

(3)在语音识别阶段，根据识别现场的环境噪声对语音模板进行变换，使之接近根据现场带噪语音训练而成的语音模板．这种方法称为语音模板的噪声补偿．无论使用哪种方法消除噪声，我们首先要了解噪声。

根据噪声对语音频谱的干扰方式不同可以把噪声分为加性噪声和乘性噪声两类．2.3语音增强方法由于噪声的种类很多,特性并不完全相同,因此针对各类噪声必须采取不同的语音增强方法。

一直以来,人们都在加性噪声的模型上进行研究,提出了各种语音增强算法,总的来说可分为三类:第一类是时域方法,例如基于参数和模型的方法[ 3～4 ] 、子空间的方法[ 5～6 ]等;第二类是频域方法,例如减谱法[ 7～9 ] 、自适应滤波法[ 11 ] ,以及基于马尔可夫模型滤波方法[ 12 ]等;第三类是其它方法,例如小波变换法、听觉掩蔽法等。

2.4 时域方法1. 基于参数和模型的方法。

基于参数和模型的方法通常有两大类[ 10 ] :分析合成法和利用滤波器进行滤波处理的方法。

前者是把声道模型看作一个全极点滤波器,采用线性预测分析得到滤波器的参数。

通过从带噪语音中准确估计模型的参数来合成干净的语音,这种方法关键在于如何从带噪语音中准确地估计语音模型的参数(包括激励参数和声道参数) 。

后者则是考虑到激励参数难以准确估计,采用只利用声道参数构造滤波器进行滤波处理。

而在低信噪比下,很难对模型参数进行准确估计,并且此类方法往往因需要迭代而增加算法的复杂度。

在实际应用中有时也会把两者合并在一起相互补充。

具体来说主要有以下几种方法。

(1)最大后验概率估计法最大后验概率估计法是把语音看作一个全极点的模型,首先依据最大后验概率准则估计LPC线性预测参数,然后根据LPC参数的功率谱来构造一个非因果的维纳滤波器对带噪语音信号进行滤波,通过多次迭代直到满足预先设定的阈值为止。