虚拟现实的计算体系结构
虚拟现实的计算机技术(PPT 123页)
视觉显示对计算机系统的要求---计算能力和场景复 杂性
为什么说虚拟现实仿真的计算问题，是一种时间受 限的计算
这是因为显示的帧频必须大于8到10帧/秒。于是 ，在0.1秒内，必须完成一次场景的计算。
用什么表示场景的复杂性？用什么能够表示计算能 力？
Gourand明暗处理算法
Gourand在1971年提出了光强度插值明暗算法
该算法较好地消除了用常数明暗法处理光强度的不连续 性，但是在明暗强度函数的斜率急剧变化处仍可看到马赫 带效应。即Gourand明暗算法不能完全消除光强度的不连 续性。
Gourand明暗算法的基本思想是在各多边形的公共顶点处 ，用前面得到的光照较准确地计算各顶点的反射光的明暗 度。而对于各多边形内部各点的明暗度，则使用线性插值 法计算各点的明暗度。
1 虚拟现实的计算机体系结构
虚拟现实的计算机体系结构特点，可以从以下几 方面讨论： 1. 虚拟现实对计算机系统的要求 2. 基于PC的虚拟现实机器的组成结构 3. 基于工作站的虚拟现实机器组成结构 4. 高度并行的虚拟现实机器组成结构
虚拟现实对计算机系统的要求
问题？ 1. 前面我们讲解了哪些虚拟现实技术指标？
最初的PC平台的虚拟现实机器： 在1992年推出了低级的基于486的虚拟现实机器 它有头部跟踪器、HMD、3-D声音、图形加速器 和手柄，价格少于20000美元。1994年，低级的 基于PC的系统价格约3300美元（跟踪球200美元 ，Cyberscope200美元，软件工具盒900美元，486PC 2000美元）。
图形硬件
图形硬件指的是什么？ 是那些使图形绘制加速的硬件设备。
图形硬件涉及到哪些？ 1. 图形流水线 2. 图形卡的AGP和PCI 3. 图形加速器 4. Add-ons
虚拟现实与增强现实技术导论虚拟现实的计算体系结构
虚拟现实与增强现实技术导论虚拟现实的计算体系结构虚拟现实（Virtual Reality，简称VR）是一种通过计算机生成的虚拟环境模拟现实世界或者创造一个全新的虚拟世界的技术。
虚拟现实技术的计算体系结构是指支持虚拟现实应用的硬件、软件及其相互之间的组织和关系。
虚拟现实技术的计算体系结构包括以下几个关键要素：1.输入设备：虚拟现实的输入设备通常包括头戴式显示器、追踪器、手柄等。
头戴式显示器可以通过分辨率高的屏幕和镜片进行像素展示和聚焦，使用户可以获得更真实的视觉体验。
追踪器可以追踪用户的头部和手部运动，实现对用户动作的反馈。
手柄可以提供更多的交互方式，以增强虚拟现实的沉浸感。
2.计算设备：虚拟现实技术对计算能力的要求很高，需要能够实时处理大量图形数据的计算设备。
目前常用的计算设备包括个人电脑、游戏主机、智能手机等。
这些设备通常需要具备强大的图形处理能力，并且能够实时生成和渲染虚拟环境中的图像。
3.虚拟环境建模和内容生成：虚拟现实应用需要构建一个真实或虚构的场景，以实现用户的沉浸式体验。
虚拟环境建模和内容生成是通过计算机图形学、物理建模、虚拟现实引擎等技术来实现的。
这些技术可以生成逼真的场景图像、人物模型和物体模型，并提供物理引擎来模拟真实世界的物理特性。
4.虚拟现实引擎：虚拟现实引擎是指一种软件平台，它可以提供基于计算机图形学的场景渲染、用户输入处理、物理模拟等功能，以支持虚拟现实应用的开发。
常见的虚拟现实引擎包括Unity、Unreal等。
虚拟现实引擎可以提供各种接口和工具，帮助开发者实现虚拟现实应用的各种功能，例如用户交互、虚拟物体的碰撞检测等。
5.输出设备：输出设备用于向用户提供虚拟现实体验的结果。
常见的输出设备包括头戴式显示器、扬声器、振动器等。
头戴式显示器用于向用户展示虚拟环境的图像，扬声器用于提供音频效果，振动器用于模拟触觉反馈。
总体来说，虚拟现实技术的计算体系结构由输入设备、计算设备、虚拟环境建模和内容生成、虚拟现实引擎以及输出设备等组成。
8-2_虚拟现实
虚拟现实第8章大纲⏹第8章虚虚实实的现代生活⏹沉浸于空间信息工程⏹知识点：空间信息工程的多维交互⏹虚拟现实⏹知识点：虚拟现实的3I特征⏹Web 3D⏹知识点：Web3D可让空间信息工程更具有消费价值⏹增强现实⏹知识点：增强现实技术的研究范围什么是虚拟现实？虚拟现实（简称VR），又称灵境技术，是以沉浸性、交互性和构想性为基本特征的计算机高级人机界面。
综合利用了计算机图形学、仿真技术、多媒体技术、人工智能技术、计算机网络技术、并行处理技术和多传感器技术，模拟人的视觉、听觉、触觉等感觉器官功能，使人能够沉浸在计算机生成的虚拟境界中，并能够通过语言、手势等自然的方式与之进行实时交互，创建了一种适人化的多维信息空间。
虚拟现实应用的主要特点✓身临其境性✓交互性✓直观性✓虚拟现实性✓协作性1.实物虚化▪（1）基本模型构建技术•应用计算机技术生成虚拟世界的基础，它将真实世界的对象物体在相应的三维虚拟世界中重构，并根据系统需求保存部分物理属性。
▪（2)空间跟踪技术•通过头盔显示器、数据手套，立体眼镜，数据衣等交互设备上的空间传感器，确定用户的头、手、躯体或其他操作物在三维虚拟环境中的位置和方向。
▪（3）声音跟踪技术•利用不同声源的声音到达某一特定地点的时间差、相位差、声压差等进行虚拟环境的声音跟踪是实物虚化的重要组成部分。
▪（4）视觉跟踪与视点感应技术•使用从视频摄像机到X-Y平面阵列，周围光或者跟踪光在图像投影平面不同时刻和不同位置上的投影，计算被跟踪对象的位置和方向。
2.虚物实化▪（1）视觉感知虚拟环境中大部分具有一定形状的物体或现象，可以通过多种途径使用户产生真实感很强的视觉感知。
▪（2）听觉感知。
虚拟环境的声音效果，可以弥补视觉效果的不足，增强环境逼真度。
有助于在操作中对声音定位。
▪（3）力觉和触觉感知能否让参与者产生“沉浸”感的关键因素之一是用户能否在操纵虚拟物体的同时，感受到虚拟物体的反作用力，从而产生触觉和力觉感知。
0-虚拟现实技术(1)概述
7
科学计算可视化的需要
从60 年代末起，在计算机技术的支持下已对科学 计算提出可视化的要求
21
示例
22
虚拟现实概念
虚拟现实就是采用以计算机技术为核心的现代高技术生成逼 真的视、听、触觉一体化的一定范围的虚拟环境，用户可以 借助必要的装备以自然的方式与虚拟环境中的物体进行交互 作用、相互影响，从而获得亲临等同真实环境的感受和体验。
虚拟现实（Virtual Reality, VR）技术是近年来计算机领域 的又一个研究热点。虚拟现实技术充分利用计算机硬件和软 件的集成技术，提供一种实时、三维的虚拟环境，用户借助 必要的设备（如头盔，手套等）以自然方式与虚拟环境中的 物体进行交互，从而沉浸于虚拟环境中，产生接近真实环境 的感受和体验。虚拟环境是由计算机生成的实时动态的三维 立体逼真图像，它可以是某一现实世界的再现，也可以是虚 拟构想的世界。虚拟现实的发展对科学进步和社会发展产生 了深远的影响。
24
虚拟现实系统产生的虚拟世界不同于一般的虚拟世界，虚拟 现实产生的虚拟世界可以称作“三维的、由计算机生成的、 存在于计算机内部的虚拟世界”，这个世界或环境是人工构 造的，是存在于计算机内部的。这种虚拟的世界，通常有两 种情况。
一种情况是真实世界的再现。如文物保护中真实建筑物的虚 拟重建。这种真实建筑物可能是已经建好的，或是已经设计 好但尚未建成的，也可能是原来完好的，现在被破坏了的。
现实”一词榜上有名。” －《数字化生存》 作者尼葛洛庞帝戏言。
VR指标的原理和计算方法
VR指标的原理和计算方法虚拟现实（Virtual Reality, VR）是一种通过电脑技术、传感技术等手段创造出一个虚拟的三维环境，让用户可以身临其境地感受其中的情境。
为了评估和比较各种VR系统的质量，可以使用一些VR指标。
下面将介绍VR指标的原理和计算方法。
一、VR指标的原理虚拟现实系统的质量可以从不同的角度来衡量，包括用户体验、交互性、图形质量、系统鲁棒性等方面。
不同的VR指标可以评价这些方面的性能，帮助开发者和研究人员了解VR系统的优点和缺点。
在选择VR指标时，需要考虑以下几个原则：1.目标导向：VR指标应该与特定的应用场景和目标相关。
不同的VR应用可能对不同的指标有不同的侧重点。
2.可量化：VR指标应该是可以测量和计算的，以便进行比较和评估。
3.客观性：VR指标应该是客观的，不受主观因素的影响。
二、VR指标的计算方法1. 存在感（Presence）指标：存在感是指用户在虚拟环境中是否有身临其境的感觉。
存在感可以通过用户体验调查、生理指标（如心率、皮肤电反应等）以及行为表现来评估。
2. 效果感（Immersion）指标：效果感是指用户对虚拟环境中的视觉、听觉、触觉等感觉的深度和真实程度。
可以通过用户体验调查、虚拟现实设备的参数（如分辨率、刷新率等）以及图形质量来评估。
3. 交互性（Interactivity）指标：交互性是指用户与虚拟环境之间的实时反馈和互动程度。
可以通过用户体验调查、交互延迟（如响应时间、动作追踪精度等）以及用户与虚拟环境之间的交互方式来评估。
4. 视觉质量（Visual Quality）指标：视觉质量是指虚拟环境中图像的清晰度、真实感和逼真程度。
可以通过图像质量评估方法（如SSIM、PSNR等）和用户体验调查来评估。
5. 运行性能（Performance）指标：运行性能是指VR系统在不同硬件平台上的表现和稳定性。
可以通过FPS（每秒帧数）、延迟时间和系统错误率等指标来评估。
虚拟现实技术的复习资料
虚拟现实技术第一章1、虚拟现实的概念：用计算机技术来生成一个逼真的三维视觉、听觉、触觉或嗅觉等感觉世界；让用户可以从自己的视点出发，利用自然的技能和某些设备对这一生成的虚拟世界客体进行浏览和交互考察。
虚拟现实是计算机与用户之间的一种理想化的人-机界面形式。
通常用户戴一个头盔（用来显示立体图象的头式显示器），手持传感手套，仿佛置身于一个幻觉世界中，在虚拟环境中漫游，并允许操作其中的“物体”。
2、虚拟现实的特征与传统计算机相比，虚拟现实系统具有四个重要特征：临界性，交互性，想象性，多感知性3、虚拟现实系统的构成：a.虚拟世界（包含三维模型或环境定义的数据库） b.虚拟现实软件（提供实现观察和参与虚拟世界的能力） c.计算机 d.输入设别（观察和构造虚拟世界；如三维鼠标，数据手套，定义跟踪器等） e.输出设备（现实虚拟世界；如显示器，头盔等）4、虚拟现实系统的类型桌面虚拟现实系统，沉浸式虚拟现实系统，混合虚拟现实系统5、虚拟现实的硬件设备跟踪系统（把使用者身体位置的变动反馈给主机，以实时改变图像和声音）知觉系统（人及交互的各种界面，包括视觉装置：头盔显示器等；触觉装置:数据手套跟踪球等）音频系统：立体声耳机等图像生成和现实系统：产生视觉图象和立体显示6、虚拟现实有哪些软件VR系统开发工具：能够接受各种高性能传感器的信息，如头盔的跟踪信息；能生成立体显示图行；能把各种数据库，各种CAD软件进行调用和互联3DSMax：三维制作软件Maya：三维动画以及虚拟现实制作软件，实时三维模型创建软件Multigen Creator7、眼睛的作用、视觉暂留和临界融合频率的概念眼睛的作用：调节和聚焦，明暗适应，视觉暂留，立体视觉，视场视觉暂留：视觉暂留是视网膜的电化学县乡造成视觉的反应时间。
当观看很短的光脉冲时，视杆细胞得到越0.25s的峰，视椎细胞快4倍（0.04s）。
这种现象造成视觉暂留。
临界融合频率：临界融合频率（CFF）效果会产生把离散图像序列组合成连续视觉的能力，CFF最低20Hz，冰取决于图像尺寸和亮度。
06第六章_VR的计算体系结构
流水线瓶颈决不仅仅局限于应用程序阶段。对一个给定的CPU和图形加速卡， 如果减少场景中光源的数目，同时增加图像帧的刷新率，则瓶颈会出现在几何 处理阶段。这样的流水线称为变换-限制。最后，如果降低显示窗口的尺寸或 分辨率，同时增加流水线的输出，则瓶颈会出现在光栅化阶段。这种情况下的 流水线称为填充- 限制。 虚拟现实（LNTU） 虚拟现实（LNTU） 第6章 VR的计算体系结构 VR的计算体系结构
6.1 绘制流水线
6.1.1 图形绘制流水线
绘制流水线的 一个例子 HP Visualize fx卡是用硬 件实现几何 处理阶段和 光栅化阶段 的一个典型 例子。
虚拟现实（LNTU） 虚拟现实（LNTU） 第6章 VR的计算体系结构 VR的计算体系结构
5
6.1 绘制流水线
6.1.1 图形绘制流水线
7
6.1绘制流水线 6.1绘制流水线
6.1.2 触觉绘制流水线
现代VR仿真系统在满足实时约束条件下需要实现另一些感觉模态，如触觉。 这可以通过多阶段的触觉绘制流水线完成。
第一阶段，主要是从数据库中加载三维对象的物理特性，包括表面柔性、光 滑度、重量和表面温度等。流水线的第一阶段还要执行碰撞检测，以确定是否 有虚拟对象发生碰撞。与图形流水线不同，在触觉绘制流水线中，只有在场景 中发生碰撞的结构才被传送到流水线的下一阶段。 虚拟现实（LNTU） 虚拟现实（LNTU） 第6章 VR的计算体系结构 VR的计算体系结构
2
6.1 绘制流水线
术语“绘制”通常与图形密切相关。它表示把组成虚拟世界的三维几何 模型转变成展示给用户的二维场景的过程。绘制也包括其他各种感觉模 态，例如触觉。 流水线结构是一种通过并行执行多个任务部件来加速处理过程的方法。 绘制流水线指的是把绘制过程划分成几个阶段，并把它们指派给不同的 硬件资源。
虚拟现实技术介绍
虚拟现实技术介绍虚拟现实（VR-----Virtual Reality），也称灵境，是一种可以创建和体验虚拟世界的计算机技术，它汇集了计算机图形学、多媒体技术、人工智能、人机接口技术、传感器技术、高度并行的实时计算技术和人的行为学研究等多项关键技术。
它利用计算机技术生成一个逼真的、具有视、听、触等多种感知的虚拟环境，用户通过使用各种交互设备，同虚拟环境中的实体相互作用，使之产生身临其境感觉的交互式视景仿真和信息交流。
虚拟现实的主要特征是：多感知性（Multi-Sensory）、浸没感（Immersion）、交互性（Interactivity）、构想性（Imagination）。
虚拟现实系统具有融合海量信息、逼真再现实景、表现形式新颖直观、传播范围遍及全球、异地浏览方便快捷、内容更新快速简单、互动参与趣味多多等独特优势和特征。
本公司采用空间信息技术和虚拟现实技术开发的系统具有如下功能特点：（1）、支持虚拟漫游，临场体验实现场景虚拟漫游，用户可以自由的漫步其间，可以快速到达想去的地方，这一切都由用户亲手控制。
本系统可以通过键盘、鼠标或操纵杆实现前、后、左、右、上、下方向的位移，同时可以实现左转、右转、仰视、俯视等功能。
用户观看不受限制时间、空间的限制，能根据他们的意志探索整个环境，选择他们自己想体验的东西。
（2）、支持建筑或设备的信息查询及定位功能我们将在系统中建立建筑或设备的信息数据库，通过输入建筑或设备名称，可快速定位到相应的区域或者对象上，同时可以迅速获得相关的数据信息，包括文字介绍、图像、视频、动画、背景音乐以及配音解说等等。
（3）、支持多媒体资源超链接可以将与该建筑或设备相关的视频、音频、实景图片、动画、电子文档等多媒体资源整合在该系统中，采用超链接形式，只需用鼠标轻轻一点，即可调出所需资料。
（4）、支持导航地图可建立一个平面导航地图，使用户清楚了解自身所处地理位置，并可以利用该地图迅速到达指定地点，该地图可以缩小、放大或隐藏。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2.2 基于工作站的体系结构
2 图形体系结构
工作站使用了超级 （多处理器）体系结构，具 有更强大的计算能力、更大 的磁盘空间和更快的通信形 式。
Infinite Reality是SGI 公司开发的第一个为通用工 作站专门设计，具有4个几 何处理引擎和主板，用于提 供复杂场景下具有稳定的 60HZ刷新率高质量绘制的 图形系统。
模型变换（坐 标变换、平移、 旋转和缩放 等）、光照计 算、场景投影、 剪裁和映射
将几何图形信 息转换成视频 显示器需要的 像素信息，即 几何场景转化 为图像。
通过CPU软件编程实 现
由几何处理引擎硬件实 现
由光栅化单元硬件实 现
1 绘制流水线
接口芯片接收系统总线传送的3D数据， 发送到几何处理主板。
使用多边形网格法建模的三维图像
1 绘制流水线
应用程序阶段
用户
CUP1
输入
.
.
.
CPUn
几何处理阶段
光栅化阶段
GE1
RU1
FIFO FIFO
图形缓绘制流.. 水线3个缓阶段
. .
冲
.
冲
.
区
区
GEn
RUn
输 出
视频 控制器
缓
冲
区
应用程序阶段
1 绘制流水线
几何处理阶段
光栅化阶段
完成建模完成建 模、加速计算、 动画、人机交互 响应用户输入。 和触觉绘制流水 线一些任务。
由几何处理主板上最空闲 的几何处理引擎执行相关操作，处理相应 的三维数据，并返回结果到接口芯片。接 口芯片将经过几何处理的数据发送给纹理 芯片，纹理芯片负责纹理映射。
光栅化单元从纹理芯片中读 取数据，把它们转换成像素信息，然后发 送到帧缓冲区。
图形绘制流水线的实例- HP Visualize fx卡
计 力力 算缓 平 映 力冲 滑 射 区
触觉纹理
触觉接口
碰撞检测阶段
1 绘制流水线
受力计算阶段
触觉计算阶段
确定两个（或多 个）虚拟对象之 间是否有接触。 从数据库中加载 虚拟对象的物理 特性
基于各种物理 仿真模型计算 触点压力。还 包括力平滑和 力映射。
主要绘制仿真 过程的接触反 馈分量（触觉 纹理），增强 了对象表面物 理模型真实感。
VR系统结构的设计中最重要的是绘制技术。
1 绘制流水线
图形绘制流水线：指的是把图形绘制过程划分成几 个阶段，并把它们指派给不同的硬件资源并行处理， 用来提高图形绘制速度。
1.1 图形绘制流水线
多边形（三角形）网格表示法）：物 体的立体几何信息是通过它们的边界 面或包围面来表示，而物体的边界面 可以用许多单独的多边形表示。是最 常见的虚拟现实三维模型表示法之一。
虚拟现实的计算体系结构
导学
一、学习目标 1.掌握图形绘制流水线和触
觉绘制流水线的原理。 2.熟悉基于PC和基于工作站
的VR的系统结构。 3.理解多流线的同步机制， 掌握分布式VR的网络组成和
应用。
二、重点、难点
1、图形绘制流水线3个阶段
应用程序、几何处理、光栅化。
2、触觉绘制流水线3个阶段
碰撞检测、受力计算、触觉计算。
注意：只有发生了碰撞的对象才会在触觉绘制流水线中处理。
2.1 基于PC的图形体系结构
2 图形体系结构
只有将PC和虚拟现实交互 式设备集成在一起才能构成 VR引擎。
将头部跟踪器连接到PC的 串行端口，操纵杆连接USB 端口，用来接收用户的输入， 操纵杆接收触觉反馈。头戴 式可视设备连接到图形卡输 出端口，接收系统的视频反 馈。而三维声卡插在PCI总 线上，用户通过用带有三维 声卡的耳机接收音频反馈。
3 分布式虚拟现实的体系结构
联合定位绘制流水线的系统由一台带有多流水
线的图绘形制加流速水卡线3的的.2计多联算台合机计；算定或机位者；绘每或制台者流带它水一们线个的不任同意
组合构成。
3 分布式虚拟现实的体系结构
Wildcat II 511Байду номын сангаас能同时在两个显示器上独立地显示，具 有两套几何处理引擎和两套光栅化引擎。
视频芯片把像素颜色映射成真彩色，进行 数/模转换和视频同步处理，输出显示结果
1 绘制流水线
为了提高对象模型的真实感除了视觉效果外，还需要 触觉来感知物体。可以通过多阶段的触觉绘制流水线 描述触觉模型的过程。
碰撞检测阶段 1.2 触受力觉计算绘阶段制流水线触觉计算阶段
用户
CUP1
输入
.
.
.
CPUn
FIFO
体的延迟，图像扭曲。3.1 多流水线同步
特别是用多台CRT显示 器联合仿真显示，不同步会 会导致图像闪烁，使用户产 生视觉不适。
3 分布式虚拟现实的体系结构
1.软件同步法
方法：要求并行流水线的应用程序阶段在 同一时刻开始处理新的一帧。 缺点：某一条流水线处理速度快于其他流 水线，先填充帧缓冲器，图像先显示出来。
2.帧缓冲器同步多法流水线同步解决的方法
方法：流水线绘制3D图像前会等待系统垂 直同步信号，然后开始绘制一帧图像。 缺点：同时绘制，但绘制速度较快的流水 线会先绘制完帧，还存在图像偏差的可能。
3 分布式虚拟现实的体系结构
3.主从显示器同步法
方法：将其中一个显示器成为主显示 器，而其他显示器为从显示器。主从 显示器图形卡之间通过内部视频逻辑 电路连接，可确保从显示器的垂直和 水平扫描线都与主显示器相同，确保 了输出图像的一致性。
3、多用户多用户分布式虚拟现实 网络拓扑结构
单服务器、多服务器环状网、点 到点LAN、通过路由的混合点到 点WAN
4、基于工作站的VR体系结构
1 绘制流水线
VR引擎是从输入设备中读取数据，访问与任务相关的数据库，执行 任务要求的实时计算，从而实时更新虚拟世界的状态，并把结果反馈
给输出显示设备。
大量的数据计算、低延迟和图形、触觉实时显示都要VR引擎具有强健 的计算体系结构。
3 分布式虚拟现实的体系结构
分布式VR引擎：使用两个或多个绘制流水线的 VR引擎。这些流水线可以同时位于一台计算机 中，也可以分别位于多台协作的计算机中，或 者位于集成在一个仿真系统中的多台远程计算 机中。
3 分布式虚拟现实的体系结构
多条流水线输出的图像 都需要同步。
如果不进行同步，帧刷新 率不一致，就会导致系统整
3 分布式虚拟现实的体系结构
视觉和触觉两种感觉模态也需要同步绘制才能提高真实 性，视觉和触觉的同步是在应用程序阶段实现的，需要 通过专门的接口控制器完成。
帧缓冲器 显示设备
视觉与触觉流水线同步 图形绘制流水线 遍历数据库
几何处理阶段
光栅化阶段
触觉绘制流水线
同步命令
碰触检测
受力计算
触觉纹理绘制
触觉反馈设备