虚拟演播室系统及其关键技术

多年来，演播室的节目录制经常使用色键抠像技术，将在蓝背景前录制的前景画面（如播音员、主持人）与事先制作好的背景画面经色键器合成，产生所需的节目画面供播出或录制。

使用这种传统的抠像技术最大的缺点是在前景和背景合成时，前景和背景的图像没?quot;锁定"，也就是说摄像机运动时（变焦、移动、转动），背景无法随之变化。

这样就造成前景与背景的相对位置关系不正确，合成的图像生硬，播音员好像在背景上漂浮，不符合人们的视觉习惯。

为了避免这种情况，就需要对前景与背景在空间上"锁定"，即调整或移动背景使之与摄像机的运动同步。

虚拟演播室（V irtual Studio）可以说是应运而生，成为节目制作人员关注的焦点。

一、虚拟演播室系统构成典型的虚拟演播室系统是由摄像设备、摄像机位置参数分析和控制、图形计算机、背景材料库和图像合成等设备组成。

虚拟演播室节目制作系统构成的简单框图如图1所示。

在蓝背景中的演员由前景摄像机（真实摄像机）拍摄，而如图1所示的背景图像记录及生成系统称为虚拟摄像机。

真实的和虚拟的摄像机始终是锁定的。

因此，需要确定真实摄像机的位置参数，包括摄像机在演播室中的空间位置，摄像机的运动参数（倾斜、转动、翻转），摄像机镜头设置参数（变焦、聚焦、光圈）。

所有这些数据都被送入计算机中进行分析，实时生成与前景图像保持正确透视关系的背景图像。

然后，前景图像（包括演员和真实场景、道具）与计算机生成的背景图像通过色键控制器进行天衣无缝的合成。

输出的图像可以直接播出或记录在存储媒介上。

图1虚拟演播室节目制作系统构成二、虚拟演播室关键技术虚拟演播室技术包括摄像机跟踪技术、计算机虚拟场景设计和蓝背景技术、灯光技术和色键技术等。

1.摄像机跟踪技术摄像机跟踪技术是虚拟演播室中一项关键技术，它可以获取摄像机在演播室中的实际位置参数和动作参数，从而判断摄像机、演员或主持人、计算机虚拟场景之间的相对位置关系，帮助系统实现真实摄像机与虚拟摄像机的锁定。

摄像机跟踪要求有足够的精度。

以变焦比为20倍、60万像素的2/3英寸CCD摄像机为例，假定水平有效像素数为850，最小水平视角3°～5°，为保持±1/2像素的图像精确度并考虑镜头特性，要求角度定位精度和分辨率达到0.001°数量级。

目前，摄像机跟踪技术主要有图形识别和机械传感两种方式。

(1)图形识别法图形识别实际上是一种"运动估测算法"，它可以对运动画面进行精确的计算，获得摄像机的各项运动参数。

实际应用一般采用有浅蓝色网格图案的深蓝色背景板，拍摄时，系统会对网格进行定位追踪，通过对每一幅画面中许多像素点亮度信号进行计算，可以得出画面的移动和比例的变化，用这个测量值和运动参数建立一个关于像素子集的联立方程。

为了减少计算误差，可以选择一个基准帧，以之为基准对每幅画面进行计算。

同时为了达到实时处理，要求计算机的图像处理速度达到50帧/秒。

为了避免摄像机快速进行左右、俯仰摇动时，画面中网格图案变得模糊而影响跟踪效果，摄像机应使用电子快门。

电子快门的速度越快，允许摄像机运动的速度就越快。

同时，演播室整个蓝色幕布（蓝箱）的布光要尽量均匀。

当摄像机的光圈为5.6，电子快门速度为1/120时，网格图案的信号电平应达到70%左右，这样可获得最稳定的跟踪效果。

(2)机械传感法基于传感器的摄像机跟踪系统最精确，传感器被安装在摄像机三角架、基座、升降摇臂的摇摄轴、俯仰轴上和镜头的变焦、聚焦环上以及滑轨、推车上。

它采集摄像机位置和透视数据，编码量化后通过RS－232端口或RS－422端口传送给计算机。

(3)两种跟踪方式的比较无论是图形识别方式还是传感器方式各有其优缺点。

图形识别方式的优势在于：不需要对摄像机进行改造，无需镜头校准，便于摄像师操作，摄像机可以不用轨道进行移动；一个跟踪器可同时用于多个摄像机。

其不足之处在于：要对每幅画面进行大数据量分析和计算，加大了视频延时量；为了精确的跟踪，必须使网格图案保持清晰，这使得摄像机景深范围受到限制；只有当画面中含有一定数量的网格图案时，系统才能进行测量计算，使得演员的活动范围受到一定的限制，无法拍摄一些特写镜头；由于背景有深浅两种蓝色，对演播室布光要求比较严格，对色键器的质量要求很高。

机械传感方式可以弥补上述图形识别方式的不足，测量摄像机运动参数非常精确，旋转角度可以达到.001°，移动距离可以达到0.01毫米的精确度；摄像机运动不受限制，演员在蓝色布景范围内的活动自由度大。

但其缺点在于：每台摄像机必须有一个跟踪器；摄像机移动不便，定位、镜头校准复杂困难。

图形识别和机械传感是虚拟演播室常用的两种获得摄像机运动参数的技术，各有千秋。

为了更方便用户使用，目前较为流行的几种虚拟演播室系统，在以某种跟踪技术为主的同时还融入了另外一种以及更为先进的技术，如红外线跟踪技术、超声波跟踪技术、辅助摄像机技术。

2.计算机虚拟场景生成虚拟演播室中的场景、道具通常都由计算机产生。

在常规演播室中不可能做到的复杂而庞大的背景，甚至许多现实生活中人们不可能见到的景观，都可以在虚拟演播室中得以实现。

随着PC机的计算能力、绘图能力和视频处理能力的极大提高，结束了SGI Onyx图形工作站独霸虚拟演播室主机应用的时代，这样就给用户有更大的选择空间。

三维虚拟场景可以由两种不同的方式产生。

(1)预生成三维方式这种方式需先在三维建模工具中建立布景模型，预先生成每台虚拟摄像机的视图画面，作为各自对应的真实摄像机的虚拟背景。

一旦场景模型建立，摄像机的位置也就确定，不能再随意移动。

这种方式可以产生比较真实的三维虚拟背景，也称为"二维半"。

其图像的水平和垂直像素值有一定的限制，只能使用256、512、1024、1536、2048这几种数值。

(2)真三维方式采用这种方式建立三维模型，模型中的虚拟摄像机与演播室中的摄像机互相对应，当真实摄像机的镜头或位置参数变化时，虚拟摄像机产生同样变化，并实时生成视图作为虚拟背景。

在真三维方式下，所有摄像机在演播室中都可以任意移动。

真三维方式与二维半方式的最大区别在于是否实时读取场景源文件并对源文件实时渲染。

二维半采用事先生成背景和遮挡掩膜的图片文件，而真三维是读取3D Max、Ｍaya、Softimage等三维建模软件制作的场景源文件。

二维半系统的场景生成比较简单，按照摄像机机位的参数对背景图和遮挡掩膜进行处理后生成演播室背景信号。

而真三维系统包括场景调度、物体运动、灯光调节、特殊效果调节等模块，功能更为强大。

从场景设计角度来看，由于二维半系统事先生成场景图片，采用贴图的方式进行前后景的合成，因此在场景设计方面不受局限，可以设计无限精细和无限复杂的场景。

真三维系统是对场景源文件实时渲染，场景精细度和复杂度受系统硬件和软件的限制较大。

二维半虚拟演播室更适于对实效性要求高的节目制作。

而真三维虚拟演播室更适于对灵活性要求高的节目。

3.色键技术虚拟场景不仅有背景，还有前景，如桌子、讲台等，演员甚至可以进入一个虚拟物体中去。

画面中真实的、虚拟的物体间的关系比较复杂，要想实现完美自然的叠加，就需要具有特殊功能的高级色键技术，因此，产生了一种被称为Z轴深度键的新技术。

目前主要有基于层次级和像素级的深度键。

层次级深度键技术将物体分别归类到数目有限的深度层中去，所以，演员在虚拟场景中的位置无法连续变化。

像素级深度键技术把构成虚拟场景中的每一个像素都赋予相应的Z轴深度值。

虚拟物体、真实物体和演员可以动态地相互遮挡，从而增加了虚拟场景的真实感。

虚拟演播室色键还要关注的一个问题是"消蓝"。

由于使用蓝幕背景，因此环境反光会造成前景物体和演员身上有一些蓝色的干扰成分，对透明或半透明物体更易造成干扰。

这时，就需要对前景进行非常复杂的消蓝控制，即遏制削弱蓝色成分，同时，又不使前景产生颜色失真。

现在，高质量的数字色键针对视频三个分量（Y、B－Y、R－Y）的每一路进行处理，分别产生一个线性键，并用自动跟踪代替手动切换，这种方法允许保留更多的图像细节。

例如，Ultimatte的400型数字色键，它对前后景作混合而不是切换，对前后景分别处理后相叠加产生合成画面，这样不会限制整体信号。

它用特有的算法产生遮罩（Matte）信号，可以更好地从前景物体中区分背景。

而且它在用抑制衬底及消蓝的特殊算法处理前景的同时，允许在前景上再现蓝色阴影。

虚拟演播室技术的发展是和数字视频技术、计算机技术及其他相关尖端技术的发展息息相关的，它在实践中不断成熟，虚拟演播室系统类型也得到不断完善，能满足不同层次的需要，同时还出现了一些能实现特殊功能的类型，如虚拟出席、移动场景及适应高清晰度电视的HD虚拟演播室系统。

虚拟演播室已不仅仅在电视台应用，许多气象台、企业、学校也引进了虚拟演播室，我们相信，它将会成为一种最为有力的节目制作工具。

1、虚拟背景渲染主机：天创UCX 3D虚拟演播工作原理完成虚拟背景的渲染输出工作，同时采集传感跟踪系统摄像机的运动参数，最终的渲染输出相应的包括背景信号和作为前景遮挡的键信号。

控制摄像机切换模块，当虚拟背景进行不同视角背景切换的时候，同时发出控制信号给摄像机切换模块，切换至相应视角的前景摄像机。

控制色键，通过计算机软件调整和保存色键的状态各项参数。

2、摄像机传感跟踪系统：采用机械光电传感跟踪方式，采集摄像机平摇、俯仰、镜头推拉六个方位的动作信息。

3、色键：完成摄像机前景和虚拟背景的实时合成输出。

4、切换器：完成摄像机前景信号的切换工作，受控于渲染主机串口信号。

5、同步信号分配器：完成外来同步信号的分配，分别将同步信号分配给背景渲染引擎、色键、切换模块以及预留给用户摄像机的三个同步信号输出口。

6、延时器：对前景信号进行延时一帧的处理，使得前景信号和渲染主机生成的背景信号同步。

虚拟演播室系统虽然不局限于抠蓝，但蓝色有几个优点：一是蓝色能更好地保护人体的皮肤颜色；其次，物体周围的蓝边弱色调没有绿边弱色调显眼；三是演员们在蓝色环境中工作要比绿或红色环境中愉快。