多媒体期末复习

计算机学科的学生(CS)从面向对象的角度理解多媒体(multimedia)：是由使用多模态技术（包括文本、图像、图形、动画、视频和音频等，以及交互活动）的应用程序构成的。

多媒体(multimedia)：意味着除了应用传统媒体之外，计算机信息还可以通过音频、图形、图像、视频和动画等多种形式来表达。

超媒体(hypermedia)：并不一定是基于文本的，它同样可以包含其他媒体，如图形、图像，特别是具有连续性的媒体，如声音和视频。

WWW是超媒体应用的一个最好的例子。

超文本(hypertext)：是非线性的，可以利用指向文档中其他部分或是其他文档的链接进行。

多媒体设计模式(Multimedia Authoring Metaphors)：脚本语言模式、幻灯片显示模式、层次模式、图标/流程图模式(EX.Authorware)、框架模式、卡片/脚本模式、角色/乐谱/脚本模式(EX.Director)。

(大)设计过程(design phase)：情节串联板/故事板、构造流程图、设计原型,用户测试、并行的媒体宣传等阶段构成。

（大）分镜动画(Sprite Animation)：分镜的概念是指任何资源的实例化。

原图、掩模图M、分镜S、背景B。

过程是B AND M OR S。

（大）视频切换(Video Transitions)：常用的切换类型有：剪切、擦拭、融化、淡入和淡出。

VRML节点类型(Virtual Reality Modelling Language)：是由多个节点组成的层次结构。

Shape 节点是VRML中所有对象的通用节点。

Material节点规定了对象的表面属性，它可以通过规定对象的红、绿、蓝值来控制对象的颜色。

VRML的目标(Objective of VRML)：将有色彩的对象置于3D环境中。

VRML贴图方式(VRML Shapes 3种)：ImageTexture，它可以使用外部的JPEG或PNG图像文件并将其匹配到形状上。

MovieTexture，允许将MPEG视频匹配到对象上，还可以规定起始和结束时间。

PixelTexture，使用ImageT exture来创建简单纹理对象。

VRML三种光线(Three types of lighting):DirectionalLight，用于在整个世界中沿着某一个方向进行照射；PointLight，从空间一个固定点上向四周发射光线；SpotLight，从一个点沿着一个方向发射光线。

一位图(1-bit Images)：图像的每个像素作为一个位存储(0或者1)称为二值图像(binary image)。

也称为1位单色图像(1-bit monochrome)。

八位灰度图像(8-bit Gray-level Images)：图像的每个像素有一个0~255之间的灰度值(gray value)。

每个像素由一个字节表示。

位平面(bitplane):把8位图像看作一组位平面，其中每个平面由图像的1位表示组成，平面的海拔不断升高，即图像的像素在某个位不是0就是1位图(bitmap)：整幅图像可以看作由像素值组成的二维数组。

24位真彩色图(24-bit Color Images)：每个像素用三个字节表示，通常表示为RGB，因为每个值的范围是0~255，支持255*255*255=16777216种可能的颜色组合。

α通道：许多24位彩色图像通常存储为32位图像，每个像素多余的数据字节存储一个alpha 值来表现特殊影响的信息。

3通道(RGB)：图像的红、绿、蓝通道，每个颜色通道的0~255的字节值表示亮度。

8位彩色图(8-bit Color Images)：许多系统只能够利用8位颜色信息(也称作256色)来生成屏幕图像。

颜色查找表(Color Look-up Tables (LUTs))：图像存储的不是颜色而仅仅是字节的集合，每个字节是指向一个表的索引。

该表表项具有三字节值，指明了像素(带有查找表索引)的颜色(大)。

怎样设计颜色查找表?中值区分算法(Median-cut algorithm):该算法的思想是将红色字节的值排序，并找到其中值。

然后，比中值小的值被标记为0位，比中值大的值被标记为1位。

这种方案关注那些最需要与大量颜色区别的位。

利用显示0~255数目的直方图，能很容易的找到中值。

（大）中值区分算法精确步骤：1)找出最小的方形区，它包含图像中的所有颜色。

2)沿方形区的长边排序它所包含的颜色。

3)在排序链表的中间处把该方区划分成两个区域。

4)重复上面步骤2、3，直到初始的颜色空间被分割成256个区域为止。

5)对每个方形区，把该方形区中RGB 的平均值作为其代表(中心)颜色。

6)根据一个像素的RGB值与每个方形区的中心值的欧氏距离，给每一个像素分配一个代表颜色。

在指向代表颜色的查找表中用编号代替像素。

（大）CIE色度图:中间值Y称为亮度(luminance)。

, x, y称为色度(chromaticity)。

超色域的颜色(Out-of-Gamut Colors)：如果RGB数值中某个值为负，这种问题在人们能够感知到颜色，但这种颜色所在使用的设备上不能被表现的情况下出现，则该颜色超色域。

解决办法为：一种是仅使用最接近的色域内的可用颜色。

另一种是选择最接近的补色。

加性颜色(additive color)：当两条光线照射到一个目标上时，它们的颜色会加起来。

减性颜色(Subtractive Color /CMY Color Model)：我们需要红色、绿色、蓝色的原色，即需要减去R、G和B。

这些减性原色是青(Cyan, C)、洋红(Magenta, M)、黄色(Yellow, Y)。

在加性(RGB)系统中，黑色是没有光，RGB=(0,0,0)。

在减性(CMY)系统中，黑色是使墨水的C=M=Y=1减去所有的光线产生的。

消除不足颜色(Undercolor Removal: CMYK System)：计算三色混合中为黑色的部分，从颜色比例中去除，用真正的黑色加回来，称为‘消除不足颜色’。

视频信号3种类型(Types of Video Signals):分量视频(Component):有三根线和连接器，颜色信号并不局限在RGB分色上，大多数计算机系统采用分量视频，没有任何色度、亮度干扰，颜色再现能力最好，需要更多的带宽和三种分量间良好的同步机制；复合视频(Composite)：颜色(色度)信号和强度(亮度)信号混合成一个的载波，用于彩色电视广播，并且它是兼容黑白电视广播的；S-Video：使用两条电线，一条亮度信号，另一条混合的色度信号，颜色信息与关键得灰度信息之间的色度亮度干扰会少一些，我们只看到较大的颜色块，因而就可以发送较少的颜色细节信息。

（大）模拟视频扫描过程(Analog Video):隔行扫描(interlaced scanning)先扫描奇数行，然后扫描偶数行，产生“奇数域”和偶数域组成一帧图像。

奇数行(从第一行开始)扫描到奇数域中最后一行的中间部位，偶数行扫描就从第一行的中间位置开始。

奇数行：P-Q……R-S，到T为止。

偶数行：U开始，到V停止。

从Q到R跳变称为水平回归(horizontal retrace)。

从T到U或者从V到P的跳变称为垂直回归(vertical retrace)。

垂直回归和同步的思想与水平回归非常相似，只是它仅仅在每个扫描中出现一次。

NTSC视频复合与分离：采用YIQ颜色模型。

复合信号是亮度信号Y和色度信号的复合信号，定义为：composite =Y+C=Y+I cos(F sc t)+Q sin(F sc t)。

分离时第一步是分离Y和C，低通滤波器用于分离Y分量，然后通过解调色度信号C分别提取出I和Q分量。

为了提取I分量需要两步：1）信号C乘以2 cos(F sc t)C · 2 cos(Fsct) = I · 2 cos2(F sc t) + Q · 2 sin(F sc t) cos(F sc t)= I · (1 + cos(2F sc t)) + Q · 2 sin(F sc t) cos(F sc t)= I + I · cos(2F sc t) + Q · sin(2F sc t).2）应用低通滤波器，摒弃两个高频项2F sc t，得到I类似的，将C乘以2 sin(F sc t)，然后通过低通滤波得到Q分量。

（大）色度的二次采样(Chroma Subsampling):目的：由于人类对色彩没有黑白那样敏感，因此消减色度信号是很有意义的。

数字化(Digitization):将连续值转换成一系列的离散值(考虑到效率，主要转换成整数)。

过程：采样(Sampling)、量化(Quantization)、结果。

(a): Sampling the analog signal in the time dimension.(b): Quantization is sampling the analog signal in the amplitude dimension.Nyquist rate:音频信号采样率一般从8kHz到48kHz人能够听见从20Hz到20kHz的声音。

高于20kHz的声音称为超声。

人发出的声音最高能够达到4kHz。

我们采样率的下限最少应该是这个频率的两倍。

信噪比(SNR):正确信号的能量和噪声能量的比称为信噪比(Signal to Noise Ratio SNR)，信噪比是信号质量的衡量标准之一。

信噪比是用电压平方比取10为底的对数来定义的，信号的能量和电压的平方成正比。

信号量化噪声比(SQNR)：量化质量使用信号量化噪声比(Signal to Quantization Noise Ratio (SQNR))来描述。

合成声音两种方法(Synthetic Sounds):调频(FM)、波形表法(Wave Table)。

详见书P94MIDI通道(channels)：:某种乐器和一个专门的MIDI通道相对应，MIDI通道是用来分隔消息的，一共有16个通道。

MIDI系统消息(System messages):在消息中，通道还可以用作占位符。

如果一个消息的前4位全部是1，那么这个消息就被认为是系统通用消息。

脉冲编码调制(PCM):三个阶段是transformed（转换）、loss（失真）、Coding（编码）。

失真主要在量化这一步产生。

预测编码(Predictive Coding)：预测编码最基本的想法就是传输差分值。

我们预测下一个采样值和当前采样值相等，我们不发送具体的采样值，而是发送采样值和预测值的误差。

无损预测编码(Lossless Predictive Coding)：最主要的特点是无损。