多媒体通信技术--复习

其中（x,y,z）表示像素的空间变量，L,H,S分别代表像素的亮度、色调和 饱和度，R则表示图像的分辨率（即每一个像素面积在图像总面积中的 比例，t是该像素产生上述物理量的时间。 （2）图像信号的频谱
图像通信系统是一个二维信息系统，因此可以进行类似的定义，二维函 数f（x,y）与其频谱F(μ,ν)的关系：
（5） 视频信息的数字化 a.分量电视信号的数字化
ITU-R BT 601建议，建议采用分量编码，亮度和色差信号的取样频 率fY和fC分别为:
其中fHNTSC和fHPAL分别代表NTSC制和PAL制中的行频。如果对亮度 信号和色差信号进行量化，而且都采用8位码，那么三个分量信号数字 化后的数据量为：
如果系统是彩色电视系统，除了亮度之外，图像的色调和饱和度都 是表示图像质量的重要参数，它们与U、V的关系如下：
图像的色调=
图像的饱和度=
c.彩色电视制式：
PAL（我国）、NTSC、SECAM
d.逐行扫描
逐行扫描是指电子束按一行接一行的规律，从上到下的对整个一幅
（帧）画面进行扫描的方式。
人们将一个正程和逆程所用的时间称为扫描周期，用TH表示，由此 可以得出行扫描频率（行频）fH：
互控制能力。 同步性：多媒体通信终端上显示的文字、声音和图像是以在时空上
的同步方式工作的。 4、关键技术：多媒体数据压缩技术，多媒体数据的获取与显示技术， 多媒体数据库及其检索技术，多媒体通信网络技术，多媒体信息存储技 术，多媒体数据的分布式处理技术。 5、应用：可视电话系统，视频会议系统，多媒体电子邮件，视频点播 系统，远程教育系统和虚拟现实。 课后习题：
b.图像子采样：对色差信号使用的采样频率比对亮度信号使用的采样频 率低
4:4:4
4:2:2
4:1:1
4:2:0
（6） 数字电视 优点：高质量的画面 高质量的音频效果 提供丰富的电视节目和多种功能 分类：第一类是标准清晰度的数字常规电视，其中包括图像分辨
率约为500线的广播级数字电视、图像分辨率约400线的相当于DVD的普
（1）连续图像信号转化为离散数字信号 包括三大部分，即取样、量化和编码。 取样又称为抽样，它是指图像信号空间离散化的过程。这时所选取
的点就是取样点、抽样点或样点，也被称为像素。由此可见，一幅图像 是由许多大小有限的像素组成，而且每个像素既是时间、空间的函数， 同时又有其光学特性 图像中的任何一个像素P通常可用8个物理量表示，即
立体视觉一般分为双眼视觉和单眼视觉。 时间频率是用单位时间内的某物理量（如电压、电流）周期性变化 的次数来定义的，单位为周/秒，其自变量为时间。而空间频率则是某 物理量（如亮度、发光强度）在单位空间距离内周期性变化的次数，单 位为周/米。 （2）人眼对比度特性：
− 对比度是指景物或重现图像的最大亮度Lmax与最小亮度 Lmin之比，用符号C表示，即
它包括计算机的交互性、多媒体的复合性、通信网的分布性以及广播 电视的真实性等优点，并把它们融为一体。
物理结构：若干个多媒体通信终端、多媒体服务器由通信网络连接
在一起构成系统。 特征： 集成性：集成了多种编译码器和多种感觉媒体的显示方式，能与多
种传输媒体借口，并且能与多钟存储媒体通信。 交互性：多媒体终端的用户在与系统通信的全过程中具有完备的交
频谱滤出，从而可无失真地重建原图像，这就是二维取样定理，也称为 二维奈奎斯特取样定理。 （4）量化与编码 a.量化与量化信噪比
经过取样后所获得的图像是由一系列空间上离散的样值序列构成， 每个样值是一个有无穷多个取值的连续变量。量化是指将具有无限多个 取值的样值用有限个离散值来表示的过程，并且可以赋予不同的码字， 从而成为真正意义上的数字图像。 b.编码
CH2：
1、 音频编码分类： （1）波形编码：基于对语音信号波形的数字化处理，试图使处理
后重建的语音信号波形与原语音信号波形保持一致。 优点：实现简单、语音质量较好、适应性强 缺点：话音信号的压缩程度不是很高，实现的码速率比较高 常见的波形压缩编码方法:脉冲编码调制PCM、增量调制编码
DM、差值脉冲编码调制DPCM、自适应差分脉冲编码调制（ADPCM）、 子带编码（SBC）和矢量量化编码（VQ）等。
每增加/减小1bit，就使量化信噪比增加/减小约6dB 取样值的编码比特数n，直接决定图像的质量 c.量化误差的影响 量化误差所造成图像质量下降的主要原因有斜率过载、颗粒噪声、 边缘忙乱和伪轮廓四种。 （4） 电视技术 电视是利用光电和电光转换原理，将光学图像转换为电信号进行远 距离传输，然后再还原为光图像的一门技术。 a.电视信号的形成 在实用电视系统中是采用扫描的方式来完成图像的分解与变换，即 用时间的一维函数来代表像素信息的物理量，完成扫描功能的设备就是 摄像机。 在目前的电视系统中普遍使用电真空摄像器件，以此通过电子束扫 描来实现光电转换，但随着CCD摄像机的不断投入使用，也可以利用各 种脉冲数字电路来实现光电转换。 b.电视系统的亮度方程 彩色电视系统是按照三基色的原理而设计的，三基色原理告诉我们 任何一种彩色都可以由另外的三种彩色按不同的比例混合而成。通常选 择红、绿、蓝为标准的三基色，用这三个摄像管分别提取景物光学图像 中的这三种彩色分量，以此来模仿人眼中的三种锥形细胞的视觉效果。 这样便形成了彩色电视系统中的红、绿、蓝三个基色分量。
比特率一般在16至64之间 编码信号的速率：编码速率＝采样频率× 编码比特数 播放某个音频信号所需要的存储容量＝播放时间×速率÷8（字 节） （2）参数编码：又称声源编码，通过构造一个人发声的模型，以 发声机制的模型作为基础，用一套模拟声带频谱特性的滤波器系数和若 干声源参数来描述这个模型，在发送端从模拟语音信号中提取各个特征 参量并对这些参量进行量化编码，以实现语音信息的数字化。 优点：语音编码速率较低，2kbps——9.6kbps 缺点：自然度较低 （3）混合编码：将波形编码和参数编码结合起来，力图保持波形 编码话音的高质量与参量编码的低速率。 优点： 缺点： 采用混合编码的编码器有：
CH3：
1、视觉特性： （1）彩色视觉：从视觉的角度描述彩色的过程中会用到亮度、色度和 饱和度三个术语。亮度表示光的强弱；色度是指彩色的类别，如黄色、 绿色、蓝色等；饱和度则代表颜色的深浅程度，如浅紫色、粉红色。
色调与饱和度又合称为色度，可见它既表示彩色光的颜色类别，又 表示颜色的深浅程度。 红、绿、蓝为三基色。
−
− 而画面的最大亮度与最小亮度之间所能分辨的亮度感觉级 数称为亮度层次，也称为灰度。
− 由于人眼的亮度感觉是相对的，即同一亮度在不同的环境 亮度下给人的亮度感觉是不同的，因此当人们看电视时， 在考虑到环境亮度后，电视图像的对比度为
− 其中 为环境亮度。 亮度感觉是指能分辨出不同的亮度层次。 人眼视觉的对比度灵敏度 人眼区分某一给定空间频率的正弦光栅明暗差别所需的最低对比 度，称为分辨这一空间频率的临界对比度，用Cr表示。临界对比度的倒 数1/Cr被称为人眼对于这一空间频率对比度灵敏度。由以上定义可知， 临界对比度表示人眼在给定的亮度环境下所能区分景物的最小亮度差 别，通常称这一最小亮度差别为一个亮度级（或灰度级）。 2、图像信号数字化：
信息熵：图像信息源X发出符号集Sn中各符号的信息量的统计平均 （即求其数学期望），从而得到符号集Sn中每个符号的平均信息量。其
c.话音信号的样值序列 当前样值完整的预测表达式
式中为当前值的预测值 为当前值前面的N-1个样值。 为预测系数， 若预测系数随输入信号而变化时就是自适应预测。则当前值与预测值的 差值表示为： 计算题（DPCM）：
（2） 自适应差值脉冲编码调制ADPCM： （3） 线性预测编码LPC （4） 矢量量化VQ(Vector Quantization)编码 （5） 子带编码SB （6） 感知编码Perceptual Coding 课后习题：
2、多媒体：多媒体技术是计算机交互式综合处理多媒体信息——文 本、图形、图像和声音，使多种信息建立逻辑连接，集成为一个系统并 具有交互性。
多媒体技术是计算机综合处理声、文、图信息的技术，具有集成 性、实时性和交互性的特点。 3、多媒体通信：多媒体通信技术是多媒体技术、计算机技术、通信技 术和网络技术等相互结合和发展的产物。
场扫描频率（场频）：
场频与行频之间的关系： e.隔行扫描
为了使人眼在观看连续图像时，无闪烁感觉，则要求场扫描频率高 于临界闪烁频率，同时又能达到人眼对图像清晰度的要求，这就要求扫 描行应在500行以上，这样需为其提供10MHz以上的频带。可见无论信 道的利用率，还是设备的复杂程度都要求很高。为了减小图像信号所占 用的带宽，可以通过降低场频来实现，但随之又会带来闪烁的问题，而 降低扫描行数，又会使图像的清晰度下降。为了解决这一矛盾，人们采 用隔行扫描方式。 奇数场、偶数场
Δy≤1/(2Vm),就可以精确地恢复出原图像，这就是二维取样定理。
如果图像信号为有限带宽的信号，那么根据上式可以看出，抽样后 的图像信号fp(x,y)的频谱是原频谱F(μ,ν)沿μ轴和ν轴分别以Δu，Δv为间隔 无限地周期重复的结果
只要Δu>2Um，Δv>2Vm ，抽样后的图像信号频谱就不会出现混叠。 因此通常在进行取样之前，图像信号首先经过一个低通滤波器，使其成 为一个限带信号。当以满足上述条件的取样间隔进行取样时，取样后的 图像频谱不会出现混叠的现象，这样可以利用一个低通滤波器将原图像
彩色电视系统的设计应考虑到与已有的黑白电视系统的兼容问题: 传输1个亮度分量和2个色差分量。
另外还有2个色差信号，而V表示所传送的红基色分量与亮度分量的差值信号， 它们存在下述关系：
如果系统是黑白电视系统，R=G=B=0,可以得出这样的结论，即 U=V=0.
通级数字电视（SDTV）和图像分辨率约300线的相当于VHS的普及型数 字电视（DPTV或LDTV）。其中LDTV采用MPEG-1压缩编码标准（后面介 绍），其视频速率为1.5Mbit/s左右。