率失真理论和保真度准则下的信源编码定理

第5章率失真理论和保真度准则下的

信源编码定理

无损：无失真，压缩冗余度，保熵--离散信源

有损：有失真，压缩熵，熵变小--连续信源

率失真理论(Rate Distortion Theory):

主要是研究信源问题，但是采用了研究信道的方法，主要研究在一定的失真条件下，信源能够压缩的程度，又称“数据压缩理论”，在数据压缩，数字图像处理等领域具有广泛的应用。

5.1 失真函数的基本概念

一、失真函数

1.符号---符号

2.序列---序列

二、平均失真

5.2 率失真函数的基本概念

一、率失真函数

二、率失真函数的性质

1.R(D)的非负性

2. R(D)的定义域[0,D max]

3. R(D)是关于D的下凸函数

4. R(D)在[0,D max]上是严格递减的连续函数

三、简单信源的率失真函数

1.贝努利信源

2.高斯信源

3.r元离散信源

四、率失真函数的计算

五、限失真信源编码定理

当DMS的信息率失真函数R(D)与编码速率R满足R≥R(D)时，则一定存在一种编码方法，使E(D)≤D*（其中D*为失真标准），反之也成立。

六、信息传输理论和率失真理论之间的关系