信息论与编码[第七章保真度准则下的信源编码]山东大学期末考试知识点复习

第七章保真度准则下的信源编码

7．1．1 失真度(失真函数)与平均失真度

1．离散信源单符号的失真度与平均失真度

设离散无记忆信源输出随机变量U，U={u1，u2，…，u r}，概率分布为P(u)=[P(u1)，P(u2)，…，P(u r)]，其通过某信道传输到信宿，接收的随机变量为V，V={v1，v2，…，v s}。

(1)离散信源单个符号的失真度

它是对应于每一对(u，v)所指定的一个非负函数

3．连续信源的失真度和平均失真度

设连续信源输出随机变量U，U取值于实数域R，其概率密度分布为p(u)。通过某连续信道传输到信宿，接收的随机变量为V，V也取值于实数域R。

(1)连续信源的失真度

7．1．2 信息率失真函数

1．离散信源的信息率失真函数

设离散信源输出随机变量U，其概率分布为P(u)，接收随机变量为V，失真测度为d(u，v)，则信息率失真函数

7．1．3 信息率失真函数的特性

7．1．4 R(D)函数的参量表述及其计算

1．离散信源

已知信源的概率分布P(u)和失真函数d(u，v)，离散信源的R(D)函数是选取试验信道P(v|u)满足

斜率S必为非正的。当D由D min增大到D max时，S的数值也随之S min= -∞增至S max=0。除某些特例外，S在D=D max处是不连续的，从某一负值跳到零。

2．连续信源

已知连续信源概率密度函数p(u)和失真函数d(u，v)，连续信源的R(D)函数是在概率密度函数p(v|u)满足

3．差值失真度下连续信源的香农下界限

连续信源U，u∈R，概率密度函数p U(u)。其失真函数为差值量度的函数

4．高斯波形信源

信源输出的是一个均值为零的平稳高斯随机过程{U(t)，-∞

真度下，信息率失真函数和平均失真度的参量表达式

7．1．5 常见信源的R(D)函数

1．二元离散对称信源U

7．1．6 保真度准则下信源编码定理(香农第三定理)

1．保真度准则下信源编码定理及其逆定理

保真度准则下信源编码定理又称限失真信源编码定理：

离散信源的信息率失真函数为R(D)，并有有限的失真函数。在允许失真度D确定后，若R'=R(D)+ε(ε≥0的任意小数，即R'≥R(D))则码长n足够长，一定存在一种信源编码，码字个数M=2nR'，而码的平均失真度小于或无限接近于允许失真D。反之，若R'

注意：(1)上述R'为编码后的信源输出信息率，R'和R(D)都以比特／信源符号为单位。

(2)限失真信源编码定理证实，R(D)函数是在允许失真D的条件下，信源可达的信息传输率。

(3)此定理及其逆定理可推广到连续信源的情况，它对连续信源更具实用意义。

2．限失真编码定理和数据压缩

限失真编码定理及其逆定理是信源数据压缩的理论基础，在实际工程中具有重要的指导作用。从定理可知，当信源给定后，无失真信源数据压缩(D=0)的下限值是信源熵H(S)；而允许失真为D的情况下，限失真信源数据压缩的下限值是信息率失真函数R(D)。一般情况，给定某D后，有R(D)

信息率失真理论正是从理论上指出信源的限失真的数据压缩是存在的、可能的。因此，限失真编码定理和R(D)函数在实际工程中可作为衡量实际中数据压缩编码方法好坏的一个标尺。

7．1．7 信息—传输定理(联合有失真信源信道编码定理)

1．信息—传输定理

定理可推广到有记忆和连续的情况。

2．信息—传输定理的实际工程意义

类似于信源信道编码定理，信息-传输定理指出，在单用户通信(无论数字或模拟)的实际工程中能做到有效可靠地传输信息。同样，可以将信源编码和信道编码分别进行考虑。而认为信源编码和信道编码之间只是一些数据流。信源编码只需针对信源，考虑在满足允许一定失真D的条件下尽可能用最少的数据流来表述信源的信息。无需考虑数据流将流向何方。对信道编码只需针对信道，研究

各种纠错编码方法，使信道干扰引起的错误任意地小。只要信道的信息传输速率大于限失真下信源编码后的信息传输速率，通信系统就能做到既有效又可靠(允许失真下)地传输信息。