6.1 信息率失真函数

2
第 六 章 信 息 率 失 真 函 数
§6.1 基本概念与性质
一、引言
前面所介绍的有效性信源编码和可靠性信道编码， 前面所介绍的有效性信源编码和可靠性信道编码，都属 有效性信源编码和可靠性信道编码 于无失真编码。但是在实际信息处理中， 于无失真编码。但是在实际信息处理中，往往允许有一定的 视觉和 都允许有一定的失真。 失真。事实上，人们的视觉 听觉都允许有一定的失真 失真。事实上，人们的视觉和听觉都允许有一定的失真。 自然界的色彩极其丰富，即使是一幅灰度图像( 自然界的色彩极其丰富，即使是一幅灰度图像(俗称黑白 图像) 其灰度也是连续变化的， 图像)，其灰度也是连续变化的， 但实际上只需用 256 级 灰度，则对于人的视觉已经几乎没有任何影响。 灰度，则对于人的视觉已经几乎没有任何影响。 视觉已经几乎没有任何影响 人类所发出的声音信号的频率范围约为 20Hz ～ 8000Hz， ， 的声音信号， 但实际上只需保留 300Hz ～ 3400Hz 的声音信号，则对于 人的听觉已经几乎没有任何影响。 人的听觉已经几乎没有任何影响。 听觉已经几乎没有任何影响 3
i
17
第 六 章 信 息 率 失 真 函 数
§6.1 基本概念与性质
四、平均互信息量的性质
3. 平均互信息量的性质 性质1 性质 I ( p( j / i )) 是关于 { p( j / i ) } 的 m × n 元连续函数。 元连续函数。 证明 (略 ) 性质2 性质 I ( p( j / i )) 是关于 { p( j / i ) } 的(下)凸函数，即 函数，
第 六 章 信 息 率 失 真 函 数
§6.1 基本概念与性质
二、失真编码与实验信道
3. 问题描述 问题 已知信源的先验概率 p( x )，在给定的失真度限制条件 下，求实验信道的转移概率 p( y / x ) ，使得信道的接收 最小。 熵速率 R 最小。 由于是实验信道， 由于是实验信道，因此可不妨设信道每秒传输的 符号个数为 n = 1 , 则有 接收熵速率 R = n⋅ I( X,Y ) = I( X,Y ) . 问题变为 最小。 求转移概率 p( y / x )，使平均互信息量 I ( X , Y ) 最小。 9
第 六 章 信 息 率 失 真 函 数
§6.1 基本概念与性质
三、失真度与失真矩阵
1. 失真度 例 设 X = { x1, x2 , x3 , x4 } = { 00, 01, 10, 11},
Y = { y1, y2 } = { 00, 11},
可以” 定义失真度为： 则 “可以” 定义失真度为：
失真将导致信息量降低
失真
y1
编码
y2
p( y j / xi )
(?) 1
信息量(接收熵): 信息量(接收熵): I( X,Y ) ≤ H(Y ) ≤ log 2 = 1 (bit ) .
5
第 六 章 信 息 率 失 真 函 数
§6.1 基本概念与性质
二、失真编码与实验信道
1. 失真编码 一般地， 一般地，有 编码前 的消息 失真 编码器 编码后 的消息
第 六 章 信 息 率 失 真 函 数
第六章 信息率失真函数
§6.1 基本概念与性质 §6.2 离散信源的率失真函数的计算 §6.3 连续信源的率失真函数
1
第 章 信 息 率 失 真 函 数
§6.1 基本概念与性质 六 §6.1 基本概念与性质
一、引言 二、失真编码与实验信道 三、失真度与失真矩阵 四、平均互信息量的性质 五、率失真函数 六、率失真函数的性质
四、平均互信息量的性质
1. 平均互信息量(回顾) 平均互信息量(回顾) 平均互信息量 I( X,Y ) = H( X) − H( X / Y )
= H(Y ) − H(Y / X)
= ∑ p( j ) log
j
1 1 − ∑ p( i j ) log . p( j ) i , j p( j / i )
d11 d 21 ⋮ d n1
d12 d12 ⋮ d n2
⋯ d 1m ⋯ d 2m , ⋱ ⋮ ⋯ d nm
特别地， 特别地，若 X = Y = { x1, x2 ,⋯, xn }, 且 H = 0 1 ⋮ 1 1 0 ⋮ 1
⋯ ⋯ ⋱ ⋯ຫໍສະໝຸດ 1 1 , ⋮ 0 第 六 章 信 息 率 失 真 函 数
§6.1 基本概念与性质
三、失真度与失真矩阵
1. 失真度 定义 信源 X = { x1, x2 ,⋯, xn } 经实验信道传输(或失真编码) 经实验信道传输( 失真编码) 后得到 Y = { y1, y2 ,⋯, ym }，对每一对消息符号 ( xi , y j ) , 定义一个非负函数， 定义一个非负函数，即 d( xi , y j ) = di j ≥ 0, 称之为单个 消息符号之间的失真度(或者失真函数)。 消息符号之间的失真度(或者失真函数) 失真度 失真函数 注意 在实际问题中，失真度(或者失真函数)的选取是一个 在实际问题中，失真度(或者失真函数) 相当复杂的研究课题。它涉及： 相当复杂的研究课题。它涉及： 问题的客观风险评价、损失评价； 问题的客观风险评价、损失评价； 人们的主观感觉；等等。 人们的主观感觉；等等。 10
| xi − y j | | xi | ;
xi = y j ,
0, 误码失真 d ( x i , y j ) = δ ( x i , y j ) = 1,
其它 .
12
第 六 章 信 息 率 失 真 函 数
§6.1 基本概念与性质
三、失真度与失真矩阵
2. 失真矩阵
定义 记 H = [ d ( xi , y j ) ] n × m = 失真矩阵。 称矩阵 H 为失真矩阵。
i i
因此， 已知时， 因此，当 p(i ) 已知时， I ( X , Y ) 是转移概率 p( j / i ) 的函数。 的函数。
记为 p( j / i ) 即 I ( X , Y ) = ∑ p( i ) p( j / i ) log I ( p( j / i )) . ∑ p( i ) p( j / i ) i, j
第 六 章 信 息 率 失 真 函 数
§6.1 基本概念与性质
二、失真编码与实验信道
2. 实验信道 将编码前的消息看作输入，编码后的消息看作输出； 将编码前的消息看作输入，编码后的消息看作输出； 输入 输出 将失真编码器看作为一个假想的有噪实验信道。 将失真编码器看作为一个假想的有噪实验信道。 实验信道 则失真编码过程就变为信道传递过程， 则失真编码过程就变为信道传递过程，即 输入 X 有噪 实验信道 输出 Y
i =1 j =1 n m
= ∑ ∑ p( xi ) p( y j / xi ) d ( xi , y j ) .
i =1 j =1
n
m
平均失真度反映的是整个信源编码后的失真情况。 平均失真度反映的是整个信源编码后的失真情况。
14
第 六 章 信 息 率 失 真 函 数
§6.1 基本概念与性质
四、平均互信息量的性质
d( x1, y1 ) = d11 = 0,
d( x2 , y1 ) = d21 = 1,
d( x1, y2 ) = d12 = 2, d( x2 , y2 ) = d22 = 1,
d( x3 , y2 ) = d32 = 1,
d( x4 , y2 ) = d42 = 0.
d( x3 , y1 ) = d31 = 1,
1. 平均互信息量(回顾) 平均互信息量(回顾) 输入 实验信道 输出
X= { xi , p( xi ) } =
(i = 1, 2,⋯, n)
{ p( y j / xi ) }
简记为
Y = { y j , p( y j ) }
( j = 1, 2,⋯, m)
各种概率： 各种概率： { p( xi ) }
{ p(i) } { p( j) } { p( j / i) } { p(i / j) } { p(i j) }
15
{ p( y j ) } { p( y j / xi ) } { p( xi / y j ) } { p( xi y j ) }
第 六 章 信 息 率 失 真 函 数
§6.1 基本概念与性质
四、平均互信息量的性质
2. 平均互信息量与转移概率的函数关系
p( j / i ) I ( X , Y ) = ∑ p( i j ) log . p( j ) i, j
由于 p( i j ) = p( i ) p( j / i ) , p( j ) = ∑ p( i j ) = ∑ p( i ) p( j / i ) ,
I ( X , Y ) = − ∑ p( j ) log p( j ) + ∑ p( i j ) log p( j / i ) .
j i, j
p( j / i ) I ( X , Y ) = ∑ p( i j ) log . p( j ) i, j
16
第 六 章 信 息 率 失 真 函 数
§6.1 基本概念与性质
汉明失真矩阵。 称矩阵 H 为汉明失真矩阵。 13
第 六 章 信 息 率 失 真 函 数
§6.1 基本概念与性质
三、失真度与失真矩阵
3. 平均失真度 定义 失真度的数学期望称为平均失真度，记为 d . 即 失真度的数学期望称为平均失真度， 平均失真度 d = E (d ( xi , y j ))
= ∑ ∑ p( x i y j ) d ( x i , y j )
{ p( x) }
{ p( y / x) }
{ p( y) }
从而可以借助前面的信道传输理论来研究失真编码问题。 从而可以借助前面的信道传输理论来研究失真编码问题。 7