第6章 限失真信源编码

第6章 限失真信源编码

一、例题：

【例6.1】 二元对称信源，信源{0,1}U =，接收变量{0,1}V =，在汉明失真定义下，失真函数为：

(0,0)(1,1)0d d ==，(0,1)(1,0)1d d ==

其失真矩阵为

011

0??=?

???

D 容易看出：对于离散对称信源，其汉明失真矩阵D 为一个方阵，且对角线上的元素为零，即：

011110111

1011

1

1

0??

??????=????????

D

【例6.2】 信源U ＝{0,1,2}，接收变量V ＝{0,1,2},失真函数为2

(,)()i j i j d u v u v =-，求失真矩阵。由失真定义得：

d (0,0)＝d (1,1)＝d (2,2)＝0

d (0,1)＝d (1,0)＝d (1,2)＝d (2,1)＝1 d (0,2)＝d (2,0)＝4

所以失真矩阵D 为

141

014

1

4??

??=??????

D

【例 6.3】 离散无记忆信源输出二维随机序列12()U U =U ，其中(1,2)i U i =取自符号集

{0,1}，通过信道传输到信宿，接收N 维随机序列12()V V =V ，其中(1,2)i V i =取自符号集

{0,1}，定义失真函数

(0,0)(1,1)0(0,1)(1,0)1

d d d d ====

求符号序列的失真矩阵。

解： 由N 维信源序列的失真函数的定义得

1

1(,)(,)(,)

,k

k N

N N i j i j k d d d u

v N

αβ===

∈∈∑u v u U v V

所以

[][]1(00,00)(0,0)(0,0)0211(00,01)(0,0)(0,1)2

2

N N d d d d d d =+==

+=

类似计算其他元素值，得到信源序列的失真矩阵为

11012211012211102211102

2

N

??????????=?

??????????

?

D

【例6.4】 设信源符号有8种，而且等概率，即1()8

i P u =

。失真函数定义为

0(,)1i j i j

d u v i j =?=?≠?

假如允许失真度12

D =，即只要求收到的符号平均有一半是正确的。我们可以设想这

样的方案：

方案一：对于1234,,,u u u u 这四个信源符号照原样发送，而对于5678,,,u u u u 都以4u 发送。如图6.1(a )所示。

方案二：对于1234,,,u u u u 这四个符号照原样发送，而对于5678,,,u u u u 分别以

1234,,,u u u u 发送。如图6.1(b )所示。

1u 1u 2u 2u 3u 3u 4u 4

u 5u 6u 7u 8

u 1u 1u 2u 2u 3u 3u 4u 4

u 5u 6u 7u 8

u

(a ) 方案一 (b ) 方案二

图6.1 例6.4有失真信源编码方案

如果进行无失真编码，即无失真传送这个信源，编码信息率为2log 83=比特/信源符号。在上述要求下，试问需要多少信息率？

方案一编码后需要的信息率为

12341

115(,,,),

,,

1.5498

888R H u u u u H ??

'=== ???

比特/信源符号 方案二编码后需要的信息率为

()12341

111,,,,

,

,

24

444R H u u u u H ??

'=== ???

比特/信源符号 可见，限失真信源编码需要的信息率小于信源熵()H U ，而且不同的编码方案可能得到不同的信息率R '。

【例6.5】 设二元对称信源{0,1}U =，其概率分布[]()P u ωω=，2

1≤

ω。而接收

变量{0,1}V =，设汉明失真矩阵为

11

0D ??=?

???

计算这个信源的m in D 和m in ()R D 。

解： 因为最小允许失真度

min 1

()m in (,)0r

i

i

j

j

i D P u d u v

==

=∑

并能找到满足该最小失真的试验信道，且是一个无损无噪的试验信道，信道矩阵为

100

1??=?

???

P 因此

{}(|)(0)m in

(;)()()j i D

P v u B R I U V H U H ω∈=

=

=

【例6.6】 设二元对称信源{}0,1U =，其概率分布[]()P u ωω=，2

1≤

ω。而接收

变量{}0,1V =，采用汉明失真测度，计算m ax D 和max ()R D 。

解： 可计算出最大允许失真度为

[][]m ax m in ()m in

()(,)

m in (0)(0,0)(1)(1,0);(0)(0,1)(1)(1,1)m in (1);V

V

U

D d v P u d u v P d P d P d P d ωωω

'===++=-=∑∑ 要达到最大允许失真度的试验信道，唯一确定为

010

1??=?

???

P 即这个试验信道能正确传送信源符号1u =，而传送0u =时，接收信号一定为1v =。那么，凡发送符号0u =时，一定都错了。而0u =出现的概率为ω，所以信道平均失真为ω。在这种试验信道条件下，可计算得

max ()()(;)0R D R I U V ω===

【例 6.7】 某二元对称信源()??

?

???=????

??75.025

.010

U u P ，采用汉明失真。假设允许失真度1.0D =，试分析信息源所能压缩的理论极限值为多少？

分析：在保真度准则下信息源所能压缩的理论极限值，就是()D R 函数。

解：该二元对称信源的率失真函数为

()()()469.0811.00.1H 25.0H D R -=-==0.342比特/信源符号

【例6.8】 设某二元无记忆信源

111()2

2U P u ??????=??????

??

若假设此信源再现时允许失真存在，并定义失真函数为汉明失真。经过有失真信源编码后，得到的发送码字通过无噪无损广义信道传输，经译码后到达信宿，信宿得到的接收序列为?U

。如图6.2所示。 （1）计算图6.2所示的有失真编码方案的信息传输率R '和平均失真D ； （2）图6.2所示的有失真压缩编码是否为最佳方案？

U

V

()

f =V U 发送

码字无噪无损广义信道接收码字

?U

译码

12345678(000)

(001)(010)(100)(110)(101)(011)(111)=?

?==??=?=??==??=?

u u u u u u u u 1=v 2=010

1

(000)

(111)

图6.2 限失真压缩编码方法示例

解：

（1）图6.2中的有失真信源压缩编码方案为：将信源的输出每N （这里N = 3）个符号组成一组，用矢量U 表示。因为信源符号0，1是等概率分布的，所以U 序列的不同形式共有823

=种，并且都是等概率分布，为了进行压缩，不是传输所有8种不同的信源序列U ，而是只传输其中的两种。所采用的映射方法将12(000),(001)==u u 3,(010),=u

4(100)=u 映射成1(000)=v 来传输；而把5(110),=u 678(101),(011),(111)

===u u u

映射成2(111)=v 来传输，即8种不同的U 序列映射成2种V 序列来传输。这时输入端只有2M '=个不同的消息，完全可以用0和1来传输，映射关系为1(000)0=→v ，

2(111)1=→v 。由此可见，通过这种编码方法，把原来传输的三个二元信源符号压缩成一

个二元符号。因此编码后的信息率为

log 13

M R N

''=

=（比特/信源符号）

从接收端来看，当收到码字0或1时，就译成对应的信源序列1v 和2v 。1v 和2v 就是再现的信源序列?U

，它与实际发送的信源序列U 之间存在着失真。这失真是进行信源压缩编码后人为引起的，接收序列?U

与发送序列U 之间有很大差异，如图6.3所示。

发送码字

U

(000)(001)(010)(011)(100)(101)(110)(111)(000)(000)(000)(111)(000)(111)(111)(111)0001011100010111(000)

(000)

(000)

(111)

(000)

(111)

(111)

(111)

图6.3 信源编码引起的失真

这种简单压缩编码的平均失真为

()[]1111(),0111111038

4

U

d C E d N

=

=?+++++++=

????∑u v

可见，图7.2所示的这种限失真编码方法压缩后信息率1/3R '=（比特/信源符号），而产生的平均失真等于1/4。

（2）现在的问题是对于等概率分布的二元信源U 而言，在允许平均失真等于1/4的情况下，这种压缩方法是否是最佳的呢？信源输出信息率是否还可以进一步压缩呢？根据香农第三定理的含义，若允许失真度D = 1/4时，总可以找到一种压缩方法，使信源输出信息率

压缩到极限值

1

4

R

??

?

??

，可以求得

11

10.189

44

R H

????

=-≈

? ?

????

（比特/信源符号）

显然，

1

4

R R

??

'

<

?

??

。所以，在允许失真度为1/4时，对等概率分布的二元信源来说，上

例中的压缩方法并不是最佳方法，即信源还可以进一步压缩。

二、讨论题：

1、如何理解信息率失真函数？

2、如何理解限失真信源编码定理?

三、思考题：

1、限失真信源编码是否有实际意义？

2、失真函数有哪些常见的定义方法？

3、什么是保真度准则？

4、信息率失真函数有哪些性质？