信息论基础与编码

5-1 有一信源，它有六种可能的输出，其概率分布如下表所示，表中给出了对应的六种编码12345C C C C C 、、、、和6C 。

（1） 求这些码中哪些是唯一可译码； （2） 求哪些是非延长码（即时码）；

（3） 对所有唯一可译码求出其平均码长。

解：（1(2)1,3,6是即时码。

5-2证明若存在一个码长为12,,,q l l l ???的唯一可译码，则一定存在具有相同码长的即时码。

证明：由定理可知若存在一个码长为的唯一可译码，则必定满足kraft 不等式1。由定理4可知若码长满足kraft 不等式，则一定存在这样码长的即时码。所以若存在码长的唯一可译码，则一定存在具有相同码长P （y=0）的即时码。

5-3设信源1

2

61

26()s s s S p p p P s ???

??

??=???????

????，61

1i i p ==∑。将此信源编码成为r 元唯一可译变长码（即码符号集12{,,,}r X x x x =???），其对应的码长为（126,,,l l l ???）=（1，1，2，3，2，3），求r 值的最小下限。

解：要将此信源编码成为 r 元唯一可译变长码，其码字对应的码长

（l 1 ,l 2 ,l 3, l 4,l 5, l 6）=(1,1,2,3,2,3) 必须满足克拉夫特不等式，即

13232116

1

≤+++++=------=-∑r r r r r r r

i li

所以要满足

12

2232≤++r

r r ，其中 r 是大于或等于1的正整数。 可见，当r=1时，不能满足Kraft 不等式。 当r=2, 18

2

4222>++，不能满足

Kraft 。

当r=3,

127

262729232<=++，满足Kraft 。 所以，求得r 的最大值下限值等于3。

5-4设某城市有805门公务电话和60000门居民电话。作为系统工程师，你需要为这些用户分配电话号码。所有号码均是十进制数，且不考虑电话系统中0、1不可用在号码首位的限制。（提示：用异前缀码概念） （1）如果要求所有公务电话号码为3位长，所有居民电话号码等长，求居民号码长度1L 的最小值；

（2）设城市分为A 、B 两个区，其中A 区有9000门电话，B 区有51000门电话。现进一步要求A 区的电话号码比B 区的短1位，试求A 区号码长度2L 的最小值。

解：(a) 805门电话要占用1000个3位数中的805个，即要占用首位为0～ 7的所有数字及以8为首的5个数字。因为要求居民电话号码等长， 以9为首的数字5位长可定义10 000个号码，6位长可定义100 000 个号码。所以min L 16=。

或由Craft 不等

式，有

8051060000101

31?+?≤--L 解得 L 1103

180********

5488≥--?=-log .， 即

min L 16=

(b) 在(a)的基础上，将80为首的数字用于最后5个公务电话，81～86 为首的6位数用于B 区51 000个号码，以9为首的5位数用于A 区9 000 个号码。所以，min L 25=。或

由Draft 不等式，有 80510

900010510001013

122?+?+?≤---+L L ()

或 80510

900051000101013

12?++??≤---()L

解得L 210

3

18051090005100

4859≥--?+=-log . 即min L 25=

5-5求概率分布为)152,152,51,51,31(的信源的二元霍夫曼码。讨论此码对于概率分布为

)5

1

,51,51,51,51(的信源也是最佳二元码。 解：信源的概率分布为：

)152

,152,51,51,31()(=i s p

二元霍夫曼码：00，10，11，010，011，码长：2，2，2，3，3

当信源给定时，二元霍夫曼码是最佳二元码。所以对于概率分布为)51,51,51,51,51(的信源，

其最佳二元码就是二元霍夫曼码。这二元霍夫曼码一定是三个信源符号的码长为2（码符号/信源符号），另二个信源符号的码长为3（码符号/信源符号），其平均码长最短。因此，上

述对概率分布为)152

,152,51,51,31(信源所编的二元霍夫曼码也是概略分布为

)5

1

,51,51,51,51(信源的最佳二元码。 5-6 设二元霍夫曼码为（00，01，10，11）和（0，10，110，111），求出可以编得这些霍夫曼码的信源的所有概率分布。

解：由题意 假设信源所发出的是个符号的概率为 )P(S )P(S )P(S )P(S 1234≥≥≥ 由霍夫曼编码的特点知：1)P(S )P(S )P(S )P(S 1234=+++

根据霍夫曼编码的方法，每次概率最小的两个信源符号合并成一个符号，构成新的缩减信源，直至最后只剩两个符号。而且当缩减信源中的所有符号概率相等时，总是将合并的符号放在最上面。所以，对于二元霍夫曼码为（00，01，10，11）来说，每个信源都要缩减一次，所以34()()P S P S +要大于1()P S 和2()P S ，这时必有

12111

P(S )P(S ),P(S )33

+≥≤

同理对于二元霍夫曼码为（0，10，110，111）有

34111

P(S )P(S ),P(S )>33

+<

信源概率分布满足以上条件则其霍夫曼编码符合题意。

5-7 设一信源有K =6个符号，其概率分别为：123()1/2,()1/4,()1/8P s P s P s ===，45()()1/20P s P s ==，6()1/40P s =，对该信源进行霍夫曼二进制编码，并求编码效率。

解：相应的Huffman 编码是：{1,01,001,0001,00000,00001}。平均码长=，熵= () 1.94

0.9951.95

log 2H X L η=

==

5-8 设信源概率空间为：

()??????s P S =??

????9.0,1.0,21s s ， （1）求()S H 和信源冗余度；

（2）设码符号为X ={0,1}，编出S 的紧致码，并求紧致码的平均码长L ；

（3）把信源的N 次无记忆扩展信源N

S 编成紧致码，试求N =2，3，4，∞时的平均码长

???

? ??N L N

； （4）计算上述N =1，2，3，4这四种码的编码效率和码冗余度。

解：（1）信源

()=??

?

???s P S ??

?

???9.01.021s s 其 ()()()≈-

=∑=i

i i

s P s P s H log 2

1

比特/符号

剩余度()=-

=2

log 1s H γ=％

（2）码符号X={0,1}，对信源S 编紧致码为：1s 0→，12→s 其平均码长L =1 码符号/信源符号 (3) 当N=2时

()??????i P S α2=???

???====81.0,09.0,09.0,

01.0,,,224133212111s s s s s s s s αααα 紧致码（即霍夫曼码）为

,4α ,3α ,2α 1α

码字i W 0 , 10 , 110 , 111 码长i l 1 , 2 , 3 , 3

平均码长???

? ??N L

N

=()i i i l P ∑=4

1α≈0.645 码符号/信源符号 N=3时，()??

?

???i P S α3=

()()()()()()()()??

?

??

???????32

2

2

2223876543219.0,

9.01.0,9.01.0,9.01.0,

9.01.0,9.01.0,9.01.0,1.0,

,,,

,,,

αααααααα

对信源3S 进行霍夫曼编码，其紧致码为

,8α ,7α ,6α ,5α

,4α ,3α ,2α

1α

码字i W 0 , 100 , 101 , 110 , 11100 , 11101 , 11110 ,

11111

码长i l 1 , 3 , 3 , 3 , 5 , 5 , 5 ,

5

平均码长 ???

?

??N L N

=31()i

i i

l

P ∑=8

1

α≈0.533 码符号/信源符号

N=4时，()???

???i P S α4=

()()()()()()()()()()()??

?,

9.01.0,9.01.0,9.01.0,9.01.0,9.01.0,9.01.0,9.01.0,1.0,

,,,,,,,2222223333487654321αααααααα

()()()()()()()()()()()??

?

43

3

3

3

2222221615141312111099.0,

9.01.0,9.01.0,9.01.0,9.01.0,

9.01.0,9.01.0,9.01.0,

,,,,

,,αααααααα

对信源4S 进行霍夫曼编码，其紧致码为

,16α ,15α ,14α ,13α

,12α ,11α ,10α

,9α

码字i W 0 , 100 , 101 , 110 , 1110 , 111110 , 1111000 , 1111001,

码长i l 1 , 3 , 3 , 3 , 4 , 6 , 7 , 7 ,

,8α ,7α ,6α ,5α

,4α ,3α ,2α 1α

码字i W 1111010 , 1111011 , 1111110 , 1 , 0 , 1 , 00 , 01

码长i l 7 , 7 , 7 , 9 , 9 , 9 , 10 , 10

平均码长???

? ??N L

N

=41()≈∑=i

i i

l

P 16

1

α0.493 码符号/信源符号

N=∞时，根据香农第一定理，其紧致码的平均码长

∞

→N lim

N L N =

()

r

s H log ≈0.469 码符号/信源符号 (4) 编码效率 ()

()

L S H L S H r =

=

η (r=2)

码剩余度 1－()()L

S H L S H r -=-=11η (r=2) 所以 N=1 编码效率≈1η0.469 码剩余度≈=% N=2 ≈2η ≈=% N=3 ≈3η ≈=12%

N=4 ≈4η ≈=%

从本题讨论可知，对于变长紧致码，当N 不很大时，就可以达到高效的无失真信源编码。 5-9设信源空间为：????

??)s (P S =1234

56780.40.20.10.10.050.050.050.05s s s s s s s s ?????

?，码符号为X ={0,1,2}，试构造一种三元紧致码。

解：得信源符号 s 1 s 2 s 3 s 4 s 5 s 6 s 7 s 8 三元紧致码 1 00 02 20 21 22 010 011

5-10 某气象员报告气象状态，有四种可能的消息：晴、云、雨和雾。若每个消息是等概的，那么发送每个消息最少所需的二元脉冲数是多少？又若四个消息出现的概率分别是1/4，1/8，1/8和1/2，问在此情况下消息所需的二元脉冲数是多少？如何编码？

解： 第一种情况：需要二元脉冲数两个，可表示四种状态，满足我们的要求。

第二种情况：我们采用霍夫曼可编为1/2编为 1；1/4编为01，1/8编为000和001，

脉冲数显然。

5-11 若某一信源有N 个符号，并且每个符号等概率出现，对这信源用最佳霍夫曼码进行二元编码，问当2i N =和2i N = 1 ＋（i 是正整数）时，每个码字的长度等于多少？平均码长是多少？

解：当2()i

N i = =正整数时用霍夫曼编码方法进行最佳编码，由于每个符号是等概率分布的，所以每个符号码长应相等，这样平均码长最短，而且信源符号个数正好等于i 2，则满足： i

l

q 22==，所以每个码字的码长i L i l i ==,。

当i N 2=个1时，因为每个符号等概率分布出现，所以每个符号的码长也应该基本相等，但现在信源符号个数不是正好等于i 2，所以必须有两个信源符号的码长延长一位码长，这样平均码长最短。

所以12+=i N 时12-i

个码字的码长为i l i =，其余2个码字的码长为1≠i 。平均码长

1

22

++

=i

i L 。 5-12 若有一信源

12,()0.8,0.2s s S P s ????=????????

每秒钟发出个信源符号。将此信源的输出符号送入某一个二元信道中进行传输（假设信道是

无噪无损的），而信道每秒钟只传递2个二元符号。试问信源不通过编码能否直接与信道连接？若通过适当编码能否在此信道中进行无失真传输？若能连接，试说明如何编码并说明原因。

解：信源

12,()0.8,0.2s s s P s ??

??=????????，其信源熵 2

1/()()log ()0.722i i i H s P s P s ==-≈ ∑比特符号

而其每秒钟发出个信源符号，所以信源输出的信息速率为：

/2.66()

2.660.7221921t R H s /?≈ =?≈? 符号秒比特符号比特/秒

.

送入一个二元无噪无损信道，此信道的最大信息传输率（信道容量）/1C = 比特符号。

而信道每秒钟只传输两个二元符号，所以信道的最大信息传输速率为：

//22t C C ?/=? = 比特符号符号秒比特秒

可见：t t R C <。

根据无噪信道编码定理（即无失真信源编码定理），因t t R C <。所以总能对信源的输出进行适当的编码，使此信源能在此信道中进行无失真地传输。如果对信源不进行编码，直接将信源符号1s 以“0”符号传送，2s 以“1”符号传送，这时因为信源输出为（二元信源符号/秒），

大于2（二元信道符号/秒），就会使信道输入端造成信源符号的堆积，信息不能按时发送出去。所以，不通过编码此信源不能直接与信道连接。若要连接，必须对信源的输出符号序列进行编码，也就是对此信源的N 次扩展信源进行编码。但扩展次数越大，编码越复杂，设备的代价也越大，所以尽量使扩展的次数N 少，而又能使信源在此信道中无失真传输。先考虑

2N =，并对二次扩展信源进行霍夫曼编码，得：

211122122,,,()0.64,0.16,0.16,0.04i j s s s s s s s s s P s s ?? ??=???? ?????

?

二元霍夫曼码

0,10,110,111

得：

2 1.56L = 二元符号/二个信源符号二元符号/信源符号

L=0.78

二次扩展编码后，送入信道的传输速率为：

/0.78 2.66 /?? ≈ 二元符号信源符号信源符号秒

二元符号/秒

二元符号/秒

2.075>2 所以，必须考虑3N =即对三次扩展信源进行霍夫曼编码，得：

3111112121211122212221222,,,,,,,()0.512,0.128,0.128,0.128,0.032,0.032,0.032,0.008i j k s s s s s s s s s s s s s s s s s s s s s s s s s P s s s ?? ??=???? ?????? 二元霍夫曼码1,000,001,010,01100,01101,01110,01111

得：

3 2.184L = 二元符号/三个信源符号二元符号/信源符号

L=0.728

三次扩展码后，送入信道额传输速率为：

/0.728 2.66 /?? ≈ 二元符号信源符号信源符号秒

二元符号/秒

二元符号/秒

1.9365<2 此时，就可以在信道中进行无失真传输了。

5-13 现有一幅已离散量化后的图像，图像的灰度量化分成8级，如下表所示。表中数字为相应像素上的灰度级。

另有一无噪无损二元信道，单位时间（秒）内传输100个二元符号。

（1）现将图像通过给定的信道传输，不考虑图像的任何统计特性，并采用二元等长码，问需多长时间才能传送完这幅图像？

（2）若考虑图像的统计特性（不考虑图像的像素之间的依赖性），求这图像的信源熵

()H S ，并对每个灰度级进行霍夫曼最佳二元编码，问平均每个像素需用多少二元码符号来

表示？这时需多少时间才能传送完这幅图像？

（3）从理论上简要说明这幅图像还可以压缩，而且平均每个像素所需的二元码符号数可以小于()H S 比特。 解：（1）3秒。（2）秒。

5-14设某无记忆二元信源，概率1p =P (1)=，0p =P (0)=，采用下述游程编码方案:第一步，根据0的游程长度编成8个码字，第二步，将8个码字变换成二元变长码，如下表所示：

（1） 试问最后的二元变长码是否是唯一可译码； （2） 试求中间码对应的信源序列的平均长度1L ；

（3） 试求中间码对应的变长码二元码码字的平均长度2L ；

（4） 计算比值21/L L ，解释它的意义，并计算这种游程编码的编码效率；

（5） 若用霍夫曼编码，对信源的四次扩展信源进行直接编码，求它的平均码长L (对应于每一个信源符号)，并计算编码效率，试将此方法与游程编码方法进行比较；

（6） 将上述游程编码方法一般化，可把21s

个信源序列(上例中s =3)变换成二元变

长码，即2s 个连零的信源序列编为码字0，而其他信源序列都编成s +1位的码字.若信源输出零的概率为0p ，求2L /1L 的一般表达式，并求0p =时s 的最佳值。

解: (1) 根据唯一可译码的判断方法可知，最后的二元变长码是非延长码(即时码，所以它是唯一可译码。

(2) 因为信源是二元无记忆信源，所以有P(s i )= P(s i1) P(s 2)…P(s in ) 其中 s i =( s i1 s i2…s in ) s i1, s i2,…s in ?{0,1}

已知p 1=P(1)=， p 0=P(0)=，可求得信源符号序列的概率P(s i )。根据编码，可排出下列表

根据表可计算 L 1=

10()i i i P S l =?

≈ 信源符号/中间码 (3) 根据表计算 L 2=8

20

()i i i P S l =?

≈ 二元码/中间码

(4)

2

1

L L ≈ 二元码/信源符号 此值为每个信源符号所需的二元码符号数，也就是无记忆二元信源采用游程编码后每个二元信源符号所需的平均码长。

可计算无记忆二元信源的信息熵

H(S) =- 2

1

()log ()i i i P S P S =?≈ 比特/信源符号

所以，这种游程编码的效率

η=

21

()

/H S L L ≈≈ % (其中因为二元编码所以H r (S)=H(S))

(5)若对无记忆二元信源的次扩展信源直接进行霍夫曼编码，可得

L 4=1

()i i i P S l =?≈ 二元码/4个信源符号

得 L = 二元码/信源符号 编码效率η=

()

H S L

≈≈ % 此编码效率低于游程编码方法。这是因为霍夫曼码只考虑N =4(固定值)时进行压缩，使概率大的对应于短码，概率小的对应于长码。但无记忆二元信源符号“0”出现的概率p 0很大，所以在信源输出序列中符号“0”连续出现的概率较大，而连续出现符号“1”的概率极小。游程编码正是考虑了这些特性，使N 较长(N =8)的连续出现的符号“0”序列压缩成一个二元码符号。所以，游程编码的编码效率较高。当然，当N 很大时(N =8)霍夫曼编码效率会提高，但其编码方法没有游程编码方法来得简单。 (6) 一般游程编码方法是将2s +1个信源序列中一个2s

个连续为零的序列编成码字0，而其他信源序列编成码长为s+1的码字，所以根据表中类似计算可得

L 1=212

100

1

2s

s

i s i ip p p -=+? 其中p 0为信源中符号“0”出现的概率， p 1为符号“1”出现的概率，有p 0+ p 1=1。

展开上式，得 L 1 = p 0+ 2p 1 p 0+3 p 12

0p + (21102)

s p p -+2

02s

s p

=(1- p 0)[(1+2 p 0+32

0p + (2102)

s p -)]+202s

s p

=(1+2p 0+32

p +…+21

2s s

p

-+20

2s

s

p )-( p 0+220p +33

0p

+…+

20

2s s

p )

=(1+ p 0+20p +…+21

0s

p -)

=2

11s

p p --

根据表中类似计算，得

L 2=(s+1)212

100

1

s

s

i i p p p -=+? =(s+1) [(1- p 0)(1+ p 0+2

0p +…+210s p -)]+2

0s

p

=(s+1)(1-20s

p )+20

s p

=1+s(1-20s

p )

得

2

1

L L 的一般表达式为

L =21L L =0

020

1(1)1s

p s p p -+-- 当p 0=， p 1=时，求s 的最佳值，也就是求s 取某值时L 最短。可采用将L 对s 求偏导来解，但所得为超越方程，所以我们采用数值求解方法。 令 s =2 2s

=4 L =

s =3 2s =8 L = s =4 2s =16 L = s =5 2s =32 L = s =6 2s =64 L = s =7 2s =128 L = s =8 2s =256 L =

所以得最佳

当p 0=时二元信源的信息熵

H(S) = H ≈ 比特/信源符号

可见，当s =7时， L 已极接近H(S)，编码效率达到%

5-15有两个信源X 和Y 如下：

1

234567()0.20.190.180.170.150.10.01X x x x x x x x P x ????=????????

1

23456789()0.490.140.140.070.070.040.020.020.01Y y y y y y y y y y P y ????=????????

（1）分别用霍夫曼码编成二元变长唯一可译码，并计算编码效率； （2）分别用香农编码法编成二元变长唯一可译码，并计算编码效率； （3）分别用费诺编码法编成二元变长唯一可译码，并计算编码效率； （4）从X ，Y 两种不同信源来比较这三种编码方法的优缺点。 5-16 将幅度为、频率为800Hz 的正弦信号输入采样频率为8000Hz 采样保持器后，通过一个如题图5-16所示量化数为8的中升均匀量化器。试画出均匀量化器的输出波形。

题图 5-16

5-17 已知某采样时刻的信号值x 的概率密度函数()p x 如题图5-17所示，将x 通过一个量化数为4的中升均匀量化器得到输出q x 。试求：

（1） 输出q x 的平均功率2

[]q S E x =;

（2） 量化噪声q e x x =-的平均功率

2

[]q N E e =； （3） 量化信噪比/q S N 。

题图 5-17

5-18 在CD 播放机中，假设音乐是均匀分布，采样频率为，采用16比特的中升均匀量化器进行量化。试确定50分钟音乐所需要的比特数，并求量化信噪比/q S N 。

5-19 采用13折线A 律非均匀量化编码，设最小量化间隔为?，已知某采样时刻的信号值x =635?。

（1）试求该非均匀量化编码c ，并求其量化噪声e ；

（2）试求对应于该非均匀量化编码的12位均匀量化编码'

c 。

5-20 将正弦信号()sin(1600)x t t π=输入采样频率为8kHz 采样保持器后通过13折线A 律非均匀量化编码器，设该编码器的输入范围是[-1,1]。试求在一个周期内信号值

sin(0.2)i x i π=，0,1,,9i =???的非均匀量化编码i c ，0,1,,9i =???。

5-21将正弦信号()0.25sin(400)x t t π=输入采样频率为4kHz 采样保持器后通过差分

脉冲编码调制器，设该调制器的初始值00q d =，%00x =，采用码长为4的均匀量化编码，

量化间隔?=。试求在半个周期内信号值0.25sin(0.1)i x i π=，0,1,,9i =???的差分脉冲编码

i c 和量化值'i x ，0,1,,9i =???。