信息论习题解答

合集下载

信息论与编码理论_第3章信道容量_习题解答_071102

.. ..... . .第3章信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。

i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。

二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-4 设BSC 信道的转移概率矩阵为112211Q εεεε-⎡⎤=⎢⎥-⎣⎦1）写出信息熵()H Y 和条件熵(|)H Y X 的关于1()H ε和2()H ε表达式，其中()log (1)log(1)H εεεεε=----。

《信息论与编码》习题解答-第三章

第三章信道容量-习题答案3.1 设二元对称信道的传递矩阵为⎥⎦⎤⎢⎣⎡3/23/13/13/2 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C3.2 解：(1)αα-==1)(,)(21x p x p⎥⎦⎤⎢⎣⎡=4/14/12/102/12/1P ，⎥⎦⎤⎢⎣⎡---=4/)1(4/)1(2/)1(02/12/1)(αααααj i y x P 4/)1()(,4/14/)(,2/1)(321αα-=+==y p y p y p接收端的不确定度：))1(41log()1(41)4141log()4141()2log(21)(αααα---++-=Y H)1log(41)1log(4123αααα---++-= (2))4log()1(41)4log()1(41)2log()1(210)2log(21)2log(21)|(ααααα-+-+-+++=X Y H α2123-= (3))|()();(X Y H Y H Y X I -=);(max )()(Y X C i x p =α,0)(=ααC d d,得到5/3=α 161.0)5/3();max(===C Y X C 3.3∑==⨯++=+=21919.001.0log 01.099.0log 99.02log log )log(j ij ij p p m C0.919*1000=919bit/s 3.4⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=εεεε-10-10001ij p2/1)()(0)(321===a p a p a p 0)(1=b p2/12/1)1(2/100)|()(),()(222=⨯+-⨯+⨯===∑∑εεi ii ii a b p a p b a p b p2/1-12/12/100)|()(),()(333=⨯+⨯+⨯===∑∑）（εεi ii ii a b p a p b a p b p)()|(log)|();(j i j ji j i b p a b p a b p Y a I ∑=0);(1=Y a Iεεεε2log )1(2log )1(0)()|(log)|();(222+--+==∑j j jj b p a b p a b p Y a I )1(2log )1(2log 0)()|(log)|();(333εεεε--++==∑j j jj b p a b p a b p Y a I当0=ε，1=C 当2/1=ε，0=C 3.5两个信道均为准对称DMC 信道设输入符号概率αα-==1)(,)(21a p a p ，（1）对于第一种信道的联合概率的矩阵为：⎥⎦⎤⎢⎣⎡---------)1(2)1)(1()1)((2)()1(αεαεαεεααεαεp p p p⎥⎦⎤⎢⎣⎡---)()1(εαεp p 3.6⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=2/1002/12/12/10002/12/10002/12/1P 121log 2121log 214log log )log(41=++=+=∑=ij j ij p p m C3.7解：(1)从已知条件可知：3,2,1,3/1)(==i x p i ，且转移概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=0109101103103525110321)|(i j x y p ，则联合概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡==010330110110115215110161)()|(i i j ij x p x y p p ，因为：),()(∑=ij i j y x p y p ，可计算得到31)(1=y p ，21)(2=y p ，61)(3=y p499.16log 612log 213log 31)(=++=Y H(2)175.1910log 10310log 301310log 101310log10125log 1525log 151310log 1012log 61)|(log )()|(=+++++++=-=∑iji j j i x y p y x p X Y H (3)当接收为2y ，发送为2x 时正确，如果发送为1x 和3x 为错误，各自的概率为： 5/1)|(21=y x p ，5/1)|(22=y x p ，5/3)|(23=y x p 它的错误概率为：5/4)|()|(2321=+=y x p y x p p e(4)从接收端看到的平均错误概率为：===∑∑≠≠ji ij ji j i j e p y x p y p p )|()(收733.010/115/110/310/130/115/2=+++++(5)从发送端看到的平均错误概率为：===∑∑≠≠ji ij ji i j i e p x y p x p p )|()(发733.010/115/110/310/130/115/2=+++++(6)此信道不好，因为信源等概率分布，从转移信道来看，正确发送的概率11y x >-为0.5，有一半失真；22y x >-为0.3，严重失真；33y x >-为0，完全失真。

信息论与编码第五章习题参考答案

5.1某离散无记忆信源的概率空间为采用香农码和费诺码对该信源进行二进制变长编码，写出编码输出码字，并且求出平均码长和编码效率。

解：计算相应的自信息量1)()(11=-=a lbp a I 比特 2)()(22=-=a lbp a I 比特 3)()(313=-=a lbp a I 比特 4)()(44=-=a lbp a I 比特 5)()(55=-=a lbp a I 比特 6)()(66=-=a lbp a I 比特 7)()(77=-=a lbp a I 比特 7)()(77=-=a lbp a I 比特根据香农码编码方法确定码长1)()(+<≤i i i a I l a I平均码长984375.164/6317128/17128/1664/1532/1416/138/124/112/1L 1=+=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=由于每个符号的码长等于自信息量，所以编码效率为1。

费罗马编码过程5.2某离散无记忆信源的概率空间为使用费罗码对该信源的扩展信源进行二进制变长编码，(1) 扩展信源长度，写出编码码字，计算平均码长和编码效率。

(2) 扩展信源长度，写出编码码字，计算平均码长和编码效率。

(3) 扩展信源长度，写出编码码字，计算平均码长和编码效率，并且与(1)的结果进行比较。

解：信息熵811.025.025.075.075.0)(=--=lb lb X H 比特/符号（1）平均码长11=L 比特/符号编码效率为%1.81X)（H 11==L η（2）平均码长为84375.0）3161316321631169（212=⨯+⨯+⨯+⨯=L 比特/符号编码效率%9684375.0811.0X)（H 22===L η（3）当N=4时，序列码长309.3725617256362563352569442569242562732562732256814=⨯+⨯+⨯⨯+⨯⨯+⨯⨯+⨯+⨯⨯+⨯=L平均码长827.04309.34==L %1.98827.0811.0X)（H 43===L η可见，随着信源扩展长度的增加，平均码长逐渐逼近熵，编码效率也逐渐提高。

信息论与编码第四章课后习题答案

∫ =
− log λe−λx
∞ 0
+ log e
ln e−λx de−λx
∫ =
− log
λ
+
log
et
ln
t
0 1
−
log
e
dt
= −log λ + log e
= log e λ
（2）
h( X )
= −∫ p(x)log p(x)dx
∫ = − ∞ 1 λe−λ x log 1 λe−λ x dx
−∞ 2
2
∫ = − ∞ λe−λx log 1 λe−λxdx
0
2
∫ ∫ = − ∞ λe−λx log 1 dx − ∞ λe−λx log λe−λxdx
0
2
0
= log 2 + log e λ
= log 2e λ
注：（2）题直接借用了（1）的结论。
【4.3】设有一连续随机变量，其概率密度函数为：
sin
x
=
1 2
log
e∫
ln(1
+
sin
x)d
sin
x
+
1 2
log
e∫
ln(1
−
sin
x)d
sin
x
∫ ∫ ln(1+ sin x)d sin x
π
= (1 + sin
x) ln(1+ sin
x)
2 −π
−
2
1 + sin x d sin x 1 + sin x
= 2ln 2 − 2
∫ ln(1− sin x)d sin x

《信息论与编码》第三章习题解答

1 p(i, j ) 3 1 ， 3
所以从编码树每个内节点长出的三个分支都具有等概率，即第一层节点概率为第二层节点概率为
1 1 ，…。从而任何一个消息（树叶）出现概率必定为的整数次幂。 9 3

I (u L ) − H (U ) > δ L
求在（a），（b）给定的 L=L0 情况下 A 中元素数目的上、下限。 [解] 由概率论中切比雪夫不等式
P{|
其中
σ2 I (U L ) − H (U ) |> δ } ≤ I 2 = ε L Lδ 3 1 3 1 H (U ) = − log − log = 0.81bit 4 4 4 4
H (X ) ，所以 log 3
其中 (i, k1 ) ， (k1 + 1, k 2 ) ， (k 2 + 1, j ) 是由内节点 (i, j ) 分岔出去的三个节点，所以
p (i, k1 ) + p(k1 + 1, k 2 ) + p (k 2 + 1, j ) = p(i, j ) 。由于码 D 的平均码长 L =
(b) 求三元 Huffman 码，计算 n 和 η ； [解] (a) 由信源概率分布可知
H (U ) = −
∑p
i =1
10
i
log p i = 3.234bit
相应的 Huffman 编码过程如下图所示； 111 a1 101 a2 100 a3 011 a4 001 a5 000 a6 1101 a7 1100 a8 0101 a9 0100 a10
0.16 （1） 0.14 （1） 0.13 （0） 0.12 （1） 0.1 （1） 0.09 （0） 0.08 （1） 0.07 （0） 0.06 （1） 0.05 （0）

信息论与编码第八章课后习题答案

进行 Huffman 编码，码字如下：
扩展信源的平均码长为：
L3 = 0.729 + 0.081*9 + 0.009*15 + 0.005 = 1.598
L3 = 0.532667 码符号/信源符号 N 四次扩展信源略；当 N → ∞ 时，根据香农第一定理，平均码长为：
LN = H (S ) = 0.469 码符号/信源符号 N log r
第八章课后习题
【8.1】求概率分布为(1/3,1/5,1/5,2/15,2/15)信源的二元霍夫曼码。讨论此码对于概率分布为(1/5,1/5,1/5,1/5,1/5)的信源也是最佳二元码。解：
概率分布为(1/3,1/5,1/5,2/15,2/15)信源二元霍夫曼编码过程如下：
同样，对于概率分布为(1/5,1/5,1/5,1/5,1/5)的信源，编码过程如下：
488 2 少？如何编码？解：
平均每个消息携带的信息量为 2 比特，因此发送每个消息最少需要的二元脉冲数为 2。如果四个消息非等概率分布，采用紧致码编码，可使得所需要的二元脉冲数最少，编码过程如下：
平均码长为：
∑ L = P(si )li = 1.75 二元码符号/信源符号
即在此情况下消息所需的二元脉冲数为 1.75 个。【8.6】若某一信源有 N 个符号，并且每个符号等概率出现，对这信源用最佳霍夫曼码进行二元编码，问当 N = 2i 和 N = 2i +1（ i 是正整数）时，每个码字的长度等于多少？平均码长是多少？解：
码长的方差，并计算平均码长和方差，说明哪一种码更实用些。解：
进行三元编码，需增补一个概率为 0 的信源符号，两种编码方法如下所示。
图1
图2
ห้องสมุดไป่ตู้

信息论答案完整版

/8
⎥ ⎦
，其发出的消息为(202
120
130
213
001
203 210 110 321 010 021 032 011 223 210)，求：
(1) 此消息的自信息是多少？
(2) 在此消息中平均每个符号携带的信息量是多少?
解：（1）因为离散信源是无记忆的，所以它发出的消息序列中各个符号是无依赖的，统计独立的。因
在研究香农信源编码定理的同时，另外一部分科学家从事寻找最佳编码（纠错码）的研究工作，并形成一门独立的分支——纠错码理论。
1959 年香农发表了“保真度准则下的离散信源编码定理”，首先提出了率失真函数及率失真信源编码定理。从此，发展成为信息率失真编码理论。
香农 1961 年的论文“双路通信信道”开拓了网络信息论的研究。现在，信息理论不仅在通信、计算机以及自动控制等电子学领域中得到直接的应用，而且还广泛地渗透到生物学、医学、生理学、语言学、社会学、和经济学等领域。
I (a4
=
3)
=
− log
P(a4 )
=
− log
1 8
=
log2
8=3(比特)
此消息中共有 14 个符号“0”，13 个符号“1”，12 个符号“2”和 6 个符号“3”，则此消息的自
信息是
I = 14I (a1 = 0) +13I (a2 = 1) +12I (a3 = 2) + 6I (a4 = 3) ≈ 14×1.415 +13× 2 +12× 2 + 6× 3 ≈ 87.71(比特)
此，此消息的自信息就等于各个符号的自信息之和。则可得：
I
(a1
=

信息论与编码第2章习题解答

2.1设有12枚同值硬币，其中一枚为假币。

只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。

现用比较天平左右两边轻重的方法来测量（因无砝码）。

为了在天平上称出哪一枚是假币，试问至少必须称多少次？解：分三组，每组4个，任意取两组称。

会有两种情况，平衡，或不平衡。

(1) 平衡：明确假币在其余的4个里面。

从这4个里面任意取3个，并从其余8个好的里面也取3个称。

又有两种情况：平衡或不平衡。

a ）平衡：称一下那个剩下的就行了。

b ）不平衡：我们至少知道那组假币是轻还是重。

从这三个有假币的组里任意选两个称一下，又有两种情况：平衡与不平衡，不过我们已经知道假币的轻重情况了，自然的，不平衡直接就知道谁是假币；平衡的话，剩下的呢个自然是假币，并且我们也知道他是轻还是重。

(2) 不平衡：假定已经确定该组里有假币时候：推论1：在知道该组是轻还是重的时候，只称一次，能找出假币的话，那么这组的个数不超过3。

我们知道，只要我们知道了该组（3个）有假币，并且知道轻重，只要称一次就可以找出来假币了。

从不平衡的两组中，比如轻的一组里分为3和1表示为“轻（3）”和“轻（1）”，同样重的一组也是分成3和1标示为“重（3）”和“重（1）”。

在从另外4个剩下的，也就是好的一组里取3个表示为“准（3）”。

交叉组合为：轻（3） + 重（1）？=======？轻（1） + 准（3）来称一下。

又会有3种情况：(1)左面轻：这说明假币一定在第一次称的时候的轻的一组，因为“重（1）”也出现在现在轻的一边，我们已经知道，假币是轻的。

那么假币在轻（3）里面，根据推论1，再称一次就可以了。

(2)右面轻：这里有两种可能：“重（1）”是假币，它是重的，或者“轻（1）”是假币，它是轻的。

这两种情况，任意取这两个中的一个和一个真币称一下即可。

(3)平衡：假币在“重（3）”里面，而且是重的。

根据推论也只要称一次即可。

2.2 同时扔一对骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“骰子面朝上之和是3和4”时，试问这三种情况分别获得多少信息量？解：设“两骰子面朝上点数之和为2”为事件A ，则在可能出现的36种可能中，只能个骰子都为1，这一种结果。

信息论与编码理论—第三章习题解答

2013-8-4
0.020
15
111 112 121 211 113 131 311 122 212 221 123 132 213 312 231 321 222 133 313 331 223 232 322 233 323 332 333
0.125 0.075 0.075 0.075 0.050 0.050 0.050 0.045 0.045 0.045 0.030 0.030 0.030 0.030 0.030 0.030 0.027 0.020 0.020 0.020 0.018 0.018 0.018 0.012 0.012 0.012 0.008 0 1 0 1 0 1 0.036
2013-8-4
7
(c) “当收到1时得到多少关于信源的平均信息”，这是求信源随机变量U与事件“收到1”的（半平均）互信息量。以码A为例。
I(收到1；U)=
P ( a1 , 且收到1) P ( a1 | 收到1) log P ( a1 ) P (收到1) P ( a2 , 且收到1) P ( a2 | 收到1) log P ( a2 ) P (收到1) P ( a3 , 且收到1) P ( a3 | 收到1) log P ( a3 ) P (收到1) P ( a4 , 且收到1) P ( a4 | 收到1) log P ( a4 ) P (收到1)
0.036
0.024
2013-8-4
0.020
17
111 112 121 211 113 131 311 122 212 221 123 132 213 312 231 321 222 133 313 331 223 232 322 233 323 332 333

(信息论)第二、三章习题参考答案

第二章习题参考答案2-1解：同时掷两个正常的骰子，这两个事件是相互独立的，所以两骰子面朝上点数的状态共有6×6＝36种，其中任一状态的分布都是等概的，出现的概率为1/36。

(1)设“3和5同时出现”为事件A ，则A 的发生有两种情况：甲3乙5，甲5乙3。

因此事件A 发生的概率为p(A)=(1/36)*2=1/18 故事件A 的自信息量为I(A)=－log 2p(A)=log 218=4.17 bit(2)设“两个1同时出现”为事件B ，则B 的发生只有一种情况：甲1乙1。

因此事件B 发生的概率为p(B)=1/36 故事件B 的自信息量为I(B)=－log 2p(B)=log 236=5.17 bit (3) 两个点数的排列如下：因为各种组合无序，所以共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)“两个点数中至少有一个是1”的组合数共有11种。

bitx p x I x p i i i 710.13611log )(log )(3611116161)(=-=-==⨯⨯=2-2解：(1)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡2121)(21x x x p X i 比特 12log *21*2)(log )()(2212==-=∑=i i i x p x p X H(2)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡100110099)(21x x x p X i 比特 08.0100log *100199100log *10099)(log )()(22212=+=-=∑=i i i x p x p X H (3)四种球的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡41414141)(4321x x x x x p X i ，42211()()log ()4**log 4 2 4i i i H X p x p x ==-==∑比特2-5解：骰子一共有六面，某一骰子扔得某一点数面朝上的概率是相等的，均为1/6。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

第二章信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。

解：同步信息均相同，不含信息，因此每个码字的信息量为 28log=23=6 bit 因此，信息速率为 61000=6000 bit/s

掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(ap=366=61

得到的信息量 =)(1logap=6log= bit (2) 可能的唯一，为 {6，6} )(bp=361

得到的信息量=)(1logbp=36log= bit 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少 (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量

解：(a) )(ap=!521 信息量=)(1logap=!52log= bit (b) 花色任选种点数任意排列13413!13 )(bp=1352134!13A=1352134C 信息量=1313524loglogC= bit 随机掷3颗骰子，X表示第一颗骰子的结果，Y表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求)|(YZH、)|(YXH、),|(YXZH、)|,(YZXH、)|(XZH。

解：令第一第二第三颗骰子的结果分别为321,,xxx，1x，2x，3x相互独立，则1xX，

21xxY，321xxxZ

)|(YZH=)(3xH=log6= bit )|(XZH=)(32xxH=)(YH

)|,(YZXH=)|(YXH+)|(XYZH=+= bit

设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以的概率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。

解：信道XY

9,7,5,3,1i8,6,4,2,0i√Χ

);(YXI=)(YH-)|(XYH 因为输入等概，由信道条件可知，







101)8181818121(101)(101)(为偶数为奇数iiypiiyp

即输出等概，则)(YH=log10 )|(XYH=)|(log)(ijjjiixypyxp

=10121log25+1012141log845 =4341=1 bit );(YXI=)(YH-)|(XYH=log10 -1=log5= bit

令{821,,uuu，}为一等概消息集，各消息相应被编成下述二元码字 1u=0000，2u=0011，3u=0101，4u=0110，

5u=1001，6u=1010，7u=1100，8u=1111

通过转移概率为p的BSC传送。求： (a)接收到的第一个数字0与1u之间的互信息量。 (b)接收到的前二个数字00与1u之间的互信息量。 (c)接收到的前三个数字000与1u之间的互信息量。 (d)接收到的前四个数字0000与1u之间的互信息量。

解：即)0;(1uI，)00;(1uI，)000;(1uI，)0000;(1uI )0(p=4)1(81p+481p=21

)0;(1uI=)0()|0(log1pup=211logp=1+)1log(p bit

)00(p=]2)1(4)1(2[8122pppp=41 )00;(1uI=)00()|00(log1pup=4/1)1(log2p=)]1log(1[2p bit )000(p=])1(3)1(3)1[(813223pppppp=81 )000;(1uI=3[1+)1log(p] bit )0000(p=])1(6)1[(814224pppp

)0000;(1uI=42244)1(6)1()1(8logppppp bit 计算习题中);(ZYI、);(ZXI、);,(ZYXI、)|;(XZYI、)|;(YZXI。解：根据题分析

)(ZH=2(216log2161+3216log2163+6216log2166+10216log21610+

15216log21615+21216log21621+25216log21625+27216log21627)

=xyxyp)([-zxyzpxyzp)|(log)|(] xyxyp)([-zxzpxzp)|(log)|(] =-xyzxzpxyzp)|(log)( =)|(XZH 当)|(xyzp=)|(xzp，即X给定条件下，Y与Z相互独立时等号成立 (a) 上式(c)左右两边加上)|(XYH，可得 )|(XYH+),|(YXZH)|(XYH+)|(XZH 于是)|,(XZYH)|(XYH+)|(XZH

令概率空间21,211,1X，令Y是连续随机变量。已知条件概率密度为 其他,022,41)|(xyxyp，求： (a)Y的概率密度)(y (b));(YXI (c) 若对Y做如下硬判决







1,111,01,1yyyV

求);(VXI，并对结果进行解释。解：(a) 由已知，可得 )1|(xyp=elsey01341

=dydy311341log412141log4121 =2 bit );(YXI=)(YHC-)|(XYHC= bit (c) 由)(y可得到V的分布律 V -1 0 1

p 1/4 1/2 1/4

再由)|(xyp可知 V -1 0 1 p(V|x=-1) 1/2 1/2 0

p(V|x=1) 0 1/2 1/2

5.14log2412log21)(VH bit 2]2log212log21[21)|(XVH=1 bit );(VXI=)|()(XVHVH= bit

令)(1xQ和)(2xQ是同一事件集U上的两个概率分布，相应的熵分别为1)(UH和2)(UH。

(a)对于10，证明)(xQ=)(1xQ+)1()(2xQ是概率分布 (b))(UH是相应于分布)(xQ的熵，试证明)(UH1)(UH+)1(2)(UH

证明：(a) 由于)(1xQ和)(2xQ是同一事件集U上的两个概率分布，于是 )(1xq0，)(2xq

dxxqx)(1=1，dxxqx)(2=1

又10，则 )(xq=)(1xq+)1()(2xq

dxxqx)(=dxxqx)(1+dxxqx)()1(2=1

因此，)(xQ是概率分布。