信息论第二、三章习题解答

信息论（I ）第二、三章 习题解答4.1 同时掷两个正常的骰子，也就是各面呈现的概率是61，求： （1）“3和5同时出现”这一事件的自信息量。

（2）“两个1同时出现”这一事件的自信息量。

（3）两个点数的各种组合（无序对）的熵或平均信息量。

（4）两个点数之和（即2，3…12构成的子集）的熵。

（5）两个点数中至少有一个是1的自信息。

4.2 消息符号集的概率分布和二进制代码如下表（1）求消息的符号熵。

（2）每个消息符号所需要的平均二进制码的个数或平均代码长度。

进而用这个结果求码序列中的一个二进制码的熵。

（3）当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现0和1的无条件概率0p 和1p ，求相邻码间的条件概率10110100,,,P P P P 。

解答见第三章课件！4.3 某一无记忆信源的符号集为{0，1}，已知0p =14，1p =34（1）求符号的平均信息熵。

（2）由100个符号构成的序列，求某一特定序列{例如有m 个“0”和（m -10）个“1”}的自信息量的表达式。

（3）计算（2）中的序列的熵。

解：（1）()()0113014408113,;;log ..i i ix p p bitH x p p symb ∈==∴=-=∑（2）这是一个求由一百个二进制符号构成的序列中的某一特定（如有m 个“0”和100－m 个“1” ）序列的自信息，问题是要求某一特定序列而不是某一类序列（如含有m 个“0”的序列）(){}[]()()()()1001001001001344m 0100-m 110013100441341515844;!!!log log ..m mm m m m mmm m m m m m m mP x where x A x P A C P x m m bit I x P x m x ---⎛⎫⎛⎫= ⎪ ⎪⎝⎭⎝⎭=∈⎛⎫⎛⎫∴==⎪ ⎪-⎝⎭⎝⎭⎡⎤⎛⎫⎛⎫∴=-=-=+⎢⎥ ⎪ ⎪⎝⎭⎝⎭⎢⎥⎣⎦其中含有个“”和个“”（3）这里有两种解法，因为是无记忆信源序列，所以单符号熵转序列熵很容易！()()()121001008113.m bit H X H x x x H x x∴==⨯=另一种解法是利用二项式定理来解。

()()()()()()()()1000100100010010010013448113log log log log .m mm m m X A m m m m m m m m mm m m mH X p x p x p A p x C p x p x C p x bit x ∈==-==-=-=-⎛⎫⎛⎫=- ⎪ ⎪⎝⎭⎝⎭=∑∑∑∑4.6 有两个离散随机变量X 和Y ，其和为Y X Z +=（一般加法），若X 和Y 相互独立，求证：（1）)()(Z H X H ≤)()(Z H Y H ≤（2）)()(Z H XY H ≥证： ∵ Z X Y =+ 则 ()()Y P X Z P = ∴ ()()Y H X Z H = 又∵ ()Z H ≥()X Z H∴ ()Z H ≥()Y H 同理可证 ()Z H ≥()X H ∴ ()Z H ≥max ()(){}Y H X H ,上式中等号成立的条件是当X ；Y 中任意一个处于常量时。

如设X 为常量， 则 ()X Z H =()Z H =()Y H 且 ()X H = 0 ∴ ()Z H = max ()(){}Y H X H , = ()Y H 又∵ ()()()Y H X H XY H +=且 ()()()()()Z Y H Y H Y Z H Z H Z Y I -=-=; ∴()()()()()()()Z Y H X H Y H Z Y H Z H Y H Z H -+=-+=∵ ()Z Y H ≥0 离散熵的非负性。

∴ ()Z H ≤()()Y H X H +如果 ()Z Y H = 0 则 ()Z H = ()()Y H X H +∵ ()Z Y H = 0 即意味()1=Z Y P ,这表示Y 与Z 有一一对应关系。

∵ Z X Y =+ 则X 一定为一常量。

∴ 当X ；Y 中任意一个处于常量时等式成立，即()()Y H X H + = ()Z H = ()(){}Y H X H ,max证毕。

4.7 对于任意的三个离散随机变量X ，Y ，Z ；求证：（1） (;)(;)(;)(;)(;)(;)I X Y Z I X Y I Y Z X I Y Z I Z X Y I Z X -=-=-（2） ()()()(;)H XYZ H XZ H Y X I Z Y X =+-（3）()()()()H XYZ H XY H ZX H X -≤-证明： （1）、()()()()()()()()()()()()()()()()()()()()()()()();;;;;;;;;;;..;;;;;;;;;;;;;Y ZI XY Z I X Z I XX ZI Y Z I YY ZX Z I X Z I I Y Z I X Y Y Z X Z i e I I Y Z I I X Z X Y Y Z I XZ Y I X Y I XX Y I Y Z I ZX Y Y Z X Z I I X Y I I Y Z I I X Z Z X Y=+⇐=+∴+=+-=-=+=+↓∴-=-=-可加性同理：（2）、()()()()()()()()()()()()()()()()()()()()();;;Z YY Y I H H XX XZ YH XYZ H XZ H XZ Y Y YH XZ H H H X X XZ Y Y Y H XZ H H H X X XZ Z Y Y H XZ H I X XZ Y Y H XYZ H XZ H I X X=-=+=+-+⎡⎤=+--⎣⎦=+-=+-又 （3）、()()()()()()()()()()()()()()()ZH XYZ H XY H XY ZH XYZ H XY H XY Z H XZ H X H X Z ZH H X XY H XYZ H XY H XZ H X =+∴-=-=≥∴-≤- 同理：又注意：上式中等号成立的条件是什么？证毕。

4.9 一个等概率的信源符号有八种字母，分别是10000x = ，20011x = ，30101x =，40110x = ，51001x = ，61010x = ，71100x = ，81111x =，用实验测定上述码字中的每个二进制符号，可得二元输出y ，已知条件概率为00P =11P =1-ε10P =01P =ε。

实验结果得y =0000。

求： （1）第一位码测定后所得的关于1x的自信息。

（2）第二，第三，第四位码测定后各得多少关于1x的自信息。

（3）全部结果y =0000关于1x的自信息。

（4）讨论0=ε和21=ε时上述各自信息的情况。

解答见第二章课件！4.12 两个n 元的随机变量X 和Y 。

都取值于}{21n a a a A ⋯=定义(x )i i P a p ==，(y |x )j i ji P a a P ===以及∑∑≠=ij jii ie Pp P ；求证：()log(1)(,1)e e e H X P n H P P ≤-+-其中H 是熵函数 解答见第二章课件！4.14 有一个一阶平稳马尔柯夫链⋯⋯r X X X ,,21，各r X 取值于集},,{321a a a A =。

已知起始概率)(r X P 为11=p ，132==p p ，转移概率为（1）求123X X X 的联合熵和平均符号熵。

（2）求这个链的极限平均符号熵。

（3）求012,,H H H 和它们所对应的冗长度。

解答见第二章课件！4.17给定语声信号样值x的概率密度为：1()2xxp x eλλλ--∞<<+∞⎧=⎨>⎩；；求：随机变量x的相对熵并验证其在相同方差下小于高斯熵。

解答见第三章课件！4.18连续变量X和Y的联合概率密度为：221(,)[(1)2]}2Np x y x xy yN S=-+-+求：()CH X，()CH Y，()CH Y X和(;)I X Y。

解答见第三章课件！4.23 令)(xf是定义在连续区间B上取值于非负实数的连续函数，若连续随机变量X的概率密度()0()p x x B=∉，且()()Bf x p x dx A=⎰，并定义()()sf xBG s e dx-=⎰（1）试证必存在一个0s，使AsGsG-=)()('证：()()()()()()()F1BdefBx Bxp xx Band if p x dx then p xE f x f x p x dx A∈⎧=⎨∉⎩=⎡⎤∴==⎣⎦⎰⎰是一种概率分布密度函数。

依题意：[]()()()()()()()()()()()()()()():------='==--'∴-==≥>⎰⎰⎰⎰⎰⎰设定：则：又sf x Bsf x Bsf x sf x Bsf y sf y BBBG s e dxd G s G s f xe dxdsf x e dxG s e f x dx G s e dy e dy f x if let s()()()()()()()()()()01()()()()()()()()()(),s f x s f x s f x Bs f y s f y s f y BBBBs f x defs f y Bs f x s f y BBBBe dx e e anddx edyedyedye p x edyG s e f x dx f x p x dx A G s e dy G s A f x p x dxG s ----------≥==∴='-==='∴=-=-⎰⎰⎰⎰⎰⎰⎰⎰⎰⎰ 则：这也是一种概率分布密度。

因此证毕（2）若有当x B ∈时，0()0()()s f x e q x G s -=；x B ∉时，()q x =0求证熵的上界式为00()log ()H X G s s A ≤+，当且仅当()q x 是X的概率密度时成立。

证：()()()()()001exp ;;;Bs f x x B if let q x G s x B andp x p x dx ⎧⎡⎤-⎣⎦∈⎪=⎨⎪∉⎩>=⎰ ()()()()()()()()()()()()()()()()()()()()()()()()()()()110log log log log log log ln exp log log c B B B B B B B then H x p x p x dxp x p x p x dx p x q x dxq x p x p x q x dx p x dxq x q x p x q x dx p x dx x x and x p x s f x p x dx p x G s dx s f x p x dxG s ∞-∞=-⎡⎤=-=-⎢⎥⎢⎥⎣⎦⎡⎤=--⎢⎥⎢⎥⎣⎦⎡⎤≤-+-⇐≤->⎢⎥⎢⎥⎣⎦⎧⎫⎡⎤-⎪⎪⎣⎦=-=+⎨⎬⎪⎪⎩⎭⎰⎰⎰⎰⎰⎰⎰⎰ ()()()()()log log B B c G s s AH x G s s A=+∴≤+⎰⎰ （3）用上述一般结论，求下列各)(x f 下的熵上界公式a)x x f log )(= )(1,B ∞=解：()()()()()()()()()()()1111111112111111111=11ln log :log ,exp exp log sx s x s s s when f x x B G s sf x dx s x dxedx edx x dxx s s x s G s lets s -∞∞∞∞∞--∞∞--==∞⎡⎤⎡⎤=-=-⎣⎦⎣⎦===⎡⎤===⎢⎥---⎣⎦'∴>-⎰⎰⎰⎰⎰()()()()()()()000020000011111111:log log G s Then AG s A s G s s s s AH x G s s A A A '-==-==--∴=+≤+=++又则：b)x x f =)( )(0,B ∞=解：()()0:,when f x xB ==∞()()()()()()()0221111111:log log sf x sxsxBBc Then G s edx edx essandG s s G s s As AG s s s H X G s s A A ∞---===-='-='∴-===⇒=∴≤+=+⎰⎰c)||)(x x f = ),(-B ∞∞= 解：()():,when f x xB ==-∞∞()()()()()()()()()0222212221log log sf x s xsxBc ThenG s edx edx e dx s and G s sG s Aand G s AG s s s H X G s sA A ∞∞----∞===='-='∴-====∴≤+=+⎰⎰⎰Q.E.D .。