信息论与编码理论第二章习题答案

部分答案，仅供参考。

信息速率是指平均每秒传输的信息量 点和划出现的信息量分别为3log ,2

3log ，

一秒钟点和划出现的次数平均为

4

15314.0322.01=

⨯+⨯

一秒钟点和划分别出现的次数平均为4

5.410

那么根据两者出现的次数，可以计算一秒钟其信息量平均为2

53log 4

153log 4

52

3log 4

10-=+

解：

(a)骰子A 和B ，掷出7点有以下6种可能：

A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量

-log(1/6)=1+log3≈ bit

(b) 骰子A 和B ，掷出12点只有1种可能： A=6,B=6

概率为1/36，所以信息量

-log(1/36)=2+log9≈ bit 解：

出现各点数的概率和信息量：

1点：1/21，log21≈ bit ； 2点：2/21，log21-1≈ bit ； 3点：1/7，log7≈； 4点：4/21，log21-2≈； 5点：5/21，log （21/5）≈； 6点：2/7，log(7/2)≈ 平均信息量：

(1/21)×+(2/21)×+(1/7)×+(4/21)×+(5/21)×+(2/7)×≈ 解：

X=1:考生被录取； X=0:考生未被录取； Y=1:考生来自本市；Y=0:考生来自外地； Z=1: 考生学过英语；Z=0：考生未学过英语

P(X=1)=1/4, P(X=0)=3/4; P(Y=1/ X=1)=1/2； P(Y=1/ X=0)=1/10； P(Z=1/ Y=1)=1, P(Z=1 / X=0, Y=0)=, P(Z=1/ X=1, Y=0)=, P(Z=1/Y=0)= (a) P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)=

P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)=

P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=

I (X ;Y=1)=∑∑=====x

x

)

P()

1Y /(P log

)1Y /(P )1Y (I )1Y /(P x x x x;x

=1)

P(X )

1Y /1X (P log

)1Y /1X (P 0)P(X )1Y /0X (P log

)1Y /0X (P =====+=====

=+=(5/8)log5-1≈

(b) 由于P(Z=1/ Y=1)=1, 所以 P （Y=1，Z=1/X=1）= P （Y=1/X=1）= P （Y=1，Z=1/X=0）= P （Y=1/X=0）= 那么P （Z=1/X=1）= P （Z=1,Y=1/X=1）+ P （Z=1,Y=0/X=1）=+ P （Z=1/Y=0，X=1）P （Y=0/X=1）=+*=

P(Z=1/X=0)= P （Z=1,Y=1/X=0）+ P （Z=1,Y=0/X=0）=+P(Z=1/Y=0，X=0)P(Y=0/X=0)=+*= P （Z=1,X=1）= P （Z=1/X=1）*P(X=1)=*= P （Z=1,X=0）= P （Z=1/X=0）*P(X=0)= *= P(Z=1) = P(Z=1,X=1)+ P(Z=1,X=0) = P(X=0/Z=1)==69/104 P(X=1/Z=1)=35/104

I (X ;Z=1)=∑∑=====x

x )P()1Z /(P log )1Z /(P )1Z (I )1Z /(P x x x x;x

=1)

P(X )1Z /1X (P log )1Z /1X (P 0)

P(X )1Z /0X (P log )1Z /0X (P =====+=====

=(69/104)log(23/26)+( 35/104)log(35/26) ≈

(c)H （X ）=*log(1/+*log(1/=2-(3/4)log3=

H(Y/X)=-P(X=1,Y=1)logP(Y=1/X=1) -P(X=1,Y=0)logP(Y=0/X=1)

-P(X=0,Y=1)logP(Y=1/X=0) -P(X=0,Y=0)logP(Y=0/X=0)

=* H(XY)=H(X)+H(Y/X)=9/4+(3/4)log10-(21/10)log3= P(X=0,Y=0,Z=0)= P(Z=0 / X=0, Y=0)* P( X=0, Y=0)=* P(X=0,Y=0,Z=1)= P(Z=1 / X=0, Y=0)* P( X=0, Y=0)=*=

P(X=1,Y=0,Z=1)= P(Z=1/ X=1,Y=0)* P(X=1,Y=0)=* P(X=1,Y=0,Z=0)= P(Z=0/ X=1,Y=0)* P(X=1,Y=0)=*=

P(X=1,Y=1,Z=1)=P(X=1,Z=1)- P(X=1,Y=0,Z=1)= P(X=1,Y=1,Z=0)=0 P(X=0,Y=1,Z=0)=0

P(X=0,Y=1,Z=1)= P(X=0,Z=1)- P(X=0,Y=0,Z=1)= H(XYZ)=* =+++++= bit

H(Z/XY)=H(XYZ)-H(XY)= -28/25+(4/5)log10-12/25log3 =

解：

A ，

B ，

C 分别表示三个筛子掷的点数。 X=A, Y=A+B, Z=A+B+C

由于P(A+B+C/ A+B)=P(C/A+B)=P(C)

所以H(Z/Y)=H(A+B+C/ A+B)=H （C ）=log6 =

H(X/Y)= H(A/Y)