信息论基础各章参考答案
第一章 第二章课后作业答案
信息论基础（于秀兰 陈前斌 王永）课后作业答案注：X 为随机变量，概率P(X =x)是x 的函数，所以P(X)仍为关于X 的随机变量，文中如无特别说明，则以此类推。
第一章1.6[P (xy )]=[P(b 1a 1)P(b 2a 1)P(b 1a 2)P(b 2a 2)]=[0.360.040.120.48] [P (y )]=[P(b 1)P(b 2)]=[0.480.52] [P (x|y )]=[P(a 1|b 1)P(a 2|b 1)P(a 1|b 2)P(a 2|b 2)]=[0.750.250.0770.923]第二章2.1(1)I (B )=−log P (B )=−log 18=3(bit) 注：此处P (B )表示事件B 的概率。
(2)设信源为X ，H (X )=E [−logP (X )]=−14log 14−2∙18log 18−12log 12=1.75(bit/symbol) (3)ξ=1−η=1−1.75log4=12.5%2.2(1)P(3和5同时出现)=1/18I =−log118≈4.17(bit) (2)P(两个2同时出现)=1/36I =−log 136≈5.17(bit) (3)向上点数和为5时（14，23，41，32）有4种，概率为1/9，I =−log 19≈3.17(bit) (4)(5)P(两个点数至少有一个1)=1−5∙5=11 I =−log 1136≈1.71(bit) (6)相同点数有6种，概率分别为1/36；不同点数出现有15种，概率分别为1/18；H =6∙136∙log36+15∙118∙log18≈4.34(bit/symbol)2.9(1)H (X,Y )=E [−logP (X,Y )]=−∑∑P(x i ,y j )logP(x i ,y j )3j=13i=1≈2.3(bit/sequence)(2)H (Y )=E [−logP (Y )]≈1.59(bit/symbol)(3)H (X |Y )=H (X,Y )−H (Y )=0.71(bit/symbol)2.12(1)H (X )=E [−logP (X )]=−2log 2−1log 1≈0.92(bit/symbol) Y 的分布律为：1/2,1/3,1/6；H (Y )=E [−logP (Y )]≈1.46(bit/symbol)(2)H (Y |a 1)=E [−logP (Y|X )|X =a 1]=−∑P (b i |a 1)logP (b i |a 1)i=−34log 34−14log 14≈0.81(bit/symbol) H (Y |a 2)=E [−logP (Y|X )|X =a 2]=−∑P (b i |a 2)logP (b i |a 2)i=−12log 12−12log 12=1(bit/symbol) (3)H (Y |X )=∑P (a i )H (Y |a i )i =23∙0.81+13∙1≈0.87(bit/symbol)2.13(1)H (X )=H (0.3,0.7)≈0.88(bit/symbol)二次扩展信源的数学模型为随机矢量X 2=(X 1X 2)，其中X 1、X 2和X 同分布，且相互独立，则H (X 2)=2H (X )=1.76(bit/sequence)平均符号熵H 2(X 2)=H (X )≈0.88(bit/symbol)(2)二次扩展信源的数学模型为随机矢量X 2=(X 1X 2)，其中X 1、X 2和X 同分布，且X 1、X 2相关，H (X 2|X 1)=E [−logP (X 2|X 1)]=−∑∑P (x 1,x 2)logP (x 2|x 1)x 2x 1=−110log 13−210log 23−2140log 34−740log 14≈0.84(bit/symbol) H (X 2)= H (X 1,X 2)=H (X 2|X 1)+H (X 1)=0.84+0.88=1.72(bit/sequence)H 2(X 2)=H (X 2)/2=0.86(bit/symbol)2.14(1)令无记忆信源为X ，H (X )=H (14,34)=14×2+34×0.415≈0.81(bit/symbol ) (2)I (X 100)=−logP (X 100=x 1x 2…x 100)=−log [(14)m (34)100−m]=2m +(2−log3)(100−m )=200−(100−m )log3 (bit)(3)H (X 100)=100H (X )=81(bit/sequence)2.15(1)因为信源序列符号间相互独立，且同分布，所以信源为一维离散平稳信源。
信息理论基础课后答案
(2)此消息中平均每符号携带的信息量是多少？
解：
(1)此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：
此消息的信息量是：
(2)此消息中平均每符号携带的信息量是：
2.5从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？
3.5若三个随机变量，有如下关系：Z = X + Y，其中X和Y相互独立，试证明：
(1)I(X;Z)=H(Z) - H(Y)；
(2)I(XY;Z)=H(Z)；
(3)I(X;YZ)=H(X)；
(4)I(Y;Z/X)=H(Y)；
(5)I(X;Y/Z)=H(X/Z) = H(Y/Z)。
解：
1)
2)
3)
4)
解：
1)
2)
3)
2.20设 是平稳离散有记忆信源，试证明：
。
证明：
2.21设 是N维高斯分布的连续信源，且X1, X2,…, XN的方差分别是 ，它们之间的相关系数 。试证明：N维高斯分布的连续信源熵
证明：
相关系数 ，说明 是相互独立的。
2.22设有一连续随机变量，其概率密度函数
(1)试求信源X的熵Hc(X)；
(3)I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。
解：
(1)
Z = XY的概率分布如下：
(2)
(3)
2.16有两个随机变量X和Y，其和为Z = X + Y（一般加法），若X和Y相互独立，求证：H(X)≤H(Z), H(Y)≤H(Z)。
信息论基础智慧树知到课后章节答案2023年下潍坊学院
信息论基础智慧树知到课后章节答案2023年下潍坊学院潍坊学院第一章测试1.信息论的奠基人是（）。
A:香农 B:阿姆斯特朗 C:哈特利 D:奈奎斯特答案:香农2.下列不属于信息论的研究内容的是（）。
A:纠错编码 B:信息的产生 C:信道传输能力 D:信源、信道模型答案:信息的产生3.下列不属于消息的是（）A:文字 B:图像 C:信号 D:语音答案:信号4.信息就是消息. （）A:错 B:对答案:错5.信息是不可以度量的，是一个主观的认识。
（）A:错 B:对答案:错6.任何已经确定的事物都不含有信息。
（）A:对 B:错答案:对7.1948年香农的文章《通信的数学理论》奠定了香农信息理论的基础。
（）A:错 B:对答案:对8.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（），使信息传输系统达到最优化。
A:有效性 B:认证性 C:可靠性 D:保密性答案:有效性;认证性;可靠性;保密性9.下列属于香农信息论的主要研究理论的是（）。
A:压缩理论 B:调制理论 C:保密理论 D:传输理论答案:压缩理论;保密理论;传输理论10.信源编码的作用包含（）。
A:检错纠错 B:对信源的输出进行符号变换 C:数据压缩 D:提升信息传输的安全性答案:对信源的输出进行符号变换;数据压缩第二章测试1.信息传输系统模型中，用来提升信息传输的有效性的部分为（）A:信源 B:信道编码器、信道译码器 C:信道 D:信源编码器、信源译码器答案:信源编码器、信源译码器2.对于自信息，以下描述正确的是（）A:以2为底时，单位是奈特。
B:以2为底时，单位是比特。
C:以10为底时，单位是奈特。
D:以e为底时，单位是比特答案:以2为底时，单位是比特。
3.信息熵的单位是（）A:比特 B:比特每符号 C:无法确定答案:比特每符号4.必然事件和不可能事件的自信息量都是0 。
（）A:错 B:对答案:错5.概率大的事件自信息量大。
信息论基础1答案
信息论基础1答案LT计算信息量：1.当点数和为3时，该消息包含的信息量是多少？2.当点数和为7是，该消息包含的信息量是多少？3.两个点数中没有一个是1的自信息是多少？解：1.P（“点数和为3”）=P（1,2）+ P（1,2）=1/36+1/36=1/18则该消息包含的信息量是：I=-logP（“点数和为3”）=log18=4.17bit2.P（“点数和为7”）=P（1,6）+ P（6,1）+ P（5,2）+ P（2,5）+ P（3,4）+ P（4,3）=1/36 6=1/6则该消息包含的信息量是：I=-logP（“点数和为7”）=log6=2.585bit3.P（“两个点数没有一个是1”）=1-P （“两个点数中至少有一个是1”）=1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36则该消息包含的信息量是：I=-logP （“两个点数中没有一个是1”）=log25/36=0.53bit三、设X 、Y 是两个相互统计独立的二元随机变量，其取-1或1的概率相等。
定义另一个二元随机变量Z ，取Z=YX （一般乘积）。
试计算： 1.H （Y ）、H （Z ）； 2.H （XY ）、H （YZ ）； 3.I （X;Y ）、I （Y;Z ）； 解： 1.2i 11111H Y P y logP y log log 2222i i =⎡⎤=-+⎢⎥⎣⎦∑（）=-（）（）=1bit/符号Z=YX 而且X 和Y 相互独立∴1(1)(1)(1)P P X P Y P X ⋅=+=-⋅=-（Z =1）=P(Y=1)= 11122222⨯+⨯=2(1)(1)(1)P P X P Y P X ⋅=-+=-⋅=（Z =-1）=P(Y=1)=11122222⨯+⨯=故H(Z)= i2i1(z )log (z )i P P =-∑=1bit/符号2.从上式可以看出:Y 与X 的联合概率分布为:H(YZ)=H(X)+H(Y)=1+1=2bit/符号 3.X与Y相互独立，故H(X|Y)=H(X)=1bit/符号∴I （X;Y ）=H(X)-H(X|Y)=1-1=0bit/符号I(Y;Z)=H(Y)-H(Y|Z)=H(Y)-[H(YZ)-H(Z)]=0 bit/符号四、如图所示为一个三状态马尔科夫信源的转移概率矩阵P=1102211022111424⎛⎫ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭1. 绘制状态转移图；P(Y,Z) Y=1 Y=-1Z=1 0.25 0.25 Z=-1 0.25 0.252. 求该马尔科夫信源的稳态分布；3. 求极限熵；解：1.状态转移图如右图 2.由公式31()()(|)jiji i p E P E P EE ==∑,可得其三个状态的稳态概率为：1123223313123111()()()()22411()()()2211()()()24()()()1P E P E P E P E P E P E P E P E P E P E P E P E P E ⎧=++⎪⎪⎪=+⎪⎨⎪=+⎪⎪⎪++=⎩1233()72()72()7P E P E P E ⎧=⎪⎪⎪⇒=⎨⎪⎪=⎪⎩3.其极限熵:3i i 13112112111H = -|E =0+0+72272274243228=1+1+ 1.5=bit/7777i P H H H H ∞=⨯⨯⨯⨯⨯⨯∑（E ）（X ）（，，）（，，）（，，）符号五、在干扰离散对称信道上传输符号1和0，已知P （0）=1/4,P(1)=3/4,试求：1. 该信道的转移概率矩阵P2. 信道疑义度H （X|Y ）3. 该信道的信道容量以及其输入概率分布 解：1.该转移概率矩阵为P=0.90.10.10.9⎡⎤⎢⎥⎣⎦2.根据P （XY ）=P （Y|X ）⋅P （X ），可得联合概率P （XY ） Y Y X=0 9/40 1/40 X=13/4027/401 0.0.0.0.1P(Y=i) 12/40 28/40 由P （X|Y ）=P(X|Y)/P(Y)可得P(X|Y) Y=0 Y=1 X=0 3/4 1/28 X=1 1/427/28H(X|Y)=-i jiji j(x y )log x |y =0.09+0.12+0.15+0.035=0.4bit/P P∑，（）符号 3.该信道是对称信道，其容量为： C=logs-H=log2-H（0.9,0.1）=1-0.469=0.531bit/符号这时，输入符号服从等概率分布，即0111()22X P X ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦六、某信道的转移矩阵⎥⎦⎤⎢⎣⎡=1.006.03.001.03.06.0P试求：该信道的信道容量及其最佳输入概率分布。
信息论基础第五章课后答案
5.1设有信源⎭⎬⎫⎩⎨⎧=⎪⎪⎭⎫ ⎝⎛01.01.015.017.018.019.02.0)(7654321a a a a a a a X P X （1）求信源熵H(X)（2）编二进制香农码（3）计算其平均码长及编码效率解：(1)H(X)=-)(log )(21i ni i a p a p ∑=H(X)=-0.2log 20.2-0.19log 20.19-0.18log 20.18-0.17log 20.17-0.15log 20.15-0.log 20.1-0.01log 20.01H(X)=2.61(bit/sign)(2)ia i P(ai)jP(aj)ki码字a 001a 10.210.0030002a 20.1920.2030013a 30.1830.3930114a 40.1740.5731005a 50.1550.7431016a 60.160.89411107a 70.0170.9971111110（3）平均码长：-k =3*0.2+3*0.19+3*0.18+3*0.17+3*0.15+4*0.1+7*0.01=3.14(bit/sign)编码效率：η=R X H )(=-KX H )(=14.361.2=83.1%5.2对习题5.1的信源二进制费诺码，计算器编码效率。
⎭⎬⎫⎩⎨⎧=⎪⎪⎭⎫ ⎝⎛0.01 0.1 0.15 0.17 0.18 0.19 2.0 )(7654321a a a a a a a X P X 解：Xi)(i X P 编码码字ik 1X 0.2000022X 0.191001033X 0.18101134X 0.17101025X 0.151011036X 0.110111047X 0.01111114%2.9574.2609.2)()(74.2 01.0.041.0415.0317.0218.0319.032.02 )(/bit 609.2)(1.5=====⨯+⨯+⨯+⨯+⨯+⨯+⨯===∑KX H R X H X p k K sign X H ii i η已知由5.3、对信源⎭⎬⎫⎩⎨⎧=⎪⎪⎭⎫ ⎝⎛01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制和三进制赫夫曼码，计算各自的平均码长和编码效率。
信息论基础教材习题答案.docx
第
9.6共有28=256个码字，不能由一个码字的循环产生所有的码字，因为码长为8位，由一个码字循环移位 最多能产生8个码字。
9.7根据伴随式定义:5(x)=j(x) [mod g(x)],由于码多项式都是g(x)的倍式，如果接受矢量y(x)是码多 项式，则它的的伴随式等于0,如果y(Q不是码多项式，则伴随式s(Q不等于0。
0
0
0
0
0
1
1
0
1
0
0
0
0
0
0
0
0
0
0
1
0
1
0
0
1
0
0
0
0
0
0
0
0
0
1
1
0
0
0
0
1
0
0
0
0
0
0
0
0
1
1
1
0
0
0
0
1
0
0
0
0
0
0
1
0
0
1
G =
0
0
0
0
0
1
0
0
0
0
0
1
1
1
0
0
0
0
0
0
0
1
0
0
0
0
1
0
1
1
0
0
0
0
0
0
0
1
0
0
0
1
1
0
0
0
0
0
0
0
0
0
0
信息论第一章答案
《信息论基础》习题答案第一章信息与信息的度量-1 解：根据题意，“没有不及格”或“pass”的概率为因此当教师通知某甲“没有不及格”后，甲获得信息在已知“pass”后，成绩为“优”（A），“良”（B），“中”（C）和“及格”（D）的概率相同：为确定自己的成绩，甲还需信息1-2 解：该锁共可设个数值，开锁号码选取每一个值的概率都相同，所以-3 解：由于每个汉字的使用频度相同，它们有相同的出现概率，即因此每个汉字所含的信息量为每个显示方阵能显示种不同的状态，等概分布时信息墒最大，所以一个显示方阵所能显示的最大信息量是显示方阵的利用率或显示效率为-4 解：第二次发送无误收到，因此发、收信息量相等，均为第一次发出的信息量为第一次传送的信息量为两次发送信息量之差：-5 解：由信息熵定义，该信源输出的信息熵为消息ABABBA所含的信息量为消息FDDFDF所含的信息量为6位长消息序列的信息量期望值为三者比较为-6 解：由信息熵定义，该信源输出的信息熵为消息ABABBA所含的信息量为消息FDDFDF所含的信息量为6位长消息序列的信息量期望值为三者比较为-7 解：X和Y的信息熵分别为因传输无误，信宿收到的信息等于发送信息。
因此当第一个字符传送结束后，两信宿收到信息量等于发送的信息量，即整个序列发送结束后，由于符号间独立，两信宿收到的总信息量是平均每次（每个符号）发送（携带）的信息为-8 解：(a) 根据扑克牌的构成，抽到“红桃”、“人头”、“红桃人头”的概率分别为13/52=1/4、12/52=3/13和3/52，所以当告知抽到的那张牌是：“红桃”、“人头”和“红桃人头”时，由信息量定义式（1-5），所得到的信息各是(b) 在52张扑克牌中，共有红人头6张（3张红桃，3张方块），因此在已知那张牌是红人头，为确切地知道是哪张牌，还需要信息。
-9 解：一个二元信息所含的最大信息熵是确定的，所以当以2或5为底时，最大信息熵相同，即1 bit = (该信息量单位)或 1 (该信息量单位) = 2.33 bits同理， 1 nat = 0.62 (该信息量单位)或 1(该信息量单位) = 1.61 nats。
朱雪龙《应用信息论基础》习题答案
第二章习题参考答案2.2证明:l(X;Y|Z) H(X|Z) H(X|YZ) H (XZ) H (Z) H (XYZ) H(YZ)H(X) H(Z |X) H(Z) H(XY) H (Z | XY) H (Y) H(Z|Y) [H(X) H(Y) H(XY)] H(Z|X) H(Z) H (Z | XY) H(Z |Y) I(X;Y) H(Z|X) H(Z) H (Z | XY) H(Z | Y)0 H(Z) H(Z) H (Z | XY) H(Z) H(Z) H (Z | XY)1 H (Z) H (Z | XY),即 H(Z) 1 H (Z | XY) 又 H(Z) 1,H(Z |XY) 0,故 H(Z) 1,H (Z | XY) 0 同理，可推出H(X) 1;H(Y) 1;H (XYZ) H(XY) H (Z | XY) H(X) H (Y) H (Z | XY) 1 1 0 22.3 1) H(X)= 0.918 bit , H(Y) = 0.918 bit2) H(X|Y)2= bit H(Y|X)=2-bit , H(X|Z)= 3 2 —bit33) I(X;Y): =0.251 bit , H(XYZ)= =1.585 bit2.4证明：（1）根据熵的可加性，可直接得到,a k 1), H(Y) log(k 1),故原式得证2.5考虑如下系统:又 l(X;Y|Z) = H(X|Z) — H(X|YZ) = H(X|Z) = 1 bit1不妨设 P(Z=0) = P(Z=1)=2设 P(X=0,Y=0|Z=0) = p P(X=1,Y=1|Z=0) = 1 — p1~[ Plogp + (1 — p)log (1 — p)]-[qlogq + (1 — q)log(1 — q)] =11满足上式的p 、q 可取：p =; q =2.1 In2 xnatIOg 2bi tP(X=0,Y=1|Z=1) = q P(X=1,Y=0|Z=1) = 1 — q⑵ Y 的值取自（31,32,假设输入X 、Y 是相互独立 的，则满足 I(X;Y) = 0则 H(X|Z)=•满足条件的一个联合分布：11 P(X=0, Y=0, Z=0)=4 P(X=1, Y=1, Z=0)=411 P(X=1, Y=1, Z=0)= 4P(X=1, Y=0, Z=1)=42.6 解：1 给出均匀分布p(x)—a x b 其中b a1,则 h(X) 0b a2.7 证明：l(X;Y;Z) = l(X;Y) — l(X;Y|Z)=I(X;Z) — I(X;Z|Y)•/ A, B 处理器独立，l(X;Z|Y) = 0••• l(X;Z) = I(X;Y) — I(X;Y|Z) W I(X;Y) 等号于p(x/yz) = p(x)下成立11 2.8 N=2 时， P(0 0) =, P(1 1)=—，其它为 022l( X ! ;X 2) = 1 bit N 工2时，l(X k1;X k |X 1 …X k 2) (3 W k)=P(X 「・・X k 2中有奇数个1) l(X k1;X k |X 「・・X k 2中有奇数个1) 1) l(X k1;X k |X 1…X k2中有偶数个1)1P(X 1…X k 2中有奇数个1)=-2 1P(X 1…X k 2中有偶数个1)=-2P(X k 1=1|X 1 - X k 2中有奇数个1P(X k1=0|X 1…X k 2中有奇数个1)=-2 1P(X k =1|X 1 - X k 2 中有奇数个 1)=-2 1P(X k =0|X 1…X k 2中有奇数个1)=-2 1P(X k 1=1|X 1 - X k 2 中有偶数个 1)=-+ P(X 1 - X k 2中有偶数个 1)=1(注意，这里k W N — 1)1 P(X k 1=0|X1- X k 2中有偶数个1)=-2P（X k=1|X「・X k2中有偶数个1）= （注意，这里k w N-1P（X k=O|X i…X k 2中有偶数个1）=-21P（X k 1=0, X k=0|X1- X k 2中有奇数个1）=—41P（X k 1=0, X k=1|X1 …X k 2 中有奇数个1）=-41P（X k 1=1, X k=0|X1- X k 2中有奇数个1）=-41P（X k 1=1, X k=1|X1 …X k 2 中有奇数个1）=-41P（X k 1=0, X k=0|X1 …X k 2 中有偶数个1）=-41P（X k1=O, X k=1|X1- X k 2中有偶数个1）=-41P（X k 1=1, X k=0|X1 …X k 2 中有偶数个1）=-41P（X k 1=1, X k=1|X1- X k 2中有偶数个1）=-4综上：l（X k1；X k|X1 …X k 2 中有奇数个1）（3w k w N -1）奇数个1）=H（X k 1|X1…X k 2中有奇数个1） + H（X k |X1…X k 2中有-H（X k 1；XJX1…X k 2中有奇数个1）=0l（X k1；X k|X1…X k 2中有偶数个1） = 0当 3 w k w N- 1 时，l（X k1；X k|X1 …X k 2） = 0当k = N时即l（X N 1 ；X N | X1 X N 2）=H（X N 1 |X 1 X N 2 ）—H（X N 1 |X 1 X N 2 ,X N ） =1 bit2.91）实例如2.5题2）考虑随机变量X=Y=Z的情况1取P（X=0, Y=0, Z=0）=- P（X=1, Y=1, Z=1）= 则l（X;Y|Z） = 0I（X;Y） = 1 满足I（X;Y|Z）V I（X;Y）2.10 H(X Y) < H(X) + H(Y)等号在X 、Y 独立时取得满足H(X Y)取最大值2.11证明：p(xyz) p(x)p(y |x)p(z/y) l(X;Z|Y) 0,2.12证明:H (XYZ) H (XZ) H(Y | XZ) I (Y;Z |X) H(Y|X) H (Y | XZ) H (XYZ) H (XZ) H(Y|X) I(Y;Z|X)2.13证明：I(X;Y;Z) I(X;Y) I(X;Y|Z)H(X) H(X |Y) H(Y|Z) H (Y | XZ) H(X) H(X |Y) H(Y|Z) H(XYZ) H(XZ)H(XYZ) H(X |Y) H (Y|Z) H(Z|X) 而等式右边 H(XYZ)H(X) H (Y) H (Z)H (X) H (X |Y) H(Y) H(Y |Z) H(Z) H(Z | X) H (XYZ) H(X |Y) H (Y | Z) H (Z | X)故左式 右式，原式成立2.16证明:1卩心4)= 12 P( a2b2 )= 1 '24 P(a 3b 2)= 124P( a2b3)=P(a 3b 3)=1 24丄24I(X;Y) I(X;Y|Z) I(X;Y;Z) 故I (X ;Y ) I (X ;Y |Z )成立I(X;Z) I(X;Z|Y) I(X;Z) 02.15H(X)=1log(^)n=n (」)n = 2bitn 12 2222 121log(nat)1--P( a i b i )=3 - 1 P( a2b1)= 6 一 1 PGS)=- P(a 1b s )=2.14 P(X=n) = (2)n 1 1=(舟)"2 22 12 211E I(2PN (a k )尹N '(ak ),p(ak ))根据鉴别信息的凸性11 1 11(二 P N (aQ -P N '(a k ), p(a k )) -I (P N (a k ),P(aQ)二 1仇'何),p(aQ) 2 2 2 21 1 1 1又 E ：l(P N (a k ), p(aQ) ； I 仇'何)，p(aQ) 二 E l(P N (aQ, p(aQ) ； E I(P N '(aj p(aQ2 2 2 2而根据随机序列的平稳 性，有：1 1E -I (P N (a k ), p(a k )) T(P N ‘(a k ), p(aj)E I (P N (a k ), p(a k )) E I (P N '(a k ), p(a k )2 21 1E I (P 2N (a k ), p(a k )) E l(—P N (aQ - P N '(a k ), p(a k ))2 2R N (a k ) 1 2N 耐1^ a"二丄的概率为p k （丄），其中X 1X 2 2N 2NX N 中出现a k 的频 1 率为P N (a k )N N nW a k ) n 1 的概率为6中，X N 1X N 2X 2N 中出现a k 的 1 频率为P N '(a k)—N n2N l(X n N 1 n 2 N P N （a k ）的概率为P k （晋），则有 1 F2N (a k )P N (ak ) 1 尹血）所以E 1 ( P2N (a k ),P(ak ))1 1E -I(P N(a k), p(a k)) -I(P N'(a k), P(aQ)2 2E l(P N(aJ p(a k))2-- log e2.17 解:2.18 I(P 2,P i ；X) l(q 2,q i ；X |Y)q 2(X k |y j )h 2(y j )log q2(xk |Yj)qm |y j )g,P i ；XY) P 2(xy) log P 2(xy))P 1(xy)dxdy ;P i (xy) g(x)h(y);其中 g(x)2x2 exP(1h(y) ------ 2 exp(2 yI(P 2,P I ；XY) p 2 (xy) log p 2(xy)dxdyg(x)h(y)1 、• •「2 / ---- JP 2(xy)log( ---- 2 )dxdy 2 loge P 2(xy) 12~~2(1 ) 2x~2 xxy2y_ 2 y2 x~2 x2y_ 2 ydxdy|(P I ,P 2；XY )1log( ---- 2)1 22(11log (------ 2)1 2 log e2E(X ) 22-E(Y )yE(XY)x yp 1(xy)log鷲dxdylog (〒丄诗)log e 2(1 2) 22-E(X )x22-E(Y )y-—E(XY)x yJ(P 2,P I ；XY) I(P 2,P I ；XY) I(P I , P 2；XY) 2--- log e当XY 满足P 1(xy)分布时，I (X;Y) 0； 当XY 满足P 2(xy)分布时，I (X ;Y) 1I(P 2,P 1;XY) log('12) P 2(xjlog P2"xk)P i (xQq 2(X k ,y j ) P 2(xQ q i (X k ,y j ) P i (X k )jP 2(x)h 2(y)，且 q i (X k ,y j ) P i (xQh i (y j )时I(P 2,P i ；X) I(q 2,q i ；X |Y)q 2 (X k , y j ) log q i (X k ,y j ) P i (X k ) h i (y j )关系不定 2.19 解：天平有3种状态，即平衡，左重，左轻，所以每称一次消除的不确定性为Iog3, 12个一 一 1 1球中的不等重球（可较轻，也可较重）的不确定性为： loglog 24 因为3log312 2> log24••• 3次测量可以找出该球具体称法略。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
各章参考答案2．1． （1）4.17比特 ；（2）5.17比特 ； （3）1.17比特 ；（4）3.17比特2．2． 1.42比特2．3． （1）225.6比特 ；（2）13.2比特2．4． （1）24.07比特； （2）31.02比特2．5． （1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。
如果我们使每次实验所获得的信息量最大。
那么所需要的总实验次数就最少。
用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。
从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。
因为3log3=log27>log24。
所以在理论上用3次称重能够鉴别硬币并判断其轻或重。
每次实验应使结果具有最大的熵。
其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。
ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。
ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。
（2）第三次称重 类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时,第三步用一个真币与其中一个称重比较即可。
对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息.2．6． （1）215log ＝15比特； （2） 1比特；（3）15个问题2． 7. 证明： （略） 2．8． 证明： （略）2．9．31)(11=b a p ，121)(21=b a p ，121)(31=b a p ，61)()(1312==b a b a p p ，241)()()()(33233222====b a b a b a b a p p p p。
2．10． 证明： （略）2．11. 证明： （略） 2．12. 证明： （略） 2. 13. （１）1)()(==Y H X H ，544.0)(=Z H ，406.1)(=XZ H ，406.1)(=YZ H ，812.1)(=XYZ H（２）810.0)/()/(==X Y H Y X H ，862.0)/(=Z X H ，405.0)/()/(==Y Z H X Z H ，862.0)/(=Z Y H ，405.0)/()/(==XZ Y H YZ X H ，0)/(=XY Z H（３）188.0);(=Y X I ，138.0);(=Z X I ，138.0);(=Z Y I ，457.0)/;(=Z Y X I，406.0)/;()/;(==Y Z X I X Z Y I（单位均为比特／符号）2．14. （１）41)110()101()011()000(====p p p p XYZ XYZ XYZ XYZ，（２）21)111()000(==p p XYZ XYZ，（３）41)111()110()001()000(====p p p p XYZ XYZ XYZ XYZ2．15． （１）5.1)(=X H ，1)(=Y H ，1)(=Z H ，2)(=YZ H ； （２）5.0);(=Y X I ；1);(=Y X I ； （３）5.0)/;(=Z YX I ，5.1);(=YZ X I（单位均为比特／符号）2．16．（１）43，（２）09.0);(=Y X I 比特／符号，（３）1613，0);(=Y X I ；（４）第（３）种情况天气预报准确率高，原来的天气预报有意义。
2．17.（１） 提示：方差为０，表明随机变量是常数，设αlog );(=Y X I；（２）αlog );(=Y X I；1=α表明y x ,独立；（３） 对于（ａ）有：21)(1=a p，21)()(32=+a a p p，2log );(=Y X I ；对于（ｂ）有：31)()()(321===a a a p p p ，23log);(=Y X I 。
2．18. 证明： （略）2．19. 证明： （略）2．20．证明： （略）3. 1 证明： （略）3. 2 （１）０.811比特/符号 ，（２）41.48＋1.58m 比特（m 为０的个数） （３）81.1比特／信源符号3. 3 证明： （略） 3. 4 证明： （略）3. 5 （１）)(1)1(]log )1log()1[(1)1()(p H p p p p p p H p p S nn n --=+-----=（２）p p H S H -=1)()( 3.6 证明： （略）3. 7 （１）⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=858383852P，⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=1691671671693P （２）⎥⎦⎤⎢⎣⎡+--+=----2222111121n n n n nP , []221121nn n p ---+=3. 8)]41,41,21(4316)41,41,21(4312)31,31,31(4315)[1()4316,4312,4315(H H H n H ++-+3. 9 （1）]11,1[βααβαβ+--+-，]31,31,61,61[，1,,2,1,0,1-==r i r q i（2）)(11)(1ββαααβαβH H +--++-，2log 31，q q i r i i log 10∑-=-3. 10 （1）967.3)(321=X X X H 比特/符号 ，322.1)(3=X H 比特/符号（2）251.1)(=∞X H 比特/符号（3）585.10=H 比特/符号 ，414.11=H 比特/符号 ， 251.12=H 比特/符号211.0=r3. 11 （1）]31,31,31[，（2）)(2log )(p H p X H +=∞，（3）当32=p 时 ，)(X H ∞达到最大值为3log ， 当0=p 时 ，熵为0 ，当1=p 时 ，熵为2log ；（4）3log3. 12 （1）)72,73,72(),,(321=πππ， 73)(1=a p , 72)()(32==a a p p ；（2）5.1)/(1=S U H 比特/符号 ，1)/(2=S U H 比特/符号 ，0)/(3=S U H ；（3）76)(=∞U H 比特/信源符号3. 13 （1）有； （2）=→)(n p ]0,31,31,31,0[]21,0,0,0,21[ 122+==k n k n（3）3log 2502log 251+3. 14 44.1)(=X H 比特/符号3. 15 81log3. 16 （1）周期：3 ；（2）]14429,14419,61,365,361,91,91,91[；（3）0．9477比特/符号 3. 17 证明：（略）3. 18 过渡状态：C ； 遍历状态：A,B4.1（1）811.0)(=X H 比特/符号 ，75.0)/(=Y XH 比特/符号 ，919.0)/(=X Y H 比特/符号 ，061.0);(=Y X I 比特/符号；（2）082.0=C 比特/符号 ，21)1()0(==p p 。
4.2 0.0817比特/符号4.3（1）])1(1log[)1(εεεε--+=C ；εεεεεεε)1()1(0)1(11---+-=p ， εεεεεεε)1()1(1)1(1---+=p（2）⎥⎦⎤⎢⎣⎡--)1(22201εεε； （3）)1log(2)1()1(22][εε---+=H C（4）⎥⎦⎤⎢⎣⎡---))1(1(101εεn n ，)1log(2)1()1(][εε---+=nn H C4.4 （1）0488.0=C 比特/符号 ；（2）⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡16111658583 ；（3）0.0032比特/符号 ，496.00=p ，504.01=p4.5 （1）)(2log εH -；（2）2log 43；（3）)43,41,4)1(3()41,83,83(εε--H H 时，输入等概率。
4.6 )1log(2)(1εH C -+= ，)21()(110εH p -+-=，)1(22)(1)(21εεH H p p --+==4.7 ][22log ),(),(2εδδεf f C +=比特/符号 ，其中δεεδδεδε----=1)()1()(),(H H f4.8证明：可求得n 各级联信道转移概率矩阵为：⎥⎥⎦⎤⎢⎢⎣⎡+--+=----)21()21()21()21(111121p p p p P n n nn n，容量)2(1)21(1p nH C ---= ，当∞→n 时，0)21(1=-=H C4.9（１）证明：（略）（２）)(log Z H K C -=，输入等概率．4.10（1）准对称信道：)log()()1log()1(212log )21(εεεεεε--+----+--=p p p p C（2）准对称：)log()()1log()1(211log )21(2log εεεεεε--+----+--+=p p p p C5.1 （1）18≥l；（2）0.001675.2 （1）188410=N ；（2）22162221433899.0<<⨯N G 5.3 否；是；18335613==C C C N 5.4 设长度为j 的码序列个数为N j ，则N N N j j j 122--+= ，解得：2)1(3231j j j N +=-， ,2,1=j ;5.5 (1)469.0)(=S H 比特/符号 ，531.0=r（2）1=-l ，（3）645.022=-L ，533.033=-L ，493.044=-L ，469.0=∞-∞L ；（4）531.0,469.0:1=N ，273.0,727.0:2=N ，120.0,880.0:3=N ，049.0,951.0:4=N ， 0,1:∞=N5.6 85.1=-l，9542.0=η，51.1=R 比特/符号5.7 100=η%5.8 （1）7853.0)(=S H 比特/符号 ； （2）72.2=-l ，959.0=η； （3）81.1=-l，915.0=η；（4）10402.2⨯=N5.9 24种最优码，8种Huffman 码。