信息论基础第二版习题答案
信息论基础各章参考答案
各章参考答案2．1． （1）4.17比特 ；（2）5.17比特 ； （3）1.17比特 ；（4）3.17比特2．2． 1.42比特2．3． （1）225.6比特 ；（2）13.2比特2．4． （1）24.07比特； （2）31.02比特2．5． （1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。
如果我们使每次实验所获得的信息量最大。
那么所需要的总实验次数就最少。
用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。
从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。
因为3log3=log27>log24。
所以在理论上用3次称重能够鉴别硬币并判断其轻或重。
每次实验应使结果具有最大的熵。
其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。
ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。
ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。
（2）第三次称重 类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时,第三步用一个真币与其中一个称重比较即可。
对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息.2．6． （1）215log ＝15比特； （2） 1比特；（3）15个问题2． 7. 证明： （略） 2．8． 证明： （略）2．9．31)(11=b a p ，121)(21=b a p ，121)(31=b a p ，61)()(1312==b a b a p p ，241)()()()(33233222====b a b a b a b a p p p p。
朱雪龙《应用信息论基础》习题答案
第二章习题参考答案2.2证明:l(X;Y|Z) H(X|Z) H(X|YZ) H (XZ) H (Z) H (XYZ) H(YZ)H(X) H(Z |X) H(Z) H(XY) H (Z | XY) H (Y) H(Z|Y) [H(X) H(Y) H(XY)] H(Z|X) H(Z) H (Z | XY) H(Z |Y) I(X;Y) H(Z|X) H(Z) H (Z | XY) H(Z | Y)0 H(Z) H(Z) H (Z | XY) H(Z) H(Z) H (Z | XY)1 H (Z) H (Z | XY),即 H(Z) 1 H (Z | XY) 又 H(Z) 1,H(Z |XY) 0,故 H(Z) 1,H (Z | XY) 0 同理，可推出H(X) 1;H(Y) 1;H (XYZ) H(XY) H (Z | XY) H(X) H (Y) H (Z | XY) 1 1 0 22.3 1) H(X)= 0.918 bit , H(Y) = 0.918 bit2) H(X|Y)2= bit H(Y|X)=2-bit , H(X|Z)= 3 2 —bit33) I(X;Y): =0.251 bit , H(XYZ)= =1.585 bit2.4证明：（1）根据熵的可加性，可直接得到,a k 1), H(Y) log(k 1),故原式得证2.5考虑如下系统:又 l(X;Y|Z) = H(X|Z) — H(X|YZ) = H(X|Z) = 1 bit1不妨设 P(Z=0) = P(Z=1)=2设 P(X=0,Y=0|Z=0) = p P(X=1,Y=1|Z=0) = 1 — p1~[ Plogp + (1 — p)log (1 — p)]-[qlogq + (1 — q)log(1 — q)] =11满足上式的p 、q 可取：p =; q =2.1 In2 xnatIOg 2bi tP(X=0,Y=1|Z=1) = q P(X=1,Y=0|Z=1) = 1 — q⑵ Y 的值取自（31,32,假设输入X 、Y 是相互独立 的，则满足 I(X;Y) = 0则 H(X|Z)=•满足条件的一个联合分布：11 P(X=0, Y=0, Z=0)=4 P(X=1, Y=1, Z=0)=411 P(X=1, Y=1, Z=0)= 4P(X=1, Y=0, Z=1)=42.6 解：1 给出均匀分布p(x)—a x b 其中b a1,则 h(X) 0b a2.7 证明：l(X;Y;Z) = l(X;Y) — l(X;Y|Z)=I(X;Z) — I(X;Z|Y)•/ A, B 处理器独立，l(X;Z|Y) = 0••• l(X;Z) = I(X;Y) — I(X;Y|Z) W I(X;Y) 等号于p(x/yz) = p(x)下成立11 2.8 N=2 时， P(0 0) =, P(1 1)=—，其它为 022l( X ! ;X 2) = 1 bit N 工2时，l(X k1;X k |X 1 …X k 2) (3 W k)=P(X 「・・X k 2中有奇数个1) l(X k1;X k |X 「・・X k 2中有奇数个1) 1) l(X k1;X k |X 1…X k2中有偶数个1)1P(X 1…X k 2中有奇数个1)=-2 1P(X 1…X k 2中有偶数个1)=-2P(X k 1=1|X 1 - X k 2中有奇数个1P(X k1=0|X 1…X k 2中有奇数个1)=-2 1P(X k =1|X 1 - X k 2 中有奇数个 1)=-2 1P(X k =0|X 1…X k 2中有奇数个1)=-2 1P(X k 1=1|X 1 - X k 2 中有偶数个 1)=-+ P(X 1 - X k 2中有偶数个 1)=1(注意，这里k W N — 1)1 P(X k 1=0|X1- X k 2中有偶数个1)=-2P（X k=1|X「・X k2中有偶数个1）= （注意，这里k w N-1P（X k=O|X i…X k 2中有偶数个1）=-21P（X k 1=0, X k=0|X1- X k 2中有奇数个1）=—41P（X k 1=0, X k=1|X1 …X k 2 中有奇数个1）=-41P（X k 1=1, X k=0|X1- X k 2中有奇数个1）=-41P（X k 1=1, X k=1|X1 …X k 2 中有奇数个1）=-41P（X k 1=0, X k=0|X1 …X k 2 中有偶数个1）=-41P（X k1=O, X k=1|X1- X k 2中有偶数个1）=-41P（X k 1=1, X k=0|X1 …X k 2 中有偶数个1）=-41P（X k 1=1, X k=1|X1- X k 2中有偶数个1）=-4综上：l（X k1；X k|X1 …X k 2 中有奇数个1）（3w k w N -1）奇数个1）=H（X k 1|X1…X k 2中有奇数个1） + H（X k |X1…X k 2中有-H（X k 1；XJX1…X k 2中有奇数个1）=0l（X k1；X k|X1…X k 2中有偶数个1） = 0当 3 w k w N- 1 时，l（X k1；X k|X1 …X k 2） = 0当k = N时即l（X N 1 ；X N | X1 X N 2）=H（X N 1 |X 1 X N 2 ）—H（X N 1 |X 1 X N 2 ,X N ） =1 bit2.91）实例如2.5题2）考虑随机变量X=Y=Z的情况1取P（X=0, Y=0, Z=0）=- P（X=1, Y=1, Z=1）= 则l（X;Y|Z） = 0I（X;Y） = 1 满足I（X;Y|Z）V I（X;Y）2.10 H(X Y) < H(X) + H(Y)等号在X 、Y 独立时取得满足H(X Y)取最大值2.11证明：p(xyz) p(x)p(y |x)p(z/y) l(X;Z|Y) 0,2.12证明:H (XYZ) H (XZ) H(Y | XZ) I (Y;Z |X) H(Y|X) H (Y | XZ) H (XYZ) H (XZ) H(Y|X) I(Y;Z|X)2.13证明：I(X;Y;Z) I(X;Y) I(X;Y|Z)H(X) H(X |Y) H(Y|Z) H (Y | XZ) H(X) H(X |Y) H(Y|Z) H(XYZ) H(XZ)H(XYZ) H(X |Y) H (Y|Z) H(Z|X) 而等式右边 H(XYZ)H(X) H (Y) H (Z)H (X) H (X |Y) H(Y) H(Y |Z) H(Z) H(Z | X) H (XYZ) H(X |Y) H (Y | Z) H (Z | X)故左式 右式，原式成立2.16证明:1卩心4)= 12 P( a2b2 )= 1 '24 P(a 3b 2)= 124P( a2b3)=P(a 3b 3)=1 24丄24I(X;Y) I(X;Y|Z) I(X;Y;Z) 故I (X ;Y ) I (X ;Y |Z )成立I(X;Z) I(X;Z|Y) I(X;Z) 02.15H(X)=1log(^)n=n (」)n = 2bitn 12 2222 121log(nat)1--P( a i b i )=3 - 1 P( a2b1)= 6 一 1 PGS)=- P(a 1b s )=2.14 P(X=n) = (2)n 1 1=(舟)"2 22 12 211E I(2PN (a k )尹N '(ak ),p(ak ))根据鉴别信息的凸性11 1 11(二 P N (aQ -P N '(a k ), p(a k )) -I (P N (a k ),P(aQ)二 1仇'何),p(aQ) 2 2 2 21 1 1 1又 E ：l(P N (a k ), p(aQ) ； I 仇'何)，p(aQ) 二 E l(P N (aQ, p(aQ) ； E I(P N '(aj p(aQ2 2 2 2而根据随机序列的平稳 性，有：1 1E -I (P N (a k ), p(a k )) T(P N ‘(a k ), p(aj)E I (P N (a k ), p(a k )) E I (P N '(a k ), p(a k )2 21 1E I (P 2N (a k ), p(a k )) E l(—P N (aQ - P N '(a k ), p(a k ))2 2R N (a k ) 1 2N 耐1^ a"二丄的概率为p k （丄），其中X 1X 2 2N 2NX N 中出现a k 的频 1 率为P N (a k )N N nW a k ) n 1 的概率为6中，X N 1X N 2X 2N 中出现a k 的 1 频率为P N '(a k)—N n2N l(X n N 1 n 2 N P N （a k ）的概率为P k （晋），则有 1 F2N (a k )P N (ak ) 1 尹血）所以E 1 ( P2N (a k ),P(ak ))1 1E -I(P N(a k), p(a k)) -I(P N'(a k), P(aQ)2 2E l(P N(aJ p(a k))2-- log e2.17 解:2.18 I(P 2,P i ；X) l(q 2,q i ；X |Y)q 2(X k |y j )h 2(y j )log q2(xk |Yj)qm |y j )g,P i ；XY) P 2(xy) log P 2(xy))P 1(xy)dxdy ;P i (xy) g(x)h(y);其中 g(x)2x2 exP(1h(y) ------ 2 exp(2 yI(P 2,P I ；XY) p 2 (xy) log p 2(xy)dxdyg(x)h(y)1 、• •「2 / ---- JP 2(xy)log( ---- 2 )dxdy 2 loge P 2(xy) 12~~2(1 ) 2x~2 xxy2y_ 2 y2 x~2 x2y_ 2 ydxdy|(P I ,P 2；XY )1log( ---- 2)1 22(11log (------ 2)1 2 log e2E(X ) 22-E(Y )yE(XY)x yp 1(xy)log鷲dxdylog (〒丄诗)log e 2(1 2) 22-E(X )x22-E(Y )y-—E(XY)x yJ(P 2,P I ；XY) I(P 2,P I ；XY) I(P I , P 2；XY) 2--- log e当XY 满足P 1(xy)分布时，I (X;Y) 0； 当XY 满足P 2(xy)分布时，I (X ;Y) 1I(P 2,P 1;XY) log('12) P 2(xjlog P2"xk)P i (xQq 2(X k ,y j ) P 2(xQ q i (X k ,y j ) P i (X k )jP 2(x)h 2(y)，且 q i (X k ,y j ) P i (xQh i (y j )时I(P 2,P i ；X) I(q 2,q i ；X |Y)q 2 (X k , y j ) log q i (X k ,y j ) P i (X k ) h i (y j )关系不定 2.19 解：天平有3种状态，即平衡，左重，左轻，所以每称一次消除的不确定性为Iog3, 12个一 一 1 1球中的不等重球（可较轻，也可较重）的不确定性为： loglog 24 因为3log312 2> log24••• 3次测量可以找出该球具体称法略。
信息论与编码第二版答案
信息论与编码第二版答案《信息论与编码（第二版）》是Claude Elwood Shannon所撰写的经典著作，该书于1948年首次出版，至今被广泛认可为信息论领域的权威指南。
本书通过数学模型和理论阐述了信息的量化、传输、存储以及编码等相关概念和原理。
深入浅出的阐述方式使得本书具备了普适性和可读性，成为信息论领域学习者和研究者的必备参考。
信息论是研究信息的传输、处理和应用的科学，其最初来源于通信工程领域。
而编码作为信息论的一个重要分支，旨在寻求一种有效的方式将信息转化为符号或信号，以便能够高效地传输和存储。
编码的主要目标是通过减少冗余或利用统计特征来压缩信息，并提高信号传输过程中的容错性。
在信息论中，最重要的概念之一是“信息熵”。
信息熵是信息的不确定性度量，也可以看作是信息的平均编码长度。
当一个事件出现的可能性均匀时，信息熵达到最大值，表示信息的不确定度最高；而当事件的概率趋于一个时，信息熵达到最小值，表示事件的确定性最高。
例如，抛一枚公正的硬币，其正反面出现的概率均为0.5，那么信息熵将达到最大值，即1比特。
如果硬币是正面朝上或者反面朝上，那么信息熵将达到最小值，即0比特。
除了信息熵，信息论中还有许多重要的概念，如条件熵、相对熵和互信息等。
其中，条件熵表示给定某些信息后的不确定性，相对熵则用于比较两个概率分布之间的差异，而互信息则度量了两个随机变量之间的相关性。
编码是信息论中的关键技术之一，其目的是将信息通过某种规则进行转换，使其适于传输或存储。
常见的编码方法有哈夫曼编码、香农-费诺编码和算术编码等。
其中，哈夫曼编码常用于无损压缩，通过根据字符频率设计不等长的编码，使得频率高的字符用较短的编码表示，而频率低的字符用较长的编码表示，从而达到压缩的效果。
算术编码则通过将整个信息序列映射为一个实数，从而实现更高的压缩比。
信息论与编码的研究对众多领域都具有重要意义。
在通信领域中，信息论的结果对于提高信道容量和降低误差率具有指导意义。
信息论基础试题
信息论基础试题1. 基本概念信息论是一门研究信息传递、存储和处理的科学，对信息的量化、传输效率和噪声干扰等进行分析与研究。
以下是一些与信息论相关的基本概念：1.1 信源（Source）：指信息的来源，可以是现实中的各种事件、数据或信号。
1.2 码字（Codeword）：指信源所生成的用于表达信息的编码。
1.3 码长（Code Length）：指码字的长度，通常由信源的表达能力决定，码长越短代表信息效率越高。
1.4 编码（Encoding）：将信息转化为码字的过程，常见的编码方式有霍夫曼编码和香农-费诺编码。
1.5 信道（Channel）：信息在传递过程中所经过的通路或媒介，包括有线传输、无线传输、光纤传输等。
1.6 信噪比（Signal-to-Noise Ratio，SNR）：是衡量信号品质的一个指标，即信号功率与噪声功率之比。
2. 香农的信息度量香农提出了一种用来度量信息量的概念，即信息熵（Entropy）。
信息熵常用来衡量信源产生的平均信息量。
2.1 信息熵的计算公式为：H(X) = - ∑P(x)l og2P(x)其中，H(X)代表信源的信息熵，P(x)代表信源可能产生事件x的概率。
2.2 信息熵的性质：- 信息熵非负，即H(X) ≥ 0。
- 信息熵的值越大，代表信源产生的信息量越大，反之亦然。
- 信息熵与信源的表达能力有关，表达能力越强，信息熵越小。
3. 香农编码为了提高信息传输的效率，香农提出了一种无失真的数据压缩方法，即香农编码。
3.1 构建霍夫曼树：- 统计信源中各个事件出现的概率。
- 根据概率构建霍夫曼树，概率较大的事件位于离根节点较近的位置。
3.2 确定编码：- 从霍夫曼树的根节点开始，向左为0，向右为1，依次确定每个事件的编码。
- 叶子节点即为信源的不同事件，叶子节点上的路径即为对应事件的二进制编码。
4. 信道容量信道容量是信息论中的一个重要概念，表示信道所能传输的最大有效信息量。
信息论基础试题
信息论基础试题
以下是一些关于信息论基础的试题：
1. 什么是信息熵？请简要解释其概念和应用。
2. 请解释“信源”、“信源熵”和“平均码长”。
3. 假设一个信源有4个符号，每个符号出现的概率分别是0.3, 0.2, 0.25和0.25，求该信源的熵和平均码长。
4. 如果一个信源的熵为3比特，那计算出的平均码长是多少？
5. 请解释“信道容量”和“香农定理”。
6. 假设一个二进制对称信道的错误概率为0.1，那么该信道的容量是多少？
7. 请解释“数据压缩”以及数据压缩的原理和方法。
8. 假设有一个压缩算法可以将原始数据压缩至原来的85%，那么压缩率是多少？
9. 请解释“纠错码”以及纠错码的作用和原理。
10. 什么是哈夫曼编码？请简要解释其原理和应用。
请注意，以上问题只是信息论基础的一部分，信息论是一个较为复杂的学科领域，以上问题只涉及其中的一些基础概念和方法。
信息论基础1答案
信息论基础1答案《信息论基础》答案一、填空题(本大题共10小空，每小空1分，共20分)1. 按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。
2. 一个八进制信源的最大熵为3bit/符号3.有一信源X，其概率分布为：X i X2 X3其信源剩余度为94.64%：若对该信源进行十次扩展，则每十个符号的平均信息量是15bit。
4. 若一连续消息通过放大器，该放大器输出的最大瞬间电压为b,最小瞬时电压为a。
若消息从放大器中输出，则该信源的绝对熵是 _：其能在每个自由度熵的最大熵是log (b-a ) bit/自由度：若放大器的最高频率为F,则单位时间内输出的最大信息量是2Flog (b-a )bit/s.5. 若某一信源X,其平均功率受限为16w,其概率密度函数是高斯分布时，差熵的最大值为2log32 e ；与其熵相等的非高斯分布信源的功率为16w6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
7、无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/logr= H _「(S))。
&当R=C或(信道剩余度为0)时，信源与信道达到匹配。
9、根据是否允许失真，信源编码可分为无—真信源编码和限失真信源编码。
10、在下面空格中选择填入数学符号“，‘ ‘ ” 或“”(1)当X和Y相互独立时，H ( XY)=H(X)+H(X/Y)。
(2 )假设信道输入用X表示，信道输出用Y 表示。
在无噪有损信道中，H(X/Y)> 0,H(Y/X)=0,l(X;Y)<HX)。
二、掷两粒骰子，各面出现的概率都是1/6 , 计算信息量：1. 当点数和为3时，该消息包含的信息量是多少？2. 当点数和为7是，该消息包含的信息量是多少？3. 两个点数中没有一个是1的自信息是多少？解:1.P (“点数和为3” =P( 1,2)+ P( 1,2)=1/36+1/36=1/18则该消息包含的信息量是：l=-logP (“点数和为3”)=log18=4.17bit2. P (“点数和为7” =P( 1,6)+ P(6,1) + P (5,2)+ P (2,5)+ P (3,4)+ P (4,3) =1/366=1/6则该消息包含的信息量是：l=-logP (“点数和为7”)=log6=2.585bit3. P (“两个点数没有一个是1” =1-P “两个点数中至少有一个是1 ”=1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36则该消息包含的信息量是：l=-logP (“两个点数中没有一个是1”) =log25/36=0.53bit三、设X、丫是两个相互统计独立的二元随机变量，其取-1或1的概率相等。
信息论基础试卷及详细答案
H(X|Y) ≤ H ( pE ) + pE log r 。（×）（138 面，应该是 r-1）
11.一个离散平稳无记忆信道的极限熵等于最小平均熵。（√） （119 面） 12.对于离散无记忆信道，达到容量时输入概率分布是唯一的。（×）（123 面，不唯一） 13.噪声功率相同的加性信道中以高斯噪声信道容量最大。（×）（应该是最小） 14.R(D)函数是平均失真函数的下凸函数。（√） （187 面） 15.MAP 准则是使译码平均错误率最小的准则。（√） （132 面） 16.任意两个典型序列的联合序列是典型序列。（×） 17.与离散信源一样，连续信源的平均互信息也具有对称性和非负性。（√） （73 面） 18.通过一一变换后，连续信源的差熵一定会变化。（×）（67 面，应该是可能会变化） 19.转移概率矩阵不随时间变化的马氏链是平稳马氏链。（×）（47 面，那是齐次马氏链）
解：如果 X1, X 2 都使用，有 B=2D/2 和 B ≤ 2，得 D ≤ 2
R(D)= 1 log
2
+
1 log
4
=
12 log
2
4 D4 D2 D
如果仅使用 X 2 ，有 B=2D-2 和 2<B ≤ 4，得 2<D ≤ 3
R(D)= 1 log 4 = 1 log 2 4 2D − 2 2 D −1
⎜⎝1/ 3
1/ 6
1/
2
⎟ ⎠Leabharlann ⎧ g( y = b1) = a1 规则 A： ⎪⎨g( y = b2 ) = a2
⎪ ⎩
g(
y
=
b3
)
=
a3
⎧ g( y = b1) = a1
，规则
08信息论基础试卷级答案
《信息论基础》试卷三一、判断题（正确打√，错误打×）（每题1分，共6分）1.并联信道的容量是各子信道容量之和。
( ⨯ )2．互信息是非负的。
( ⨯ )3.相同功率的噪声中，高斯噪声使信道容量最小。
( √ )4.最大后验概率准则与最大似然准则是等价的。
( ⨯ )5.如果信息传输速率大于信道容量，就不存在使传输差错率任意小的信道编码。
( √ )6.离散无记忆信源N次扩展源的熵是原信源熵的N倍。
( √ )二、填空题（每空2分，共20分）1．信源符号的相关程度越大，信源的符号熵越小，信源的剩余度越大。
2．若信道的输入为X，输出为Y，信道疑义度H(X|Y)表示，在无噪情况下，H(X|Y)= 0 。
3．信道输入与输出间的平均互信息是信道转移概率的下凸函数，是输入概率的上凸函数。
4．R(D)是满足D准则下平均传送每信源符号的所需的最少比特数，它是定义域上的严格递减函数。
6． AWGN 信道下实现可靠通信的信噪比下界为 -1.59 dB ，此时对应的频谱利用率为.0 。
三、计算题（共74分）1.（16分）设信源X 的符号集为{0，1，2}，其概率分布为1014P P==，122P =，每信源符号通过两个信道同时传输，输出分别为Y ，Z ，两信道转移概率如图所示：XY1201XZ121求（1）H (Y )，H (Z )； （各2分共4分） （2）H (XY )，H (XZ )，H (XYZ )； （各2分共6分） （3）I (X;Y )，I (X;Z ), I (Y;Z )； （各2分共6分）2. （共18分）一个离散无记忆信源发出M 个等概率消息，每个消息编成长度为n 的码字通过一个离散无记忆二元对称信道传输。
设信道的输入为X ，输出为 Y ， 错误率为0.1；n 长编码序列的每一个符号按达到信道容量的概率选择，共选择M 个码字，n 选得足够大。
1) 求该信道的信道容量；（5分）2) 当传输速率达到容量时，确定M 与n 的关系。
2018年信息论与编码第二版答案-word范文 (21页)
本文部分内容来自网络整理，本司不为其真实性负责，如有异议或侵权请及时联系，本司将立即删除！== 本文为word格式，下载后可方便编辑和修改！ ==信息论与编码第二版答案篇一：信息论与编码(第二版)曹雪虹(最全版本)答案《信息论与编码（第二版）》曹雪虹答案第二章2.1一个马尔可夫信源有3个符号?u1,u2,u3?，转移概率为：p?u1|u1??1/2，p?u2|u1??1/2，p?u3|u1??0，p?u1|u2??1/3，p?u2|u2??0，p?u3|u2??2/3，p?u1|u3??1/3，p?u2|u3??2/3，p?u3|u3??0，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：0??1/21/2??p??1/302/3? ?1/32/30???设状态u1，u2，u3稳定后的概率分别为W1，W2、W311?1W1?W2?W3?W110??2W1?33??2512???WP?W9?W1?W3?W2W2?由?得?2计算可得? 3?25?W1?W2?W3?1?2?6?W2?W3?W3?3??25???W1?W2?W3?12.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：p(0|00)=0.8，p(0|11)=0.2，p(1|00)=0.2，p(1|11)=0.8，p(0|01)=0.5，p(0|10)=0.5，p(1|01)=0.5，p(1|10)=0.5。
画出状态图，并计算各状态的稳态概率。
解：p(0|00)?p(00|00)?0.8 p(0|01)?p(10|01)?0.5p(0|11)?p(10|11)?0.2p(0|10)?p(00|10)?0.5 p(1|00)?p(01|00)?0.2p(1|01)?p(11|01)?0.5 p(1|11)?p(11|11)?0.8 p(1|10)?p(01|10)?0.50??0.80.20??000.50.5? 于是可以列出转移概率矩阵：p???0.50.500???000.20.8??状态图为：设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4 有5?W1??14?0.8W1?0.5W3?W1??0.2W1?0.5W3?W2?W2?1?WP?W????47 0.5W2?0.2W4?W3 得计算得到????0.5W2?0.8W4?W4?W3?1??Wi?1?i?1??7???W1?W2?W3?W4?15?W4?14?2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息；(2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, ? , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
《信息论》—基础理论与应用(傅祖芸)课后答案精编版
【2.1】设有 12 枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同， 但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪 一枚是假币，试问至少必须称多少次？ 解：从信息论的角度看， 1 ； 12 1 “假币的重量比真的轻，或重”该事件发生的概率为 P = ； 2 “12 枚硬币中，某一枚为假币”该事件发生的概率为 P = 为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因 此有 I = log 12 + log 2 = log 24 比特 而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为 P = 平每一次消除的不确定性为 I = log 3 比特 因此，必须称的次数为 I 1 log 24 = ≈ 2.9 次 I2 log 3 因此，至少需称 3 次。 【延伸】如何测量？分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。 【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之 和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量？ 解： “两骰子总点数之和为 2”有一种可能，即两骰子的点数各为 1，由于二者是独立的， 因此该种情况发生的概率为 P = 1 1 1 × = ，该事件的信息量为： 6 6 36 1 ，因此天 3
本页已使用福昕阅读器进行编辑。 福昕软件（Ｃ）２００５－２０１０，版权所有， 仅供试用。
P( A | B) =
P( AB) P( A) P( B | A) 0.25 × 0.75 = = = 0.375 P( B) P( B) 0.5
已知该事件所能获得的信息量为 I = log 1 ≈ 1.415 比特 0.375
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息论基础第二版习题答案
《信息论基础第二版习题答案》
信息论是一门研究信息传输、存储和处理的学科，它的理论基础是由克劳德·香农于1948年提出的。
信息论的发展对于现代通信、计算机科学和统计学等领域都有着重要的影响。
《信息论基础第二版》是信息论领域的经典教材，它系统地介绍了信息论的基本概念和原理，并提供了大量的习题来帮助读者加深对知识的理解。
在这本书中，作者对信息论的基本概念进行了详细的介绍，包括信息的度量、信道容量、编码理论等内容。
习题部分则是为了帮助读者巩固所学知识，提供了大量的练习题目，涵盖了各个方面的知识点。
下面我们就来看一下《信息论基础第二版》中的一些习题答案。
第一章习题1.1：什么是信息熵？请用公式表示。
答：信息熵是表示一个随机变量不确定性的度量，它的公式为H(X) = -
Σp(x)log2p(x)，其中p(x)表示随机变量X取值为x的概率。
第二章习题2.3：什么是信道容量？如何计算信道容量？
答：信道容量是表示信道的传输能力，它的计算公式为C = Wlog2(1 + S/N)，其中W表示信道带宽，S表示信号功率，N表示噪声功率。
第三章习题3.2：简要说明香农编码的原理。
答：香农编码是一种无损压缩编码方法，它利用信息的统计特性来减少信息的冗余，从而实现对信息的高效压缩。
以上是《信息论基础第二版》中的一些习题答案，通过学习这些习题，读者可以更好地理解信息论的基本概念和原理。
希望本书对广大读者在信息论领域的
学习和研究有所帮助。