信息论习题
信息论与编码习题
1 0 1 1 1 0 0 H 1 1 1 0 0 1 0 0 1 1 1 0 0 1
13为提高通信系统传输消息有效性，信源编码采用的方法 是
A.压缩信源的冗余度 C.研究码的生成矩阵 B.在信息比特中适当加入冗余比特 D.对多组信息进行交织处理
14、给定xi条件下随机事件yj所包含的不确定度和条件自信 息量p(yj /xi)，（ ） A．数量上不等，单位不同 B．数量上不等，单位相同 C．数量上相等，单位不同 D．数量上相等，单位相同 15、条件熵和无条件熵的关系是： A．H(Y/X)＜H(Y) B．H(Y/X)＞H(Y) C．H(Y/X)≤H(Y) D．H(Y/X)≥H(Y)
8、对于相同的信息，不同的观察者所获得的信息量可能 不同，指的是信息的（ ） A 可度量性 B 相对性 C 可替代性 D 可共享性 9、信源熵不满足以下哪个性质？（ ） A 确定性 B 非负性 C 连续性 D 可加性 10、二进制通信系统使用符号0和1，由于存在失真，传输 时会产生误码，用符号表示下列事件，u0:一个0发出， u1:一个1发出，v0 :一个0收到，v1:一个1收到。则已知 收到的符号，被告知发出的符号能得到的信息量是 （ ）。 A H(U/V) B H(V/U) C H(U,V) D H(UV)
2,二元对称信道如图。
2）求该信道的信道容量。
x3 x4 x5 x6 x7 X x1 x2 3,.信源空间为 P( X ) 0.2 0.19 0.18 0.17 0.15 0.1 0.01 ，试构造二元霍夫曼码，计算其平均码长和编码效率（要 求有编码过程）。
信息论习题解答
第二章 信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此，信息速率为 6⨯1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61 得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=)(1logb p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521 信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6 =3.2744 bit)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit)|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。
信息论习题
一、单项选择题1．信息就是 ( C ) A.消息 B.数字、数据、图形C.通信过程中，接受者所不知的知识（即不确定性）D.能量2. 下列关于交互信息量();i j I x y 的陈述中错误的是 （C ） A.();i j I x y 表示在接收端收到j y 后获得的关于i x 的信息量 B.();i j I x y 表示在发送端发送i x 后获得的关于j y 的信息量 C.();0i j I x y ≥D.当i x 和j y 统计独立时();0i j I x y =3. 设X 和Y 是两个信源，则下列关系式中正确的是 （C ） A.()()()H XY H X H X Y =- B.()()()H XY H X H X Y =+ C.()()()H XY H Y H X Y =+D.()()()H XY H Y H X Y =-4. 一个正常的骰子，也就是各面呈现的概率都是16，则“5出现”这件事件的自信息量为 （C ） A.16比特 B.6 比特 C.2log 6比特 D.2log 6-比特 5. 关于预测编码的描述错误的是 （ ） A.通过解除相关性压缩码率 B.通过对差值编码压缩码率 C.通过概率匹配压缩码率 D.不适用于独立信源 6. 设信源1212n n x x x X p p p P ⎛⎫⎛⎫= ⎪⎪⎝⎭⎝⎭，其中：0i p ≥，i ∀，11n i i p ==∑，则下列关于熵()H X 的 描述错误的是 （ D ） A.熵的取值为一个非负数 B.熵表示信源的平均不确定度 C.()log H X n ≤，当且仅当1i p n=，i ∀成立时等号成立 D.熵的取值小于等于信源的平均自信息量7. 算术编码将信源符号序列映射成哪个区间上的小数 （ C ）A. [0，1]B. [0，2]C. [1，2] D . [1，3]8. 非奇异码 （ C ） A.唯一可译 B.每个信源符号都有唯一的码字与之对应C.每个码符号序列都有唯一信源符号序列与之对应D.收到完整的码字后可即时译码9. 狭义信息论的创始人是 （ D ）A.HartlyB.NquistonD.C.E. Shannon10.单符号离散信源1212n n x x x X p p p P ⎛⎫⎛⎫= ⎪⎪⎝⎭⎝⎭的平均信息量为 （A ） A.1()log()niii H x p p ==-∑B.1()log()niii H x p p ==∑C.11()log()ni i i H x p p ==∑D. 11()log()ni i iH x p p ==∑ 11. 若信源X 中的某一符号出现的概率1i p =，则其()H X = （ B ） A.1B.0C.0.5D.0.712. 当(;)0I X Y =时，()H XY 应为 （B ） A.()()H X H Y =B.()()()H XY H X H Y =+C.(|)(|)H Y X H X Y =D.()()()H XY H X H Y <+13. 离散无记忆信道的概率转移矩阵的行和等于 （C ）A.2B.3C.1D.不确定14. 下列关于信息率失真函数()R D 的叙述错误的为 （ ）A. ()R D 为关于D 的严格递减函数 B.()R D 为关于D 的严格递增函数 C.()R D 为关于D 的下凸函数 D.当max D D > 时()0R D = 15. 设信源符号集{}123,,X x x x =，每一个符号发生的概率分别为()112p x =，()214p x =， ()314p x =，则信源熵为 （ A ） A.1.5 比特/符号 B.1.5 奈特/符号 C.1.5 哈特/符号 D.1.0比特/符号16. 设信源符号集{}1234,,,X x x x x =，每一个符号发生的概率分别为()1p x ，()2p x ，()3p x ，()4p x ，则信源熵的最大值为（ A ）A.2 比特/符号B.2 奈特/符号C.2 哈特/符号D.4比特/符号17. 下列关于联合熵()H XY 的陈述中错误的是 （ D ） A.当X 和Y 统计独立时，()()()H XY H X H Y =+ B.()()H XY H X ≥ C.()()H XY H Y ≥D.()()()H XY H X H X Y =+ 18． 设信源1212n n x x x X p p p P ⎛⎫⎛⎫= ⎪⎪⎝⎭⎝⎭，其中：i ∀，0i p ≥，11n i i p ==∑，则下列关于熵()H X 的 描述错误的是 （ D ） A.()0H X ≥ B.()1,0,0,,00H =C.()log H X n ≤，当且仅当1i p n=，i ∀成立时等号成立 D.设另外有一组概率矢量，()n q q q Q ,,,21 =，则 ()1log n i i i H X p q =≥-∑19. 在哈夫曼编码方法中 （ B ） A.概率大的信源符号给长码 B.概率小的信源符号给长码 C.自信息量大的信源符号给短码 D.根据信源的具体情况确定20. 二元离散信源{}0,1，以什么概率发每一个符号提供的平均信息量为最大 （ B ）A.{}0.4,0.6B.{}0.5,0.5C.{}0.99,0.01D.{}0.7,0.321. 若某字符离散信道的输入、输出符号集分别为{}12:,,,n X a a a 和{}12:,,,n Y b b b ，则其交互信息量(;)i j I a b 应为 （ A ） A.(|)log()i j i p a b p aB.(|)log()i j i p a b p a -C.1log(|)i j p a bD.log ()i p a -22. 唯一可译码和即时码具有哪种关系 （B ） A.唯一可译码就是即时码 B.即时码是唯一可译码的子集 C.唯一可译码是即时码的子集D.唯一可译码就是即时码与非奇异码之和23. 用哈夫曼码方法得到的码及其平均码长具有如下性质 （C ） A.不是唯一的，且其平均码长不相同 B.是唯一的，且平均码长也一样 C.不是唯一的，但平均码长相同 D.不能确定24. 设二进制对称信道的误传概率为p ，则下列陈述中错误的是 （C ） A.当输入等概分布时达到其信道容量 B.当输出等概分布时达到其信道容量 C.当0p =时，其信道容量为0 D.当12p =时，其信道容量为0 25. 对于离散对称信道，其输入、输出符号集分别为X 和Y ，下列叙述中错误的是（D ） A.当输入等概分布时达到信道容量 B.当输出等概分布时达到信道容量C.对称信道的条件熵()H Y X 与信道输入符号的概率分布无关D.何时达到对称信道的信道容量要根据具体信道具体确定26. 下述叙述错误的是 （ A ） A.非奇异码唯一可译 B.只有分组码才有对应的码表 C.即时码唯一可译 D.非延长码收到完整的码字后可即时译码 27. 哈夫曼编码属于哪一类编码 （ A ） A.统计 B.变换 C.预测 D.非分组 28．设信源{}621,,x x x X =，对信源X 进行二进制编码，根据Kraft 不等式，下列码中不是唯一可译码的是 ( D ) A ．000, 001, 010, 011, 100, 101 Ｂ． 0, 01, 011, 0111, 01111, 011111 C ．0, 10, 110, 1110, 11110, 111110 Ｄ． 0, 10, 110, 1110, 1011, 110129．若有一个二元序列为 000011011100000，可写成的游程序列是 （ A ） A.4 2 1 3 5 B.5 3 1 2 4 C.2 2 2 1 3 2 3 D.4 3 3 430. 在信道输出端接收到输出随机变量Y 后，对输入端的随机变量X 尚存在的平均不确定性表示为 ( B )A ．()X HＢ．()Y X H / C ．()Y HＤ．()X Y H /二、简答及名词解释1．名词解释：自信息量、熵、 2．简要描述离散信源熵的极值性 3．名词解释：离散无记忆信源4．写出冗余度的表达式并简述信源冗余度的来源 5. 简要描述平均互信息);(Y X I 的凸状性6．名词解释：对称离散信道试问：①码字中哪些是唯一可译码？②哪些是非延长码（即时码）？ ③哪些是奇异码；那些是非奇异码？ 8．名词解释：唯一可译码、即时码9．写出香农公式，解释其中各变量的含义 10．简述信源编码的两个基本途径 11. 伴随式 12. 对偶码 13. 试验信道三、计算1. 信源符号X 有6种字母，概率为(0.32, 0.22, 0.18, 0.16, 0.08, 0.04)。
(完整word版)信息论习题集
信息论习题集第一章、判断题1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。
（√）2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。
（√）3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√）4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。
（√）5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。
（√）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。
（√）7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。
（×）第二章一、判断题1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。
（√）2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。
（×）3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。
（×）4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。
（×）5、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。
（×）6、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。
（√）7、互信息的统计平均为平均互信息量，都具有非负性。
（×）8、信源剩余度越大，通信效率越高，抗干扰能力越强。
（×）9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。
（×）10、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。
（×）11、在信息处理过程中，熵是不会增加的。
（√）12、熵函数是严格上凸的。
（√）13、信道疑义度永远是非负的。
（√）14、对于离散平稳信源，其极限熵等于最小平均符号熵。
信息论习题训练
一、简答题1、什么是平均自信息量与平均互信息，比较一下这两个概念的异同？2、解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？3、简述最大离散熵定理。
二、判断题1、只要码字传输的信息量大于新源序列携带的信息量，就能实现几乎无失真编码。
2、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。
3、唯一可译码一定是即时码，即时码不一定是唯一可译码。
4、信道容量只是信道矩阵的参数。
5、若信源符号集中增加了若干符号，当这些符号出现的概率很小几乎趋于0时，信源的熵增加。
三、计算题（每小题10分，共40分）1、某二元无记忆信源，有()()170,188P P==，求：（1）某一信源序列由50个二元符号组成，其中有m个“1”，求此序列的自信息量。
（2）求100个符号构成的信源序列的熵。
2、求以下2个信道的信道容量：122p pPp pεεεεεε--⎡⎤--⎢⎥=⎢⎥--⎣⎦，21111363611116363P⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦第 1 页共3页第 2 页 共3 页3、有一信源有6个可能的输出，其概率分布如下表所示，表中给出了对应的码A 、B 、C 、D 、E 。
求⑴ 这些码中哪些是唯一可译码。
⑵ 哪些是即时码1123456()0.50001100.20010101100.1010000000111000.081000001000111100.071010010010110110.05110001111011101p a A B CD a a a a a a ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦消息4、信源空间为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡05.005.005.005.01.01.02.04.0)(87654321s s s s s s s s s P S ，试构造二元霍夫曼码，并计算其平均码长和编码效率。
第 3 页共3页。
信息论习题
前三章习题选择题1、离散有记忆信源],[21x x X =，12()()0.5P x P x ==，其极限熵H ∞ 。
A 、1bit >B 、1bit <C 、1bit =D 、不能确定2、任意离散随机变量X 、Y 、Z ， 必定成立A 、)|()|(XZ Y H YZ X H =B 、)()()()(Z H Y H X H XYZ H ++=C 、)|()|(Y X H YZ X H ≤D 、0)|;(=Z Y X I3、|Y X P 给定时，(;)I X Y 是X P 的 函数。
A 、上凸B 、下凸C 、上升D 、下降4、使(;)I X Y 达到最大的 称为最佳分布。
A 、联合分布B 、后验分布C 、输出分布D 、输入分布5、离散平稳无记忆信源],[21x x X =，且bit X H 1)(=，则=)(1x P 。
A 、41B 、2C 、1D 、21 6、=);(Y X I 。
A 、)|()(X Y H X H -B 、)|()(Y X H Y H +C 、)|()(X Y H Y H -D 、)()(X H XY H -7、通常所说的“连续信源”是指 信源。
A 、时间连续且取值连续的B 、取值连续C 、时间离散且取值连续的D 、时间连续8、已知信道，意味着已知 。
A 、 先验分布B 、转移概率分布C 、 输入输出联合概率分布D 、输出概率分布9、已知X Y P |，可求出A 、)(XY HB 、 )|(X Y HC 、);(Y X ID 、)|(i j x y I10、连续信源的输出可用 来描述A 、常量B 、变量C 、离散随机变量D 、连续随机变量11、101)(=i x P ，则=)(i x I 。
A 、bit 10lnB 、dit 10lnC 、dit 1D 、dit 10log12、信道容量表征信道的 。
A 、最大通过能力B 、最大尺寸C 、最小通过能力D 、最小尺寸13、DMS 的信息含量效率等于信源的实际熵 信源的最大熵。
信息论部分习题及解答
2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“3和5同时出现” 这事件的自信息量。
（2）“两个1同时出现” 这事件的自信息量。
（3）两个点数的各种组合（无序对）的熵或平均信息量。
（4）两个点数之和（即2，3，…，12构成的子集）的熵。
（5）两个点数中至少有一个是1的自信息。
解：（1）设X 为‘3和5同时出现’这一事件，则P （X ）=1/18，因此 17.418log)(log)(22==-=x p X I (比特)（2）设‘两个1同时出现’这一事件为X ，则P （X ）=1/36，因此 17.536log)(log)(22==-=x p X I (比特)(3 ) “两个相同点数出现”这一事件的概率为1/36,其他事件的概率为1/18,则 337.418log181536log366)(22=+=X H (比特/组合)（4）222222111111()[log 36log 18()log 12()log 936181836181811136111()log ]2()log 6 3.44(/)1818365181818H X =++++++++⨯+++=比特两个点数之和（5）两个点数至少有一个为1的概率为P （X ）= 11/36 71.13611log)(2=-=X I （比特）2-6设有一离散无记忆信源，其概率空间为⎪⎪⎭⎫⎝⎛=====⎪⎪⎭⎫⎝⎛8/134/124/118/304321x x x x PX该信源发出的信息符号序列为（202 120 130 213 001 203 210 110 321 010 021 032 011 223 210），求：（1） 此信息的自信息量是多少？（2） 在此信息中平均每个符号携带的信息量是多少？ 解：（1）由无记忆性，可得序列）（比特/18.87)3(6)2(12)1(13)0(14=+++=I I I I（2）符号）（比特/91.145/==I H 2-9在一个袋中放有5个黑球、10个白球，以摸一个球为一次实验，摸出的球不再放进去。
信息论基础第二版习题答案
信息论基础第二版习题答案信息论是一门研究信息传输和处理的学科，它的基础理论是信息论。
信息论的基本概念和原理被广泛应用于通信、数据压缩、密码学等领域。
而《信息论基础》是信息论领域的经典教材之一，它的第二版是对第一版的修订和扩充。
本文将为读者提供《信息论基础第二版》中部分习题的答案，帮助读者更好地理解信息论的基本概念和原理。
第一章：信息论基础1.1 信息的定义和度量习题1：假设有一个事件发生的概率为p，其信息量定义为I(p) = -log(p)。
求当p=0.5时，事件的信息量。
答案：将p=0.5代入公式，得到I(0.5) = -log(0.5) = 1。
习题2：假设有两个互斥事件A和B，其概率分别为p和1-p，求事件A和B 同时发生的信息量。
答案：事件A和B同时发生的概率为p(1-p)，根据信息量定义，其信息量为I(p(1-p)) = -log(p(1-p))。
1.2 信息熵和条件熵习题1：假设有一个二进制信源，产生0和1的概率分别为p和1-p，求该信源的信息熵。
答案：根据信息熵的定义，信源的信息熵为H = -plog(p) - (1-p)log(1-p)。
习题2：假设有两个独立的二进制信源A和B，产生0和1的概率分别为p和1-p，求两个信源同时发生时的联合熵。
答案：由于A和B是独立的，所以联合熵等于两个信源的信息熵之和，即H(A,B) = H(A) + H(B) = -plog(p) - (1-p)log(1-p) - plog(p) - (1-p)log(1-p)。
第二章：信道容量2.1 信道的基本概念习题1：假设有一个二进制对称信道，其错误概率为p，求该信道的信道容量。
答案：对于二进制对称信道，其信道容量为C = 1 - H(p)，其中H(p)为错误概率为p时的信道容量。
习题2：假设有一个高斯信道，信道的信噪比为S/N，求该信道的信道容量。
答案：对于高斯信道，其信道容量为C = 0.5log(1 + S/N)。
西安交通大学 信息论与编码 习题 作业
并说明上式取等号的条件； （c） 给出 (b) 的结果的几何解释。
3-10 设一 DMC 信道（离散无记忆信道：Discrete memoryless channel）的输入与 输出分别为 X 和 Y 。 (a) 证明 H (Y ) 是输入概率向量的凸函数。提示：将输出概率向量用输入概
率向量表示；
(b) 证明 − H (Y X ) 是输入概率向量的线性函数； (c) 利用(a)，(b)的结论，证明 I ( X ; Y ) 是输入概率向量的凸函数。 3-11 判断图 P3.4 中各信道是否对称，如对称，求出其信道容量。
P ( 0 0 ) = 1−α P ( 0 1 )= 0
P ( E 1 )=α
P(E 0 ) = α
P (1 0 )= 0
P ( 1 1 ) = 1−α
求信道容量 C 。
3-7 设某二进制数字传输系统接收判决器的输入信号电平、噪声密度分布、及 判决电平如下图P3.3所示。试求：(a)信道模型；(b)互信息；(c)信道容量。
2-4 设 一 连 续 无 记 忆 信 源 产 生 数 符 X = [0, A] ， 其 概 率 密 度 函 数 为 p( x) = 1 /(b − a) ， 0 ≤ a ≤ x ≤ b ≤ A 。求 X 的相对信息熵 H ( X ) 。在什么条件
下， H ( X ) < 0 ，它的含义是什么？
2-5 一信源产生的时不变波形信号（即信号统计特性不随时间而变）的带宽
0p图p3133设一时间离散幅度连续的无记忆信道的输入是一个零均值方差为e的高斯随机变量信道噪声为加性高斯噪声方差为w1?2信道传输速率为64kbitssec求输入信号功率e的最小值
信息论第一章习题
1-1 设某班学生在一次考试中获优（A） 、良（B） 、中（C） 、及格（D）和不及 格（E）的人数相等。当教师通知某甲： “你没有不及格” ，甲获得了多少比 特信息？为确定自己的成绩，甲还需要多少信息？ 1-2 一个号码锁有 3 个数字，每个数字可设置为 0~99（含 0 和 99）中的任何一 个整数值。试计算打开该锁所需的信息。 1-3 中国国家标准局所规定的二级汉字共 6763 个。设每字使用的频度相等，求 一个汉字所含的信息量。设每个汉字用一个 16 × 16 的二元点阵显示，试计算 显示方阵所能表示的最大信息。显示方阵的利用率是多少？ 1-4 一信源有 4 种输出数符： X i = i, i = 0,1,2,3 ，且 PX i = 1 / 4 。设信源向信宿发 出 X 3 ，但由于传输中的干扰，接收者收到 X 3 后，认为其可信度为 0.9。于 是信源再次向信宿发送该数符（ X 3 ） ，信宿无误收到。问信源在两次发送中 发出的信息量各是多少？信宿在两次接收中得到的信息量又各是多少？ （提 示：先计算第二次传输中收、发的信息量。 ） 1-5 一信源有 6 种输出状态，概率分别为
信息论总复习
第一章作业题1. 设二元对称信道的传递矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132(1) 若P(0) = 3/4, P(1) = 1/4，求H (X ), H(X /Y ), H(Y /X )和I(X ;Y )；(2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解：(1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbolbit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C2. 设有一批电阻，按阻值分70%是2K Ω，30%是5 K Ω；按瓦分64%是0.125W ，其余是0.25W 。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
I ( x 2 / y1 ) = log I ( x 2 / y 2 ) = log
P ( y1 | x 2 ) 15 = log ≈ − 0.093bit P ( y1 ) 16 P ( y 2 | x2 ) 5 = log ≈ 0.322 bit P ( y2 ) 4
（3）
H ∞ = H ( X 2 / X 1 ) = 0.5 H ( X / S = s1 ) + 0.25 H ( X / S = s2 ) + 0.25 H ( X / S = s3 ) = 1
第三章
3.1 (1)
I ( x1 ) = − log 0.6 = 0.737 bit
I ( x2 ) = − log 0.4 = 1.322 bit
2.4 解：x：女孩是大学生； y：女孩身高1.6m以上。 P(x)=0.25 P(y)=0.5 P(y/x)=0.75 “身高1.6米以上的某女孩是大学生”即P(X/Y)
p ( xy ) p ( x ) p ( y / x ) 0 .2 5 ⋅ 0 .7 5 = = = 0 .3 7 5 p( y) p( y) 0 .5 1 I ( x / y ) = − lo g 2 p ( x / y ) = − lo g 2 = 1 .4 1 5( b it ) 0 .3 7 5 获 得 的 信 息 量 是 1.4 1 5 b it p(x / y) =
1 2
s1
s2
a3 : 1 2
（1）
a1 :1
Q( s1 ) = 0.5Q( s1 ) + Q( s3 ) Q( s ) = 0.25Q( s ) + 0.5Q( s ) 2 1 2 Q( s3 ) = 0.25Q( s1 ) + 0.5Q( s3 ) Q( s1 ) + Q( s2 ) + Q( s3 ) = 1
2.24 解：
1 P ( s 2 | s1 ) = P ( s 2 | s 2 ) = P ( s 3 | s 2 ) = 2 1 P ( s 2 | s1 ) = P ( s 3 | s1 ) = 4 P ( s1 | s 3 ) = 1
a1 :
1 2 1 4
a2 :
1 2
s1
a3 :
a1 :1
2
(3) H ( X ) = H (0.4) = −∑ P( xi ) log P( xi ) ≈ 0.971 bit / 符号
i =1 2
H (Y ) = H (0.8) = −∑ P ( yi ) log P( yi ) ≈ 0.722 bit / 符号
i =1
(4)
Q P( xi | y j ) =
3 2.6 解：I (a1 = 0) = − log ≈ 1.415bit 8 1 I (a2 = 1) = − log = 2bit 4 1 I (a3 = 2) = − log = 2bit 4 1 I ( a 2 = 3) = − lo g = 3 b it 8
(2) I ′ =
87.81 ≈ 1.95 bit / 符号 45
1 P( X 2 = a | X 1 = a) = P( X 2 = b | X 1 = a) = P( X 2 = c | X 1 = a) = 3
1 3 1 2
1 3
a
0.6
1 3
c
1 2
1 3
E0
1 3
0.3
b
0.1
1 3
1 3 1 P ( E 2 | E1 ) = P ( E1 | E 2 ) = 3 1 P ( E1 | E 3 ) = P ( E 2 | E 3 ) = 2 1 P ( E 3 | E1 ) = P ( E 3 | E 2 ) = 3 P ( E1 | E1 ) = P ( E 2 | E 2 ) =
H ( X 2 ) = 2 H ( X ) = 2 × 0.97 = 1.94 bit / 两符号
H ( X 3 / X 1 X 2 ) = H ( X 3 ) = H ( X ) = 0.97 bit / 符号 lim H N ( X ) = H ( X ) = 0.97 bit / 符号
N →∞
习题讲解
第二章
2.2 解：每个数字出现的概率为1/6，且互相独立。 x：点数之和为2—1+1 y：点数之和为8—2+6，3+5，4+4，5+3，6+2 z：点数为3和4—3+4，4+3 — P(x)=1/36 P(y)=5/36 P(z)=2/36
I ( x ) = − lo g 2 p ( x ) = lo g 2 3 6 = 5.1 7 b it 36 = 2 .8 5 b it 5 I ( z ) = − lo g 2 p ( z ) = lo g 2 1 8 = 4 .1 7 b it I ( y ) = − lo g 2 p ( y ) = lo g 2
a2 : 1 4
s2
a3 : 1 2
（1） 1
Q ( s1 ) = Q ( s3 ) Q ( s2 ) = 1 Q ( s1 ) + 1 Q ( s1 ) + 1 Q ( s2 ) 4 2 2 Q ( s ) = 1 Q ( s ) + 1 Q ( s ) 3 1 2 4 2 Q ( s ) + Q ( s ) + Q ( s ) = 1 1 2 3
∑
i =1
Q ( Ei ) P ( a3 | Ei ) =
2 7
（2）
1 1 1 3 H ( X / S = s1 ) = H ( , , ) = 2 4 4 2 1 1 H ( X / S = s2 ) = H ( , , 0) = 1 2 2
H ( X / S = s3 ) = H (1, 0, 0) = 0
4 i =1
(1) I (消息) = 14I (a1 ) + 13I (a2 ) + 12I (a3 ) + 6I (a4 ) = 87.81bit
注： H ( X ) = − ∑ P ( a i ) lo g P ( a i ) ≈ 1 .9 1 bit / 符 号
2.9
x2 x3 x4 x5 x6 X x1 设信源 = ,求 这信 P ( X ) 0 .2 0 .1 9 0 .1 8 0 .1 7 0 .1 6 0 .1 7 源 的 熵 ， 并 解 释 为 什 么 H ( X ) > lo g 2 6 不 满 足 信 源 熵 的 极 值 性 。 解： H ( X ) = − ∑ p ( x i ) lo g 2 p ( x i )
i =1 6
= − [ 0 .2 lo g 2 0 .2 + 0 .1 9 lo g 2 0 .1 9 + 0 .1 8 lo g 2 0 .1 8 + 2 (0 .1 7 lo g 2 0 .1 7 ) + 0 .1 6 lo g 2 0 .1 6 = 2 .6 6 ( b it / sym b o l ) lo g 2 6 = 2 .5 8 Q
H ( XY ) = H ( X ) + H (Y ) = log10 + log 30 = 8.23 H ( XY ) log 300 = = 2.5 H(X ) log10
2.18 解： (1)信源任何时刻发出的符号概率都是相同的，与时间 平移无关。所以信源是平稳的，而且是离散无记忆的。 (2) H ( X ) = H (0.4) = −(0.4log 0.4 + 0.6log 0.6) = 0.97 bit / 符号
H(X 4 ) = 4H(X ) = 4×0.97 = 3.88 bit /四个符号 (3)
0000,0001,0010,0011,0100,0101,0110,0111 1000,1001,1010,1011,1100,1101,1110,1111
2.21 解： (1)信源开始P(a)=0.6，P(b)=0.3，P(c)=0.1 X1之后发生规律是： ( X i | X i −1 ) = P( X 2 | X 1 ) i ≥ 3 P
P ( xi ) P ( y j | xi )
P ( yi ) P( x1 ) P ( y1 | x1 ) 5 P ( x2 ) P ( y1 | x2 ) 3 ∴ P( x1 | y1 ) = = , P ( x2 | y1 ) = = 8 8 P( y1 ) P ( y1 )
P ( x1 | y2 ) =
2
P( x1 ) P ( y2 | x1 ) 1 P( x2 ) P ( y2 | x2 ) 1 = , P ( x2 | y2 ) = = 2 2 P ( y2 ) P ( y2 )
（3） H ∞ = ∑ Q ( Ei ) H ( X / Ei ) =
i =1
J
2 1 1 1 3 1 1 2 H ( , , ) + H ( , , 0) + H (1, 0, 0) ≈ 0.857 7 2 4 4 7 2 2 7
2.24 图应改为：
1 a1 : 2
a2 : a2 : 1 4 1 a3 : 4
Q( E1 ) = P( E1 | E1 )Q( E1 ) + P( E1 | E2 )Q( E2 ) + P( E1 | E3 )Q( E3 ) Q( E ) = P( E | E )Q( E ) + P( E | E )Q( E ) + P( E | E )Q( E ) 2 2 2 2 2 3 3 2 1 1 Q( E3 ) = P( E3 | E2 )Q( E2 ) + P( E3 | E1 )Q( E1 ) Q( E1 ) + Q( E2 ) + Q( E3 ) = 1