信息论习题解答
信息论习题分析
［例2.1.4条件爛］已知X, Ye{O,l},XY 构成的联合 概率为:p (00) =p(ll) =1/8, p (01) =p (10) =3/8,计算条 件爛 H (X/Y) o解：根据条件爛公式：m nH (X /y )= -XE 〃(兀儿)bg 2 pg / yjJ=l i=l心儿)P(yj)2首先求p (儿) =儿)，有i=\3 1P (o )= p()i =o )== 00) + p(x 2y } =10) = - + - = co o同理可求得 P (1) = p(y 2 =1) = - 2从而有：p(00) _ =00) _ 1/8 _ 1 _P (0) P ()i 二 0) 1/2 43M/s 吒,H (x/Y)二-p(00)log2 p(0/0)- —p(0l)log2 p(0/I)- p(l 0)log2 pQ /0)-p(l 1) log2卩(1/l) --lo^---log.- x2 = 0.406 I 8切4 8切4丿p(0/0)二 p(x,二 0/开=0)=(bit!symbol )［例2. 1. 5］将已知信源忙v l = E ：」接到下图所示的信道上，求在该信道上传输的平均互信息量I(X;Y)、疑义度H(X/Y)、噪声爛H(Y/X)和联合嫡H(XY)。
解：(1)由P(x i y j) = p(x i)p(y j /x, ),求出各联合概率:p(Xj ) = p(Xj) p(y)/ £)二0.5 x 0.98 = 0.49/?(%( y2) = p(x{)p(y2 / X]) = 0.5 x 0.02 = 0.01p(x2 y ])二p(x2) p()\/X2)=0.5X 0.20 二0.10 p(x2y2) = p(x2 )p(y 2 /x2) = 0.5 x 0.80 = 0.40(2)由3) = 0(卩),得到Y集各消息概率：(=12〃()'])=£ P(I)= P(x\ y I)+ P(勺)?1)= °49 + 0.10 = 0.59 1=1卩(为)二1-P()i)二1-0・59 二0.41(3)由心/儿x竺2，得到X的各后验概率:P(x i/y i) =P(兀2 / 开)=1 - Pdi/y1) = 0.169同样可推出P(N /y2) = 0.024, p(x2 /y2) = 0.976(4)H(X)Sp(x l)log2p(x i) = -{0.5log20.5+ 0.5log20.5) = 1(比特/符号)f=l2H(Y) = -X/X)\)log2P(>\) = -{0.59log? 0.59 +0.41 log2 0.41}J=I二0.98(比特/符号)H(XY) = -工工p(“yj) log2 p(“儿)/=! ./=!=-{0.49 log 2 0.49 + 0.01 log 7 0.01 + 0.10 log. 0.10 + 0.40 log 2 0.40}二1.43 (比特/符号)(5)平均互信息/(X;Y) = H(X) + H(Y) -H(XY) = 1 + 0.98 -1.43 = 0.55(t匕特/符号)(6)疑义度2 2H(X /y) = 2^p(x i yJ)log2〃(“/儿)Z=1 J=l二-{0.49log2 0.831 + 0.01 log2 0.024 + 0.101og2 0.169 + 0.40log2 0.976} = 0.45(比特/符号)(7)噪声爛2 2H (Y/X) = —££/心,儿)log2 P(儿/")/=1 J=1=-{0.49 log2 0.98 + 0.01 log 2 0.02 + 0.10 log 2 0.20 + 0.40 log 20.80} = 0.43(比特/符号)［例2. 2. 1］有一离散平稳无记忆信源3工Pd)= i,求此信源的二次扩展P(X)信源的嫡。
信息论习题解答
第二章 信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此，信息速率为 6⨯1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61 得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=)(1logb p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521 信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6 =3.2744 bit)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit)|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。
信息论部分习题及解答
2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“3和5同时出现” 这事件的自信息量。
（2）“两个1同时出现” 这事件的自信息量。
（3）两个点数的各种组合（无序对）的熵或平均信息量。
（4）两个点数之和（即2，3，…，12构成的子集）的熵。
（5）两个点数中至少有一个是1的自信息。
解：（1）设X 为‘3和5同时出现’这一事件，则P （X ）=1/18，因此 17.418log)(log)(22==-=x p X I (比特)（2）设‘两个1同时出现’这一事件为X ，则P （X ）=1/36，因此 17.536log)(log)(22==-=x p X I (比特)(3 ) “两个相同点数出现”这一事件的概率为1/36,其他事件的概率为1/18,则 337.418log181536log366)(22=+=X H (比特/组合)（4）222222111111()[log 36log 18()log 12()log 936181836181811136111()log ]2()log 6 3.44(/)1818365181818H X =++++++++⨯+++=比特两个点数之和（5）两个点数至少有一个为1的概率为P （X ）= 11/36 71.13611log)(2=-=X I （比特）2-6设有一离散无记忆信源，其概率空间为⎪⎪⎭⎫⎝⎛=====⎪⎪⎭⎫⎝⎛8/134/124/118/304321x x x x PX该信源发出的信息符号序列为（202 120 130 213 001 203 210 110 321 010 021 032 011 223 210），求：（1） 此信息的自信息量是多少？（2） 在此信息中平均每个符号携带的信息量是多少？ 解：（1）由无记忆性，可得序列）（比特/18.87)3(6)2(12)1(13)0(14=+++=I I I I（2）符号）（比特/91.145/==I H 2-9在一个袋中放有5个黑球、10个白球，以摸一个球为一次实验，摸出的球不再放进去。
信息论课后习题答案
第六章 有噪信道编码6.1 R 为信息传输率，根据香农第二定理，当码长n->无穷大时，满足什么关系式，可使错误概率Pe->0。
答：Pe<exp{-nE(R)}->0，其中E(R)为可靠性函数，且在9<R<C 的范围为正。
信道容量C 是保证无差错传输时，信息传输率R 的权限值。
6.2 写出费诺不等式，其中哪一项表示是否判对的疑义度，log(k-1)又表示什么？答：H(X|Y)<=H2(Pe)+Pelog(k-1) ，H2(pe)是否判对的疑义度。
表示如果判决出错，错在k-1个符号中的一个，疑义度不会超过log(k-1)。
6.3 根据香农定理说明，（信息容量）是保证无差错传输时信息传输率R 的上限值，（平均错误概率）是信源可压缩信息的最低极限。
6.4 最大后验概率译码准则就是最小错误译码准则，对吗？错误。
()∑≠-==≠=k i k i k k e y x y xy x x y p )|(1)|()|(φφφ 这个公式可知最大后验概率与最小错误译码准则所得的最终结果是相等的。
但并非概念定义一致。
6.5 在信源等该分布时，则极大似然函数译码准则就是最小错误译码准则，对吗？ Proof: if ())|(|k k x y p x y p > m=1,2,……,MThen 信道等概率输入时，有),()(m k x q x q = 代入上式得)()|()()|(m m k k x q x y p x q x y p >So,it comes to )()(y x p y x p m k >所以说明全概率最大，对应最大联合概率译码准则。
1/2 1/6 1/36.6 离散无记忆信道DMC ，转移概率矩阵为 P= 1/3 1/2 1/61/6 1/3 1/2(1 )q(x1)=1/2 q(x2)=1/4 q(x3)=1/4. 求最佳判决译码及错误概率。
（2）若信源等概分布，求最佳判决译码及错误概率。
信息论基础第二版习题答案
信息论基础第二版习题答案信息论是一门研究信息传输和处理的学科，它的基础理论是信息论。
信息论的基本概念和原理被广泛应用于通信、数据压缩、密码学等领域。
而《信息论基础》是信息论领域的经典教材之一，它的第二版是对第一版的修订和扩充。
本文将为读者提供《信息论基础第二版》中部分习题的答案，帮助读者更好地理解信息论的基本概念和原理。
第一章：信息论基础1.1 信息的定义和度量习题1：假设有一个事件发生的概率为p，其信息量定义为I(p) = -log(p)。
求当p=0.5时，事件的信息量。
答案：将p=0.5代入公式，得到I(0.5) = -log(0.5) = 1。
习题2：假设有两个互斥事件A和B，其概率分别为p和1-p，求事件A和B 同时发生的信息量。
答案：事件A和B同时发生的概率为p(1-p)，根据信息量定义，其信息量为I(p(1-p)) = -log(p(1-p))。
1.2 信息熵和条件熵习题1：假设有一个二进制信源，产生0和1的概率分别为p和1-p，求该信源的信息熵。
答案：根据信息熵的定义，信源的信息熵为H = -plog(p) - (1-p)log(1-p)。
习题2：假设有两个独立的二进制信源A和B，产生0和1的概率分别为p和1-p，求两个信源同时发生时的联合熵。
答案：由于A和B是独立的，所以联合熵等于两个信源的信息熵之和，即H(A,B) = H(A) + H(B) = -plog(p) - (1-p)log(1-p) - plog(p) - (1-p)log(1-p)。
第二章：信道容量2.1 信道的基本概念习题1：假设有一个二进制对称信道，其错误概率为p，求该信道的信道容量。
答案：对于二进制对称信道，其信道容量为C = 1 - H(p)，其中H(p)为错误概率为p时的信道容量。
习题2：假设有一个高斯信道，信道的信噪比为S/N，求该信道的信道容量。
答案：对于高斯信道，其信道容量为C = 0.5log(1 + S/N)。
彭代渊王玲-信息论与编码理论-第二章习题解答精选全文
1第2章 信息的度量2.1 同时扔一对质地均匀的骰子，当得知“两骰子面朝上点数之和为5”或“面朝上点数之和为8”或“两骰子面朝上点数是3和6”时，试问这三种情况分别获得多少信息量？解：某一骰子扔得某一点数面朝上的概率是相等的，均为1/6，两骰子面朝上点数的状态共有36种,其中任一状态出现都是等概率的,出现概率为1/36。
设两骰子面朝上点数之和为事件a ，有：⑴ a=5时，有1+4，4+1，2+3，3+2，共4种，则该事件发生概率为4/36=1/9，则信息量为I(a)=-logp(a=5)=-log1/9≈3.17(bit)⑵ a=8时，有2+6，6+2，4+4，3+5，5+3，共5种，则p(a)=5/36,则I(a)= -log5/36≈2.85(bit) ⑶ p(a)=2/36=1/18,则I(a)=-log1/18≈4.17(bit)2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几”，则答案中含有多少信息量？如果你在已知今天是星期三的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）？解：设“明天是星期几”为事件a ：⑴ 不知道今天是星期几：I(a)=-log1/7≈2.81(bit) ⑵ 知道今天是星期几：I(a)=-log1=0 (bit)2.3 居住某地区的女孩中有20%是大学生，在女大学生中有80%是身高1米6以上的，而女孩中身高1米6以上的占总数的一半。
假如我们得知“身高1米6以上的某女孩是大学生”的消息，求获得多少信息量？解：设“居住某地区的女孩是大学生”为事件a ，“身高1米6以上的女孩”为事件b ，则有： p(a)= 0.2，p(b|a)=0.8，p(b)=0.5，则“身高1米6以上的某女孩是大学生”的概率为：32.05.08.02.0)()|()()|(=⨯==b p a b p a p b a p信息量为：I=-logp(a|b)=-log0.32≈1.64(bit)2.4 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志：“你是否是红绿色盲？”，他回答“是”或“否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？解：⑴ 男同志回答“是”的概率为7%=0.07，则信息量I=-log0.07≈3.84(bit) 男同志回答“否”的概率为1-7%=0.93，则信息量I=-log0.93≈0.10(bit) 平均信息量为：H 1=-(0.07×log0.07+0.93×log0.93) ≈0.37(bit/符号) ⑵ 问女同志的平均自信息量：H 2=-[0.05×log0.05+(1-0.05) ×log(1-0.05)] ≈0.045(bit/符号)2.5 如有7行9列的棋型方格，若有两个质点A 和B ，分别以等概率落入任一方格内，2且它们的坐标分别为（X A ，Y A ）、（X B ，Y B ），但A 、B 不能落入同一方格内。
信息论复习题
• 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？• 答：平均自信息为• 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
• 平均互信息•表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2.简述最大离散熵定理。
对于一个有m 个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
• 最大熵值为3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？答：信息传输率R 指信道中平均每个符号所能传送的信息量。
信道容量是一个信道所能达到的最大信息传输率。
信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
4.解释无失真变长信源编码定理。
答：只要 ，当N 足够长时，一定存在一种无失真编码。
5.解释有噪信道编码定理。
• 答：当R ＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
6.离散平稳信源• 答：若信源输出的消息是取值离散的随机序列，随机序列的任意有限维的概率分布不随时间平移而改变，则称为离散平稳信源。
7.即时码答：如果在译码过程中只要接收到每个码字的最后一个符号就可立即将该码字译出，这种码称为即时码。
8.信道容量答：信息能够可靠传输的最大信息传输速率。
9.信源信道编码定理• 答：设有一离散无记忆平稳信道的每秒容量为C ，一个离散信源每秒的熵为H ，那么，如果H < C ，总存在一种编码系统，使得信源的输出以任意小的错误概率通过信道传输；反之，如果H > C 时，对任何编码编码系统，译码差错率>010.信道疑义度• 答：设信道的输入与输出分别为X 、Y ，定义条件熵H(X/Y)为信道疑义度。
它有如下含义：• 信道疑义度表示接收到Y 条件下X 的平均不确定性；根据I(X;Y)=H(X)-H(X/Y)，信道疑义度又表示X 经信道传输后信息量的损失； 接收的不确定性由信道噪声引起，在无噪情况下，H(X/Y)=0。
(信息论)第二、三章习题参考答案
第二章习题参考答案2-1解：同时掷两个正常的骰子，这两个事件是相互独立的，所以两骰子面朝上点数的状态共有6×6＝36种，其中任一状态的分布都是等概的，出现的概率为1/36。
(1)设“3和5同时出现”为事件A ，则A 的发生有两种情况：甲3乙5，甲5乙3。
因此事件A 发生的概率为p(A)=(1/36)*2=1/18 故事件A 的自信息量为I(A)=－log 2p(A)=log 218=4.17 bit(2)设“两个1同时出现”为事件B ，则B 的发生只有一种情况：甲1乙1。
因此事件B 发生的概率为p(B)=1/36 故事件B 的自信息量为I(B)=－log 2p(B)=log 236=5.17 bit (3) 两个点数的排列如下：因为各种组合无序，所以共有21种组合： 其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)“两个点数中至少有一个是1”的组合数共有11种。
bitx p x I x p i i i 710.13611log )(log )(3611116161)(=-=-==⨯⨯=2-2解：(1)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡2121)(21x x x p X i 比特 12log *21*2)(log )()(2212==-=∑=i i i x p x p X H(2)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡100110099)(21x x x p X i 比特 08.0100log *100199100log *10099)(log )()(22212=+=-=∑=i i i x p x p X H (3)四种球的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡41414141)(4321x x x x x p X i ，42211()()log ()4**log 4 2 4i i i H X p x p x ==-==∑比特2-5解：骰子一共有六面，某一骰子扔得某一点数面朝上的概率是相等的，均为1/6。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第二章 信息量与熵2、2 八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它的信息速率。
解:同步信息均相同,不含信息,因此每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此,信息速率为 6⨯1000=6000 bit/s2、3 掷一对无偏骰子,告诉您得到的总的点数为:(a) 7; (b) 12。
问各得到多少信息量。
解:(1) 可能的组合为 {1,6},{2,5},{3,4},{4,3},{5,2},{6,1})(a p =366=61 得到的信息量 =)(1loga p =6log =2、585 bit (2) 可能的唯一,为 {6,6} )(b p =361 得到的信息量=)(1logb p =36log =5、17 bit 2、4 经过充分洗牌后的一副扑克(52张),问:(a) 任何一种特定的排列所给出的信息量就是多少？(b) 若从中抽取13张牌,所给出的点数都不相同时得到多少信息量？解:(a) )(a p =!521 信息量=)(1log a p =!52log =225、58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13、208 bit2、9 随机掷3颗骰子,X 表示第一颗骰子的结果,Y 表示第一与第二颗骰子的点数之与,Z 表示3颗骰子的点数之与,试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解:令第一第二第三颗骰子的结果分别为321,,x x x ,1x ,2x ,3x 相互独立,则1x X =,21x x Y +=,321x x x Z ++=)|(Y Z H =)(3x H =log 6=2、585 bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6 =3、2744 bit)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ,所以)|(Y X H = 2)(X H -)(Y H =1、8955 bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H而)|(X Y H =)(X H ,所以)|(Y X H =2)(X H -)(Y H =1、8955 bit),|(Y X Z H =)|(Y Z H =)(X H =2、585 bit)|,(Y Z X H =)|(Y X H +)|(XY Z H =1、8955+2、585=4、4805 bit2、10 设一个系统传送10个数字,0,1,…,9。
奇数在传送过程中以0、5的概率错成另外一个奇数,其余正确接收,求收到一个数字平均得到的信息量。
解:信道XY9,7,5,3,1=i 8,6,4,2,0=i √Χ);(Y X I =)(Y H -)|(X Y H因为输入等概,由信道条件可知,⎪⎪⎩⎪⎪⎨⎧=++++====101)8181818121(101)(101)(为偶数为奇数i i y p i i y p 即输出等概,则)(Y H =log 10)|(X Y H =)|(log )(i j jj i ix y p y x p ∑∑-=)|(log )(i j jij i x y p yx p ∑∑-偶-)|(log )(i j j i j i x y p y x p ∑∑奇=0-)|(log )(i j j i jix y p yx p ∑∑奇= -)|(log )|()(97,5,3,1i i i ii i x y p x yp x p ∑=，-)|(log )|()(97531i j j i i i jix y p x yp x p ∑∑≠，，，，＝=101⨯21log 2⨯5+101⨯21⨯41log 8⨯4⨯5 =4341+=1 bit);(Y X I =)(Y H -)|(X Y H =log 10 -1=log 5=2、3219 bit2、11 令{821,,u u u ，⋯}为一等概消息集,各消息相应被编成下述二元码字1u =0000,2u =0011,3u =0101,4u =0110,5u =1001,6u =1010,7u =1100,8u =1111通过转移概率为p 的BSC 传送。
求:(a)接收到的第一个数字0与1u 之间的互信息量。
(b)接收到的前二个数字00与1u 之间的互信息量。
(c)接收到的前三个数字000与1u 之间的互信息量。
(d)接收到的前四个数字0000与1u 之间的互信息量。
解:即)0;(1u I ,)00;(1u I ,)000;(1u I ,)0000;(1u I)0(p =4)1(81⨯-p +481⨯p =21)0;(1u I =)0()|0(log 1p u p =211log p-=1+)1log(p - bit)00(p =]2)1(4)1(2[8122p p p p +-+-=41)00;(1u I =)00()|00(log 1p u p =4/1)1(log 2p -=)]1log(1[2p -+ bit)000(p =])1(3)1(3)1[(813223p p p p p p +-+-+-=81)000;(1u I =3[1+)1log(p -] bit)0000(p =])1(6)1[(814224p p p p +-+-)0000;(1u I =42244)1(6)1()1(8log pp p p p +-+-- bit 2、12 计算习题2、9中);(Z Y I 、);(Z X I 、);,(Z Y X I 、)|;(X Z Y I 、)|;(Y Z X I 。
解:根据题2、9分析)(Z H =2(216log 2161+3216log 2163+6216log 2166+10216log21610+ 15216log 21615+21216log 21621+25216log 21625+27216log21627) =3、5993 bit);(Z Y I =)(Z H -)|(Y Z H =)(Z H -)(X H =1、0143 bit );(Z X I =)(Z H -)|(X Z H =)(Z H -)(Y H =0、3249 bit );,(Z Y X I =)(Z H -)|(XY Z H =)(Z H -)(X H =1、0143 bit )|;(X Z Y I =)|(X Z H -)|(XY Z H =)(Y H -)(X H =0、6894 bit )|;(Y Z X I =)|(Y Z H -)|(XY Z H =)(X H -)(X H =0 bit 2、14 对于任意概率事件集X,Y ,Z,证明下述关系式成立(a))|,(X Z Y H ≤)|(X Y H +)|(X Z H ,给出等号成立的条件 (b))|,(X Z Y H =)|(X Y H +),|(Y X Z H (c)),|(Y X Z H ≤)|(X Z H 证明:(b) )|,(X Z Y H =-∑∑∑xyzx yz p xyz p )|(log )(=-∑∑∑xyzxy z p x y p xyz p )]|()|(log[)(=-∑∑∑xyzx y p xyz p )|(log )(-∑∑∑xyzxy z p xyz p )|(log )(=)|(X Y H +)|(XY Z H (c) ),|(Y X Z H =-∑∑∑xyzxy z p xyz p )|(log )(=∑∑xyxy p )([-∑zxy z p xy z p )|(log )|(]≤∑∑xyxy p )([-∑zx z p x z p )|(log )|(]=-∑∑∑xyzx z p xyz p )|(log )(=)|(X Z H当)|(xy z p =)|(x z p ,即X 给定条件下,Y 与Z 相互独立时等号成立 (a) 上式(c)左右两边加上)|(X Y H ,可得)|(X Y H +),|(Y X Z H ≤)|(X Y H +)|(X Z H 于就是)|,(X Z Y H ≤)|(X Y H +)|(X Z H2、28 令概率空间⎥⎥⎦⎤⎢⎢⎣⎡-=21,211,1X ,令Y 就是连续随机变量。
已知条件概率密度为⎪⎩⎪⎨⎧≤-<-=其他,022,41)|(x y x y p ,求:(a)Y 的概率密度)(y ω (b));(Y X I(c) 若对Y 做如下硬判决⎪⎩⎪⎨⎧-≤⋯⋯-≤<-⋯⋯>⋯⋯=1,111,01,1y y y V求);(V X I ,并对结果进行解释。
解:(a) 由已知,可得)1|(-=x y p =⎪⎩⎪⎨⎧⋯⋯≤<-⋯⋯else y 01341)1|(=x y p =⎪⎩⎪⎨⎧⋯⋯≤<-⋯⋯elsey 03141)(y ω=)1(-=x p )1|(-=x y p +)1(=x p )1|(=x y p=⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧⋯⋯≤<⋯⋯≤<-⋯⋯-≤<-⋯⋯elsey y y 0318111411381(b) )(Y H C =⎰⎰---+⨯11134log 4128log 81=2、5 bit)|(X Y H C =⎰--=-=-=-13)1|(log )1|()1(dy x y p x y p x p⎰-===-31)1|(log )1|()1(dy x y p x y p x p=dy dy ⎰⎰----311341log 412141log 4121 =2 bit);(Y X I =)(Y H C -)|(X Y H C =0、5 bit (c) 由)(y ω再由5.14log 242log 2)(=⨯+=V H bit 2]2log 212log 21[21)|(⨯+=X V H =1 bit);(V X I =)|()(X V H V H -= 0、5 bit2、29 令)(1x Q 与)(2x Q 就是同一事件集U 上的两个概率分布,相应的熵分别为1)(U H 与2)(U H 。
(a)对于10≤≤λ,证明)(x Q =λ)(1x Q +)1(λ-)(2x Q 就是概率分布(b))(U H 就是相应于分布)(x Q 的熵,试证明)(U H ≥λ1)(U H +)1(λ-2)(U H 证明:(a) 由于)(1x Q 与)(2x Q 就是同一事件集U 上的两个概率分布,于就是)(1x q ≥0,)(2x q ≥0dx x q x⎰)(1=1,dx x qx⎰)(2=1又10≤≤λ,则)(x q =λ)(1x q +)1(λ-)(2x q ≥0dx x q x⎰)(=dx x q x⎰)(1λ+dx x qx⎰-)()1(2λ=1因此,)(x Q 就是概率分布。