信息论与编码习题与答案第三章
信息论与编码理论习题答案
信息论与编码理论习题答案LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】第二章 信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log = bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log = bit 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6= bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H = bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H = bit),|(Y X Z H =)|(Y Z H =)(X H = bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =+= bit设一个系统传送10个数字，0，1，…，9。
信息与编码理论课后习题答案
2.1 莫尔斯电报系统中，若采用点长为0.2s ，1划长为0.4s ，且点和划出现的概率分别为2/3和1/3，试求它的信息速率(bits/s)。
解: 平均每个符号长为:1544.0312.032=⨯+⨯秒 每个符号的熵为9183.03log 3123log 32=⨯+⨯比特/符号所以，信息速率为444.34159183.0=⨯比特/秒2.2 一个8元编码系统，其码长为3，每个码字的第一个符号都相同(用于同步)，若每秒产生1000个码字，试求其信息速率(bits ／s)。
解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特；所以，信息速率为600010006=⨯比特/秒2.3 掷一对无偏的骰子，若告诉你得到的总的点数为：(a ) 7；(b ) 12。
试问各得到了多少信息量?解: (a)一对骰子总点数为7的概率是366 所以，得到的信息量为 585.2)366(log 2= 比特(b) 一对骰子总点数为12的概率是361 所以，得到的信息量为 17.5361log 2= 比特2.4经过充分洗牌后的一付扑克(含52张牌)，试问：(a) 任何一种特定排列所给出的信息量是多少? (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量?解: (a)任一特定排列的概率为!521, 所以，给出的信息量为 58.225!521log 2=- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 13131313525213!44A C ⨯=所以，得到的信息量为 21.134log 1313522=C 比特.2.5 设有一个非均匀骰子，若其任一面出现的概率与该面上的点数成正比，试求各点出现时所给出的信息量，并求掷一次平均得到的信息量。
解:易证每次出现i 点的概率为21i,所以比特比特比特比特比特比特比特398.221log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21log )(2612=-==============-==∑=i i X H x I x I x I x I x I x I i ii x I i2.6 园丁植树一行，若有3棵白杨、4棵白桦和5棵梧桐。
信息论与编码习题解答
信息论与编码习题解答信息论与编码习题解答第⼀章1.⼀位朋友很不赞成“通信的⽬的是传送信息”及“消息中未知的成分才算是信息”这些说法。
他举例说：我多遍地欣赏梅兰芳⼤师的同⼀段表演，百看不厌，⼤师正在唱的正在表演的使我愉快，将要唱的和表演的我都知道，照你们的说法电视⾥没给我任何信息，怎么能让我接受呢？请从信息论的⾓度对此做出解释。
（主要从狭义信息论与⼴义信息论研究的内容去理解和解释）答：从狭义信息论⾓度，虽然将要表演的内容观众已知，但是每⼀次演出不可能完全相同。
⽽观众在欣赏的同时也在接受着新的感官和视听享受。
从这⼀⾓度来说，观众还是可以得到新的信息的。
另⼀种解释可以从⼴义信息论的⾓度来分析，它涉及了信息的社会性、实⽤性等主观因素，同时受知识⽔平、⽂化素质的影响。
京剧朋友们在欣赏京剧时也因为主观因素⽽获得了享受，因此属于⼴义信息论的范畴。
2．利⽤下图（图1.2）所⽰的通信系统分别传送同样时间（例如⼗分钟）的重⼤新闻公告和轻⾳乐，它们在接收端各⽅框的输⼊中所含的信息是否相同，为什么？图1.2 通信系统的⼀般框图答：重⼤新闻是语⾔，频率为300~3400Hz，⽽轻⾳乐的频率为20~20000Hz。
同样的时间内轻⾳乐的采样编码的数据要⽐语⾳的数据量⼤，按码元熵值，⾳乐的信息量要⽐新闻⼤。
但是在信宿端，按信息的不确定度，信息量就应分别对待，对于新闻与⾳乐的信息量⼤⼩在⼴义上说，因⼈⽽异。
第⼆章1．⼀珍珠养殖场收获240颗外观及重量完全相同的特⼤珍珠，但不幸被⼈⽤外观相同但重量仅有微⼩差异的假珠换掉1颗。
（1）⼀⼈随⼿取出3颗，经测量恰好找出了假珠，问这⼀事件⼤约给出了多少⽐特的信息量；（2）不巧假珠⼜滑落进去，那⼈找了许久却未找到，但另⼀⼈说他⽤天平最多6次能找出，结果确是如此，问后⼀事件给出多少信息量；（3）对上述结果作出解释。
解：（1）从240颗珍珠中取3颗，其中恰好有1颗假珠的概率为：22393240239!2!237!240!3!237!11/80240/3C P C====所以，此事件给出的信息量为：I = – log 2P = log 280=6.32 (bit)（2）240颗中含1颗假珠，⽤天平等分法最多6次即可找到假珠，这是⼀个必然事件，因此信息量为0。
信息论第3章课后习题答案
信息论第3章课后习题答案信息论是一门研究信息传输、存储和处理的学科。
它的核心理论是香农信息论，由克劳德·香农于1948年提出。
信息论的应用范围广泛，涵盖了通信、数据压缩、密码学等领域。
在信息论的学习过程中，课后习题是巩固知识、检验理解的重要环节。
本文将对信息论第3章的课后习题进行解答，帮助读者更好地理解和掌握信息论的基本概念和方法。
1. 证明：对于任意两个随机变量X和Y，有H(X,Y)≤H(X)+H(Y)。
首先，根据联合熵的定义，有H(X,Y)=-∑p(x,y)log2p(x,y)。
而熵的定义为H(X)=-∑p(x)log2p(x)和H(Y)=-∑p(y)log2p(y)。
我们可以将联合熵表示为H(X,Y)=-∑p(x,y)log2(p(x)p(y))。
根据对数的性质，log2(p(x)p(y))=log2p(x)+log2p(y)。
将其代入联合熵的表达式中，得到H(X,Y)=-∑p(x,y)(log2p(x)+log2p(y))。
再根据概率的乘法规则，p(x,y)=p(x)p(y)。
将其代入上式中，得到H(X,Y)=-∑p(x,y)(log2p(x)+log2p(y))=-∑p(x,y)log2p(x)-∑p(x,y)log2p(y)。
根据熵的定义，可以将上式分解为H(X,Y)=H(X)+H(Y)。
因此，对于任意两个随机变量X和Y，有H(X,Y)≤H(X)+H(Y)。
2. 证明：对于一个随机变量X，有H(X)≥0。
根据熵的定义，可以得到H(X)=-∑p(x)log2p(x)。
由于概率p(x)是非负的，而log2p(x)的取值范围是负无穷到0之间，所以-p(x)log2p(x)的取值范围是非负的。
因此，对于任意一个随机变量X，H(X)≥0。
3. 证明：对于一个随机变量X，当且仅当X是一个确定性变量时，H(X)=0。
当X是一个确定性变量时，即X只能取一个确定的值，概率分布为p(x)=1。
信息论与纠错编码题库
第三章 离散信源无失真编码3.2离散无记忆信源，熵为H[x]，对信源的L 长序列进行等长编码，码字是长为n 的D 进制符号串，问：（1）满足什么条件，可实现无失真编码。
（2）L 增大，编码效率 也会增大吗？ 解：（1）当log ()n D LH X ≥时，可实现无失真编码；（2）等长编码时，从总的趋势来说，增加L 可提高编码效率，且当L →∞时，1η→。
但不一定L 的每次增加都一定会使编码效率提高。
3.3变长编码定理指明，对信源进行变长编码，总可以找到一种惟一可译码，使码长n 满足D X H log )(≤n <D X H log )(+L 1,试问在n >D X H log )(+L1时，能否也找到惟一可译码？ 解：在n >D X H log )(+L1时，不能找到惟一可译码。
证明：假设在n >D X H log )(+L1时，能否也找到惟一可译码，则由变长编码定理当n 满足D X H log )(≤n <D X H log )(+L 1，总可以找到一种惟一可译码知：在n ≥DX H log )( ① 时，总可以找到一种惟一可译码。
由①式有：Ln ≥L X H )(logD ② 对于离散无记忆信源，有H(x)=L X H )( 代入式②得：n L ≥ Dx H log )( 即在nL≥Dx H log )(时，总可以找到一种惟一可译码；而由定理给定熵H （X ）及有D 个元素的码符号集，构成惟一可译码，其平均码长满足D X H log )(≤n L <DX H log )(+1 两者矛盾，故假设不存在。
所以，在n >D X H log )(+L1时，不能找到惟一可译码。
3.7对一信源提供6种不同的编码方案：码1~码6，如表3-10所示表3-10 同一信源的6种不同编码 信源消息 消息概率 码1 码2 码3 码4 码5 码6 u1 1/4 0 001 1 1 00 000 u2 1/4 10 010 10 01 01 001 U3 1/8 00 011 100 001 100 011 u4 1/8 11 100 1000 0001 101 100 u5 1/8 01 101 10000 00001 110 101 u6 1/16 001 110 100000 000001 1110 1110 u71/161111111000000000000111111111（1） 这些码中哪些是惟一可译码？ （2） 这些码中哪些是即时码？（3） 对所有唯一可译码求出其平均码长。
信息论与编码陈运主编答案完整版
p x x( i1 i3 )log p x( i3 / xi1)
i1 i2 i3
i1 i3
∑∑∑ ∑∑∑ = −
p x x x( i1 i2i3 )log p x( i3 / x xi1 i2 ) +
p x x x( i1 i2i3 )log p x( i3 / xi1)
i1
i2 i3 i1 i2 i3 p x( i3 / xi1)
( 1)
5 / 61
⎧p e( 1 ) = p e( 2 ) = p e( 3 ) ⎨
⎩p e( 1 ) + p e( 2 ) + p e( 3 ) =1 ⎧p e( 1 ) =1/3 ⎪ ⎨p e( 2 ) =1/3 ⎪⎩p e( 3 ) =1/3
⎧p x( 1 ) = p e( 1 ) (p x1 /e1 ) + p e( 2 ) (p x1 /e2 ) = p p e⋅( 1 ) + p p e⋅( 2 ) = (p + p)/3 =1/3 ⎪⎪ ⎨p x( 2 ) = p e( 2 ) (p x2 /e2 ) + p e( 3 ) (p x2 /e3 ) =p p e⋅( 2 ) + p p e⋅( 3 ) = (p + p)/3 =1/3
p x( i ) = I x( i ) =−log p x( i ) = log52!= 225.581 bit
(2) 52 张牌共有 4 种花色、13 种点数，抽取 13 张点数不同的牌的概率如下：
413 p x( i ) =
C5213
413 I x( i ) = −log p x( i ) = −log C5213 =13.208 bit
解： (1)
信息论与编码习题参考答案
1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。
求传输此图象所需要的信息率（bit/s ）。
解：bit/s 104.98310661.130)/)(()/(R bit/frame10661.1322.3105)(H 105)(H bit/pels322.310log )(log )()(H 7665051010⨯=⨯⨯=⨯=∴⨯=⨯⨯=⨯⨯====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性：由于亮度电平等概出现1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。
试证明传输这种彩电系统的信息率要比黑白系统的信息率大2.5倍左右。
证:.5.2,,5.25.2477.210log 300log )(H )(H pels/bit 300log )(log )()(H bit 3001030,10,,300130011倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=⨯∑=x x b p b p x i i i1.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。
问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？ 解:个汉字最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量55665510322.6/10322.61.0log 101.2)()()()(,log H(c):1.0100001000symble /bit 101.2128log 103)(103)(:⨯∴⨯=-⨯=≥≤-=∴==⨯=⨯⨯=⨯⨯=frame c H X H n c nH X H n p p x H X H1.9给定一个概率分布),...,,(21n p p p 和一个整数m ，nm ≤≤0。
信息论与编码(第三章)-100406
3.3 变长编码定理
单个符号变长编码定理： 若一离散无记忆信源的符号熵为H(X)，每个信源符号用m进制码元进 行变长编码，一定存在一种无失真编码方法，其码字平均长度K 满 足下列不等式
H(X ) H(X ) K 1 log m log m
3.1 编码的定义
表3-1 不同码字 信源符号 符号出现的概 码1 xi 率p(xi) 码2 码3 码4 码5
x1 x2 x3 x4
8/16 4/16 3/16 1/16
0 11 00 11
0 10 00 01
1 10 100
1 01 001
00 01 10
1000 0001 11
从表中1、引出奇异码和非奇异码；定长码和可变长度码；唯一可 译码和非唯一可译码；非即时码和即时码及延长码的概念。 2、唯一可译码必须满足什么条件？ 3、符号概率不等说明可变长度码编码的必要性。
i 1
4
Ki
2 2
1
2
2
2
2
3
9 1 8
0 0 10 110
树码
因此，不存在满足这种Ki的唯一可译码, 用树码进行检查如右图。 码字分别为{0，10，11，110}
1 0 1 0 11
2013年7月29日1时24分
北京工商大学信息工程学院
信息论与编码
11
3.1 编码的定义
3.1 编码的定义
非分组码 编码总结： 奇异码 码 非唯一可译码 分组码 非奇异码 非即时码 唯一可译码 即时码
定长码和可变长度码:固定长度的码，码中所有码字的长度都相同，是定 长码。 奇异码和非奇异码：若信源符号和码字是一一对应的，则该码为非奇异 码。反之为奇异码。 唯一可译码：任意有限长的码元序列，只能被唯一地分割成一个个的码 字，便称为唯一可译码。 非即时码和即时码：如果接收端收到一个完整的码字后，不能立即译码， 还需等下一个码开始接收后才能判断是否可以译码，这样的码叫做非即时 码。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
由于 ，每个二元符号的信息量为1bit,14000个符号14000bit的信息，传输14000bit的信息需要时间
不能无失真的传输
=
bit/symbol
（3）当接收为 ，发为 时正确，如果发的是 则为错误，各自的概率为：
则错误概率为：
（4）
从接收端看平均错误概率为
（5）从发送端看的平均错误概率为：
（6）能看出此信道不好。原因是信源等概率分布，从转移信道来看正确发送的概率x1→y1的概率0.5有一半失真；x2→y2的概率0.3有严重失真；x3→y3的概率0完全失真。
(1)接收端收到一个符号后得到的信息量H(Y);
(2)计算噪声熵 ;
(3)计算接收端收到一个符号 的错误概率；
(4)计算从接收端看的平均错误概率；
(5)计算从发送端看的平均错误概率；
(6)从转移矩阵中能看出该新到的好坏吗？
(7)计算发送端的H(X)和 。
解：(1)
（2）联合概率 ，后验概率
H(Y/X)=
解：由题意可知该二元信道的转移概率矩阵为： 为一个BSC信道所以由BSC信道的信道容量计算公式得到：
3-6设有扰离散信道的传输情况分别如图3－17所示。求出该信道的信道容量。
解：信道转移概率矩阵为P= 该信道为离散对称信道DMC
3-7发送端有三种等概率符号 ， ,接收端收到三种符号 ，信道转移概率矩阵为
3.1设二元对称信道的传递矩阵为
(1)若P(0)= 3/4,P(1)= 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；
(2)求该信道的信道容
其最佳输入分布为
3.3在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。
（7） bit/symbol
H(X/Y)=
i
bit/symbol
3-10一个平均功率受限制的连续信道，其通频带为1MHZ，信道上存在白色高斯噪声。
（1）已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；
（2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？
（3）若信道通频带减小为0.5MHZ时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大？
解：（1）
（2）
（3）
3-12有一个二元对称信道，其信道转移概率如下图所示，该信道以1500个二元符号/s的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中p(0)=p(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？