信息论第四章习题解答
信息论与编码理论习题答案
信息论与编码理论习题答案LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】第二章 信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log = bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log = bit 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6= bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H = bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H = bit),|(Y X Z H =)|(Y Z H =)(X H = bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =+= bit设一个系统传送10个数字，0，1，…，9。
《信息论与编码》习题解答-第四章(新)
《信息论与编码》习题解答第四章 信息率失真函数-习题答案4.1解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0110d ，转移概率⎥⎦⎤⎢⎣⎡--=εεεε11)|(i j a b p 平均失真：εεεεε=⨯-⨯+⨯⨯+⨯⨯+⨯-⨯==∑∑==0)1(2/112/112/10)1(2/1),()|()(2121j i i j i j i b a d a b p a p D4.2解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0210d ， 0min =D ,∑=⨯+⨯=⨯+⨯===ij i i j j y x d x p D D )102/122/1(2/112/102/1),()(min min max 舍去当0min =D ，bit X H R D R 12log )()0()(min ====因为没有失真，此时的转移概率为⎥⎦⎤⎢⎣⎡=1001P当2/1max =D ，0)(max =D R因为取的是第二列的max D 值，所以输出符号概率:,1)(,0)(21==b p b p ,,2221b a b a →→因此编码器的转移概率为⎥⎦⎤⎢⎣⎡=1010P 4.3解：0min =D0041041041041),(min )(43041141141141),()(min min min max =⨯+⨯+⨯+⨯===⨯+⨯+⨯+⨯===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 当0min =D ，bit X H R D R 24log )()0()(min ==== 因为没有失真，此时的转移概率为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000010000100001P 当4/3max =D ，0)(max =D R因为任何一列的max D 值均为3/4，所以取输出符号概率:0)(,0)(,0)(,1)(4321====b p b p b p b p ，即14131211,,,b a b a b a b a →→→→因此编码器的转移概率为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0001000100010001P 4.4解： 依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=4/1014/110d ， 0min =D∑=⨯+⨯===ij i i j j y x d x p D D )2/12(4/1)4/12/14/12/1min(),()(min min max 个均为其它当0min =D ，bit X H R D R 12log )()0()(min ====因为没有失真，此时的转移概率为⎥⎦⎤⎢⎣⎡=010001P 当4/1max =D ，0)(max =D R因为取的是第三列的max D 值为1/4，所以取输出符号概率:1)(,0)(,0)(321===b p b p b p ，即3231,b a b a →→因此编码器的转移概率为⎥⎦⎤⎢⎣⎡=100100P 4.5解：(1)依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0110d ，转移概率为：⎥⎦⎤⎢⎣⎡-=q q P 101 )1(0)1()1(1)1(1001),()|()(11p q q p q p p p y x d x y p x p D n i mj j i i j i -⨯=⨯-⨯-+⨯⨯-+⨯⨯+⨯⨯==∑∑==(2) 0min =D因为)(D R 是D 的递减函数，所以)1log()1(log )()()())(m ax (min min p p p p D H p H D R D R ----=-==当0=q 时可达到))(max(D R ，此时0=D(3) ∑-=⨯+⨯===iji i j j ，p p p p y x d x p D D )1(10),()(min min max 舍去更大另一个 因为)(D R 是D 的递减函数，所以0)()()())(m in(max max =-==D H p H D R D R当1=q 时可达到))(min(D R ，此时p D -=1(图略，见课堂展示)4.6解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡∞∞=1010d ，信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡2/12/110)(u p u 0min =D ，∑⨯+⨯⨯+∞⨯∞⨯+⨯===iji i j j y x d x p D D )12/112/1,02/12/1,2/102/1min(),()(min min max )(1]1,,m in[舍去另二个，∞=∞∞=10≤≤D因为二元等概信源率失真函数：⎪⎭⎫ ⎝⎛-=a D H n D R ln )( 其中1,2==a n ，所以率失真函数为：D D R -=1)(4.7解：失真矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011101110d ，按照P81页方法求解。
信息论与编码习题解答
信息论与编码习题解答信息论与编码习题解答第⼀章1.⼀位朋友很不赞成“通信的⽬的是传送信息”及“消息中未知的成分才算是信息”这些说法。
他举例说：我多遍地欣赏梅兰芳⼤师的同⼀段表演，百看不厌，⼤师正在唱的正在表演的使我愉快，将要唱的和表演的我都知道，照你们的说法电视⾥没给我任何信息，怎么能让我接受呢？请从信息论的⾓度对此做出解释。
（主要从狭义信息论与⼴义信息论研究的内容去理解和解释）答：从狭义信息论⾓度，虽然将要表演的内容观众已知，但是每⼀次演出不可能完全相同。
⽽观众在欣赏的同时也在接受着新的感官和视听享受。
从这⼀⾓度来说，观众还是可以得到新的信息的。
另⼀种解释可以从⼴义信息论的⾓度来分析，它涉及了信息的社会性、实⽤性等主观因素，同时受知识⽔平、⽂化素质的影响。
京剧朋友们在欣赏京剧时也因为主观因素⽽获得了享受，因此属于⼴义信息论的范畴。
2．利⽤下图（图1.2）所⽰的通信系统分别传送同样时间（例如⼗分钟）的重⼤新闻公告和轻⾳乐，它们在接收端各⽅框的输⼊中所含的信息是否相同，为什么？图1.2 通信系统的⼀般框图答：重⼤新闻是语⾔，频率为300~3400Hz，⽽轻⾳乐的频率为20~20000Hz。
同样的时间内轻⾳乐的采样编码的数据要⽐语⾳的数据量⼤，按码元熵值，⾳乐的信息量要⽐新闻⼤。
但是在信宿端，按信息的不确定度，信息量就应分别对待，对于新闻与⾳乐的信息量⼤⼩在⼴义上说，因⼈⽽异。
第⼆章1．⼀珍珠养殖场收获240颗外观及重量完全相同的特⼤珍珠，但不幸被⼈⽤外观相同但重量仅有微⼩差异的假珠换掉1颗。
（1）⼀⼈随⼿取出3颗，经测量恰好找出了假珠，问这⼀事件⼤约给出了多少⽐特的信息量；（2）不巧假珠⼜滑落进去，那⼈找了许久却未找到，但另⼀⼈说他⽤天平最多6次能找出，结果确是如此，问后⼀事件给出多少信息量；（3）对上述结果作出解释。
解：（1）从240颗珍珠中取3颗，其中恰好有1颗假珠的概率为：22393240239!2!237!240!3!237!11/80240/3C P C====所以，此事件给出的信息量为：I = – log 2P = log 280=6.32 (bit)（2）240颗中含1颗假珠，⽤天平等分法最多6次即可找到假珠，这是⼀个必然事件，因此信息量为0。
信息论与编码第三版答案
信息论与编码第三版答案《信息论与编码》是一本非常经典的书籍，已经成为了信息科学领域中的经典教材。
本书的第三版已经出版，相比于前两版，第三版的变化不小，主要是增加了一些新内容，同时也对一些旧内容做了修改和完善。
作为一本教材，上面的题目和习题都是非常重要的，它们可以帮助读者更好地理解书中的相关概念和知识点，同时也可以帮助读者更好地掌握理论和技术。
因此，本文将介绍《信息论与编码》第三版中部分习题的答案，方便读者快速查阅和学习。
第一章：信息量和熵1.1 习题1.1Q：两个随机变量的独立性和无关性有什么区别？A：独立性和无关性是两个不同的概念。
两个随机变量是独立的，当且仅当它们的联合概率分布等于乘积形式的边缘概率分布。
两个随机变量是无关的，当且仅当它们的协方差等于0。
1.2 习题1.7Q：什么样的随机变量的熵等于0？A：当随机变量的概率分布是确定的（即只有一个概率为1，其余全为0），其熵等于0。
第二章：数据压缩2.5 习题2.9Q：为什么霍夫曼编码比熵编码更加高效？A：霍夫曼编码能够更好地利用信源的统计特征，将出现频率高的符号用较短的二进制编码表示，出现频率低的符号用较长的二进制编码表示。
这样一来，在编码过程中出现频率高的符号会占用较少的比特数，从而能够更加高效地表示信息。
而熵编码则是针对每个符号分别进行编码，没有考虑符号之间的相关性，因此相比于霍夫曼编码更加低效。
第四章：信道编码4.2 习题4.5Q：在线性块码中，什么是生成矩阵？A：在线性块码中，生成矩阵是一个包含所有二元线性组合系数的矩阵。
它可以用来生成码字，即任意输入信息序列可以通过生成矩阵与编码器进行矩阵乘法得到相应的编码输出序列。
4.3 习题4.12Q：简述CRC校验的原理。
A：CRC校验是一种基于循环冗余校验的方法，用于检测在数字通信中的数据传输错误。
其基本思想是将发送数据看作多项式系数，通过对这个多项式进行除法运算，得到余数，将余数添加到数据尾部，发送给接收方。
信息论第四章习题解答
元
纠正或者发现，因此漏检概率为：
编
10
码
P漏 = C1n0 Pen (1 - Pe)10-n
n=3
C130 Pe3 (1 - Pe)7= 1.210-10 .
9
习题解答
第 4.7 写出信息位 k = 6 且能纠正 1 个错的汉明码。
四 解 (1) 要能纠一位错，监督位数 r 必须满足 2r n 1,
1101 001
0
抗
干
校验子 s1 s2 s3 s4 s5 s6 s7
s0
扰
二
对于收到的码字 C = ( x1 x2 x3 x4 x5 x6 x7 ) ,
元 编 码
若 [H~ ]CT = si , 则第 i 位错 ( i = 1, 2, 3, 4, 5, 6, 7)； 若 [H~ ]CT = s0 , 则无错。
四
和监督阵，并分别写出系统码和非系统码。
章 解 (3) 由生成矩阵作行变换即得标准生成矩阵：
抗
1000 101
干
[G~] =
0100 0010
111 110
(P 187)
扰
0001 011
二 元
1110 100 (4) 监督阵 [H ] = 0 1 1 1 0 1 0 (P 179)
编
1101 001
四
能力。若已知信道的误码率 Pe = 10-4 , 求系统的正确接
章
收概率和漏检概率。
抗 解 (1) 正反码的最小码距为 dmin = 4 .
干
作为检错码，可以发现 3 位错误；
扰
作为纠错码，可以纠正 1 位错误且发现 2 位错误。
二
元
注：实际上，正反码仅仅用作纠错码 。
信息论与编码习题答案-曹雪虹
3-14
信源 符号 xi x1 x2 x3 x4 x5 x6 x7
符号概 率 pi 1/3 1/3 1/9 1/9 1/27 1/27 1/27 1/3 1/3 1/9 1/9 2/27 1/27 1/3 1/3 1/9 1/9 1/9
编码过程
编码 1/3 1/3 1/3 2/3 1/3 00 01 100 101 111 1100 1101
得p0p1p223当p0或p1时信源熵为0第三章无失真信源编码31321因为abcd四个字母每个字母用两个码每个码为05ms所以每个字母用10ms当信源等概率分布时信源熵为hxlog42平均信息传递速率为2信源熵为hx0198bitms198bitsbitms200bits33与上题相同351hu12log2?14log4?18log8?116log16?132log32?164log64?1128log128?1128log128?1984111111112481632641281282每个信源使用3个二进制符号出现0的次数为出现1的次数为p0p134相应的香农编码信源符号xix1x2x3x4x5x6x7x8符号概率pi12141811613216411281128累加概率pi00507508750938096909840992logpxi12345677码长ki12345677码字010110111011110111110111111011111110相应的费诺码信源符号概符号xi率pix1x2x3x4x5x6x7x812141811613216411281128111第一次分组0第二次分组0第三次分组0第四次分组0第五次分组011第六次分组01第七次分组01二元码0101101110111101111101111110111111105香农码和费诺码相同平均码长为编码效率为
信息论第四章习题解答
四 解 (1) 要能纠一位错，监督位数 r 必须满足 2r ? n ? 1,
章
由 n = 6 ? r 可求得满足该条件的最小的 r 为 r = 4 .
抗
故需构造 (10, 6 ) 码。
干
(2) 可以构造出多种 (10, 6 ) 码，下面仅给出其中的一种。
扰
111100 1000
二 元
监督阵 [H ] =
二
元 编
当
d
为偶数时，可以纠正
??? d
2
2 ?? 位错误， ?
码
且发现 ?? d - 2 ?? ? 1 位错误。
?2?
4
习题解答
第 4.4 试计算 ( 8, 7 ) 奇偶校验码的漏检概率和编码效率，
四
已知码元的错误概率为 Pe = 10- 4 .
章 解 (1) 奇偶校验码不能发现偶数位错误，其漏检概率为：
码
(5) 系统码和非系统码 (略)。
(P 175)
19
习题解答
第 4.13 已知 (7, 4) 循环码的生成多项式为 g( x) = x3 ? x2 ? 1,
四
当收到一循环码字为 0010011 时，根据校验子判断有
章
无错误？哪一位错了？
抗 解 (1) 求校验子 干 扰 二 元 编 码
c0 位错 c1 位错 c2 位错 c3 位错 c4 位错 c5 位错 c6 位错
00000，11101，11110，11000，10100。
编
码
2
习题解答
第 4.2 求 000000、110110、011101、101010 四码字的汉明距离，
四
并据此拟出校正错误用的译码表。
信息论与编码技术第四章课后习题答案
解：（1） D =
∑ P(u,υ )d (u,υ ) = (1 − p)q
UV
（2）根据题4.5，可知R(D)的最大值为H(p),此时q=0,平均失真D=0; （3）R(D)的最大值为0,此时q=1,平均失真D=（1-p）; 4.7 设连续信源 X ，其概率密度分布为
p ( x) =
a − a | x| e 2
达到
D
min
的信道为
⎡1 ⎡1 0 ⎤ ⎡1 0 ⎤ ⎢ ⎥ ⎢ ⎥ ⎢1 [ P (υ j | u i )] = ⎢ ⎢ 0 1 ⎥ , ⎢1 0 ⎥ 或 ⎢ 2 ⎢ ⎣0 1 ⎥ ⎦ ⎢ ⎣0 1⎥ ⎦ ⎢0 ⎣
4.2 已知二元信源 ⎢
0⎤ 1⎥ ⎥ 2⎥ 1⎥ ⎦
1 ⎤ ⎡ X ⎤ ⎡ 0, ⎡0 1⎤ =⎢ =⎢ 以及失真矩阵 ⎡ dij ⎤ ⎥ ⎥ ⎥ ，试求： ⎣ ⎦ ⎣ p ( x ) ⎦ ⎣ p, 1 − p ⎦ ⎣1 0 ⎦
g (θ ) 的傅立叶变换
G s(w) = ∫
+∞ −∞
g
s
(θ )e
− jwθ
dθ =
s
2
s
2 2
+w
, (3)
得: Q( w) = P ( w) + w2 P( w), (4)
2
s
求式（4）的傅立叶反变换，又根据式（2）得
p( y ) = p( x = y) − D 所以 p( y ) =
2
p ( x = y), (5)
⎡0 ⎢1 定义为 D = ⎢ ⎢1 ⎢ ⎣1
解：
1 0 1 1
1 1 0 1
1⎤ 1⎥ ⎥ ，求 Dmax , Dmin 及信源的 R ( D ) 函数，并作出率失真函数曲线(取4到5个点)。 1⎥ ⎥ 0⎦
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
， ，则
， ，则
对不满足上述条件的（ ， ），则
解：依照已给条件，可以改造成半可抹信道！
同样：
所以改造后的信道实际上是一个准对称信道：
从传输效率来看，重复传输使得信道容量减半，但是误码率确大幅降低！
同样：
（3）取三个样值 、 、 ，取值都是 ，对相应的 、 、 进行下列检测：
（1） 信道
0
1
0
1
0
1
解法一：
因为不属于三种有规律的离散信道，所以只能从定义出发找最大互信息。
解法二：设一可逆矩阵信道：
当0时，此信道就转为Z信道。
按其解法，分为两步求解：
（2）可抹信道
0
1
0
1
这是一个准对称信道！
如果ε1→0；ε2≠0会有何种结果呢？
（3）非对称信道
0
1
0
1
（4）准对称信道
0
1
2
（4）若用一般离散无记忆信道代替上面的二元对称信道。试写出上面（1）、（2）、（3）三种情况下的表达式。
5.3信道输入集 上定义费用函数 ，称 是平均费用，称 受平均费用 制约的信道容量为信道费用函数 ，试求下列诸信道的 ？
（1）
0
1
2
0
1
0
0
1
0
2
0
， ，
（2）
0
1
0
0
1
0
， ，
（3） ，
5.4有一全可抹信道如下图所示：
2)要想提高可靠性减少失真，则传信率就要降低，因信道中或者采取重复传输或采用增添纠错信息（如增加反馈机制）。
3)比较两个二元对称信道方案，可以看出第四方案从性价比来看比较有利，而且实现成本不高！相比与两个半可抹信道来看它客服了传输率下降太多和单独设立反馈信道的成本代价。
Q.E.D.
（2）
可见提高信扰比可以降低对频带的需求。Q.E.D.
5.9有 个相互独立的高斯信道，各具有频带 和噪声功率谱 ，容许输入功率为 ，求下列条件下的总容量：
（1） ，设 =常量，与 无关， 已给。
（2） ，设 =常量，与 无关。
（3）上述两式同时满足，设 =常量，与 无关。
解：(1).设：
即：按频带均分功率可以获得最大信道容量。
改造方案传输效率信道类型传输差错率减少失真的途径原高斯信道100单符号高斯信道00成本高732二元对称信道8016提高信噪比ii571半可抹信道80026降低速率增加反馈信道iii37半可抹信道800041降低速率增加反馈信道iv60二元对称信道80079降低速率减少失真分析
第五章习题
5.1求下列各离散信道的容量（其条件概率 如下）：
（1）输入 ，即二元变量：输出 是连续的，用检测器输出 如下：
，则
，则
解：设改造的离散信道如下图所示：（一般连续改造成离散在信道容量上总要吃亏！）
这是标准的正态函数。
同理，另外三个信道特征也是可以同样推出。
因此，离散信道的条件概率矩阵（信道数字特征）就为：
因为这是一个二元对称信道，所以改造后的离散信道的信道容量CD为：
原高斯信道
100%
单符号高斯信道
ε=0.0
成本高
73.2%
二元对称信道
ε=0.16
提高信噪比
57.1%
半可抹信道
ε=0.026
降低速率增加反馈信道
37%
半可抹信道
ε=0.0041
降低速率增加反馈信道
60%
二元对称信道
ε=0.079
降低速率减少失真
分析：
1)要想提高传输效率，则必然失真将会增大；这是再以牺牲可靠性为代价的。
这是产生误码的事件，无信息接收。
这是根本不可能发生的事件。
⑶.∵在单位时间内共发了N个符号，但正确接收到只有 个符号。
∴ Q.E.D.
5.7设电话信号的信息率为5.6 比特/秒，在一个噪声功率谱为 =5 毫瓦/赫、限频 、输入功率 的高斯信道中传送，若 =4千赫，问无差错传输所需的最小功率 是多少瓦？若 ，则 是多少瓦？
， ， ，则
， ， ，则
其它，则
解：按上述分析解法，我们也可得到一个准对称的离散信道，其条件概率矩阵为：
（4）同（2），但检测方式为：
，则
，则
解：因为输入与第二方案相同，但检测准则发生改变，即：
同理：
所以改造后的信道实际上仍是一个对称信道：
改造方案
传输效率（η）
信道类型
传输差错率(ε)
减少失真的途径
(2).设频带受限：
同样：当
显然： ，即是与k无关的量。
(3).如果功率、频带均受限，即：
同样，用偏导来求极值。
Q.E.D.
5.14要把连续的限输入功率 和噪声功率 的高斯信道改造成二元输入离散信道可以有不同的方法，今列举下列几种方案：求改造后的几种离散信道的容量。为了进行比较，令 ，计算连续信道容量及各离散信道和相应的改造效率 。
⑴.求信道容量。
⑵.当 时,求以下各随机量间的自互信息：
和 ,并加以解释。
⑶.若有一无干扰的反馈信道，能即时通知发端收到E，要求重发，这样就可能实现无差错传输，问此时的传输信息率是多少？
解：⑴.∵此信道的条件概率P(Y/X)为：
X
Y
0
1
E
0
1－ε
0
ε
1
0
1－ε
ε
∴这是一个准对称信道
则：
又∵
∴
∴
⑵.
这是一个完成无差错传输事件的信息。
3
0
1
5.2用差错率为 的二元对称信道（BSC）构成下列复合信道
（1）链接信道（图5.12（a））
求当输入为 ，输出为 时的信道容量 ，并证明
（2）并联输入信道（图5.12（b））
求把输入 并接到各信道，输出是矢量（ … ）时的信道容量 ，并证明
比特/符号
（3）“和”信道（图5.12（c））
输入 的集合是各 的集合的和，即 ；输出 的集合是各 的集合的和，求这“和”信道 的容量 ，并证明
解：当信道容量大于或等于信号的信息率时，才能无差错传输。因此：
即，此输ห้องสมุดไป่ตู้信号的最小限输入功率P应大于或等于 毫瓦。
若 ；则
Q.E.D.
5.8已知一个高斯信道，输入信扰比（功率）为3，频带为3 ，求最大可能传送的信息率；若信扰比提高到15，求理论上传送同样的信息率所需的频带。
解：（1）、
理论上最大可能传送的信息率为6kbit/秒。