信息论课后习题解答
信息论第三版课后答案
信息论第三版课后答案【篇一：西电邓家先版信息论与编码第3章课后习题解答】6x11/6y13/41/4x2图3.1 二元信道y2?x??x1x2???=?0.60.4?通过一干扰信道，接收符号y=?y1y2?,信道传递概率如p(x)????图3.33所示。
求：（1）信源x中事件x1,和x2分别含有的自信息。
（2）收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量。
（3）信源x和信源y的信息熵。
（4）信道疑义度h（x|y）和噪声熵h（y|x）。
（5）接收到消息y后获得的平均互信息。
解：（1）由定义得：i（x1）= －log0.6=0.74biti（x2）= －log0.4=1.32biti（xi；xj）= i（xi）－i（xi|yj）=log[p（xi|yj）/p（xi）]= log[p（yj|xi）/p（yj）]则 i（x1；y1）= log[p（y1|x1）/p（y1）]=log5/6/0.8=0.059bit i （x1；y2）= log[p（y2|x2）/p（y2）]=log1/6/0.2=-0.263biti（x2；y1）= log[p（y1|x2）/p（y1）]=log3/4/0.8=-0.093bit i（x2；y2）= log[p（y2|x2）/p（y2）]=log1/4/0.2=0.322bit（3）由定义显然 h（x）=0.97095bit/符号h（y）=0.72193bit/符号（4）h（y|x）=?22p（xy）log[1/p（y|x）]=??i?1j?1p（xi）p（yj|xi）log[1/p（yj|xi）]h（x|y）= h（x）+h（y|x）－h（y）=0.9635bit/符号(5) i（x；y）= h（x）－h（x|y）=0.00745 bit/符号3.2设8个等概率分布的消息通过传递概率为p的bsc进行传送。
八个消息相应编成下述码字：m1=0000, m2=0101, m3=0110, m4=0011, m5=1001, m6=1010, m7=1100, m8=1111, 试问 (1) 接受到第一个数字0与m之间的互信息。
信息论、编码与密码学课后习题答案
第1章 信源编码
1.1考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS。求信源熵H（X）。
解： 信源熵
H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]
10100+11110=01010 10100+00111=10011
10100+01101=11001
11110+00111=11001 11110+01101=10011
00111+01101=01010
满足第一条性质
2、全零码字总是一个码字
{00000，01010，10011，11001，10100，11110，00111，01101}
(1)给出此信源的霍夫曼码并确定编码效率。
(2)每次考虑两个符号时，给出此信源的霍夫曼码并确定编码效率。
(3)每次考虑三个符号时，给出此信பைடு நூலகம்的霍夫曼码并确定编码效率。
解：
(1)本题的霍夫曼编码如下图所示：
图1.11 霍夫曼编码
则霍夫曼码如下表：
符号
概率
码字
x1
0.5
1
x2
0.4
00
x3
0.1
01
该信源的熵为：
（2）全零字总是一个码字，
（3）两个码字之间的最小距离等于任何非零码字的最小重量，即
设 ，即 ， ， ， ，
首先证明条件（1）：
， ， ， ， ， ，
很明显，条件（1）是满足的。条件（2）也是显然成立的。
信息论第3章课后习题答案
信息论第3章课后习题答案信息论是一门研究信息传输、存储和处理的学科。
它的核心理论是香农信息论，由克劳德·香农于1948年提出。
信息论的应用范围广泛，涵盖了通信、数据压缩、密码学等领域。
在信息论的学习过程中，课后习题是巩固知识、检验理解的重要环节。
本文将对信息论第3章的课后习题进行解答，帮助读者更好地理解和掌握信息论的基本概念和方法。
1. 证明：对于任意两个随机变量X和Y，有H(X,Y)≤H(X)+H(Y)。
首先，根据联合熵的定义，有H(X,Y)=-∑p(x,y)log2p(x,y)。
而熵的定义为H(X)=-∑p(x)log2p(x)和H(Y)=-∑p(y)log2p(y)。
我们可以将联合熵表示为H(X,Y)=-∑p(x,y)log2(p(x)p(y))。
根据对数的性质，log2(p(x)p(y))=log2p(x)+log2p(y)。
将其代入联合熵的表达式中，得到H(X,Y)=-∑p(x,y)(log2p(x)+log2p(y))。
再根据概率的乘法规则，p(x,y)=p(x)p(y)。
将其代入上式中，得到H(X,Y)=-∑p(x,y)(log2p(x)+log2p(y))=-∑p(x,y)log2p(x)-∑p(x,y)log2p(y)。
根据熵的定义，可以将上式分解为H(X,Y)=H(X)+H(Y)。
因此，对于任意两个随机变量X和Y，有H(X,Y)≤H(X)+H(Y)。
2. 证明：对于一个随机变量X，有H(X)≥0。
根据熵的定义，可以得到H(X)=-∑p(x)log2p(x)。
由于概率p(x)是非负的，而log2p(x)的取值范围是负无穷到0之间，所以-p(x)log2p(x)的取值范围是非负的。
因此，对于任意一个随机变量X，H(X)≥0。
3. 证明：对于一个随机变量X，当且仅当X是一个确定性变量时，H(X)=0。
当X是一个确定性变量时，即X只能取一个确定的值，概率分布为p(x)=1。
信息论基础第二版习题答案
信息论基础第二版习题答案信息论是一门研究信息传输和处理的学科，它的基础理论是信息论。
信息论的基本概念和原理被广泛应用于通信、数据压缩、密码学等领域。
而《信息论基础》是信息论领域的经典教材之一，它的第二版是对第一版的修订和扩充。
本文将为读者提供《信息论基础第二版》中部分习题的答案，帮助读者更好地理解信息论的基本概念和原理。
第一章：信息论基础1.1 信息的定义和度量习题1：假设有一个事件发生的概率为p，其信息量定义为I(p) = -log(p)。
求当p=0.5时，事件的信息量。
答案：将p=0.5代入公式，得到I(0.5) = -log(0.5) = 1。
习题2：假设有两个互斥事件A和B，其概率分别为p和1-p，求事件A和B 同时发生的信息量。
答案：事件A和B同时发生的概率为p(1-p)，根据信息量定义，其信息量为I(p(1-p)) = -log(p(1-p))。
1.2 信息熵和条件熵习题1：假设有一个二进制信源，产生0和1的概率分别为p和1-p，求该信源的信息熵。
答案：根据信息熵的定义，信源的信息熵为H = -plog(p) - (1-p)log(1-p)。
习题2：假设有两个独立的二进制信源A和B，产生0和1的概率分别为p和1-p，求两个信源同时发生时的联合熵。
答案：由于A和B是独立的，所以联合熵等于两个信源的信息熵之和，即H(A,B) = H(A) + H(B) = -plog(p) - (1-p)log(1-p) - plog(p) - (1-p)log(1-p)。
第二章：信道容量2.1 信道的基本概念习题1：假设有一个二进制对称信道，其错误概率为p，求该信道的信道容量。
答案：对于二进制对称信道，其信道容量为C = 1 - H(p)，其中H(p)为错误概率为p时的信道容量。
习题2：假设有一个高斯信道，信道的信噪比为S/N，求该信道的信道容量。
答案：对于高斯信道，其信道容量为C = 0.5log(1 + S/N)。
信息论答案完整版
/8
⎥ ⎦
，其发出的消息为(202
120
130
213
001
203 210 110 321 010 021 032 011 223 210)，求：
(1) 此消息的自信息是多少？
(2) 在此消息中平均每个符号携带的信息量是多少?
解：（1）因为离散信源是无记忆的，所以它发出的消息序列中各个符号是无依赖的，统计独立的。因
在研究香农信源编码定理的同时，另外一部分科学家从事寻找最佳编码（纠错码）的研究工作，并 形成一门独立的分支——纠错码理论。
1959 年香农发表了“保真度准则下的离散信源编码定理”，首先提出了率失真函数及率失真信源 编码定理。从此，发展成为信息率失真编码理论。
香农 1961 年的论文“双路通信信道”开拓了网络信息论的研究。 现在，信息理论不仅在通信、计算机以及自动控制等电子学领域中得到直接的应用，而且还广泛地 渗透到生物学、医学、生理学、语言学、社会学、和经济学等领域。
I (a4
=
3)
=
− log
P(a4 )
=
− log
1 8
=
log2
8=3(比特)
此消息中共有 14 个符号“0”，13 个符号“1”，12 个符号“2”和 6 个符号“3”，则此消息的自
信息是
I = 14I (a1 = 0) +13I (a2 = 1) +12I (a3 = 2) + 6I (a4 = 3) ≈ 14×1.415 +13× 2 +12× 2 + 6× 3 ≈ 87.71(比特)
此，此消息的自信息就等于各个符号的自信息之和。则可得：
I
(a1
=
信息论习题解答
第二章 信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此，信息速率为 6⨯1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61 得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=)(1logb p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521 信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6 =3.2744 bit)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit)|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。
信息论课后习题答案
第六章 有噪信道编码6.1 R 为信息传输率，根据香农第二定理，当码长n->无穷大时，满足什么关系式，可使错误概率Pe->0。
答：Pe<exp{-nE(R)}->0，其中E(R)为可靠性函数，且在9<R<C 的范围为正。
信道容量C 是保证无差错传输时，信息传输率R 的权限值。
6.2 写出费诺不等式，其中哪一项表示是否判对的疑义度，log(k-1)又表示什么？答：H(X|Y)<=H2(Pe)+Pelog(k-1) ，H2(pe)是否判对的疑义度。
表示如果判决出错，错在k-1个符号中的一个，疑义度不会超过log(k-1)。
6.3 根据香农定理说明，（信息容量）是保证无差错传输时信息传输率R 的上限值，（平均错误概率）是信源可压缩信息的最低极限。
6.4 最大后验概率译码准则就是最小错误译码准则，对吗？错误。
()∑≠-==≠=k i k i k k e y x y xy x x y p )|(1)|()|(φφφ 这个公式可知最大后验概率与最小错误译码准则所得的最终结果是相等的。
但并非概念定义一致。
6.5 在信源等该分布时，则极大似然函数译码准则就是最小错误译码准则，对吗？ Proof: if ())|(|k k x y p x y p > m=1,2,……,MThen 信道等概率输入时，有),()(m k x q x q = 代入上式得)()|()()|(m m k k x q x y p x q x y p >So,it comes to )()(y x p y x p m k >所以说明全概率最大，对应最大联合概率译码准则。
1/2 1/6 1/36.6 离散无记忆信道DMC ，转移概率矩阵为 P= 1/3 1/2 1/61/6 1/3 1/2(1 )q(x1)=1/2 q(x2)=1/4 q(x3)=1/4. 求最佳判决译码及错误概率。
（2）若信源等概分布，求最佳判决译码及错误概率。
信息论课后习题-PPT
(Hz)
5.11（续）
（3）同样由信道容量公式可得：
其中C，
S
C
2B 1
N
log 11，B=0.5MHz
可求得：S
?
N
2.14（续）
（1）求X1X2X3的联合熵和平均符号熵； （2）求这个链的极限平均符号熵； （3）求H0,H1,H2和它们所对应的冗余度。
解始：序（列1X）1X一2X阶3的平联稳合马熵尔：可夫链X1，X2 ，，Xr ，
的起
H (X1X2X3)
P(x1x2 x3 ) log P(x1x2 x3 )
N
H(XN
|
X N 1
X1) H2
33
P(ai )P(a j | ai ) log P(a j | ai )
i1 j1
（3） 1.251 bit/符号
H0 log 3 1.585 bit/符号
3
H1 P(ai ) log P(ai ) 1.414 bit/符号 i 1
H2 1.251 bit/符号
2.8 设随机变量X和Y的联合概率分布如右表所示。随机变Z量 X Y 求：
（1）H(X)，H(Y)
Y b1=0 b2=0
（2）H(X|Y)，H(Y|X)，H(X|Z)
X
a1=0 1/3
1/3
a2=0
0
1/3
2.13 有一个马尔可夫信源，已知转移概率为：
P(S1
|
S1 )
2 3
，P
(
S2
|
S1 )
1 3
宽应为多少？ （3）若信道通频带减为0.5MHz时，要保持相
同的信道容量，信道上的信号与噪声的平均功 率比值应等于多大？
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（2）当消息前后有关联时，首先画出其状态转移图，如下所 示：
2
为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由
于二者是独立的，因此有
而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，
均为
，因此天平每一次消除的不确定性为
比特
因此，必须称的次数为：
因此，至少需称3次。
【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之 和为2”或“面朝上点数之和为8”或“两骰子面朝上点数是3 和 4”时，试问这三种情况分别获得多少信息量？
这样，平均每个像素携带的信息量为：
每帧图像含有的信息量为：
按每秒传输30帧计算，每秒需要传输的比特数，即信息传输率 为：
（2）需30个不同的色彩度，设每个色彩度等概率出现，则其概 率空间为：
由于电平与色彩是互相独立的，因此有
这样，彩色电视系统的信息率与黑白电视系统信息率的比值为
【2.13】每帧电视图像可以认为是由3×105个像素组成，所以 像素均是独立变化，且每一像素又取128个不同的亮度电平，并 设亮度电平等概率出现。问每帧图像含有多少信息量？ 若现有一广播员在约 10000 个汉字的字汇中选 1000 个来口述 此电视图像，试问广播员描述此图像所广播的信息量是多少 （假设汉字是等概率分布，并且彼此无依赖）？若要恰当地描 述此图像，广播员在口述中至少需用多少汉字？
第二章 课后习题
【2.1】设有 12 枚同值硬币，其中有一枚为假币。只知道假币 的重量与真币的重量不同，但不知究竟是重还是轻。现用比较 天平左右两边轻重的方法来测量。为了在天平上称出哪一枚是 假币，试问至少必须称多少次？
解：“12枚硬币中，某一枚为假币”该事件发生的概率为 “假币的重量比真的轻，或重”该事件发生的概率为 P 1
问男，回答“是”所获昨的信息量为：
问男，回答“否”所获得的信息量为：
男，平均回答中含有的信息量为：
同样，女为红绿色盲的概率空间为 问女，回答“是”所获昨的信息量为： 问女，回答“否”所获昨的信息量为： 女，平均回答中含有的信息量为
【2.12】 （1）为了使电视图像获得良好的清晰度和规定的适 当的对比度，需要用 5×105个像素和10个不同亮度电平，求传 递此图像所需的信息率（比特/秒）。并设每秒要传送 30帧图 像，所有像素是独立变化的，且所有亮度电平等概率出现。 （2）设某彩电系统，除了满足对于黑白电视系统的上述要求外， 还必须有30个不同的色彩度，试证明传输这彩色系统的信息率 要比黑白系统的信息率约大2.5倍。 解： （1）每个像素的电平取自10个不同的电平，形成的概率 空间为：
“身高1.6米以上的某女孩是大学生”的发生概率为:
已知该事件所能获得的信息量为
【2.5】设离散无记忆信源 ， 其发出的消息为 （202120130213001203210110321010021032011223210），求 （1） 此消息的自信息是多少？ （2） 在此消息中平均每个符号携带的信息量是多少？ 解： 信源是无记忆的，此时发出的消息的自信息即为各消息
因此该事件的信息量为：
【2.4】居住某地区的女孩中有25%是大学生，在女大学生中有75% 是身高1.6米以上的，而女孩中身高 1.6 米以上的占总数一半。 假如我们得知“身高 1.6 米以上的某女孩是大学生”的消息，问 获得多少信息量？
解： 设 A表示女孩是大学生，P(A)=0.25 ；B表示女孩身 高1.6米以上，P (B|A)=0.75 ,P(B)=0.5
的自信息之和。各消息所包含的信息量分别为：
发出的消息中，共有14个“0”，13个“1” ，12个“2” ，6个“3” ， 则得到消息的自信息为：
平均每个符号携带的信息量为
【2.7】从大量统计资料知道，男性中红绿色盲的发病率为7%， 女性发病率为0.5%，如果你问一位男同志：“你是否是红绿色 盲？”，他的回答可能是“是”，也可能是“否” ，问这两个 回答中各含有多少信息量？平均每个回答中含有多少信息量？ 如果你问一位女同志，则答案中含有的平均自信息量是多少？ 解：男为红绿色盲的概率空间为：
解： “两骰子总点数之和为2”，即两骰子的点数各为1，由于
二者是独立的，因此该种情况发生的概率为源自，该事件的信息量为：
“两骰子总点数之和为8”共有如下可能：2和6、3和5、4和4、5
和3、6 和2，概率为
，因此该事件的信息量为：
“两骰子面朝上点数是3和4”的可能性有两种： 3和4、 4和3， 概率为
解： 信源为一阶马尔克夫信源，其状态转换图如下所示。
根据上述状态转换图，设状态分别为
P(a)、P(b) 和P(c) ，
【2.20】黑白气象传真图的消息只有黑色和白色两种，即信源, X={白 黑} ，设黑色出现的概率为 P(黑) =0.3 ，白色出现的 概率为P(白)=0.7。 （1） 假设图上黑白消息出现前后没有关联，求熵H(X) ； （2） 假设消息前后有关联，其依赖关系为P(白|白)=0.9 ， P(白|黑)=0.2 ，P(黑|白)=0.1 ，P(黑|黑)=0.8 ，求此一阶马 尔克夫信源的熵H2 。 （3） 分别求上述两种信源的冗余度，并比较H(X)和H2的大小， 并说明其物理意义。
解： 每个像素的电平亮度形成了一个概率空间，如下：
平均每个像素携带的信息量为：
每帧图像由3×105个像素组成，且像素间是独立的，因此每帧图
像含有的信息量为：
平均每个汉字携带的信息量为 择1000字来描述，携带的信息量为
bit/sym; 选
需要汉字个数为：
【2.18】设有一信源，它在开始时以P(a)=0.6， P(b)=0.3, P(c)=0.1的概率发出X1。如果X1为a时，则 X2为 a、b、c 的概 率为1/3；如果X1为b时，则X2为 a、b、c 的概率为1/3；如果X1 为c时，则X2为a、b的概率为1/2，为c的概率为0。而且后面发 出Xi的概率只与Xi-1有关，又 。试用马尔克夫信源的图示法画出状态 转移图，并计算此信源的熵H∞。