信息论基础教程第二版第四章课后习题答案
信息论基础各章参考答案
各章参考答案2．1． （1）4.17比特 ；（2）5.17比特 ； （3）1.17比特 ；（4）3.17比特2．2． 1.42比特2．3． （1）225.6比特 ；（2）13.2比特2．4． （1）24.07比特； （2）31.02比特2．5． （1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。
如果我们使每次实验所获得的信息量最大。
那么所需要的总实验次数就最少。
用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。
从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。
因为3log3=log27>log24。
所以在理论上用3次称重能够鉴别硬币并判断其轻或重。
每次实验应使结果具有最大的熵。
其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。
ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。
ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。
（2）第三次称重 类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时,第三步用一个真币与其中一个称重比较即可。
对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息.2．6． （1）215log ＝15比特； （2） 1比特；（3）15个问题2． 7. 证明： （略） 2．8． 证明： （略）2．9．31)(11=b a p ，121)(21=b a p ，121)(31=b a p ，61)()(1312==b a b a p p ，241)()()()(33233222====b a b a b a b a p p p p。
信息论基础与应用(第2版)
读书笔记
读书笔记
这是《信息论基础与应用（第2版）》的读书笔记模板，可以替换为自己的心得。
精彩摘录
精彩摘录
这是《信息论基础与应用（第2版）》的读书笔记模板，可以替换为自己的精彩内容摘录。
谢谢观看
2.6.1连续信源的相对熵 2.6.2连续信源最大熵定理 2.6.3连续信源的互信息
2.7熵计算及熵应用
2.7.1熵计算 2.7.2熵信息应用
3.1信道分类和参数 表示
3.2离散单符号信道 及其容量
3.3离散序列信道及 其容量
3.4连续信道及其容 量
3.5信道容量计 算及MATLAB程
序实现
习题3
3.2离散单符号信道及其容量
3.2.1信道容量定义 3.2.2离散单符号无噪信道及其容量 3.2.3离散单符号有噪信道及其容量
3.3离散序列信道及其容量
3.3.1并联信道 3.3.2和信道 3.3.3扩展信道
3.4连续信道及其容量
3.4.1时间离散信道及其容量 3.4.2时间连续信道及其容量
3.5信道容量计算及MATLAB程序实现
5.3离散信道编码定理
5.3.1有噪信道编码定理 5.3.2有噪信道编码逆定理
5.4信道编码方法
5.4.1线性分组码 5.4.2循环码 5.4.3卷积码
5.5信道编码MATLAB计算实现
5.5.1 RS码 5.5.2 Turbo码 5.5.3 LDPC码 5.5.4 Polar码
6.1相关信源及可达 速率区域
6.2多址接入信道及 其容量区域
6.3广播信道及其容 量区域
习题6
6.2多址接入信道及其容量区域
6.2.1离散二址接入信道及其容量区域 6.2.2高斯加性二址接入信道及其容量区域 6.2.3离散多址接入信道及其容量区域
信息论基础智慧树知到课后章节答案2023年下潍坊学院
信息论基础智慧树知到课后章节答案2023年下潍坊学院潍坊学院第一章测试1.信息论的奠基人是（）。
A:香农 B:阿姆斯特朗 C:哈特利 D:奈奎斯特答案:香农2.下列不属于信息论的研究内容的是（）。
A:纠错编码 B:信息的产生 C:信道传输能力 D:信源、信道模型答案:信息的产生3.下列不属于消息的是（）A:文字 B:图像 C:信号 D:语音答案:信号4.信息就是消息. （）A:错 B:对答案:错5.信息是不可以度量的，是一个主观的认识。
（）A:错 B:对答案:错6.任何已经确定的事物都不含有信息。
（）A:对 B:错答案:对7.1948年香农的文章《通信的数学理论》奠定了香农信息理论的基础。
（）A:错 B:对答案:对8.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（），使信息传输系统达到最优化。
A:有效性 B:认证性 C:可靠性 D:保密性答案:有效性;认证性;可靠性;保密性9.下列属于香农信息论的主要研究理论的是（）。
A:压缩理论 B:调制理论 C:保密理论 D:传输理论答案:压缩理论;保密理论;传输理论10.信源编码的作用包含（）。
A:检错纠错 B:对信源的输出进行符号变换 C:数据压缩 D:提升信息传输的安全性答案:对信源的输出进行符号变换;数据压缩第二章测试1.信息传输系统模型中，用来提升信息传输的有效性的部分为（）A:信源 B:信道编码器、信道译码器 C:信道 D:信源编码器、信源译码器答案:信源编码器、信源译码器2.对于自信息，以下描述正确的是（）A:以2为底时，单位是奈特。
B:以2为底时，单位是比特。
C:以10为底时，单位是奈特。
D:以e为底时，单位是比特答案:以2为底时，单位是比特。
3.信息熵的单位是（）A:比特 B:比特每符号 C:无法确定答案:比特每符号4.必然事件和不可能事件的自信息量都是0 。
（）A:错 B:对答案:错5.概率大的事件自信息量大。
信息论基础2015-第四章
K 1
K , J k 0 j 0,1,, J 1
对称离散无记忆信道（II）
若一个信道既关于输入对称，又关于输出对称，即P中每一行都是第 一行的一个置换，每一列都是第一列的一个置换，则该信道是对称的 对一个信道的转移概率矩阵P按列划分，得到若干子信道，若划分出 的所有子信道均是对称的，则称该信道是准对称的 0.8 0.1 0.1 0.1 1 0.1 0.8 0 1 2
K 1 J ({Qk }) I ( X l;Y ) I ( X k ;Y ) Ql Qk Qk l 0 K 1 J 1 p( j | k ) I ( X k ;Y ) Ql p( j | l ) K 1 l 0 j 0 Qi p( j | i ) i 0 I ( X k ;Y ) (1 )
K–1
二进制删除信道（BEC）
1–p–q 0 q E q
0 Q0 = Q1 = 0.5
p p
1
C I X 0; Y I X 1; Y
1 p q log 1 p q q p q log p log 1 q / 2 1 q / 2 q
幅度离散，时间离散信道；
幅度连续，时间离散信道；
幅度连续，时间连续信道； 幅度离散，时间连续信道。
按输入/输出之间的记忆性
有记忆信道 无记忆信道
按其输入/输出信号的关系的确定性：
确定信道
随机信道
信道的抽象模型
输入/输出统计关系 输入量X （随机过程） 信道 输出量Y （随机过程）
H (Y ) H (Y1Y2 Yn ) H (Y1 ) H (Y2 | Y1 ) H (Y3 | Y1Y2 ) H (Yn | Y1Y2 Yn1 )
信息论+傅祖芸+答案
因此，必须称的次数为
因此，至少需称 3 次。
I1 = log 24 ≈ 2.9 次 I 2 log 3
【延伸】如何测量？分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。
【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之
和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量？
6 6 36 I = log 36 ≈ 2.85 比特 5
“两骰子面朝上点数是 3 和 4”的可能性有两种：3 和 4、4 和 3，概率为 P = 1 × 1 × 2 = 1 ， 6 6 18
因此该事件的信息量为： I = log18 ≈ 4.17 比特
【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有 多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多 少信息量（假设已知星期一至星期日的顺序）？ 解：
= − p1 log p1 − p2 log p2 − K − pL−1 log pL−1 − pL log pL + pL log pL
− q1 log q1 − q2 log q2 − K − qm log qm
= − p1 log p1 − p2 log p2 − K − pL−1 log pL−1 − pL log pL + (q1 + q2 + q3 + L + qm ) log pL
第二章课后习题
【2.1】设有 12 枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同，
但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪
信息论基础教材习题答案.docx
第
9.6共有28=256个码字，不能由一个码字的循环产生所有的码字，因为码长为8位，由一个码字循环移位 最多能产生8个码字。
9.7根据伴随式定义:5(x)=j(x) [mod g(x)],由于码多项式都是g(x)的倍式，如果接受矢量y(x)是码多 项式，则它的的伴随式等于0,如果y(Q不是码多项式，则伴随式s(Q不等于0。
0
0
0
0
0
1
1
0
1
0
0
0
0
0
0
0
0
0
0
1
0
1
0
0
1
0
0
0
0
0
0
0
0
0
1
1
0
0
0
0
1
0
0
0
0
0
0
0
0
1
1
1
0
0
0
0
1
0
0
0
0
0
0
1
0
0
1
G =
0
0
0
0
0
1
0
0
0
0
0
1
1
1
0
0
0
0
0
0
0
1
0
0
0
0
1
0
1
1
0
0
0
0
0
0
0
1
0
0
0
1
1
0
0
0
0
0
0
0
0
0
0
信息论与编码技术第四章课后习题答案
解：（1） D =
∑ P(u,υ )d (u,υ ) = (1 − p)q
UV
（2）根据题4.5，可知R(D)的最大值为H(p),此时q=0,平均失真D=0; （3）R(D)的最大值为0,此时q=1,平均失真D=（1-p）; 4.7 设连续信源 X ，其概率密度分布为
p ( x) =
a − a | x| e 2
达到
D
min
的信道为
⎡1 ⎡1 0 ⎤ ⎡1 0 ⎤ ⎢ ⎥ ⎢ ⎥ ⎢1 [ P (υ j | u i )] = ⎢ ⎢ 0 1 ⎥ , ⎢1 0 ⎥ 或 ⎢ 2 ⎢ ⎣0 1 ⎥ ⎦ ⎢ ⎣0 1⎥ ⎦ ⎢0 ⎣
4.2 已知二元信源 ⎢
0⎤ 1⎥ ⎥ 2⎥ 1⎥ ⎦
1 ⎤ ⎡ X ⎤ ⎡ 0, ⎡0 1⎤ =⎢ =⎢ 以及失真矩阵 ⎡ dij ⎤ ⎥ ⎥ ⎥ ，试求： ⎣ ⎦ ⎣ p ( x ) ⎦ ⎣ p, 1 − p ⎦ ⎣1 0 ⎦
g (θ ) 的傅立叶变换
G s(w) = ∫
+∞ −∞
g
s
(θ )e
− jwθ
dθ =
s
2
s
2 2
+w
, (3)
得: Q( w) = P ( w) + w2 P( w), (4)
2
s
求式（4）的傅立叶反变换，又根据式（2）得
p( y ) = p( x = y) − D 所以 p( y ) =
2
p ( x = y), (5)
⎡0 ⎢1 定义为 D = ⎢ ⎢1 ⎢ ⎣1
解：
1 0 1 1
1 1 0 1
1⎤ 1⎥ ⎥ ，求 Dmax , Dmin 及信源的 R ( D ) 函数，并作出率失真函数曲线(取4到5个点)。 1⎥ ⎥ 0⎦
朱雪龙《应用信息论基础》习题第四章答案
朱雪龙《应⽤信息论基础》习题第四章答案习题答案 B4-1第4章习题答案4.1 设有离散⽆记忆信道，输⼊X ：aa a p a p a p a K K 1212 ()()()，输出Y ：b b b p b p b p b J J 1212 ()()()，当输⼊/出x 和y 的互信息I x y (;)也为⼀随机变量，试证：当{}Var I x y (;)=0时，平均互信息I X Y (;)达到信道容量C 。
证明：由{}Var I x y (;)=0可知，);(y x I 以概率1取常数) )];([ ( y x I E C =，所以有∑====C b y a x I a b P Y x I j k k j );()();(满⾜定理4.3关于离散⽆记忆信道达到信道容量的充要条件。
且此时平均互信息∑===Kk k k C Y a I a p Y X I 1);()();(所以当{}Var I x y (;)=0时，平均互信息达到信道容量C 。
<证毕>4.2 设某信道的输⼊X 取值{,}+-11，⼜信道有加性噪声n ，其分布密度为p n n n (),||,||=≤>14202，求信道容量。
答：C = 0.5bit, 当输⼊的概率分布为1)1()1(=-===X P X P 时达到信道容量。
4.3 设在图 4.10 的⼀般⾼斯信道中200)(11)(,2)(f f f H N f N +==，试求信道的容量费⽤函数)(s P C解：根据{--=-λλλλλF F dff H f N F H f N )2())()(21()1(0)()(2122 可推得λF 的⼀个⽅程，如下：4052035434N P f F f F s =+λλ (3) 解出(3)式,即可求得λF应⽤信息论基础B4-2 ⽽e f F tg f F df f f N df df f N f H P C F F F F F f s log )]([412log 2121log 21)(2)(log 21)(01022002λλλλλλλλλ---∈-=????+-==??故)(s P C 可求。