《信息论》期末考试B卷答案
《信息论》期末考试试题(A 卷) 标准答案
(2) 通过错误概率为 p, 0 ≤ p ≤ 1/ 2 的二元删除信道，求最佳译码准则的判决
函数和平均译码错误率；
(2+2=4 分)
(3) 通过(1)与(2)的串联信道，求最佳译码准则的判决函数和平均译码错误
率，并与(1)和(2)的平均译码错误率进行比较，得到怎样的结论？
(2+2+3=7 分)
(4) 根据(3)的结果，求信源经过串联信道后信息量损失的上界？ (3 分)
①确定
σ12
，
σ
2 2
和
P
的关系；
②写出信道容量表达式；
(3+3+3=9 分)
③写出达到容量时信道的输入概率密度 p(x1, x2 ) ； 解：
(1) E[x12 ] = 0 ，则
(3+3=6 分)
①
σ
2 1
≥
σ
2 2
+
P
，
②
C
=
1 2
log(1 +
P σ 22
)
，
(2) E[x22 ] > 0 ，则
从零均值的高斯分布，且相互独立，方差分别为 σ12
和σ22
，且 σ12
>
σ
2 2
，信道输
入均值为零, E x12 + x22 ≤ P ；
(1) 当达到信道容量时， E[x12 ] = 0 ；
(3+3=6 分)
①确定σ12 ，σ 22 和 P 的关系；
②写出信道容量表达式；
(2) 当达到信道容量时， E[x22 ] > 0 ；
(2 分)
(3) 写出香农第三定理中存在平均失真不大于 D 的信源编码充要条件；
《信息论基础》试卷（期末）（B卷）
《信息论基础》试卷（期末）（B卷）重庆邮电⼤学2007/2008学年2学期《信息论基础》试卷（期末）（B 卷）（半开卷）⼀、填空题（共20分，每空1分）1、通信系统中，编码的主要⽬的有两个，分别是和。
2、离散⽆记忆信源存在剩余度的原因是。
3、当时，信源熵为最⼤值。
⼋进制信源的最⼤熵为，最⼩熵为。
4、⽆失真信源编码的平均码长最⼩理论极限制为。
5、⼀个事件发⽣概率为0.125，则⾃相关量为。
6、根据信原输出随机序列中随机变量前后之间有⽆统计依赖性，信原可以分为和。
7、噪声瞬时值的概率密度函数服从分布，同时功率谱密度为的噪声称为⾼斯⽩噪声。
8、当时，信源与信道达到匹配。
9、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是⾼斯分布或正态分布或时，信源具有最⼤熵，其值为值。
9、在下⾯空格中选择填⼊数学符号“,,,=≥≤>”或“?” （1）H(XY) H(Y)+H(X|Y) H(Y)+H(X)（2）假设信道输⼊⽤X 表⽰，信道输出⽤Y 表⽰。
在有噪⽆损信道中， H(X/Y) 0, H(Y/X) 0, I(X;Y) H(X)。
⼆、（6分）若连续信源输出的幅度被限定在【1,3】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。
三、（16分）已知信源12345S P 0.250.20.20.20.15s s s s s =（1）⽤霍夫曼编码法编成⼆进制变长码；（4分）（2）计算平均码长—L ；（4分）（3）计算编码信息率R '；（4分）（4）计算编码后信息传输率R ；（2分）（5）计算编码效率η。
（2分）四、（12分）已知⼀个平均功率受限的连续信号，通过带宽W 10MHz =的⾼斯⽩噪声信道，试计算（1）若信噪⽐为10，信道容量为多少？（4分）（2）若信道容量不变，信噪⽐降为5，信道带宽为多少？（4分）（3）若信道通频带减为5MHz 时，要保持相同的信道容量，信道上的信号与噪声的平均功率⽐值应等于多少？（4分）五、（16分）某个信息源发出符号的概率为：12()(),P a P a =3()0.4,P a =假设该信息源发出的符号前后有关联，其依赖关系为：112122321333312133(|);(|);(|);(|);(|);(|);443344P a a P a a P a a P a a P a a P a a ======（1）画出状态转移图（4分）（2）计算稳态概率（4分）（3）计算信源的极限熵（4分）（4）计算稳态下H1，H2及其对应的剩余度。
信息论与编码期末考试题
信息论与编码期末考试题（一）一、判断题.1. 当随机变量X 和Y 相互独立时，条件熵)|(Y X H 等于信源熵)(XH . （）2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集. （）3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （）4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信. （）5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （）6. 连续信源和离散信源的熵都具有非负性. （）7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小.8. 汉明码是一种线性分组码. （）9. 率失真函数的最小值是0. （）10.必然事件和不可能事件的自信息量都是0. （）二、填空题1、码的检、纠错能力取决于 .2、信源编码的目的是；信道编码的目的是 .3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 .4、香农信息论中的三大极限定理是、、 .5、设信道的输入与输出随机序列分别为X 和Y ，则),(),(Y X NI Y X I N N =成立的条件 ..6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 .7、某二元信源01()1/21/2X P X =，其失真矩阵00a D a ??=，则该信源的max D = . 三、计算题.1、某信源发送端有2种符号i x )2,1(=i ,a x p =)(1；接收端有3种符号i y )3,2,1(=j ，转移概率矩阵为1/21/201/21/41/4P ??=. （1）计算接收端的平均不确定度()H Y ；（2）计算由于噪声产生的不确定度(|)H Y X ；（3）计算信道容量以及最佳入口分布.（二）一、填空题1、信源编码的主要目的是，信道编码的主要目的是。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln （2πⅇσ2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
(完整word版)信息论试卷
一、选择题1、下列那位创立了信息论.(C)A.牛顿B.高斯C.香农D.哈夫曼2、下列不属于消息的是。
(B)A.文字B.信号C.图像D.语言3、同时扔两个正常的骰子,即各面呈现的概率都是1/6，若点数之和为2，则得到的自信息量为(B）。
A.-log36 bitB.log36 bitC.-log18 bitD.log18 bit4、下列说法不正确的是(C)A.异字头码肯定是唯一可译的B.逗点码是唯一可译的C.唯一可译码不必满足Kraft 不等式D.无逗点码可以唯一可译5、下述编码中那个可能是任何概率分布对应的Huffman编码(A)A.｛0，10,11}B.{00，01,10，110}C.｛01，10｝D.{001，011，100，101｝6、下列物理量不满足非负性的是（D)A.H(X)B.I(X；Y）C.H(Y|X)D.I（x j;y j）7、信源的输出与信道的输入匹配的目的不包括（D)A.符号匹配B.信息匹配C.降低信道剩余度D.功率匹配8、在串联系统中,有效信息量的值（B)A.趋于变大B.趋于变小C.不变D.不确定二、判断题1、信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
（T)2、信息是先验概率和后验概率的函数，信息量是事件数目的指数函数。
（F）提示：对数函数3、两个事件之间的互信息量可正,可负，也可能为0。
(T）4、在通讯系统中，无论对接收到的信息怎样处理，信息只会减少，绝不可能增加。
(T ）5、Huffman 编码是唯一的.（F)提示：不唯一6、概率大的事件自信息量大。
（F ）提示：小7、在事件个数相同条件下，事件等概率出现情况下的熵值最大。
（T)8、平稳的离散无记忆信道不可用一维概率描述。
(F)提示：可以三、填空题1、必然事件的自信息是 0 .2、根据码字所含的码元的个数，编码可分为 等长 编码和 不等长 编码。
3、不等长D 元码，码字最长限定为N,则至多有 D(D N - 1）/(D — 1） 个码字。
《信息论》期末考试试题( 卷)标准答案
2．（共 10 分）有两枚硬币，第一枚是正常的硬币，它的一面是国徽，另一面是 面值；第二枚是不正常的硬币，它的两面都是面值。现随机地抽取一枚硬币，进 行 2 次抛掷试验，观察硬币朝上的一面，其结果为：面值、面值。
1）求该试验结果与事件“取出的是第一枚硬币”之间的互信息；（4 分）
=
E( XS + αS 2 ) σ SσU
=
αQ σ SσU
I (U ; S) = H (U ) + H (S ) − H (US )
=
1 2
log
2πe σ
2 U
+
1 2
log
2πeσ
2 S
+
log 2πeσUσ S
1− ρ2
=
1 2
log
σ
σ σ2 2
SU
σ2 2
US
− (αQ)
2
=
1 log P + α 2Q
2 1 d = 1 0 7）若失真矩阵为 3 1 ，输入等概，则 Dmin = 2/3 ， Dmax = 2/3 。
三、简答题（6 分）
1．仙农第二定理指出了“高效率、高可靠性”的信道编码存在性，
1）“高效率”的含义是什么？
（1 分）
2）“高可靠性” 的含义是什么？
（1 分）
3）存在这种信道编码的必要条件是什么？
1− ρ2
=
1 log
σ
2 U
σ
2 Y
2
σ
2 U
σ
2 Y
−
(P
+ αQ)2
=
1 log
(P + Q + N )(P + α 2Q)
信息论与编码考题标准答案
信 息 论 与 编 码 考题与标准答案第一题 选择题1．信息是（ b ）a. 是事物运动状态或存在方式的描述b.是事物运动状态或存在方式的不确定性的描述c.消息、文字、图象d.信号 2．下列表达式哪一个是正确的（e ）a. H (X /Y )=H (Y /X )b. )();(0Y H Y X I <≤c.)/()(),(X Y H X H Y X I -=d. )()/(Y H Y X H ≤e. H (XY )=H (X )+H (Y /X )3．离散信源序列长度为L ，其序列熵可以表示为（ b ）a. )()(1X LH X H =b.c. ∑==Ll lXH X H 1)()(d. )()(X H X H L =4.若代表信源的N 维随机变量的取值被限制在一定的范围之内，则连续信源为（ c ），具有最大熵。
a. 指数分布b. 正态分布c. 均匀分布d. 泊松分布 5．对于平均互信息);(Y X I ，下列说法正确的是（ b ）a. 当)(i x p 一定时，是信道传递概率)(i j x y p 的上凸函数，存在极大值b. 当)(i x p 一定时，是信道传递概率)(i j x y p 的下凸函数，存在极小值c.当)(i j x y p 一定时，是先验概率)(i x p 的上凸函数，存在极小值d.当)(i j x y p 一定时，是先验概率)(i x p 的下凸函数，存在极小值 6．当信道输入呈（ c ）分布时，强对称离散信道能够传输最大的平均信息量，即达到信道容量 a. 均匀分布 b. 固定分布 c. 等概率分布 d. 正态分布7.当信道为高斯加性连续信道时，可以通过以下哪些方法提高抗干扰性（b d ） a. 减小带宽 b. 增大发射功率 c. 减小发射功率 d.增加带宽第二题 设信源 ⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡6.04.0)(21x x X p X 通过一干扰信道，接收符号为Y={y 1,y 2}，信道传递矩阵为⎥⎦⎤⎢⎣⎡43416165 求：(1) 信源 X 中事件 x 1 和 x 2 分别含有的自信息量。
信息论基础及答案
《信息论基础》试卷答案一、填空题（共25分，每空1分）1、连续信源的绝对熵为 无穷大。
（或()()lg lim lg p x p x dx +∞-∞∆→∞--∆⎰） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。
3、无记忆信源是指 信源先后发生的符号彼此统计独立 。
4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。
根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。
5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。
6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。
7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 22x-)时，信源具有最大熵，其值为 0.6155hart(或1.625bit 或1lg 22e π)。
8、即时码是指 任一码字都不是其它码字的前缀 。
9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r)，此时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元 。
10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。
11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。
12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。
13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。
14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)二、(5分)已知信源的概率密度函数为()10a x b p x b a ⎧≤≤⎪=-⎨⎪⎩其他，计算信源的相对熵。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
北方民族大学试卷
课程代码： 01100622 课程：信息理论及编码
B 卷答案
:
号学
说明：此卷为《信息理论及编码》
B 卷答案
一、概念简答题（每小题6分，共30分）
1、比较平均自信息（信源熵）与平均互信息的异同。
题试试
考
末期期学季 秋 年学
- —80
名姓班级业专程工息信院学
程工息信气电
线 - q
- 答：平均自信息为 H X - -7 p q log p q ，表示信源的平均不确定度，
也表示平
-
i 4
-
均每个信源消息所提供的信息量。
........................... （3分）
平均互信息I X;Y P xy log
X,Y。
表示从Y 获得的关于每个 X 的平均信息量,
也表示发X 前后Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
（3分）
2、简述香农第一定理。
- 答：对于离散信源 S 进行r 元编码，只要其满足
L N
_匕^， ..................................... （3分）
-
N log r
- 当N 足够长，总可以实现无失真编码。
............................. （3分） 密
3、简述唯一可译变长码的判断方法？
- 答：将码C 中所有可能的尾随后缀组成一个集合
F ，当且仅当集合 F 中没有包含任一码字
-
时，码C 为唯一可译变长码。
构成集合 F 的方法： ............. （2分） 首先，观察码C 中最短的码字是否是其他码字的前缀。
若是，将其所有可能的尾随后缀排 列出。
而这些尾随后缀又可能是某些码字的前缀， 再将由这些尾随后缀产生的新的尾随后
缀列出。
依此下去，直至没有一个尾随后缀是码字的前缀或没有新的尾随后缀产生为
止。
.............（2分）
接着，按照上述步骤将次短的码字直至所有码字可能产生的尾随后缀全部列出， 得到尾随
后缀集合F 。
............. （2分） 4、简述最大离散熵定理。
答：最大离散熵定理为：对于离散无记忆信源，当信源等概率分布时熵最大。
……
（3分） 对于有m 个符号的离散信源，其最大熵为
log m 。
（3分）
2、计算以下2个信道的信道容量C
答: 其中
1
3
1
3
6
1
—
3
_0
P为准对称信道，其信道容量C1二log r
01
n
-H (p；, P2, , P s)八N k log M k (2分)
k=1
3
1
6
1
，B2 =
3
1,B3 =
6
1
.6 3
一
1一
3
L一
6
N1
1
,N3
3
答：长度相同的两个码字之间对应位置上不同的码元的个数，称为汉明距离。
(3分)
(3分)
1、2、判断题（每小题2分，共10分）
信息是事物运动状态或存在方式的不确定性的描述。
当信源与信道连接时，若信息传输率达到了信道容量,
二元霍夫曼码一定是最佳即时码。
单符号离散信源的自信息和信源熵都是一个确定值。
平均错误概率只与译码准则有关系。
则称此信源与信道达到匹配。
(
(
(
(
(
V
V
V
X
)
)
)
)
)
三、计算题（每小题10分，共40分）
X 1、设离散无记忆信源
]P（x）」a?
二
1
8
发生的消息为
202123021302201320200231201320,求:(1)此消息的自信息是多少？（2）在此消息中平均每个符号携带的自信息是多少?
I a — 9log P 0 -5log P 1 -11log P 2 -5log P 3
答： (1 )冃信息量
»59.74 (比特)
(5分)
59.74 比特
百"99比特符号
(5分)
■111「1
1
■11
3个子矩阵为R二,所以
1
2 1
M i , M 2 , M 3 ,
2 3 3
1111 1 1 1 2 1 1
则 C^i =log2-H （—, , , ）-（ log log log —）= 0.0407（bit /symbol ） .......................... （4 分）
3 3 6 6 2 2 3 3 6 3
3
、信源空间为韶心0； ；1 0S05 0^5 0S 05 0丫试构造二元霍夫曼码并
平均码长［=0.05 4 4
0.1 3 2 0.2 2 0.4 2 =26（码符号/信源符号） ........ （2分）
4、设某二元码为 C —00000 01101 10111 11010。
（1）计算此码的最小距离 d min ; （2）计算此 码的码率R ，假设码字等概率分布；（3）采用最小距离译码准则，接收到序列
00100,01010,00111和
00101应译成什么码字。
答：（
1） d min - 3 ........................... （3 分）
（2） 「罟=詈=0.4比特码符号 ...................... （3分） （3） ............... 序列 00100 译成 00000, （1 分）
（1分） （1分）
P 2为一一对应信道，其信道容量
C 2 二 max H （X ） = log 2 4 = 2（bit /symbol ）
（4分）
编码效率
H
（S ） L
^（0.4log — 0.2log — 2 0.1log
0.4 0.2 1 0.1 4 0.05log 丄）2.6=0.97 0.05 （2
序列01010译成11010, 序列00111译成10111 ,
四、综合题(20分)
一
"0.9 0.11 1、二元对称信道的信道矩阵为 P 二
，信道传输速度为1500二元符号/秒，设信源为等概率
|(0.1 0.9
分布，信源消息序列共有
13000个二元符号，问：
(1) 试计算能否在10秒内将信源消息序列无失真传送完？
(2) 若信源概率分布为 P(0) = 0.7, P(1) = 0.3，求无失真传送以上信源消息序列至少需要多长时间？ 答：(1)此信道为二元对称信道，信源等概分布时，信道传输率达最大-C 。
信源熵
H (S) = Iog2 =1(bi #sym b04 ....................... (1 分)
C =1-H (P) =1-0.9log 2 0.9-0.1log 2 0.1 =1 -0.469 = 0.531(bit/symbol) ................................... (1 分) 1500 10 0.531 =7965(bit) ：： 13000 1(bit)，所以 10秒内不能传完。
................. (3 分)
(2 )信源不等概分布，信息传输率达不到
C
1 1 H (S) =0.7log 0.3log 0.3602
0.52109 =0.88129(bit / symbol) ....................... (1 分)
0.7 0.3
130000个信源符号所含信息量为：
130000 H(S) = 11456.77(bit) ........................ (2分)
信息传输率:
P(y j /xj
R = I
(X ；Y)八 P(xy)log 2
j -
XY P(y j )
0.9 0.1 0.1 0.9 = 0.63log 0.07 log 0.03log 0.27log 0.66 0.34 0.66 0.34 要无失真传送130000个二元符号的信源消息序列至少需要的时间： 丁、11456.77
T 16.757s
0.4558 1500
=0.4558(bit / symbol) (5分)
(5分)
P(xy)=
0.9 I
〔0.1 0.11
0.9
一
0 66 0
.3
4
0.1 X 0.7] S 0： 63 0 .07 0.9 x 0.3
03 0 .27
P(y) = 0.7 0.31
0.9 0.7 0.1 0.3。