《信息论》期末考试试题( 卷)标准答案

1） I (U ; S ) （5 分）
2） I (U ;Y ) （5 分）
解: 由已知条件可得 X ~ N (0, P) ，S ~ N (0,Q) ，Z ~ N (0, N ) ,Y ~ N (0, P + Q + N ) ,U ~ N (0, P + α 2Q)
1)
ρUS
=
E (US ) σ SσU
北京邮电大学 2005——2006 学年第 一学期
《信息论》期末考试试题（B 卷）标准答案
姓名
班级
学号
分数
一、判断题（正确打√，错误打×）（共 10 分，每小题 1 分）
1）信道疑义度始终为正；
（×）
2）信道输入与输出之间的平均互信息是输入概率分布的下凸函数； （×）
3）在信息处理过程中熵不会增加；
1 02: 12 →1101
1 12: 12 →1110
1 21: 12 →1111
编码后对应每信源符号平均码长和编码效率。 (2 分)
1 × 2 + 2 × 1 × 3 + 2 × 1 × 3 + 4 × 1 × 4 = 19 = 3.167 / 扩展源符号
平均码长： 6
6
12
12
3
对应原信源每符号平均码长为：1.584/原信源符号 H ( X ) = 18 = 0.946
1 01: 12
1 10: 12
1 20: 12
1 02: 12
1 12: 12
1 21: 12
4）对此二次扩展源进行二元 Huffman 编码,编码结果为：
1 00: 6 →00
1 11: 6 →100
1 22: 6 →101
1 01: 12 →010
1 10: 12 →011
1 20: 12 →1100
2 1 d = 1 0 7）若失真矩阵为 3 1 ，输入等概，则 Dmin = 2/3 ， Dmax = 2/3 。
三、简答题（6 分）
1．仙农第二定理指出了“高效率、高可靠性”的信道编码存在性，
1）“高效率”的含义是什么？
（1 分）
2）“高可靠性” 的含义是什么？
（1 分）
3）存在这种信道编码的必要条件是什么？
1) 求该信道的信道容量；（2 分）
2) 当传输速率达到容量时，确定 M 与 n 的关系。（2 分）
3) 估计信道输入典型序列的个数 ；（2 分）
4) 估计信道输出典型序列的个数 ； （2 分）
5) 假定所有码字都在信道输入典型序列中选取，选择的码字可以重复，那 么大概有多少包含 M 个码字的编码？（2 分）
解: 1) C = 1 − H (0.1) = 0.531 比特/符号
R = log M = C = 1 − H (0.1) ⇒ M = 20.531n
2）
n
3）信道输入典型序列的个数 NG1 = 2nH ( X ) = 2n 4) 信道输出典型序列的个数 NG2 = 2nH (Y ) = 2n
5) N = (2n )M = 2nM 5.（共 10 分）已知 X，S 为零均值、互相独立的高斯随机变量集合，方差分别为 P 、Q ；Z 为独立于 X 和 S 的零均值高斯噪声，方差为 N ；设Y = X + S + Z ， U = X + αS ，其中，α 为常数。求：
2 1) 求此马氏源的平稳分布；（4 分） 2) 求此马氏源的熵；（3 分） 3）求平稳马氏源的二次扩展源的所有符号概率；（3 分） 4）对此二次扩展源进行二元 Huffman 编码并求编码后平均码长和编码效率。 (3+2 分)
解：
1) 此马氏源的平稳分布： (π1
π2
π3
) =(1 3
1 3
1 3
=
E( XS + αS 2 ) σ SσU
=
αQ σ SσU
I (U ; S) = H (U ) + H (S ) − H (US )
=
1 2
log
2πe σ
2 U
+
1 2
log
2πeσ
2 S
+
log 2πeσUσ S
1− ρ2
=
1 2
log
σ
σ σ2 2
SU
σ2 2
US
− (αQ)
2
=
1 log P + α 2Q
)
3 × 1 × (− 1 log 1 − 1 log 1 − 1 log 1) = 1.5比特/信源符号 2) 此马氏源的熵： 3 2 2 4 4 4 4
3）平稳马氏源的二次扩展源的所有符号及概率为： p(x1x2 ) = p(x1 ) p(x2 x1)
1 00: 6
1 11: 6
1 22: 6
p( y x) p( y)
=
log
1
1 4
× ( 1 + 1)
=
−1.322 比特
24
2) 利用最佳判决准则确定所取的硬币是第二枚硬币;
3)
pe
=
p(x
=1
y
= 11)
=
1 5
8 8
=
1 5
3. （共 15 分）某数码摄像机每 300ms 产生一幅 50 万像素的彩色图像，每个像 素由 RGB 三种颜色共同构成，每种颜色有 16 个灰度级。摄像机的输出未经任何 压缩而直接传输，传输信道是一个限带限功率的 AWGN 信道，信道中的信噪比为 14.9136dB，求：
（1 分）
4）重复码是否满足“高效率、高可靠性”的条件，为什么？（1+1 分）
5）当前是否存在接近仙农信道容量界的信道编码？
（1 分）
答：1）“高效率”的含义是指传输速率接近信道容量； 2）“高可靠性” 的含义是指译码差错任意小；
3）存在这种信道编码的必要条件是信息传输速率小于信道容量； 4）重复码不满足“高效率、高可靠性”的条件，因为当 n → ∞ 时，R → 0 。 5）当前存在接近仙农信道容量界的信道编码。
R ≤ C = w log(1 + SNR) ⇒ w ≥
R
= 2 ×107 = 4 ×106 Hz
log(1 + SNR) log(1 + 31)
3) R ≤ C = w log(1 + SNR)
⇒ log(1+ SNR) ≥
R w
=
2 ×107 10 ×106
=
2⇒
SNR
≥ 3 = 4.77dB
4. （共 10 分）一个离散无记忆信源发出 M 个等概率消息，每个消息编成长度为 n 的码字通过一个离散无记忆二元对称信道传输。设信道的输入为 X，输出为 Y， 错误率为 0.1 ；n 长编码序列的每一个符号按达到信道容量的概率选择，共选择 M 个码字，n 选得足够大。
1) 摄像机直接输出的速率是多少？（5 分）
2) 理论上可靠传输所需的最小信道带宽是多少？（5 分）
3) 若信道带宽为 10MHz，求实现可靠传输所需要的最小信噪比为多少 dB？ （5 分）
解：
1）
R
=
50
× 104 300
× 3 × log16 × 10−3
=
2
× 107
比特/秒
2) SNR = 14.9136dB = 31
。wk.baidu.com
4) R(D)是满足 D 准则下平均传送每信源符号的所需的最少比特数，它是定义域 上的严格递减函数。
5) AWGN 信道下实现可靠通信的信噪比下界为－1.59dB，此时对应的频谱利用率 为 0。
6）若某离散无记忆信源有 N 个符号，并且每个符号等概出现，对这个信源进行 二元 Huffman 编码，当 N = 2i （i 是正整数）时，每个码字的长度是 i ，平 均码长是 i 。
编码效率为： l 19
2．（共 10 分）有两枚硬币，第一枚是正常的硬币，它的一面是国徽，另一面是 面值；第二枚是不正常的硬币，它的两面都是面值。现随机地抽取一枚硬币，进 行 2 次抛掷试验，观察硬币朝上的一面，其结果为：面值、面值。
1）求该试验结果与事件“取出的是第一枚硬币”之间的互信息；（4 分）
（√）
10)最大似然译码准则是使平均译码错误率最小的准则。
（×）
二、填空题（共 24 分，每空 2 分）
1）信源符号的相关程度越大，信源的符号熵越 小 ，信源的剩余度越 大 。 2）随机事件合并处理后，使获得的信息量 减少 。
q
∑
r
−
li
≤1
3）唯一可译码的码长必满足 Kraft 不等式 i =1
四、计算题（共 60 分）
1．（15 分）有一阶平稳马氏源 X，符号集为{0，1，2}，其中符号转移概率为: p(1/ 0) = p(0 /1) = p(0 / 2) = p(2 / 0) = p(1/ 2) = p(2 /1) = 1
4, p(0 / 0) = p(1/1) = p(2 / 2) = 1 ;
（√）
4）熵函数是严格上凸的；
（√）
5）离散平稳信源的极限熵等于最小的平均符号熵；
（√）
6）对于离散无记忆信道，达到容量时的输入概率分布是唯一的；
（×）
7）噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大； （×）
8）典型序列中的信源符号出现的频率与它的概率接近；
（√）
9) 为有效抵抗加性高斯噪声干扰，信道输入应该是高斯分布；
1− ρ2
=
1 log
σ
2 U
σ
2 Y
2
σ
2 U
σ
2 Y
−
(P
+ αQ)2
=
1 log
(P + Q + N )(P + α 2Q)
2 PQ(1 − α )2 + N (P + α 2Q)
2
P
2)
ρUY
=
E(YU ) σYσU
=
E( X 2 + αXS + XS + αS 2 σYσU
+ XZ + αZS)
=
P + αQ σYσU
I (U ;Y ) = H (U ) + H (Y ) − H (UY )
=
1 2
log
2πe σ
2 U
+
1 2
log
2πeσ
2 Y
+
log
2πeσUσ Y
2）利用最佳判决准则确定所取的硬币是哪一枚；（3 分） 3）求进行上述判决的错误率；（3 分） 解: 1) 设 x=1 表示事件“取出的是第一枚硬币”，
y=11 表示“试验结果为：面值、面值”，则
Y
p(y/x)
00
01
10
11
X1
1 4
1 4
1 4
1 4
2
0
0
0
1
I(x
= 1;
y
= 11)
=
log