《信息论》期末考试试题(A 卷) 标准答案

缩 ， 压 缩 后 的 符 号 集 {bj , j = 1,L,8} ， 压 缩 算 法 为 ： ai → bi , i = 1,L, 7 ，
ai → b8,i = 8,L,16 ；再对{bj , j = 1,L,8} 进行二元哈夫曼编码，然后传输；在接
收端进行 哈夫曼译 码后， 解压算 法为 bi → ai , i = 1,L, 7 ； b8 等概率地恢复成
信源编码器码率： R = l = 1+ (7 + 4 + 3 + 2×3) /16 = 9 / 4 = 2.25 比特；
(3) 根据信源符号与恢复符号之间的转移概率矩阵，求得信源编码的平均失
真为： D = (1/ 16)[8× (1/ 9)]× 9 = 1/ 2 ；
(2 分)
(4) 求为达到与现有编码器相同失真每信源符号理论上所需最少比特数：
pE3 = ω(1− p) / 2 + ω(1− p) / 2 + p / 2 = ω(1− p) + p / 2 。 pE3 = ω(1− p) + p / 2 = ω + (1/ 2 − ω) p ≥ ω = pE1 ， pE3 = ω(1− p) + p / 2 ≥ p / 2 = pE2 。 结论：信道串联使得平均译码错误率增加(不减)。
容量时的最佳输入概率分布是等概率分布，即 p(x) = 1/11, x = 0,1,L,10 。
(3+3=6 分)
五、计算题(18 分)
二元等概信源的符号集为 {0,1} ，
(1) 通过错误概率为ω, 0 ≤ ω ≤ 1/ 2 的二元对称信道，求最佳译码准则的判决
函数和平均译码错误率；
(2+2=4 分)
Biblioteka Baidu
大；
(×)
(3) 码长满足 Kraft 不等式的码是异前置码；
(×)
(4) 齐次马氏链所产生的序列是平稳的；
(×)
(5) 信源的条件熵不大于其无条件熵；
(√)
(6) 连续随机变量集合之间的平均互信息总是有限值；
(×)
(7) 互信息是非负的；
(×)
(8) 离散无记忆信道达到容量时信道输出概率分布是唯一的；
概率的平稳分布分别为 πA= 3/7 ，πB= 4/7 ；如果司机每次 行程的收费分别是：A 区为 6 元，B 区为 8 元，跨两个区为 12 元；则司
机每次行程的平均收费是 8.86 元， 将司机每次行程的收费看成随
机变量的取值，则此随机变量集合的熵为 1.56 比特/符号。
1
三、简答题(6 分)
P−
σ
2 1
−σ22
2σ
2 1
+
1 2
log
1
+
P
+
σ
2 1
−
σ
2 2
2σ
2 2
，
③
p(x1, x2 ) = 2π
[P
−
(σ12
1
−
σ
2 2
)][
P
+
(σ12
−
σ
2 2
)]
exp[−( P
−
x12
(σ
2 1
−
σ
2 2
)
+
P
+
x22
(σ
2 1
−
σ
2 2
)
)]
5
七、计算题(15 分)
一个 16 个符号离散等概率信源，符号集为{ai, i = 1,L,16} 。先将信源进行压
已知信源的熵为 H （比特/符号），信息率失真函数为 R(D) （比特/符号），
信源编码码率为 R （比特/符号），有 M 个等概消息编成长度为 N 的码字通过容
量为 C （比特/符号）的信道传输；
(1) 写出香农第一定理中存在无失真信源编码的充要条件；
(2 分)
(2) 写出香农第二定理中存在高可靠性传输的充要条件；
①确定
σ12
，
σ
2 2
和
P
的关系；
②写出信道容量表达式；
(3+3+3=9 分)
③写出达到容量时信道的输入概率密度 p(x1, x2 ) ； 解：
(1) E[x12 ] = 0 ，则
(3+3=6 分)
①
σ
2 1
≥
σ
2 2
+
P
，
②
C
=
1 2
log(1 +
P σ 22
)
，
(2) E[x22 ] > 0 ，则
a1 a2 L a7
a1 1 0 L 0
a2
0
1
L
0
M M M L M
a7
0
0
L
1
a8 M
0 M
0 M
L L
0 M
a16 0 0 L 0
a8 L a16
0 L 0
0
L
0
M 0
L L
M 0
；
1/9 M
L L
1
/9 M
1/ 9 L 1/ 9
(2) Huffman 编码：
(3+2=5 分)
(2+2+3=7 分)
P3
=
P1P2
=
1−ω ω
ω 1− p 1− ω 0
p p
0 1−
p
=
(1− ω)(1− p) ω(1− p)
p p
ω(1− p) (1− ω)(1− p)
判决函数为：
G( y = 0) = 0,G( y = 1) = 1, G( y = 2) = 0 ， 或
G( y = 0) = 0,G( y = 1) = 1, G( y = 2) = 1， 平均译码错误率为
4
(4) 按照题意，需要求信道疑义度的上界，代入费诺不等式得： H ( X | Y ) ≤ H (PE3 ) + PE3 log(r −1) = H (ω(1− p) + p / 2) 。
六、计算题(15 分)
(3 分)
已知有两个子信道的并联高斯信道，yi = x i +zi ，i = 1, 2 ，加性噪声 z1 和 z2 服
(2) 通过错误概率为 p, 0 ≤ p ≤ 1/ 2 的二元删除信道，求最佳译码准则的判决
函数和平均译码错误率；
(2+2=4 分)
(3) 通过(1)与(2)的串联信道，求最佳译码准则的判决函数和平均译码错误
率，并与(1)和(2)的平均译码错误率进行比较，得到怎样的结论？
(2+2+3=7 分)
(4) 根据(3)的结果，求信源经过串联信道后信息量损失的上界？ (3 分)
(2 分)
(3) 写出香农第三定理中存在平均失真不大于 D 的信源编码充要条件；
(2 分)
答：
(1) R ≥ H 或 R > H ；
(2 分)
(2) (1 / N )× log2 M ≤ C 或 (1 / N )× log2 M < C ；
(2 分)
(3) R ≥ R(D) 或 R > R(D) 。
此信道上最高可实现的信息传输速率是
1.5×106bps ，此时的频谱
利用率是
6 bps/Hz
。
(2) 一出租车司机为某城市的两个区提供服务。从 A 区出发，目的地在 A 区
的概率为 0.6，而目的地在 B 区的概率为 0.4 ；从 B 区出发，目的地在 A
区的概率为 0.3，而目的地在 B 区的概率为 0.7 ；则司机处于 A 区和 B 区
平均译码错误率： pE1 = ω / 2 + ω / 2 = ω 。 (2) 信道的概率转移矩阵为：
0 21
P2
=
01− 1 0
p
p 0 p 1− p
(2+2=4 分)
判决函数：
G( y = 0) = 0,G( y = 1) = 1,G( y = 2) = 0 或
G( y = 0) = 0,G( y = 1) = 1, G( y = 2) = 1， 平均译码错误率： pE2 = p / 2 。 (3) 串联信道的概率转移矩阵为：
(√)
(9) 在信息处理过程中熵不会增加；
(√)
(10) 非奇异的定长码是唯一可译码。
(√)
二、填空题(共 21 分,每空 3 分)
(1) AWGN 信道的带宽为 250kHz，噪声的双边功率谱密度为 N0 / 2 = 0.5×10−8
W / Hz ，信号与噪声的功率比为 63，则信号功率是
0.1575W ，
a8 a16 中的任何一个；采用汉明失真测度；
(1) 求信源符号与恢复符号之间的转移概率矩阵；
(6 分)
(2) 求信源编码器的码率；
(5 分)
(3) 求信源编码的平均失真；
(2 分)
(4) 已知在汉明失真测度下，包含 n 个符号的离散无记忆等概率信源的
R(D) 函数表达式为：
(2 分)
R(
D)
=
log
(2 分)
7
R(D)
|D=1/2 =
log
(n
n −1)1/2
−
H (1/
2)
=
log2 16
− (1/
2) log2 (16
−1)
− log2
2
= 1.0466比特
8
北京邮电大学 2009——2010 学年第 一 学期
《信息论》期末考试试题(A 卷) 标准答案
姓名
班级
学号
班内序号
分数
注：所有答案均写在答题纸上，试卷和答题纸一起上交。
一、判断题(正确打√，错误打×)(共 10 分，每小题 1 分)
(1) 出现概率大的序列是典型序列；
(×)
(2) 用香农公式计算加性非高斯噪声信道的容量，所得到的结果比实际容量
0 1 2 3 4 L 8 9 10
0 0 1/ 3 1/ 3 1/ 3 0 L 0 0 0
1
0
0 1/ 3 1/ 3 1/3 L 0
0
0
2 0 0 0 1/ 3 1/3 L 0 0 0
P=
M
M
LM
；
7 0 0 0 0 0 L 1/ 3 1/ 3 1/ 3
8 1/ 3 0
0
0
0
(2 分)
四、计算题(15 分)
某离散无记忆信道Y = X + Z (mod11) ，其中 Z 的概率分布为
Z
=
1 1 3
2 13
3 1 3
，
X
∈{0,1,⋅⋅⋅,10} 。
Z
与
X
相互独立。求：
(1) 该信道的转移概率矩阵； (2) 该信道是否为离散对称信道？ (3) 该信道的容量及达到容量时的输入概率分布。 解：
(3+3+3=9 分)
①
0
<
σ
2 1
−σ
2 2
<
P
，
②令
E[x12 ]
=
P1
，
E[x22 ]
=
P2
，则
P1
+
P2
=
P
，
P1
+
σ
2 1
=
P2
+ σ 22 ，解得：
( ) ( ) P1 =
P−
σ12 − σ 22 2
， P2
P+ =
σ
2 1
−σ
2 2
2
，信道容量为：
( ) ( ) C
=
1 2
log
1 +
1−ω
1− p
1−ω
1− p
p ω ω
p
p ω ω
p
1−ω
1− p
1−ω
1− p
3
解：
信源等概，因此最佳译码准则为最大似然 (ML)准则。
(1) 信道的概率转移矩阵为：
01
P1
=
0 1− ω 1 ω
ω 1− ω
(2+2=4 分)
判决函数为： G( y = 0) = 0,G( y = 1) = 1 ，
L
0
1/ 3 1/ 3
9 1/ 3 1/ 3 0 0 10 1/ 3 1/ 3 1/ 3 0
0L0 0L 0
0 1/ 3 0 0
(2) 该信道是对称信道。
(3 分)
(3) C = log11− H (1/ 3,1/ 3,1/ 3) = log11− log 3 ≈ 1.8745 比特/符号，达到信道
从零均值的高斯分布，且相互独立，方差分别为 σ12
和σ22
，且 σ12
>
σ
2 2
，信道输
入均值为零, E x12 + x22 ≤ P ；
(1) 当达到信道容量时， E[x12 ] = 0 ；
(3+3=6 分)
①确定σ12 ，σ 22 和 P 的关系；
②写出信道容量表达式；
(2) 当达到信道容量时， E[x22 ] > 0 ；
(6 分) (3 分) (3+3=6 分)
(1) 由离散无记忆信道Y = X + Z (mod11) 可见，输入为 X ，输出为Y ，信道
噪声为 Z 。而
(6 分)
Z
=
1, 1 3,
2, 1 3,
3 1 3
，
X
∈{0,1,
⋅⋅
⋅,10}
，所以
Y
∈{0,1,
⋅
⋅⋅,10}
,
则此信道
的转移概率矩阵为
2
(n
n − 1)
D
− H (D),
0≤D≤
n −1 n
求为达到与现有编码器相同失真每信源符号理论上所需最少比特数。
解：
(1) 信源符号与压缩符号之间的转移概率矩阵：
b1 b2 L b7 b8
a1 a2
1
0
0 1
L L
0 0
0
0
M M M L M M
a7
0
0
L
1
0
a8 M
0 M
0 M
L L
0 M
1 M
a16 0 0 L 0 1
压缩符号与恢复符号与之间的转移概率矩阵：
(2+2+2=6 分)
6
a1 a2 L a7 a8 L a16
b1 1 0 L
b
2
0
1
L
M M M L
b7
0
0
L
b8 0 0 L
0 0 L 0
0
0
L
0
M M L M
1
0
L
0
0 1/ 9 L 1/ 9
信源符号与恢复符号之间的转移概率矩阵：