信息论与编码试卷A

南京工程学院
试题评分标准及参考答案
一 填空题（本题15空,每空1分,共15分 ）
1 一个消息来自于四符号集{a ，b ，c ，d}，四符号等概出现。

由10个符号构成的消息“abbbccddbb ”所含的信息量为（ 20 ）bit ，平均每个符号所包含的信息量为（
2 ）bit 。

2 两个二元信道的信道转移概率矩阵分别为
⎥⎥⎥⎦⎤
⎢⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡=2/16/13/13/12/16/16/13/12/1,10000121P P ，则此信道的信道容量C1=（1bit/符
号 ），信道2的信道容量C2=（ 0.126bit/符号 ）。

两信道串联后，得到的
信道转移概率矩阵为（⎥⎦⎤
⎢
⎣⎡=2/16/13/16/13/12/1P ），此时的信道容量C=
（0.126bit/符号 ）。

3 条件熵H(Y/X)的物理含义为（唯一地确定信道噪声所需要的平均信息量），所以它又称为（噪声熵或散布度 ）。

4 一袋中有5个黑球、10个白球，以摸一个球为一次实验，摸出的球重新放进袋中。

第一次实验包含的信息量为（0.915bit/符号）；第二次实验包含的信息量为（0.915bit/符号）。

5 线性分组码的伴随式定义为（S=EH T ），其中错误图案E 指的是（E=R-C (mod M)）。

二进制码中，差错个数可等效为（收码和发码的汉明距离 ）。

6 设有一个二元等概信源：u={0，1}，P 0=P 1=1/2，通过一个二进制对称信道BSC ，
其失真函数d ij 与信道转移概率P ji =p(v j /u i )分别定义为
⎩⎨
⎧=≠=j
i j i d
ij
01，
⎩⎨⎧=-≠=j i j
i P ji ε
ε1，则失真矩阵[d ij ]=（ ⎥⎦⎤⎢⎣⎡0110 ），平均失真D=（ ε ）。

二 判断题（本题10小题,每小题1分,共10分）
1．√2．√3．×4．×5．×6．√7．×8．√9．×10．√
（1） I(p i ) = -logp i 被定义为单个信源消息的非平均自信息量，它给出某个具体
消息信源的信息度量。

（ ） （2） 异前置码一定是唯一可译码。

（ ）
（3） 无记忆离散消息序列信道，其容量C ≥各个单个消息信道容量之和。

（ ） （4） 冗余度是表征信源信息率多余程度的物理量，它描述的是信源的剩（ ） （5） 当信道固定时，平均互信息),(Y X I 是信源分布的∪型凸函数。

（ ） （6） BCH 码是一类线性循环码，其纠错能力强、构造方便。

（ ）
（7） R(D)被定义为在限定失真为D 的条件下，信源的最大信息速率。

（ ） （8） 设P 为某马尔可夫信源的转移概率矩阵，若存在正整数N 使得N
P 中的
元素全都为0，则该马尔可夫信源存在稳态分布。

（ ） （9） 信道容量随信源概率分布的变化而变化。

（ ）
（10）如果两个错误图样e1、e2的和是一个有效的码字，则它们具有相同的
伴随式。

（ ）
三名词解释（本题4小题,每小题5分,共20分） 1 极限熵
序列长度趋于无限大时，序列的平均符号熵称为极限熵，又称极限信息量。

2 最佳变长码
变长编码中，所有编出的唯一可译码中平均码长最短的码即为紧致码。

3 限失真信源编码
离散无记忆信源X 的信息率失真函数为R(D)，当信息率大于R(D)时，只要信源序列的长度足够长，一定存在一种编码方法，其译码失真小于或等于D+ε；反之，则无论采用什么方法，其译码失真必大于D 。

4 信道容量 平均互信息I （X ；Y ）在转移概率p(y/x)一定时，关于X 的概率分布是上凸函数，因此有极大值存在，这个极大值定义为信道容量)
;(max )
(Y X I C xi p =
四计算题（本题3小题,共25分）
1 有一离散信道，其信道矩阵为⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢
⎢⎢⎣⎡=216
131312161613121P ，并设41
)()(2
1==x P x P ，
21
)(3=
x P ，
试按最大似然概率译码准则确定译码规则，并计算其相应的平均译码错误概率。

(7分)
解：根据最大似然概率译码规则，得译码规则为：
F(y1)=x1 F(y2)=x2 F(y3)=x3 （1分）
收到y1后的错误概率Pe1=1/2 （1分） 收到y2后的错误概率Pe2=1/2 （1分） 收到y3后的错误概率Pe3=1/2 （1分） Y 的概率分布为：{1/4 1/4 1/2} ∴平均错误概率为：
P E =p(y1)Pe1+P(y2)Pe2+P(y3)Pe3=1/4*(1/2)+1/4*(1/2)+1/2*(1/2)=1/2
（3分）
2 彩色电视显像管的屏幕上有5×105个像元，设每个像元有64种彩色度，每种彩色
度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个组合之间相互独立。

试： 1）计算一帧图像所包含的信息量；
2）计算每秒传送25帧图像所需要的信道容量；
3）如果信道上信号与噪声平均功率的比值为30dB ，为实时传送彩色电视图像，信道的通频带应为多大？ （3+3+3=9分） 解：1）一帧图像的信息量=5*105*6*4bit=1.2*107bit （3分）
2）1秒送25帧图像所需的信道容量C=1.2*107*25/s=3*108bit/s （3分）
3）根据香农公式C=Blog(1+SNR)，可得：
通频带B=C/log(1+1000)=1*108Hz （3分）
3 考虑一个（8，4）系统线性分组码，其校验位与信息位的关系是：
，其中m 1~m 4是信息位（码元），C 3~C 0是校验位。

1) 求出此分组码的生成矩阵G 和校验矩阵H 。

（码字排列为m 1~m 4C 0~C 3）
2)求此码的最小距离d min。

3)若输入信息m=(1010)，试求对应的输出码字。

4)若接收序列R=（10111010），试判断接收是否有错？并说明理由。

（2+2+2+3=9分）
解：1)生成矩阵
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎣
⎡
=
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
G
=[I4 P] （1分）
校验矩阵H=
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎣
⎡
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
=[P T I4] （1分）
2)该码的最小汉明距离d min=4 （2分）
3)输入信息序列m=(1010)，输出码字C=m·G=10101001 （2分）
4)R=10111010，由RH T=[1 0 0 0]，不等于0，判断出接收有错。

（3分）五综合题（本题3小题,共30分）
1 信源符号X的概率空间为
⎥
⎦
⎤
⎢
⎣
⎡
=
⎥
⎦
⎤
⎢
⎣
⎡
9.0
1.0
2
1
x
x
P
X
，每次两个符号一起编码，试写出
其哈夫曼编码，并求其平均码长L和编码效率。

（4+4=8分）
解：哈夫曼编码参考答案：
0，11，100，101（哈夫曼编码并不唯一）（4分）
平均码长=0.81+0.09*2+0.10*3=1.29bit/2符号=0.645bit/符号（2分）
编码效率
73
.0
645
.0
47
.0
645
.0
)9.0,1.0(
)
(
=
=
=
=
H
L
X
H
η
（2分）
2 设某卷积码的转移函数矩阵为G（D）=（1+D，1+D2），
1）试画出该卷积码的编码器结构图；
2）求该卷积码的状态图；
3）求该码的自由距离d f。

（3+4+3=10分）
解：1)输出与输入之间的关系为：
g1(x)=(110),g2(x)=(101)
输出C0(i)=m0(i)+m0(i-1)
C1(i)= m0(i)+m0(i-2) （3分）编码器结果如下所示：。