08信息论基础试卷级答案

《信息论基础》试卷三

一、判断题（正确打√，错误打×）（每题1分，共6分）

1.并联信道的容量是各子信道容量之

和。( ⨯ )

2．互信息是非负

的。

( ⨯ )

3.相同功率的噪声中，高斯噪声使信道容量最

小。 ( √ )

4.最大后验概率准则与最大似然准则是等价

的。( ⨯ )

5.如果信息传输速率大于信道容量，就不存在使传输差错率任意小的信道编

码。 ( √ )

6.离散无记忆信源N次扩展源的熵是原信源熵的N

倍。( √ )

二、填空题（每空2分，共20分）

1．信源符号的相关程度越大，信源的符号熵越小，信源的剩余度越大。

2．若信道的输入为X，输出为Y，信道疑义度H(X|Y)表示，在无噪情况下，H(X|Y)= 0 。

3．信道输入与输出间的平均互信息是信道转移概率的下凸函数，是输入概率的上凸函数。

4．R(D)是满足D准则下平均传送每信源符号的所需的最少比特数，它是定义域上的严格递减函数。

6． AWGN 信道下实现可靠通信的信噪比下界为 -1.59 dB ，此时对应的频谱利用率为.0 。

三、计算题（共74分）

1.（16分）设信源X 的符号集为{0，1，2}，其概率分布为1

014P P

==，1

22P =，每信源符号通过两个信道同时传输，输出分别为Y ，Z ，两信道转移概率如图所示：

X

Y

12

01

X

Z

1

2

1

求（1）H (Y )，H (Z )； （各2分共4分） （2）H (XY )，H (XZ )，H (XYZ )； （各2分共6分） （3）I (X;Y )，I (X;Z ), I (Y;Z )； （各2分共6分）

2. （共18分）一个离散无记忆信源发出M 个等概率消息，每个消息编成长度为n 的码字通过一个离散无记忆二元对称信道传输。设信道的输入为X ，输出为 Y ， 错误率为0.1；n 长编码序列的每一个符号按达到信道容量的概率选择，共选择M 个码字，n 选得足够大。

1) 求该信道的信道容量；（5分）

2) 当传输速率达到容量时，确定M 与n 的关系。（5分） 3) 估计信道输入典型序列的个数 ；（4分） 4) 估计信道输出典型序列的个数 ； （4分）

3．（共16分）设离散无记忆信源的概率空间为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡1.09.0s s S 21

P ，对信源进行N 次扩展，采用霍夫曼编码。

（1） 求信源熵H(S)和信源冗余度。（各2分，共4分）

（2） 当N=2时的平均码长和编码效率为多少？（4+2=6分） （3） 当N=∞时的平均码长和编码效率为多少？（3+3=6分）

4．（共8分）已知AWGN 信道，信号的带宽范围为300～3400Hz ，信号与噪声功

率比为26dB 。

1）计算该信道的最大信息传输速率；（4分）

2）若信号与噪声功率比降到10dB ，且保持信道最大信息传输速率不变，则信道带宽应该变为多少？（4分）

5．（16分）设有一马氏链，初始概率分布为()0.6P a =，()0.3P b =，()0.1P c =，

1(|)(|)(|)3P a a P b a P c a ===

，1

(|)(|)(|)3P a b P b b P c b ===,

1

(|)(|)2P a c P b c ==

，(|)0P c c =。

（1） 写出该信源的状态转移概率矩阵；（4分） （2） 画出状态转移图；（4分） （3） 求信源的平稳状态分布；（4分） （4） 计算平稳信源的熵。（4分）

《信息论基础》试卷三及参考答案

一、判断题（正确打√，错误打×）（每题1分，共6分） 1. ⨯

2． ⨯

3. √

4. ⨯

5. √

6. √

二、填空题（每空2分，共20分） 1． 小 ，大

2． 接收到Y 条件下X 的平均不确定性（或X 经信道传输后信息量的损失）， 0 3．下凸， 上凸 4．最少，递 减 6．－1.59， 0

三、计算题（共74分） 1.（16分）

()()(|)()()(|)

()()(|)()(|)(|)p xy p x p y x p xz p x p z x p xyz p x p yz x p x p y x p z x =⋅=⋅=⋅=⋅⋅

（1）353355

888888()(,)log log 0.955 /H Y H ==--=比特符号

11

22()(,) 1 /H Z H ==比特符号

（2） 1111

4882()(,,,) 1.75 /H XY H ==比特符号

111

442()(,,) 1.5 /H XZ H ==比特符号

1111

4882()(,,,) 1.75 /H XYZ H ==比特符号

（3） 111

442()(,,) 1.5 /H X H ==比特符号

(;)()()() 1.50.955 1.750.705 /I X Y H X H Y H XY =+-=+-=比特符号

(;)()()() 1.51 1.5 1 /I X Z H X H Z H XZ =+-=+-=比特符号

(;)()()()0.9551 1.4060.549 /I Y Z H Y H Z H YZ =+-=+-=比特符号 2. （共18分）

1) 531.0)1.0(1=-=H C 比特/符号

2）

n

M H C n M

R 531.02)1.0(1log =⇒-===

3）信道输入典型序列的个数 n

X nH G N 22)(1==

4) 信道输出典型序列的个数 n Y nH G N 22)(2==

3．（共16分）

（1）信源熵

()469.0))logp(s p(s S H q

1i i i =-=∑=bit/符号

所以

()315.0log2

S H 1=-

=γ （2）N=2时，编码过程如下

2S

概率 霍夫曼编码

11s s 0.81 1 21s s 0.09 01 12s s 0.09 000 2

2s s

0.01

001

所以

()=+⨯+⨯+⨯=0.090.0130.0920.811L 2 1.29