信息论基础及答案
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
《信息论基础》试卷答案
一、填空题(共25分,每空1分)
1、连续信源的绝对熵为 无穷大。(或()()lg lim lg p x p x dx +∞
-∞∆→∞--∆⎰)
2、离散无记忆信源在进行无失真变长信源编码时,编码效率最大可以达到 1 。
3、无记忆信源是指 信源先后发生的符号彼此统计独立 。
4、离散无记忆信源在进行无失真变长编码时,码字长度是变化的。根据信源符号的统计特性,对概率大的符号用 短 码,对概率小的符号用 长 码,这样平均码长就可以降低,从而提高 有效性(传输速率或编码效率) 。
5、为了提高系统的有效性可以采用 信源编码 ,为了提高系统的可靠性可以采用 信道编码 。
6、八进制信源的最小熵为 0 ,最大熵为 3bit/符号 。
7、若连续信源输出信号的平均功率为1瓦特,则输出信号幅度的概率密度函数为
高斯分布(或()
0,1
x N
2
2
x
-)时,信源具有最大熵,其值为
(或或1lg2
2e
π)。
8、即时码是指任一码字都不是其它码字的前缀。
9、无失真信源编码定理指出平均码长的理论极限值为信源熵
(或H r(S)或
()
lg
H s
r
),此时编码效率为 1 ,编码后的信息传输率
为 lg r bit/码元。
10、一个事件发生的概率为,则自信息量为 3bit/符号。
11、信源的剩余度主要来自两个方面,一是信源符号间的相关性,二是信源符号概率分布的不均匀性。12、m阶马尔可夫信源的记忆长度为 m+1 ,信源可以有q m个不同的状态。
13、同时扔出一对均匀的骰子,当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36= 比特,当得知“面朝上点数之和为8”所获得的信息量为 lg36/5= 比特。
14.在下面空格中选择填入的数学符号“=,≥,≤,>”或“<”
H(XY) = H(Y)+H(X∣Y) ≤ H(Y)+H(X)
二、(5分)已知信源的概率密度函数为()1
0a x b p x b a ⎧≤≤⎪
=-⎨⎪⎩其他
,计
算信源的相对熵。
()()()
1
lg
b
c a H x p x dx p x =⎰------3分 ()lg b a =-bit/自由度-------2分
三、(10分)一个平均功率受限的连续信道,信道带宽为1MHz ,信道噪声为高斯白噪声。
(1)已知信道上的信号与噪声的平均功率比值为20,计算该信道的信道容量。
(2)如果信道上的信号与噪声的平均功率比值降为10,要达到相同的信道容量,信道带宽应为多少
(3)如果信道带宽降为,要达到相同的信道容量,信道上的信号与噪声的平均功率比值应为多少 1) ()10lg 1NR c S =+------3分
64.3910=⨯b/s---1分
2) ()
610 1.2710lg 1NR c
S =
=⨯+Hz---3分
3) 21c w NR S =-=440----3分
四、(16分)已知信源共7个符号消息,其概率空间为
()12345670.2
0.17
0.2
0.17
0.15
0.10
0.01S s s s s s s s P x ⎡⎤⎡⎤
=⎢⎥⎢⎥⎣⎦
⎣⎦ 试用霍夫曼编码法编成二进制变长码。并计算信源熵、平均码长、编码后的信息传输率、编码信息率和编码效率。要求写出详细的编码过程和计算过程。
2 01 S1 0.22 00 S
3 0.23 111 S2 0.173 110 S
4 0.173 101 S
5 0.154 1001 S
6 0.104 1000 S
7 0.01
0.20.11
0.150.170.170.20.260.17
0.170.20.20.340.2
0.20.260.26
0.340.40.60.4
1.0
------6分
7
1
2.71i i i L P τ===∑位----2分
()7
21
log 2.61i i i H s P P ===∑bit/符号--------2分
2log 2.71R r τ==’bit/码字--------2分
()
20.963log H s r
ητ=
=----------2分
()
0.963H s R τ
=
=bit/码元--------2分
五、(16分)设一个离散无记忆信源的概率空间为
()120.5
0.5X a a P x ⎡⎤⎡⎤
=⎢⎥⎢⎥⎣⎦
⎣⎦ 它们通过干扰信道,信道输出端的接收符号集为Y =[b 1,b 2],已知信源传输概率如下图所示。
X1
X2
Y1
Y2
0.98
0.8
0.02
0.2
试计算:
(1)信源X中事件x1和x2分别含有的自信息量;(2分)
(2)收到y j(j=1,2)后,获得的关于x1的信息量;(2分)
(3)信源X的信息熵;(2分)
(4)条件熵H(Y∣x1),H(Y∣x2);(2分)
(5)共商H(XY)、信道疑义度H(X∣Y)和噪声熵H(Y∣X);(6分)
(6)收到消息Y后获得的关于信源X的平均信息量。(2分)
P(x,y)
X1
X2
Y1Y2 0.44 0.01 0.1 0.4
(1)I(x1)==1bit------1分I(x2)==1bit------1分(2)I(x1;y1)=(或==分
I(x1;y2)=(或==分