信息论试题
一、填空题(共15分,每空1分)
1、当时,信源与信道达到匹配。
2、若高斯白噪声的平均功率为6 W,则噪声熵为。如果一个平均功率为9 W的连续信源的熵等于该噪声熵,则该连续信源的熵功率为。
3、信源符号的相关程度越大,信源的符号熵越,信源的剩余度越。
4、离散无记忆信源在进行无失真变长信源编码时,码字长度是变化的。根据信源符号的统计特性,对概率的符号用短码,对概率的符号用长码,从而减少平均码长,提高编码效率。
8、香农第一编码定理指出平均码长的理论极限值为,此时编码效率为。
4、在下面空格中选择填入数学符号“=,≥,≤,>”或“<”
(1)()()2212X X H H =
X ()X 3H = ()3
321X X X H
(2)()XY H ()()Y X H Y H |+ ()()X H Y H +。
9、有一信源X ,其概率分布为???
?
????=??????818141214321x
x x x P X ,若对该信源进行100次扩展,
则每扩展符号的平均信息量是 。
11、当 时,信源熵为最大值。8进制信源的最大熵为 。
二、判断题(正确打√,错误打×)(共5分,每小题1分)
1)噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大。
( )
2)即时码可以在一个码字后面添上一些码元构成另一个码字。 ( ) 3)连续信源的熵可正、可负、可为
零, ( ) 4)平均互信息始终是非负
的。 ( )
5) 信道容量C 只与信道的统计特性有关,而与输入信源的概率分布无关。 ( )
三、(10分)计算机终端发出A 、B 、C 、D 、E 五种符号,出现概率分别为1/16,1/16,1/8,1/4,1/2。通过一条带宽为18kHz 的信道传输数据,假设信道输出信噪比为2047,试计算:
1) 香农信道容量;
2) 无误码传输的最高符号速率。
四、(10分)有一信源发出恒定宽度,但不同幅度的脉冲,幅度值x 处在1a 和2a 之间。此信源连至信道,信道接收端接收脉冲的幅度y 处在1b 和2b 之间。已知随机变量X 和Y 的联合概率密度函数
)
)((1)(1212b b a a xy p --=
试计算)(),(),(XY h Y h X h 和);(Y X I
五、(10分)设某信道的传递矩阵为
0.80.10.10.10.10.8??
=????
P
计算该信道的信道容量,并说明达到信道容量的最佳输入概率分布。
六、(10分)设随机变量X和Y的联合概率分布如下所示:
Z ,计算H(X),H(Z),H(XY),H(X/Z),I(X;Y)已知随机变量XY
七、(20分)一个离散无记忆信源
1
23456()1/161/161/161/161/41/2X x x x x x x P x ????=????????
1) 求()H X 和冗余度;(4分)
2) 编成Fano 码,计算编码效率;(8分) 3) 编成Huffman 码,计算编码效率。(8分)
八、(10分)设一个离散无记忆信源的概率空间为?
?
?
???=????
??8.02.0)(21x x x P X ,它们通过干扰信道,信道矩阵为??
?
?
??=7.03.01.09.0P 。信道输出符号集为[]21,y y Y =,试计算:
(1)信源X 的信息熵;(2分)
(2)收到信息2y 后,获得的关于1x 的信息量;(2分) (3)共熵)(XY H ;(2分) (4)信道疑义度(|)H X Y ;(2分)
(5)收到消息Y 后获得的关于信源X 的平均信息量。(2分)
九、(10分)有一个二元马尔可夫信源,其状态转移概率如图所示,括号中的数表示转移时发出的符号。试计算
(1)达到稳定后状态的极限概率。
。
(2)该马尔可夫信源的极限熵H
《信息论基础》试卷答案
《信息论基础》试卷答案
一、填空题(共15分,每空1分)
1,当(R=C 或信道剩余度为0)时,信源与信道达到匹配。
2,若高斯白噪声的平均功率为6W ,则噪声熵为(1/2log12πe=3。337bit/自由度) 如果一个平均功率为9W 的连续信源的熵等于该噪声熵,则该连续信源的熵功率为(6W )
3,信源符号的相关程度越大,信源的符号熵越(小),信源的剩余度越(大) 4,离散无记忆信源在进行无失真变长信源编码时,码字长度是变化的。根据信源符号的统计特性,对概率(大)的符号用短码,对概率(小)的符号用长码,从而减少平均码长,提高编码效率。
8,香农第一编码定理指出平均码长的理论极限值为(信源熵H(S)/logr 或H R (S)), 此时编码效率为(1)
9,在下面空格中选择填入数学符号“=,<,>,≤≥,” H 2(X)=H(X 1X 2)/2 ≥ H 3(x)=H(X 1X 2X 3)/3 H (XY) = H(Y)+H(X/Y) ≤ H(Y)+H(X)
10,有一信源X ,其概率分布为1234x x x x 1/21/41/81/8X P ????=????????
,
若对该信源进行100次扩展, 其每扩展符号的平均信息量是(175bit/扩展符号)
11当(概率为独立等概)时,信源熵为最大值,8进制信源的最大熵为(3bit/符号) 二、判断题(本大题共5小题,每小题1分,共5分)
1)噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大(?) 2)即时码可以在一个码字后面添上一些码元构成另一个码字(?) 3)连续信源的熵可正可负可零(∨) 4)平均互信息始终是非负的(∨)
5)信道容量C 只与信道的统计特性有关,而与输入信源概率分布无关(∨) 三、(10分)计算机终端发出五种符号,出现概率分别为1/16,1/16,1/8,1/4,1/2.通过一条带宽为18KHz 的信道传输数据,假设信道输出信噪比为2047,试计算: 1)香农信道容量;
2)无误码传输的最高符号速率。 (1) 22log 118log 2048198/t S C B kbit s N ?
?=+== ??
?
(2)()()
max t
B C R H x =,
()1111115,,,,16168428
H x H ?
?==
???
()5198max 1.05610158
B k
R Baud =
=? 四、(10分)有一信源发出恒定宽度,但不同幅度的脉冲,幅度值x 处在a1,a2之间。此信源连至信道,信道接收端接收脉冲的幅度y 处在b1,b2之间。已知随机变量x 和y 的联合概率密度函数(,)1/(21)(21)p x y a a b b =-- 试计算h (x ),h (y )h (xy )和I(x;y)
由(,)p x y 得 12211
()0,a x a a a p x ?≤≤?
-=???
其他
()22211
,0,b x b b b p y ?≤≤?-=???
其他 可见,()()()p xy p x p y =,x 和y 相互独立,且均服从均匀分布, 21()log()/h x a a bit =-自由度 21()log()/h y b b bit =-自由度
2121()()()log()()h xy h x h y a a b b =+=-- (,)0I x y =
五、(10分)设某信道的传递矩阵为
0.80.10.10.10.10.8p ??
=????
计算该信道的信道容量,并说明达到信道容量的最佳输入概率分布,该信道为准对称信道,
(1)两个对称信道矩阵为
0.80.10.80.10.10.80.10.8????????????和0.10.1??????
N1=+=,N2=; M1=,M2=
∴log2(0.8,0.1,0.1)0.9log0.90.1log0.20.447/C H bit =---=符号
最佳输入概率分布为输入等概率,即 (1)(2)p x p x ==1/2 六、(10分)设随机变量x 和y
已知随机变量z=xy,计算H(X),H(Z),H(XY),H(X/Z),I(x ;y ) 1) H(x)=H(1/3,1/3)=符号 2)
H(z)=H(2/3,1/3)=符号
3)H(xy)=H(1/3,1/3,0,1/3)= bit/每对符号 4)
xz P(xz) 00 2/3
01 0 10 0 11
1/3
H(xz)=H(2/3,1/3)bit/每对符号 H(x|z)=H(xz)-H(z)=0 5)
I(x,y)=H(x)+H(y)-H(xy) =符号
七 (20) 一个离散无记忆信源
1
23456()1/161/161/161/161/41/2x x x x x x x p x ????=????????
1) 求H(x)和冗余度;(4分) 2) 编成Fano 码,计算编码效率;(8分) 3) 编成Huffman 码,计算编码效率。(8分)
1) H(x)=H(1/16,1/16,1/16,1/16,1/4,1/2)=2bit
()122.6log6
H x v =-=﹪
2)
12
6
x 5x 14
116
116116116
4x 3x 2
x 1
x 0
1
1
1
1
1
10
11001101
1111
1110
3)
x6
x2x3x4x5x1
1/16
1/161/161/161/4
1/21/16
1/161/8
1/41/21/21/41/81/8
1/21/41/4
1/2
1/20
10
1
10
11
010111111001101
1110 111
12442242
L =?+?+??=
()
100H x L
η=
=% 八 (10分) 设一个离散无记忆信源的概率空间为12()0.20.8x x x p x ????
=????????,它们通过干扰信道,信道矩阵为0.90.10.30.7P ??=????
。信道输出符号集[]12Y y y =,试计算: (1)信源X 的信息熵;(2分)
(2)收到信息y2后,获得关于x1的信息量;(2分) (3) 共熵H(XY);(2分) (4)信道疑义度H(X|Y);(2分)
(5) 收到消息Y 后获得的关于信源X 的平均信息量。(2分)
P(xy) y1 y2
x2××
(1) H(x)=H,=符号
(2) I(x1;y2)=I(x1)-I(x1|y2)=log1/,58/=符号
(3) H(xy)=H,,,=每对符号
(4) H(x|y)=H(xy)-H(y)=(y)
H(y)=H,=
H(x|y)=符号
(5)I(X:Y)=H(x)+H(y)-H(xy)
=H(x)-H(x|y)
=符号
九(10分)有一个二元马尔科夫信源,其状态转移概率如图所示,括号中的数表示转移时发出的符号。试计算
(1)达到稳定后状态的极限概率
(2)该马尔科夫信源的极限熵H
∞
。
(1)
012 000.50.5
10.50.50
200.50.5
s s s
s
p
s
s
=
P(s0)=(s1)
(p(s0)+p(s1)+p(s2))=p(s1) (p(s0)+p(s2))=p(s2)
P(s0)+p(s1)+p(s2)=1
得 p(s0)=;
P(s1)=;
P(s2)=;
(2)
H
∞
=1/4H,+1/2H,+1/4H,
1/4+1/2+1/4=1bit/符号