信息论基础08-C

2008年《信息论基础》试题(C)
2007-06-28 姓名＿＿＿＿班级＿＿＿＿学号＿＿＿＿成绩＿＿＿
一、 填空题（每空2.5分,共45分）
1．设有8行8列棋型方格，如果有两个球A 和B 分别以等可能 落入任一方格内(两球不能落在同一格中),则A 落入任何一格的自 信息量是＿＿＿＿;平均自信息量是＿＿＿＿;若己知A 巳落入某 一格,则B 再落入另一格的自信息量是＿＿＿＿。

2.设有一二元信源X,不论以前发出过什么符号它在任意时间均以 P(0)=0,4,P(1)=0.6的概率发出信号,X 1,X 2,X 3为信号序列,则 H(X 3)=＿＿＿＿＿;H(X 3|X 2X 1)=＿＿＿＿＿。

3.巳知两个信道Q 1和Q 2,它们的信道矩阵分别为:
如果这两个信道串联,则总信道的信道矩阵是＿＿＿＿＿＿＿; 若这两个信道并联,则总信道的信道容量是＿＿＿＿＿。

4.巳知有一个连续信源X 为发出恒定宽度,但不同幅度的脉冲; 幅度值x 处在a 1和a 2之间,此信源连至某信道,信道接收端接 收脉冲幅度处在b 1和b 2之间,巳知随机变量X 和Y 的联合概 率密度为:21211212,,)
)((1),(b y b a x a b b a a y x f XY <<<<--= 则微分熵h(X)=＿＿＿＿＿＿＿;h(XY)=＿＿＿＿＿＿＿＿ 平均互信息量I(X;Y)=＿＿＿＿＿。

5.设输入符号为{0,1,2},输出符号为{0,1,2},离散无记忆对称信道 的信道矩阵矩阵为:
⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡=6.03.01.01.06.03.03.01.06.0][|X Y P 此信道的信道容量为＿＿＿＿＿＿。

6.一四元对称信道⎥⎦
⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡4/14/14/14/13210P X , 接收符号Y={0,1,2,3,},其失真矩阵为汉明失真,则
D max =＿＿＿＿; 信息率失真函数R(D)=＿＿＿＿＿＿＿
⎥⎦⎤⎢⎣⎡⎥⎦⎤⎢⎣⎡9.01.01.09.08.02.02.08.0和
7．设某线形分组码的生成矩阵为,111100101010110001⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡=G 则该码是 _________型的系统线形分组码；该码的Hamming 距离为________ 可以检测出________位错误；纠正_________位错误；如果接收码为 Y=001001,则应译为_______
二、 计算题(小数保留三位)
1. 设随机变量X={x 1,x 2}={0,1}和Y={y 1,y 2}={0,1}的联合概率为:
⎥⎦⎤⎢⎣
⎡=⎥⎦⎤⎢⎣⎡4/18/18/34/1)1,1()0,1()1,0()0,0(XY P XY 定义一个随机变量Z=X+Y(mod2)
(1) 计算熵H(X),H(XZ)及H(XYZ);
(2) 计算条件熵H(X|Z),H(Z|X)及H(X|YZ);
(3) 计算互信息量I(X;Z),I(X;Y|Z)及I(X;Z|Y) (18%)
2.设信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡01.002.002.004.007.007.014.015.048.0987
654321x x x x x x x x x P X X 试用Huffman 码编成二元变长码,并计算其编码效率。

(10%)
3.(15%)
（1）叙说Kraft不等式及其意义；
（2）写出Fano不等式并说明它的意义；
三.证明题(12%)
1.设X,Y.Z是三个概率空间,证明:
(1) H(X,Y|Z)=H(X|Z)+H(Y|XY)
(2) H(XY)≤H(X)+H(Y)。