信息论复习题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
1、求基本高斯信源的差熵。(10分)
2、一个随机变量x 的概率密度函数为kx x p =)(,V x 20≤≤。试求该信源的相对熵。
3、黑白气象传真图的消息只有黑色和白色两种,即信源{
}黑,白=X ,设黑色的出现概率为3.0(=黑)
P ,白色的出现概率为7.0(=白)P 。 (1)假设图上黑白消息出现前后没有关联,求熵)(X H 。
(2)假设消息前后有关联,其依赖关系为9.0/(=白)
白P ,1.0/(=白)黑P ,2.0/(=黑)白P ,8.0/(=黑)黑P ,求此平稳离散信源的熵)(2X H 。
(3)分别求上述两种信源的剩余度,比较)(X H 和)(2X H 的大小。
4、给出求一般离散信道的信道容量的计算步骤并用拉格朗日乘子法加以证明。
5、给出离散无记忆信源的信息率失真函数的参量表述并用拉格朗日乘子法加以证明。
6、若信道的输入和输出分别是N 长序列X 和Y ,且信道是无记忆的,则 ∑=≤N
k k k Y X I Y X I 1),();(,这里k X 和k Y 分别是序列X 和Y 中第k 位随机变量;并且证明当
且仅当信源也是无记忆信源时等号成立。
7、有一并联高斯加性信道,各子信道的噪声均值为0,方差为2
i σ: 21σ=,22σ=,23σ=,24σ=,25σ=,26σ=,27σ=,28σ=,29σ=,210σ=(W )。输
入信号X 是10个相互统计独立、均值为0、方差为i P 的高斯变量,且满足:
)(1101W P i i =∑=。求各子信道的信号功率分配方案。
8、给定语音信号样值x 的概率密度函数为x e x p λλ-=2
1)(,∞<<∞-x ,求)(X H c ,并比较)(X H c 与具有同样方差的正态变量的连续熵的大小。
9、某二元信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡5.05.010)(x p X ,其失真矩阵定义为⎥⎦
⎤⎢⎣⎡=00a a D ,求该信源的max D ,min D 和该信源的信息率失真函数)(D R 。
10、设连续信源X ,其概率密度函数为x a e a x p -=
2
)(,失真度为y x y x d -=),(,试求此信源的)(D R 函数。
11、一个二进制非等概信源,符号集}1,0{=A ,p p p ==1)0(,p p p -==1)1(2,
试验信道输出符号集}1,0{=B ,失真函数为汉明失真。求该信源的信息率失真函数)(D R 。
12、设一个四元等概信源⎥⎦
⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡25.025.025.025.03210)(x p X ,接收符号集为}3,2,1,0{=Y A ,失真矩阵定义为⎥⎥⎥⎥⎦⎤
⎢⎢⎢⎢⎣⎡=0111
101111011110D ,求max D ,min D 及信源的)(D R 函数,并作出率失真函数曲线(取4到5个点)。
13、信源符号X 有6种字母,概率为,,,,,。
(1) 求符号熵)(X H 。
(2) 用香农编码法编成二进制变长码,计算其编码效率。
(3) 用费诺编码法编成二进制变长码,计算其编码效率。
(4) 用霍夫曼编码法编成二进制变长码,计算其编码效率。
(5) 用霍夫曼编码法编成三进制变长码,计算其编码效率。
14、信源符号X 有6种字母,概率为,,,,,。
a) 求符号熵)(X H 。
b) 用香农编码法编成二进制变长码,计算其编码效率。
c) 用费诺编码法编成二进制变长码,计算其编码效率。
d) 用霍夫曼编码法编成二进制变长码,计算其编码效率。
e) 用霍夫曼编码法编成三进制变长码,计算其编码效率。
15、有一个n 元等概率、平稳无记忆信源}1,,1,0{-=n X ,接收符号集为}1,,1,0{-=n Y ,且规定失真矩阵为
⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎣⎡=011101110][ d 求率失真函数)(D R 。
16、设高斯信源X 的概率密度函数为
()⎥⎦
⎤⎢⎣⎡--=222exp 21)(σσπm x x p 且失真函数定义为差方失真,()22),(z y x y x d =-=。求该信源的率失真函数的香农
下限。
17、设有多维无记忆加性连续信道,输入信号序列为:()L x x x x ,,,21
=,输出信号序
列为:()L y y y y ,,,21 =,其噪声为高斯噪声,噪声序列()L n n n n ,,,21 =中的各分量是均值为0,方差为2i σ的高斯噪声,分两种情况计算其信道容量:
(1)在各单元时刻(L i ,,2,1 =)上的噪声都是均值为0、方差为2σ的高斯噪声;
(2)在各单元时刻(L i ,,2,1 =)上的噪声都是均值为0、方差为2i σ的
高斯噪声,但输入信号的总平均功率受限,其约束条件为:
[]
P P x E x E L i i L i i L i i ===⎥⎦⎤⎢⎣⎡∑∑∑===11212
18、设二进制对称信道的转移概率矩阵为
⎥⎦
⎤⎢⎣⎡=3/23/13/13/2P (1)若4/3)(0=x p ,4/1)(1=x p ,求)(X H ,)/(Y X H ,)/(X Y H 和);(Y X I ;
(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
19、某信源发送端有两个符号:2,1,=i x i ,a x p =)(1,每秒发出一个符号。接收端有三种符号:3,2,1,=j y j ,转移概率矩阵
⎥⎦
⎤⎢⎣⎡=4/14/12/102/12/1P (1)计算接收端的平均不确定性;
(2)计算由于噪声产生的不确定性)/(X Y H ;
(3)计算信道容量。
20、在干扰离散信道上传输符号1和0,在传输过程中每100个符号发生一个错传的符号。已知2/1)1()0(==p p ,信道每秒内允许传输1000个符号。求此信道的容量。
21、发送端有三种等概率符号),,(321x x x ,3/1)(=i x p ,接收端收到三种符号),,(321y y y ,信道转移概率矩阵为
⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡=09.01.03.03.04.02.03.05.0P (1)计算接收端收到一个符号后得到的信息量)(Y H ;