信息论习题全版.docx
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
[例2.1.4 条件熵] 已知X ,Y }1,0{∈,XY 构成的联合概率为:p(00)=p(11)=1/8,p(01)=p(10)=3/8,计算条件熵H(X/Y)。
解: 根据条件熵公式:
∑∑==-=m
j n
i j i j i y x p y x p Y X H 112)/(log )()/(
)()
()/(j j i j i y p y x p y x p =
首先求∑==2
1
)()(i j i j y x p y p ,有
)
/(406
.0243log 8341log 8
1
)
1/1(log )11()
0/1(log )10()1/0(log )01()0/0(log )00()/(,
4
3
)1/0()0/1()
1/1(41
2/18/1)0()00()0()00()0/0()0/0(2
1
)1()1(8
1
83)10()00()0()0(22222211111212111symbol bit p p p p p p p p Y X H p p p y p y x p p p y x p p y p p c
y x p y x p y p p =⨯⎪⎭⎫ ⎝⎛--=-----==============
===+==+====从而有:
同理可求得[例2.1.5]将已知信源⎭
⎬⎫
⎩⎨⎧=⎥
⎦⎤⎢
⎣⎡5.05.0)(21
x x X P X
接到下图所示的
信道上,求在该信道上传输的平均互信息量I(X;Y)、疑义度H(X/Y)、噪声熵H(Y/X)和联合熵H(XY)。
1x 0.981y
0.02
0.2
2x 0.82y
解:(1)由),/()()(i j i j i x y p x p y x P =求出各联合概率:
49.098.05.0)/()()(11111=⨯==x y p x p y x p
01.002.05.0)/()()(12121=⨯==x y p x p y x p 10.020.05.0)/()()(21212=⨯==x y p x p y x p 40.080.05.0)/()()(22222=⨯==x y p x p y x p
(2)由,)()(1
∑==n
i j i j y x P y P 得到Y 集各消息概率:
=)(1y p 59.010.049.0)()()(12112
1
1=+=+=∑=y x p y x p y x P i i
41.059.01)(1)(12=-=-=y p y p
(3)由)
()()/(j j i j i y p y x p y x
p =
,得到X 的各后验概率:
831.059
.049
.0)()()/(11111===y p y x p y x p
169.0)/(1)/(1112=-=y x p y x p
同样可推出976.0)/(,024.0)/(2221==y x p y x p
(4))/(1}5.0log 5.05.0log 5.0{)(log )()(222
1
2符号比特=+-=-=∑=i i i x p x p X H
}41.0log 41.059.0log 59.0{)(log )()(222
1
2+-=-=∑=i i i y p y p Y H
=0.98(比特/符号)
)(log )()(211j i n
i m
j j i y x p y x p XY H ∑∑==-=
}
40.0log 40.010.0log 10.001.0log 01.049.0log 49.0{2222+++-=
=1.43(比特/符号)
(5)平均互信息
符号)
比特/(55.043.198.01)()()();(=-+=-+=XY H Y H X H Y X I
(6)疑义度
∑∑==-=2
12
12)/(log )(/i j j i j i y x p y x p Y X H )(
}
976.0log 40.0169.0log 10.0024.0log 01.0831.0log 49.0{2222+++-=
符号)比特/(45.0=
(7)噪声熵
∑∑==-=2
12
12)/(log )(/i j i j j i x y p y x p X Y H )(
}
80.0log 40.020.0log 10.002.0log 01.098.0log 49.0{2222+++-=
符号)比特/(43.0=
[例2.2.1]有一离散平稳无记忆信源
∑==⎪
⎭
⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡3
1
3211)(41,41,21,,)(i i
x p x x x X P X ,求此信源的二次扩展
信源的熵。
先求出此离散平稳无记忆信源的二次扩展信源。扩展信源的每个元素是信源X 的输出长度为2的消息序列。由于扩展信源是无记忆的,故
)9,,2,1;3,2,1,()
()()(2121 ===i i i x p x p a p i i i
根据熵的定义,二次扩展信源的熵为
)(2)/(3)(X H X H N ==符号比特
结论:计算扩展信源的熵时,不必构造新的信源,可直接从原信源X 的熵导出。即离散平稳无记忆信源X 的N 次扩展信源的熵为离散信源X 的熵的N 倍。