通信原理第4章信息熵例题
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Y
（4）信道疑义度 H ( X | Y ) = − ∑ P( x)∑ P( y | x) log P( x | y )
X Y
而相关条件概率 P( x | y ) 计算如下： P( x1 | y1 ) = P( x 2 | y1 ) = P( x1 | y 2 ) = P( x 2 | y 2 ) = 由此计算出信道疑义度为： 5 1 1 3 1 1 3 5 H ( X | Y ) = −0.6 log + log − 0.4 log + log = 0.9635 比特/符号 8 6 2 8 4 2 6 4 P( x1 , y1 ) P( y1 | x1 ) P( x1 ) 0.5 5 = = = 0.8 8 P( y1 ) P( y1 ) 3 8 P( x1 , y 2 ) P( y 2 | x1 ) P( x1 ) 0.6 / 6 1 = = = 0.2 2 P( y2 ) P( y 2 ) 1 2
I ( xቤተ መጻሕፍቲ ባይዱ ; y 2 ) = log
I ( x 2 ; y 2 ) = log
（3）信源 X 以及 Y 的熵为： H ( X ) = − ∑ P( x) log P( x) = −0.6 log 0.6 − 0.4 log 0.4 = 0.971 比特/符号
X
H (Y ) = −∑ P( y ) log P( y ) = −0.8 log 0.8 − 0.2 log 0.2 = 0.722 比特/符号
I ( x 2 ) = log
（2）根据给定的信道以及输入概率分布，可得 P( y1 ) = ∑ P( xi ) P( y1 | x i ) = 0.8
X
P( y 2 ) = ∑ P( xi ) P( y 2 | xi ) = 0.2
X
所求的互信息量分别为： I ( x1 ; y1 ) = log P( y 1 | x1 ) 5/6 25 = log = log = 0.059 比特 P( y1 ) 0.8 24
【3.1】 设信源 X x1 x 2 P( x) = 0.6 0.4 通过一干扰信道，接收符号为 Y = [ y1 , y 2 ] ，信道传递概率如下图所示，求 （1）信源 X 中事件 x1 和 x 2 分别含有的自信息； （2） 收到消息 y j ( j = 1,2) 后，获得的关于 xi (i = 1,2) 的信 息量； （3）信源 X 和信源 Y 的信息熵； （4）信道疑义度 H ( X | Y ) （5）接收到消息 Y 后获得的平均互信息。 解： （1）信源 X 中事件 x1 和 x 2 分别含有的自信息分别为： I ( x1 ) = log 1 = − log 0.6 = 0.737 比特 P( x1 ) 1 = − log 0.4 = 1.32 比特 P( x2 ) 3/4 x2 1/4 y2 x1 5/6 1/6 y1
I ( x 2 ; y1 ) = log
P( y1 | x2 ) 3/ 4 15 = log = log = −0.093 比特 P( y1 ) 0.8 16 P( y 2 | x1 ) 1/ 6 5 = log = log = −0.263 比特 P( y 2 ) 0.2 6 P( y 2 | x2 ) 1/ 4 5 = log = log = 0.322 比特 P( y 2 ) 0.2 4
（5）接收到信息 Y 后获得的平均互信息为： I ( X ; Y ) = H ( X ) − H ( X | Y ) = 0.0075 比特/符号
（4）信道疑义度 H ( X | Y ) = − ∑ P( x)∑ P( y | x) log P( x | y )
X Y
而相关条件概率 P( x | y ) 计算如下： P( x1 | y1 ) = P( x 2 | y1 ) = P( x1 | y 2 ) = P( x 2 | y 2 ) = 由此计算出信道疑义度为： 5 1 1 3 1 1 3 5 H ( X | Y ) = −0.6 log + log − 0.4 log + log = 0.9635 比特/符号 8 6 2 8 4 2 6 4 P( x1 , y1 ) P( y1 | x1 ) P( x1 ) 0.5 5 = = = 0.8 8 P( y1 ) P( y1 ) 3 8 P( x1 , y 2 ) P( y 2 | x1 ) P( x1 ) 0.6 / 6 1 = = = 0.2 2 P( y2 ) P( y 2 ) 1 2
I ( xቤተ መጻሕፍቲ ባይዱ ; y 2 ) = log
I ( x 2 ; y 2 ) = log
（3）信源 X 以及 Y 的熵为： H ( X ) = − ∑ P( x) log P( x) = −0.6 log 0.6 − 0.4 log 0.4 = 0.971 比特/符号
X
H (Y ) = −∑ P( y ) log P( y ) = −0.8 log 0.8 − 0.2 log 0.2 = 0.722 比特/符号
I ( x 2 ) = log
（2）根据给定的信道以及输入概率分布，可得 P( y1 ) = ∑ P( xi ) P( y1 | x i ) = 0.8
X
P( y 2 ) = ∑ P( xi ) P( y 2 | xi ) = 0.2
X
所求的互信息量分别为： I ( x1 ; y1 ) = log P( y 1 | x1 ) 5/6 25 = log = log = 0.059 比特 P( y1 ) 0.8 24
【3.1】 设信源 X x1 x 2 P( x) = 0.6 0.4 通过一干扰信道，接收符号为 Y = [ y1 , y 2 ] ，信道传递概率如下图所示，求 （1）信源 X 中事件 x1 和 x 2 分别含有的自信息； （2） 收到消息 y j ( j = 1,2) 后，获得的关于 xi (i = 1,2) 的信 息量； （3）信源 X 和信源 Y 的信息熵； （4）信道疑义度 H ( X | Y ) （5）接收到消息 Y 后获得的平均互信息。 解： （1）信源 X 中事件 x1 和 x 2 分别含有的自信息分别为： I ( x1 ) = log 1 = − log 0.6 = 0.737 比特 P( x1 ) 1 = − log 0.4 = 1.32 比特 P( x2 ) 3/4 x2 1/4 y2 x1 5/6 1/6 y1
I ( x 2 ; y1 ) = log
P( y1 | x2 ) 3/ 4 15 = log = log = −0.093 比特 P( y1 ) 0.8 16 P( y 2 | x1 ) 1/ 6 5 = log = log = −0.263 比特 P( y 2 ) 0.2 6 P( y 2 | x2 ) 1/ 4 5 = log = log = 0.322 比特 P( y 2 ) 0.2 4
（5）接收到信息 Y 后获得的平均互信息为： I ( X ; Y ) = H ( X ) − H ( X | Y ) = 0.0075 比特/符号