信息论试卷及解答

2
解答： 1 3 1 P= 3 1 2 1 3 1 3 1 2 1 3 1 3 0
（1）
（2）
（3） 1 3 1 [π 1 , π 2 , π 3 ] 3 1 2 π1 + π 2 + π 3 = 1 π1 = π 2 = π3 = 1 4 3 8 1 3 1 3 1 2 1 3 1 = [π 1 , π 2 , π 3 ] 3 0
四、 (15 分)将两个如图 1 所示的 Z 信道按图 2 所示进行连接， 当信道输入为 X 时， 在 X 为二元独立等概信源的情况下，求： 两信道对应的输出分别为 Y1 , Y2。
4
(1) H ( XY1Y2 ) ;(6 分)
P ( y1 x )
(2) I ( X ;Y1Y2 ) 。(9 分)
P ( y2 x)
图3 解答: 1 2 p = 0 1 4
1
1 4
1 4
0 ； 该信道不是对称信道； 1 2
1 log 1 + 1 log 1 4 4 4 4 4 4 4 4
1 4
1 β1 + 1 β 2 + 1 β 3 = 1 log 1 + 4 4 2 2 2 pβ = − h ⇒ β 2 = 0 1 β + 1 β + 1 β = 1 log 1 + 4 1 4 2 2 3 2 2
1−ε 图1
解答： 1 0 1 0 1 （1） 设 ε = 1 − ε ，则 P ′ = 2 = ⋅ ε ε ε ε 1 − ε （2） p( y = 0) = 1+ε 1− ε , p( y = 1) = ; 2 2 0 ε 2
3
（2）若 X 的符号集 A= {0,1} ，其中 0，1 等概，求平均互信息 I ( X ; Z ) ； （6 分） （3）求在接收到 z = “1”时获取的关于发送 x = “1”的信息量； （5 分） （4）求接收到 z1 z 2 = “11”时获取的关于发送 x1 x 2 = “11”的信息量。 （8 分） 1 0 ε 1 1 0
p( x = 1) p( z = 0 / x = 1) p( z = 0)
1
=
p( x = 1) p( z = 0 / x = 1) p ( x = 0) p ( z = 0 / x = 0) + p( x = 1) p( z = 0 / x = 1)
0.5 × 5 / 9 = 5 /12 0.5 × 7 / 9 + 0.5 × 5/ 9 所以，事件“甲先生带条件下没有下雨”的信息量为： 5 I ( x = 1/ z = 0) = − log 2 =1.263 比特， 12 = （3） [ p ( y = 0) 2 / 3 1/ 3 p( y = 1)] = [1/ 2 1/ 2] × = [1/ 2 1/ 2] 1/ 3 2 / 3 I ( X ;Y ) = H (Y ) − H (Y / X ) = H (1/ 2) − H (1/ 3) =1-0.918 =0.082 比特/消息符号 （4） [ p ( z = 0) 7 / 9 2 / 9 p( z = 1)] = [1/ 2 1/ 2] × = [ 2 / 3 1/ 3] 5/ 9 4 / 9 I ( X ; Z ) = H (Z ) − H (Z / X ) = H (1/ 3) − 0.5 × ( H (7 / 9) + H (5/ 9)) = 0.918 − 0.5 × (0.764 + 0.991) = 0.041 比特/消息符号 二、 （17 分）设有一马氏链，初始概率分布为 P(a ) = 0.6 ，P(b) = 0.3 ， P(c ) = 0.1 ， P(a | a ) = P(b | a ) = P(c | a) = P(a | c ) = P(b | c) = 1 3 ， P(a | b) = P(b | b) = P(c | b) = 1 3 ,
Y −Z X −Z
的条件概率矩阵为： 的条件概率矩阵为：
0 2 / 3 1/ 3 1 7 / 9 2 / 9 1/ 3 2 / 3 × 1/ 3 2 / 3 = 5/ 9 4 / 9 （1） p ( z = 1/ x = 0) = 2 / 9 ，所以事件“在雨天条件下甲先生未带伞”所含的 信息量为： I ( z = 1/ x = 0) = − log 2 （2） p ( x = 1/ z = 0) = 2 = 2.170 比特 9
图2
解答： p( xy1 y 2 ) = p( x ) p( y1 x ) p( y 2 x ) ，有： Y1Y2 p( xy1 y 2 )
0 00 01 0 10 0 11 0
1 2 ε2 2
P y1 y 2 (00)=
X
1
εε 2
P y1 y 2 (01)=
εε 2
P y1 y 2 (10)=
ε2 2
P y1 y 2 (11)=
1+ ε 2 2
εε 2
εε 2
ε2 2
∴ H ( XY1Y2 ) = log 2 − ε 2 log ε − εε log εε − ε 2 log ε = log 2 + H (ε ) ； 1+ ε 2 H (Y1Y2 ) = log 2 − log(1 + ε 2 ) − εε log ε − ε log ε 2 I ( X ; Y1Y2 ) = H ( X ) + H (Y1Y2 ) − H ( XY1Y2 ) = log 2 − 其中 ε = 1 − ε 1+ ε 2 log(1 + ε 2 ) − ε (2 − ε ) log ε 2
2
β1 = −2 ⇒ β 2 = 0 1 log 1 + 1 log 1 β = −2 3
⇒ c = log(2 −2 + 20 + 2 −2 ) = log 3 = 0.585比特/符号
2 1 p0 = p2 = 9 q0 = q2 = 6 ⇒ ⇒ q1 = 2 p =5 1 9 3
6
ε2 ε2 p( z = 0) = 1 − , p( z = 1) = ; 2 2 从而， I ( X ; Z ) = H ( Z ) − H ( Z / X ) = H ( p( z ="1" ε2 1 ) − H (ε 2 ) 2 2
（3） log
x ="1" ) = − log 1 = 1 比特/消息符号； p( z ="1" ) 2 0 ε2 0 2 ε 1−ε 2 0 0 ε2 ε 2 1− ε 2 0 0 0 ε 4
（4）
3 1 1 1 1 1 1 H∞ = ⋅ H ( , , )⋅2 + ⋅ H( , , 0) 8 3 3 3 4 2 2 = 1.439bit / 符号
三、 （22 分）将两个如图 1 所示的 Z 信道级联，其中， X 为级联信道的输入， Z 为级联信道的输出。 （1）求级联后信道的转移概率矩阵；(3 分)
所以，天气预报所得到的关于天气情况的信息量：
通过观察甲先生是否带伞所得到的关于天气情况的信息量：
1 ， P (c | c ) = 0 。 2 （1） 写出该信源的状态转移概率矩阵； （3 分） （2） 画出状态转移图； （4 分） （3） 求信源的平稳状态分布； （5 分） （4） 计算平稳信源的熵 H ∞ 。 （5 分）
北京邮电大学信息工程学院 03 级信息论期中考试试题 （2005.11）
姓名 班级 学号 分数
注意：要求试卷和答题纸一起上交 一、 （24 分） 在某城市，下雨和晴天的时间各占一半，而天气预报无论在雨天 还是在晴天都有 2/3 的准确率。甲先生每天上班这样处理带伞问题：如果 预报有雨，他就带雨伞上班；如果预报无雨，他也有 1/3 的时间带伞上班。 （1） 求事件“在雨天条件下甲先生未带伞”所含的信息量； （5 分） （2） 求“甲先生带伞条件下没有下雨”的信息量； （5 分） （3） 求天气预报所得到的关于天气情况的信息量； （6 分） （4） 求通过观察甲先生是否带伞所得到的关于天气情况的信息量。 （8 分） 解： ，1（无雨）}， 设天气情况集合： X ，符号集：{0（有雨） ，1（无雨）}， 设天气预报集合： Y ，符号集：{0（有雨） 设带伞情况集合： Z ，符号集：{0（带伞） ，1（未带伞）}。 根据题意有， X −Y 的条件概率矩阵为： 2 / 3 1/ 3 1/ 3 2 / 3 ， 0 1 1/ 3 2 / 3 ；
5
五、 （22 分）一离散无记忆信道如图 ቤተ መጻሕፍቲ ባይዱ 所示： a) 写出该信道的转移概率矩阵；(3 分)
0 1 1/4 1/2 2
0 1 1/4 1/4 2 1
1/2 1/4
b) 该信道是否为对称信道？(2 分) c) 求该信道的信道容量；(8 分) d) 求达到信道容量时的输出概率分布；(6 分) e) 求达到信道容量时的输入概率分布。(3 分)
（4） 图中信道的二次扩展信道的转移概率矩阵为: 00 1 01 1 − ε 2 P ′′ = 10 1 − ε 2 2 2 11 1− ε
(
)
(
)
(
)
从而， log
p( z ="11"
x ="11" ) = − log 1 = 2 比特/消息符号 p( z ="11" ) 4