信息论——习题解答
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
不满足极值性的原因是
p ( x ) 1 .07 1
i i
6
2.9证明：H(X3/X1X2) ≤ H(X3/X1)，并说明等式成立的条件。 证明：
H ( X 3 / X 1 X 2 ) H ( X 3 / X 1 ) p ( xi1 xi 2 xi 3 ) log p ( xi 3 / xi1 xi 2 ) p ( xi1 xi 3 ) log p ( xi 3 / xi1 )
2.836 bit / symbol
H (YZ ) p ( y j z k ) log p ( y j z k ) 103 log 103 103 log 103 103 log 103 103 log 103
20 20 23 23 32 32 28 28
冷 12 晴 晴 冷 8
暖 忙
8 闲
暖 15
冷 27 雨 雨
冷
5
暖 16
暖 12
若把这些频度看作概率测度，求： (1) 忙闲的无条件熵； (2) 天气状态和气温状态已知时忙闲的条件熵； (3) 从天气状态和气温状态获得的关于忙闲的信息。
解： (1)根据忙闲的频率，得到忙闲的概率分布如下：
H ( X )
4 C
13 13 52
13.208 bit
2.3居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160 厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们 得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？
解：设随机变量X代表女孩子学历
X
x1（是大学生）
i 2
x 忙 x 2闲 1 63 40 P( X ) 103 103 63 40 40 63 p ( xi ) log p ( x i ) log log 0.964 bit / symbol 103 103 103 103 X
x 2 1 x3 2 1/ 4 1/ 4
x 4 3 1/ 8
其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？
解： (1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：
2.16一阶马尔可夫信源的状态图如下图所示。信源X的符号集为{0, 1, 2}。 (1) 求平稳后信源的概率分布； (2) 求信源的熵H∞。
P
P
解：(1)
p ( e1 ) p ( e1 ) p ( e1 / e1 ) p ( e 2 ) p ( e1 / e 2 ) p ( e 2 ) p ( e 2 ) p ( e 2 / e 2 ) p ( e3 ) p ( e 2 / e3 ) p (e ) p (e ) p (e / e ) p (e ) p (e / e ) 3 3 3 3 1 3 1
x2（不是大学生）
P(X)
0.25
0.75
设随机变量Y代表女孩子身高
Y
y1（身高>160cm） 0.5
y2（身高<160cm） 0.5
P(百度文库)
已知：在女大学生中有75%是身高160厘米以上的, 即：
p ( y1 / x1 ) 0 .75 bit
求：身高160厘米以上的某女孩是大学生的信息量, 即：
p ( e1 ) p p ( e1 ) p p ( e 2 ) p ( e 2 ) p p ( e 2 ) p p ( e3 ) p ( e3 ) p p ( e3 ) p p ( e1 )
0
P
1
P
P
p ( e1 ) 1 / 3 p ( e2 ) 1 / 3 p (e ) 1 / 3 3
2 2 R R R
log b
FX ( x ) bx 3
3
2 ba 9
ba 3
3
log
1
a
3
e
3
, FX ( a )
H c ( X ) log b
2 3
log
bx 2 p( x) 0
0 xa 其他
2 解：(1) H c ( X ) R p ( x ) log p ( x ) dx R p ( x ) log bx dx
log b p ( x ) dx p ( x ) log x dx log b 2 b x log xdx
(2) 设忙闲为随机变量X，天气状态为随机变量Y，气温状态为随机变量Z
H ( XYZ ) p ( xi y j z k ) log p ( x i y j z k )
i j k
12 8 8 27 27 16 16 8 8 15 15 5 5 12 12 12 log log log log log log log log 103 103 103 103 103 103 103 103 103 103 103 103 103 103 103 103
p ( xi ) 1 52 !
I ( x i ) log p ( x i ) log 52 ! 225 .581 bit
(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：
p ( xi ) 4
13 13
C 52
I ( xi ) log p ( xi ) log
(2)
1 3 p ( xi ) 4 4
m
100 m
3
100 m 100
4
3
100 m 100
I ( xi ) log p ( x i ) log
4
41.5 1.585 m bit
(3)
H (X
100
) 100 H ( X ) 100 0 .811 81 .1 bit / symbol
p ( x i1 x i 2 x i 3 ) log
p ( x i 3 / x i1 ) p ( x i 3 / x i1 x i 2 )
i1 i2 i3
p ( x i 3 / x i1 ) p ( x i1 x i 2 x i 3 ) 1 log 2 e p ( x i 3 / x i1 x i 2 )
x2
x3
x4
x5
0 . 19 0 . 18
0 . 17 0 . 16
x6 0 . 17
求这个信源的熵，并解释为什么H(X) > log6不满足信源熵的极值性。
6
解： H ( X ) p ( x i ) log p ( x i ) = 2.657 bit / symbol
i
H ( X ) log 2 6 2.585
H (Y ) NH (Y ) 1000 13.288 13288 bit / symbol
N
(3)
n
H (X ) H (Y )
N
2.1 10
6
13.288
158037
2.22 设有一连续随机变量，其概率密度函数 (1) 试求信源X的熵Hc(X)； (2) 试求Y = X + A (A > 0)的熵Hc(Y)； (3) 试求Y = 2X的熵Hc(Y)。
2
P
(2) H p ( ei ) H ( X / ei )
i
3
1 3
H ( p, p)
1 3
H ( p, p)
1 3
H ( p, p)
H ( p, p)
p log p p log p
bit / symbol
2.18每帧电视图像可以认为是由3105个像素组成的，所有像素均是独立变化， 且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图 像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字 来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉 字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在 口述中至少需要多少汉字？ 解：(1)
当 p ( x i 3 / x i1 ) p ( x i 3 / x i1 x i 2 ) 1时 等 式 成 立
即 ： p ( x i 3 / x i1 ) p ( x i 3 / x i1 x i 2 )
等 式 成 立 的 条 件 是 X 2 , X 1 , X 3是 马 氏 链
2.10 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成 冷暖两个状态，调查结果得联合出现的相对频度如下：
j k
1.977 bit / symbol
H ( X / YZ ) H ( XYZ ) H (YZ ) 2.836 1.977 0.859 bit / symbol
(3) I ( X ; YZ ) H ( X ) H ( X / YZ ) 0 .964 0 .859 0 .159 bit / symbol
3 1 p 8 4
14 25
1 8
6
此消息的信息量是：
I log p 87 .811 bit
(2) 此消息中平均每符号携带的信息量是：
I / n 87 .811 / 45 1 .951 bit
2.6 设信源
X x1 P ( X ) 0 .2
I ( x1 / y1 ) log p ( x1 / y1 ) log p ( x1 ) p ( y 1 / x1 ) p ( y1 ) log 0 . 25 0 . 75 0 .5 1 . 415 bit
2.4
X x1 0 设离散无记忆信源 P ( X ) 3 / 8
p ( x i1 x i 2 ) p ( x i 3 / x i1 ) p ( x i1 x i 2 x i 3 ) log 2 e i1 i 2 i 3 i1 i 2 i 3
0
H ( X 3 / X1X 2 ) H ( X 3 / X1)
H ( X ) log n log 128 7 bit / symbol
H ( X ) NH ( X ) 3 10 7 2.1 10
N 5 6
bit / symbol
(2)
H (Y ) log n log 10000 13.288 bit / symbol
i1 i2 i3 i1 i3
p ( xi1 xi 2 xi 3 ) log p ( xi 3 / xi1 xi 2 ) p ( xi1 xi 2 x i 3 ) log p ( x i 3 / x i1 )
i1 i2 i3 i1 i2 i3
i1 i2 i3
2.15某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。 (1) 求符号的平均熵； (2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m） 个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。
解：(1)
1 3 3 1 H ( X ) p ( x i ) log p ( x i ) log log 0 . 811 bit / symbol 4 4 4 4 i
信息论——习题解答
jhhu@phy.ccnu.edu.cn
2.2假设一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解：(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的, 则所给出的信息量是：
p ( x ) 1 .07 1
i i
6
2.9证明：H(X3/X1X2) ≤ H(X3/X1)，并说明等式成立的条件。 证明：
H ( X 3 / X 1 X 2 ) H ( X 3 / X 1 ) p ( xi1 xi 2 xi 3 ) log p ( xi 3 / xi1 xi 2 ) p ( xi1 xi 3 ) log p ( xi 3 / xi1 )
2.836 bit / symbol
H (YZ ) p ( y j z k ) log p ( y j z k ) 103 log 103 103 log 103 103 log 103 103 log 103
20 20 23 23 32 32 28 28
冷 12 晴 晴 冷 8
暖 忙
8 闲
暖 15
冷 27 雨 雨
冷
5
暖 16
暖 12
若把这些频度看作概率测度，求： (1) 忙闲的无条件熵； (2) 天气状态和气温状态已知时忙闲的条件熵； (3) 从天气状态和气温状态获得的关于忙闲的信息。
解： (1)根据忙闲的频率，得到忙闲的概率分布如下：
H ( X )
4 C
13 13 52
13.208 bit
2.3居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160 厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们 得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？
解：设随机变量X代表女孩子学历
X
x1（是大学生）
i 2
x 忙 x 2闲 1 63 40 P( X ) 103 103 63 40 40 63 p ( xi ) log p ( x i ) log log 0.964 bit / symbol 103 103 103 103 X
x 2 1 x3 2 1/ 4 1/ 4
x 4 3 1/ 8
其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？
解： (1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：
2.16一阶马尔可夫信源的状态图如下图所示。信源X的符号集为{0, 1, 2}。 (1) 求平稳后信源的概率分布； (2) 求信源的熵H∞。
P
P
解：(1)
p ( e1 ) p ( e1 ) p ( e1 / e1 ) p ( e 2 ) p ( e1 / e 2 ) p ( e 2 ) p ( e 2 ) p ( e 2 / e 2 ) p ( e3 ) p ( e 2 / e3 ) p (e ) p (e ) p (e / e ) p (e ) p (e / e ) 3 3 3 3 1 3 1
x2（不是大学生）
P(X)
0.25
0.75
设随机变量Y代表女孩子身高
Y
y1（身高>160cm） 0.5
y2（身高<160cm） 0.5
P(百度文库)
已知：在女大学生中有75%是身高160厘米以上的, 即：
p ( y1 / x1 ) 0 .75 bit
求：身高160厘米以上的某女孩是大学生的信息量, 即：
p ( e1 ) p p ( e1 ) p p ( e 2 ) p ( e 2 ) p p ( e 2 ) p p ( e3 ) p ( e3 ) p p ( e3 ) p p ( e1 )
0
P
1
P
P
p ( e1 ) 1 / 3 p ( e2 ) 1 / 3 p (e ) 1 / 3 3
2 2 R R R
log b
FX ( x ) bx 3
3
2 ba 9
ba 3
3
log
1
a
3
e
3
, FX ( a )
H c ( X ) log b
2 3
log
bx 2 p( x) 0
0 xa 其他
2 解：(1) H c ( X ) R p ( x ) log p ( x ) dx R p ( x ) log bx dx
log b p ( x ) dx p ( x ) log x dx log b 2 b x log xdx
(2) 设忙闲为随机变量X，天气状态为随机变量Y，气温状态为随机变量Z
H ( XYZ ) p ( xi y j z k ) log p ( x i y j z k )
i j k
12 8 8 27 27 16 16 8 8 15 15 5 5 12 12 12 log log log log log log log log 103 103 103 103 103 103 103 103 103 103 103 103 103 103 103 103
p ( xi ) 1 52 !
I ( x i ) log p ( x i ) log 52 ! 225 .581 bit
(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：
p ( xi ) 4
13 13
C 52
I ( xi ) log p ( xi ) log
(2)
1 3 p ( xi ) 4 4
m
100 m
3
100 m 100
4
3
100 m 100
I ( xi ) log p ( x i ) log
4
41.5 1.585 m bit
(3)
H (X
100
) 100 H ( X ) 100 0 .811 81 .1 bit / symbol
p ( x i1 x i 2 x i 3 ) log
p ( x i 3 / x i1 ) p ( x i 3 / x i1 x i 2 )
i1 i2 i3
p ( x i 3 / x i1 ) p ( x i1 x i 2 x i 3 ) 1 log 2 e p ( x i 3 / x i1 x i 2 )
x2
x3
x4
x5
0 . 19 0 . 18
0 . 17 0 . 16
x6 0 . 17
求这个信源的熵，并解释为什么H(X) > log6不满足信源熵的极值性。
6
解： H ( X ) p ( x i ) log p ( x i ) = 2.657 bit / symbol
i
H ( X ) log 2 6 2.585
H (Y ) NH (Y ) 1000 13.288 13288 bit / symbol
N
(3)
n
H (X ) H (Y )
N
2.1 10
6
13.288
158037
2.22 设有一连续随机变量，其概率密度函数 (1) 试求信源X的熵Hc(X)； (2) 试求Y = X + A (A > 0)的熵Hc(Y)； (3) 试求Y = 2X的熵Hc(Y)。
2
P
(2) H p ( ei ) H ( X / ei )
i
3
1 3
H ( p, p)
1 3
H ( p, p)
1 3
H ( p, p)
H ( p, p)
p log p p log p
bit / symbol
2.18每帧电视图像可以认为是由3105个像素组成的，所有像素均是独立变化， 且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图 像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字 来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉 字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在 口述中至少需要多少汉字？ 解：(1)
当 p ( x i 3 / x i1 ) p ( x i 3 / x i1 x i 2 ) 1时 等 式 成 立
即 ： p ( x i 3 / x i1 ) p ( x i 3 / x i1 x i 2 )
等 式 成 立 的 条 件 是 X 2 , X 1 , X 3是 马 氏 链
2.10 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成 冷暖两个状态，调查结果得联合出现的相对频度如下：
j k
1.977 bit / symbol
H ( X / YZ ) H ( XYZ ) H (YZ ) 2.836 1.977 0.859 bit / symbol
(3) I ( X ; YZ ) H ( X ) H ( X / YZ ) 0 .964 0 .859 0 .159 bit / symbol
3 1 p 8 4
14 25
1 8
6
此消息的信息量是：
I log p 87 .811 bit
(2) 此消息中平均每符号携带的信息量是：
I / n 87 .811 / 45 1 .951 bit
2.6 设信源
X x1 P ( X ) 0 .2
I ( x1 / y1 ) log p ( x1 / y1 ) log p ( x1 ) p ( y 1 / x1 ) p ( y1 ) log 0 . 25 0 . 75 0 .5 1 . 415 bit
2.4
X x1 0 设离散无记忆信源 P ( X ) 3 / 8
p ( x i1 x i 2 ) p ( x i 3 / x i1 ) p ( x i1 x i 2 x i 3 ) log 2 e i1 i 2 i 3 i1 i 2 i 3
0
H ( X 3 / X1X 2 ) H ( X 3 / X1)
H ( X ) log n log 128 7 bit / symbol
H ( X ) NH ( X ) 3 10 7 2.1 10
N 5 6
bit / symbol
(2)
H (Y ) log n log 10000 13.288 bit / symbol
i1 i2 i3 i1 i3
p ( xi1 xi 2 xi 3 ) log p ( xi 3 / xi1 xi 2 ) p ( xi1 xi 2 x i 3 ) log p ( x i 3 / x i1 )
i1 i2 i3 i1 i2 i3
i1 i2 i3
2.15某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。 (1) 求符号的平均熵； (2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m） 个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。
解：(1)
1 3 3 1 H ( X ) p ( x i ) log p ( x i ) log log 0 . 811 bit / symbol 4 4 4 4 i
信息论——习题解答
jhhu@phy.ccnu.edu.cn
2.2假设一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解：(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的, 则所给出的信息量是：