信息论与编码第二章答案解析
2-1、一阶马尔可夫链信源有3个符号
{}123,,u u u ,转移概率为:1
112
()u p u
=,
2112()u p u =,31()0u p u =,1213()u p u = ,22()0u p u =,3223()u p u =,1313()u p u =,2323()u p u =,33()0u p u =。画出状态图并求出各符号稳态概率。
解:由题可得状态概率矩阵为:
1/21/2
0[(|)]1/302/31/32/30j i p s s ⎡⎤⎢⎥=⎢⎥
⎢⎥⎣⎦
状态转换图为:
令各状态的稳态分布概率为1W ,2W ,3W ,则: 1W =
121W +132W +133W , 2W =121W +233W , 3W =23
2W 且:
1W +2W +3W =1 ∴稳态分布概率为:
1W =
25,2W =925,3W = 625
2-2.由符号集{0,1}组成的二阶马尔可夫链,其转移概率为:P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5画出状态图,并计算各符号稳态概率。 解:状态转移概率矩阵为:
令各状态的稳态分布概率为1w 、2w 、3w 、4w ,利用(2-1-17)可得方程组。
0.8 0.2 0 00 0 0.5 0.5()0.5 0.5 0 00 0 0.2 0.8j i p s s ⎡⎤
⎢⎥
⎢
⎥=⎢⎥⎢⎥⎣⎦
111122133144113211222233244213
311322333344324411422433444424
0.80.50.20.50.50.20.50.8w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w =+++=+⎧⎪=+++=+⎪⎨
=+++=+⎪⎪=+++=+⎩ 且12341w w w w +++=;
解方程组得:12345141717514w w w w ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩ 即:5(00)141(01)71(10)75(11)14
p p p p ⎧
=⎪⎪⎪=⎪⎨
⎪=⎪⎪⎪=⎩
2-3、同时掷两个正常的骰子,也就是各面呈现的概率都是16
,求:
(1)、“3和5同时出现”事件的自信息量; (2)、“两个1同时出现”事件的自信息量; (3)、两个点数的各种组合的熵或平均信息量; (4)、两个点数之和的熵;
(5)、两个点数中至少有一个是1的自信息量。
解:(1)3和5同时出现的概率为:1111
p(x )=26618
⨯⨯= 11
I(x )=-lb
4.1718
bit ∴= (2)两个1同时出现的概率为:2111
p(x )=6636
⨯=
21
I(x )=-lb
5.1736
bit ∴= (3)两个点数的各种组合(无序对)为: (1,1),(1,2),(1,3),(1,4),(1,5),(1,6) (2,2),(2,3),(2,4),(2,5),(2,6) (3,3), (3,4),(3,5),(3,6) (4,4),(4,5),(4,6)
(5,5),(5,6) (6,6) 其中,(1,1), (2,2), (3,3), (4,4), (5,5), (6,6)的概率为1/36,其余的概率均为1/18 所以,1111
()156 4.33718183636
H X lb lb bit ∴=-⨯
-⨯=事件 (4)两个点数之和概率分布为:
4678102
3591112356531244213636363636363636363636
x p 信息为熵为:12
2
()1() 3.27i
i
i H p x bp x bit ==-
=∑
(5)两个点数之中至少有一个是1的概率为:311
()36
p x = 311
I(x )=-lb
1.1736
bit ∴= 2-4.设在一只布袋中装有100个用手触摸感觉完全相同的木球,每个球上涂有一种颜色。100个球的颜色有下列三种情况: (1)红色球和白色球各50个; (2)红色球99个,白色球1个; (3)红、黄、蓝、白色球各25个。
分别求出从布袋中随意取出一个球时,猜测其颜色所需要的信息量。 解:(1)设取出的红色球为1x ,白色球为2x ;有11()2p x =,21
()2
p x = 则有:1
111
()()2222
H X lb
lb =-+=1bit/事件 (2) 1()0.99p x =,2()0.01p x =;
则有:()(0.990.990.010.01)H X lb lb =-+=0.081(bit/事件)
(3)设取出红、黄、蓝、白球各为1x 、2x 、3x 、4x ,有12341
()()()()4
p x p x p x p x ==== 则有:11()4()244
H X lb bit =-=/事件
2-5、居住某地区的女孩中有25%是大学生,在女大学生中有75%身高为1.6M 以上,而女孩中身高1.6M 以上的占总数一半。假如得知“身高1.6M 以上的某女孩是大学生”的消息,问获得多少信息量?
解:设女孩是大学生为事件A ,女孩中身高1.6m 以上为事件B ,则p(A)=1/4, p (B)=1/2,
p (B|A)=3/4,则 P(A|B)=
()()(|)()()p AB p A P B A p B P B ==0.250.753
0.58
⨯= I (A|B )=log (1/p(A/B))=1.42bit
2-6.掷两颗 ,当其向上的面的小圆点数之和是3时,该消息所包含的信息量是多少?当小圆点数之和是7时,该消息所包含的信息量又是多少?
解:(1)小圆点数之和为3时有(1,2)和(2,1),而总的组合数为36,即概率为
1
(3)18
p x ==
,则 1
(3)(3) 4.1718
I x lbp x lb
bit ==-==-= (2)小园点数之和为7的情况有(1,6),(6,1)(2,5)(5,2)(3,4)(4,3),则概率为
1(7)6p x ==
,则有 1
(7) 2.5856
I x lb bit ==-= 2-7、设有一离散无记忆信源,其概率空间为1234013338
141418X x x x x P ====⎡⎤⎡⎤
=⎢⎥⎢⎥⎣⎦⎣⎦ (1)、求每个符号的自信息量; (2)、信源发出一消息符号序列为
{}
202120130213001203210110321010021032011223210,求该消息序列的自信息量及平均每个符号携带的信息量。
解:(1)1x 的自信息量为:13
I(x )=-lb
1.4158bit = 2x 的自信息量为:21
I(x )=-lb 24
bit =
3x 的自信息量为:31
I(x )=-lb
24bit = 4x 的自信息量为:41
I(x )=-lb 38
bit =
(2)在该消息符号序列中,1x 出现14次,2x 出现13次,3x 出现12,4x 出现6次,所以,该消息序列的自信息量为:
I (i x )=14 I (1x )+13 I (2x )+12 I (3x )+6 I (4x )
19.8126241887.81bit bit bit bit
bit
=+++=
平均每个符号携带的信息量为:
11223344()()log ()()log ()()log ()()log ()
H X p x p x p x p x p x p x p x p x =+++
31111.41522384481.906bit
=⨯+⨯+⨯+⨯=
2-8.试问四进制、八进制脉冲所含的信息量是二进制脉冲的多少倍?
解;设二进制、四进制、八进制脉冲的信息量为
21()12I X lb
bit =-= 41()24I X lb bit == 81
()38
I X lb bit == 所以,四进制、八进制脉冲信息量分别是二进制脉冲信息量的2倍、3倍。
2-10 在一个袋中放5个黑球、10个白球,以摸一个球为实验,摸出的球不再放进去。求: (1)一次实验中包含的不确定度;
(2)第一次实验X 摸出是黑球,第二次实验Y 给出的不确定度; (3)第一次实验X 摸出是白球,第二次实验Y 给出的不确定度;
287.81/45 1.95I =≈ 比特/符号
(4)第二次实验包含的不确定度。
解:(1)一次实验的结果可能摸到的是黑球1x 或白球2x ,它们的概率分别是11
()3
p x =
,22
()3
p x =
。所以一次实验的不确定度为 121122
()(,)(log log )0.5280.3900.918333333
H X H bit ==-+=+=
(2)当第一次实验摸出是黑球,则第二次实验Y 的结果可能是摸到黑球1x 或白球2x ,它们的概率分别是 112()7p y x =
、215
()7
p y x =。 所以该事件的不确定度为
1112255
()()log ()(log log )7777i i i
H Y x p y x p y x =-=-+∑
0.5160.3470.863bit =+=/符号
(3)当第一次实验摸出是白球,则第二次实验Y 的结果可能是摸到黑球1y 或白球2y ,它们的概率分别是 125()14p y x =
、229
()14
p y x =。 所以该事件的不确定度为
2225599
()()log ()(log log )14141414i i i
H Y x p y x p y x =-=-+∑
0.5300.4100.940bit =+=/符号
(4)
2
11220
(|)()(|)=()()()() =0.91bit /i i i H Y X p x H Y x p x H Y x p x H Y x ==-+∑符号
二次实验B 出现结果的概率分布是p(x,y)=p(黑,黑)= 221,p(x,y)=p(黑,白)= 5
21
,p(x,y)=p(白,黑)=
521,p(x,y)=p(白,白)= 9
21
所以二次实验的不确定度为 H(B)= -221log 221-521log
521-521log 521-921log 9
21
=0.91bit/符号
2-11有一个可旋转的圆盘,盘面上被均匀地分成38份,用1,2,、、、,38数字标示,其中有2份涂绿色,18份涂红色,18份涂黑色,圆盘停转后,盘面上指针指向某一数字和颜色。 (1)若仅对颜色感兴趣,则计算平均不确定度; (2)若对颜色和数字都感兴趣,则计算平均不确定度; (3)如果颜色已知时,则计算条件熵。
解:令X 表示指针指向某一数字,则X={1,2,……….,38} Y 表示指针指向某一种颜色,则Y={绿色,红色,黑色} Y 是X 的函数,由题意可知()()i j i p x y p x = (1)仅对颜色感兴趣,则 H(c)=—
322log 322—2⨯
3218⨯log 32
18
=0.2236+1.0213 =1.245bit (2)对颜色和数字都感兴趣,则
H(n,c)=H(n)=38⨯(-381)log 38
1
=-3010.05798.1- =5.249bit
(3)如果颜色已知时,则
H (n|c )=H(n,c)-H(h)=5.249-1.245=4.004bit
2-12、两个实验X 和Y ,123{,,}X x x x =,123{,,}Y y y y =,联合概率(,)i j ij r x y r =为
11
121321222331
32
337/241/2401/241/41/2401/247/24r r r r r r r r r ⎡⎤⎡⎤
⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦
(1)如果有人告诉你X 和Y 的结果,你得到的平均信息量是多少? (2)如果有人告诉你Y 的结果,你得到的平均信息量是多少?
(3)在已知Y 的实验结果的情况下,告诉你X 的实验结果,你得到的平均信息量是多少? 解:(1)、33
11
(,)(,)log (,)i
j
i j i j H X Y p x y
p x y ===-
∑∑
771111
2log 4log log 24
2424
2444
=-⨯
-⨯- 2.3bit /=符号 (2)、
1231
()()()3
p y p y p y ===
3
1
11111
()()log ()(,,)3log 1.58bit/33333i i i H Y p y p y H ==-==-⨯=∑符号
(3)、(|)(,)() 2.3 1.580.72bit/H X Y H X Y H Y =-=-=符号
()(,)log ()i j i j ij
H X Y p x y p x y =-∑
(,)(,)log
()
71
171124244(2log 4log log
)1112424433
3
0.1120.50.1040.716i j i j ij
j p x y p x y p y bit
=-=-⨯+⨯+=++=∑ 2-13有两个二元随机变量X 和Y ,它们的联合概率如右图所示。 并
定
义
另
一
随
机
变
量
Z=XY
(
一
般乘积)。
试计算:
(1) ()H X ,()H Y ,()H Z ,(,)H X Z ,(,)H Y Z ,(,,)H X Y Z
(2) H(X Y),H(Y )X ,()H X Z ,()H Z X ,()H Y Z ,()H Z Y ,
(,)H X Y Z ,(,)H Y X Z ,(,)H Z X Y
(3) (;)I X Y ,(;)I X Z ,(;)I Y Z ,(;)I X Y Z ,(;)I Y Z X ,(;)I X Z Y
解:(1)1)31
82+=111121p(x )=p(x y )+p(x y )=
8 11
82
+=221223p(x )=p(x y )+p(x y )=8
()()log ()1/i i i
H X p x p x bit symbol =-=∑
31
82
+=
11121
1
p(y)=p(x y)+p(x y)=
8
11
82
+=
21222
3
p(y)=p(x y)+p(x y)=
8
()()log()1/
j j
j
H Y p y p y bit symbol
=-=
∑
12
01
71
()
88
z z
Z
P Z
==
⎧⎫
⎡⎤⎪⎪
=⎨⎬
⎢⎥
⎣⎦⎪⎪
⎩⎭
27711
()()(log log)0.544/
8888
k
k
H Z p Z bit symbol
=-=-+=
∑
11112
()()()
p x p x z p x z
=+
111
()()0.5
p x z p x
==
12
()0
p x z= 11121
()()()
p z p x z p x z
=+
21111
73
()()()0.5
88
p x z p z p x z
=-=-=
21222
()()()
p z p x z p x z
=+
222
1
()()
8
p x z p z
==
()()log()
131113311
(,0,,)(log log log) 1.406/
288228888
i k i k
i k
H XZ p x z p x z
H bit symbol
=-
==-++=
∑∑
同理:
113311
()()log()(log log log) 1.406/
228888
j k j k
j k
H YZ p y z p y z bit symbol
=-=-++=
∑∑
Pxyx(000)=1/8, Pxyz(010)=3/8, pxyz(100)=3/8, P(111)=1/8
Pxyz(110)=Pxyz(001)=Pxyz(101)=Pxyz(011)=0
2
1331
()()log()(,,,)
8888
11333311
(log log log log) 1.811/
88888888
i j k i j k
i j k
H XYZ p x y z p x y z H
bit symbol =-=
=-+++=
∑∑∑
(2)1133
(,)2(log log) 1.81
8888
H X Y bit
=-⨯+=
由于(,)()()()()H X Y H X H Y X H Y H X Y =+=+所以:
()H X Y (,)()H X Y H Y =-;()(,)()H Y X H X Y H X =-则, () 1.8110.81H X Y bit =-= ()H Y X 1.8110.81bit =-=
()(,)()H X Z H X Z H Z =- 1.410.540.87bit =-= ()(,)()H Z X H X Z H X =- 1.4110.41bit =-= ()(,)()H Y Z H Y Z H Z =- 1.410.540.87bit =-= ()(,)() H Z Y H Y Z H Y =- 1.4110.41bit =-=
(,)(,,)(,)H X Y Z H X Y Z H Y Z =- 1.81 1.410.4bit =-= (,)(,,)(,) 1.81 1.410.4H Y X Z H X Y Z H X Z bit =-=-= (,)(,,)(,) 1.81 1.810H Z X Y H X Y Z H X Y bit =-=-=
Pxz=Px*Pz|x=Pz*Px|z
(3)(;)()()10.810.19I X Y H X H X Y bit =-=-= (;)()()10.870.13I X Z H X H X Z bit =-=-=
(;)()()10.870.13I Y Z H Y H Y Z bit =-=-=
由于(;,)(;)(;)I X Y Z I X Z I X Y Z =+则
(;)(;,)(;)()(,)()()I X Y Z I X Y Z I X Z H X H X Y Z H X H X Z =-=--⎡-⎤⎣⎦
()(,)H X Z H X Y Z =-0.870.40.47bit =-=
同理有: (;)()(,)0.810.40.41I Y Z X H Y X H Y X Z bit =-=-= (;)()(,)0.810.40.41I X Z Y H X Y H X Y Z bit =-=-=
2.16 黑白传真机的消息元只有黑色和白色两种,即X={黑,白},一般气象图上,黑色的出现概率p(黑)=0.3,白色出现的概率p(白)=0.7。
(1)假设黑白消息视为前后无关,求信源熵H(X),并画出该信源的香农线图
(2)实际上各个元素之间是有关联的,其转移概率为:P(白|白)=0.9143,P(黑|白)=0.0857,P(白|黑)=0.2,P(黑|黑)=0.8,求这个一阶马尔可夫信源的信源熵,并画出该信源的香农线图。
(3)比较两种信源熵的大小,并说明原因。 解:(1)221010
()0.3log 0.7log 0.881337
H X =+=bit/符号 P(黑|白)=P(黑)
P(白|白)=P(白)
P(黑|黑)=P(黑) P(白|黑)=P(白)
(2)根据题意,此一阶马尔可夫链是平稳的(P(白)=0.7不随时间变化,P(黑)=0.3不随时 间变化)
212
222
2
1
()(|)(,)log (,)
111
0.91430.7log 0.08570.7log 0.20.3log 0.91430.08570.2
10.80.3log 0.8
i j i j ij
H X H X X p x y p x y ∞===⨯+⨯+⨯+⨯∑ =0.512bit/符号
2.20 给定语音信号样值X 的概率密度为1()2
x
p x e λλ-=,x -∞<<+∞,求H c (X),
并证明它小于同样方差的正态变量的连续熵。 解:
201()()log ()()log 2111()log ()()log log log ()22211
1log log ()log
()222
11log 2log 22x
c x x x x
x x x x
H X p x p x dx p x e dx
p x dx p x x edx e e x dx
e e x dx e x dx e xe λλλλλλλλλλλλλλλλ+∞+∞
--∞-∞
+∞
+∞
+∞
--∞-∞-∞+∞
--∞
+∞-=-=-=---=-+=-+⋅-+=-+⎰⎰⎰⎰⎰⎰⎰
⎰0
112log log (1)log log log 22x x e dx e x e e λλλλλλ+∞
-⎡⎤=--+=-+=⎣⎦2
2
()0,()E X D X λ
==
,221214()log 2log ()22e H X e H X ππλλ=
==>=
2-23 连续随机变量X 和Y 的联合概率密度为
221{[(1)2]}2(,)N
x xy y N S
p x y -
+-+=
求()c H X ,()c H Y ,()c H Y X ,(;)I X Y 解:()(,)X P x p x y dy ∞
-∞=
⎰221{[(1)2]}2N
x xy y N S
dy ∞
-
+-+=⎰
2222111
{[()]}[()]222N
x y x x x y N S
S N
dy dy ∞
∞
-
-+---=
=⎰
⎰
21
2x S -=
221{[(1)2]}2()(,)N
x xy y N S
Y P y p x y dx dx ∞∞
-
+-+-∞=
=⎰⎰
2
22
2
22
{[()
]}
2()
1
)]2()1
2()
S N S
SN x y y NS S N
S N S
y x y S N S N
y S N dx dx +∞
--+
++∞
--++-+=
=
=⎰
⎰
随机变量X 的概率密度分布为()X P
x 212x S -=,呈标准正态分布。其中数学期望为0,方差为S ;随机变量Y 的概率密度分布为()Y P y
2
1
2()y S N -+=
,也呈标准正态分布。其中数学期望为0,方差为(S+N )。
2211
22()()log ()x x S S c X X H X P x P x dx dx
∞
∞
---∞
=-=-⎰⎰
21
2211)log 2log ()
22
11log 2log log
2222
x S
x x E S e E x S S S e eS S πππ-=-=+=+=
2
2
1
1
2()2()
()()log ()y y S
N S N c Y Y H Y P y P Y dy dy ∞
∞
--++-∞
=-=-⎰⎰
2
1
22()
11)log 2()log ()
22()11
log 2()log log 2()22()2
y S N y Y E S N e E y S N
S N S N e e
S N S N πππ-+=-=++++=++=++
(,)(,)log (,)c H X Y P x y P X Y dxdy ∞
-∞=-⎰
222211{[(1)2]}{[(1)2]}22N N
x xy y x xy y N S N S
dxdy
∞
-+-+-+-+=-⎰
221{[(1)2]}2
)N
x xy y N S
xy E -
+-+=-
221log 2log ([(1)2)2xy N
e E x xy y N
S =+-+ 2log 2log 2N
e N
= log 2π=
()(,)()c c c H Y X H X Y H X =- 11
log 2log 2log 222
eS eN πππ==
(;)()()c c I X Y H Y H Y X =- 111log 2()log 2log(1)222S
e S N eN N
ππ=+-=+
2-25 某一无记忆信源的符号集为{0,1},已知
(1)求符号的平均熵。
(2)由100 个构成的序列,求某一特定序列(例如有m 个0和100-m 个1)的自由信息量的表达式。
(3)计算(2)中的序列的熵。
解:(1)1133
()log log 0.50.310.814444H X bit =--=+= (2)10013()log()()200(100)log3 1.594144
m m
I X m m -=-=--=+
(3)100
()100()81H X
H X bit ==
()
()2(1/100)log3100
I X H X m =
=-- 2-26 一个信源发出二重符号序列消息(1X ,2X ),其中第一个符号1X 可以是A ,B ,C 中的任一个,第二个符号2X 可以是D ,E ,F ,G 中的任一个。已知各个1()i p x 为
1()2p A =
,1()3p B =,1
()6
p C =;各个21()j i p x x 值列成如下。求这个信源的熵(联合熵)12(,)H X X .
解:12121(,)()()H X X H X H X X =+ 11
11111
()[log
log log ]0.50.5280.431 1.459223366
H X bit =-++=++= 21()H X X
111111133111111
[4log 2log 2log 3log log ]24435531010666622=-⨯⨯+⨯⨯+⨯⨯+⨯⨯+⨯
10.30940.34720.21530.0833 1.955bit =++++=
12(,) 1.459 1.955 3.414/H X X bit =+=序列
2.29 有一个一阶平稳马尔可夫链1,2,
,,
r X X X ,各X r 取值于集合{}1,2,3A a a a =,已知起
始概率P(X r )为1231/2,1/4p p p ===,转移概率如下图所示
(1) 求123(,,)X X X 的联合熵和平均符号熵 (2) 求这个链的极限平均符号熵
(3) 求012,,H H H 和它们说对应的冗余度 解:(1)
12312132,112132(,,)()(|)(|)()(|)(|)
H X X X H X H X X H X X X H X H X X H X X =++=++
1111111
()log log log 1.5/224444
H X bit =---=符号
X 1,X 2的联合概率分布为
212()()j i j i
p x p x x =∑
X 2
的
概率分布为
那么
21111131131
(|)log 4log 4log 4log log3log log348862126212
H X X =++++++
=1.209bit/符号 X 2X 3的联合概率分布为
那么
32771535535
(|)log 2log 4log 4log log3log log3244883627236272
H X X =
++++++ =1.26bit/符号
123(,,) 1.5 1.209 1.26 3.969H X X X bit =++=/符号
所以平均符号熵3123 3.969
(,,) 1.3233
H X X X bit =
=/符号 (2)设a 1,a 2,a 3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为11
12442
103321033
P ⎛⎫ ⎪ ⎪
⎪= ⎪ ⎪ ⎪ ⎪⎝⎭
由1i WP W W =⎧⎪⎨=⎪⎩∑ 得到 123132123122123311431W W W W W W W W W ⎧++=⎪⎪⎪+=⎨⎪++=⎪⎪⎩计算得到12347314314W W W ⎧=⎪⎪
⎪=⎨⎪
⎪=⎪⎩
又满足不可约性和非周期性
3
1
4111321
()(|)(,,)2(,,0) 1.2572441433
i i i H X W H X W H H bit ∞===
+⨯=∑/符号 (3)0log3 1.58H bit ==/符号 1 1.5H bit =/符号 2 1.5 1.209
1.3552
H bit +=
=/符号 00 1.25110.211.58γη=-=-=11 1.25110.6171.5γη=-=-= 22 1.25
110.0781.355
γη=-=-=
图2-13
2.32 一阶马尔可夫信源的状态图如图2-13所示,信源X 的符号集为(0,1,2)。 (1)求信源平稳后的概率分布P(0),P(1),P(2) (2)求此信源的熵
(3)近似认为此信源为无记忆时,符号的概率分布为平稳分布。求近似信源的熵H(X)并与
H ∞进行比较
解:根据香农线图,列出转移概率距阵1/2/2/21/2/2/21p p p P p p p p p p -⎡⎤
⎢⎥=-⎢⎥⎢⎥-⎣⎦
令状态0,1,2平稳后的概率分布分别为W1,W2,W3
31
1i i WP W W ==⎧⎪⎨=⎪⎩∑ 得到 1231
1232123(1)2
2
(1)221p p p W W W W p
p W p W W W W W W ⎧
-++=⎪⎪⎪+-+
=⎨⎪++=⎪⎪⎩
计算得到131313W W W ⎧=⎪⎪
⎪
=⎨⎪
⎪=⎪⎩
由齐次遍历可得
112
()(|)3(1,,)(1)log log 3221i i i p p H X W H X W H p p p p p ∞==⨯-=-+-∑
,()log 3 1.58/H X bit ==符号 由最大熵定理可知()H X ∞存在极大值
或者也可以通过下面的方法得出存在极大值:
()121log(1)(1)log log
1222(1)H X p p p
p p p p p p ∞⎡⎤∂-=---+-++⋅⋅=-⎢⎥∂--⎣
⎦
112(1)22(1)p p p =-+-- 又01p ≤≤所以
[]0,2(1)p p ∈+∞-当p=2/3时12(1)
p
p =- 0
时
()log 02(1)
H X p
p p ∞∂=->∂- 2/3
()log 02(1)
H X p
p p ∞∂=-<∂- 所以当p=2/3时()H X ∞存在极大值,且max () 1.58/H X bit ∞=符号.所以,
()()H X H X ∞≤
信息论与编码理论习题答案
信息论与编码理论习题 答案 LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】
第二章 信息量和熵 八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它的信息速 率。 解:同步信息均相同,不含信息,因此 每个码字的信息量为 2?8log =2?3=6 bit 因此,信息速率为 6?1000=6000 bit/s 掷一对无偏骰子,告诉你得到的总的点数为:(a) 7; (b) 12。问各得到多少信息 量。 解:(1) 可能的组合为 {1,6},{2,5},{3,4},{4,3},{5,2},{6,1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log = bit (2) 可能的唯一,为 {6,6} )(b p =361 得到的信息量=) (1 log b p =36log = bit 经过充分洗牌后的一副扑克(52张),问: (a) 任何一种特定的排列所给出的信息量是多少? (b) 若从中抽取13张牌,所给出的点数都不相同时得到多少信息量? 解:(a) )(a p =! 521 信息量=) (1 log a p =!52log = bit (b) ? ??????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C = bit 随机掷3颗骰子,X 表示第一颗骰子的结果,Y 表示第一和第二颗骰子的点数之和, Z 表示3颗骰子的点数之和,试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、 )|,(Y Z X H 、)|(X Z H 。
《信息论与编码》习题解答-第二章
《信息论与编码》习题解答 第二章 信源熵-习题答案 2-1 解:转移概率矩阵为: P(j/i)=,状态图为: ⎪⎩⎪⎨⎧==∑∑j j j ij i i W W P W 1,⎪⎪⎪⎪⎩⎪⎪⎪ ⎪⎨⎧=++=+=++=1 3232 21313121321233123211W W W W W W W W W W W W 解方程组 求得W= 2-2 求平稳概率 符号条件概率 状态转移概率 解方程组 得到 W= 2.3 同时掷出两个正常的骰子,也就是各面呈现的概率都为1/6,求: (1) “3和5同时出现”这事件的自信息; (2) “两个1同时出现”这事件的自信息;
(3) 两个点数的各种组合(无序)对的熵和平均信息量; (4) 两个点数之和(即2, 3, … , 12构成的子集)的熵; (5) 两个点数中至少有一个是1的自信息量。 解: (1) bit x p x I x p i i i 170.418 1 log )(log )(18 1 61616161)(=-=-== ⨯+⨯= (2) bit x p x I x p i i i 170.536 1 log )(log )(36 1 6161)(=-=-== ⨯= (3) 共有21种组合: 其中11,22,33,44,55,66的概率是36 16161=⨯ 其他15个组合的概率是18 161612=⨯⨯ symbol bit x p x p X H i i i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛ ⨯+⨯-=-=∑ (4) 参考上面的两个点数的排列,可以得出两个点数求和的概率分布如下: symbol bit x p x p X H X P X i i i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 36 12 ) (log )()(36112181111211091936586173656915121418133612)(=⎪ ⎭⎫ ⎝⎛ +⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨ ⎧=⎥⎦⎤⎢⎣⎡∑ (5) bit x p x I x p i i i 710.136 11 log )(log )(3611116161)(=-=-== ⨯⨯= 2-4
信息论编码与基础课后题(第二章)
第二章习题解答 2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍? 解:四进制脉冲可以表示4个不同的消息,例如:{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息,例如:{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息,例如:{0, 1} 假设每个消息的发出都是等概率的,则: 四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0=== 所以:四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2、 设某班学生在一次考试中获优(A )、良(B )、中(C )、及格(D )和不及格(E )的人数相等。当教师通知某甲:“你没有不及格”,甲获得了多少比特信息?为确定自己的成绩,甲还需要多少信息? 解:根据题意,“没有不及格”或“pass”的概率为 5 4 511pass =- =P 因此当教师通知某甲“没有不及格”后,甲获得信息 在已知“pass”后,成绩为“优”(A ),“良”(B ),“中”(C )和“及格”(D ) 的概率相同: 41score )pass |()pass |()pass |()pass |(=====D P C P B P A P P 为确定自己的成绩,甲还需信息 bits 24 1 log log score score =-=-=P I 3、中国国家标准局所规定的二级汉字共6763个。设每字使用的频度相等,求一个汉字所含的信息量。设每个汉字用一个1616⨯的二元点阵显示,试计算显示方阵所能表示的最大信息。显示方阵的利用率是多少? 解:由于每个汉字的使用频度相同,它们有相同的出现概率,即 6763 1 = P 因此每个汉字所含的信息量为 bits 7.126763 1 log log =-=-=P I 字 每个显示方阵能显示25616 1622 =⨯种不同的状态,等概分布时信息墒最大, 所以一个显示方阵所能显示的最大信息量是 bits 322.05 4 log log pass pass =-=-=P I
信息论与编码理论第二章习题答案(王育民)
部分答案,仅供参考。 2.1信息速率是指平均每秒传输的信息量 点和划出现的信息量分别为3log ,2 3log , 一秒钟点和划出现的次数平均为 4 15314.0322.01= ⨯+⨯ 一秒钟点和划分别出现的次数平均为4 5.410 那么根据两者出现的次数,可以计算一秒钟其信息量平均为2 53log 4 153log 4 52 3log 4 10-=+ 2.3 解: (a)骰子A 和B ,掷出7点有以下6种可能: A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6,所以信息量 -log(1/6)=1+log3≈2.58 bit (b) 骰子A 和B ,掷出12点只有1种可能: A=6,B=6 概率为1/36,所以信息量 -log(1/36)=2+log9≈5.17 bit 2.5解: 出现各点数的概率和信息量: 1点:1/21,log21≈4.39 bit ; 2点:2/21,log21-1≈3.39 bit ; 3点:1/7,log7≈2.81bit ; 4点:4/21,log21-2≈2.39bit ; 5点:5/21,log (21/5)≈2.07bit ; 6点:2/7,log(7/2)≈1.81bit 平均信息量: (1/21)×4.39+(2/21)×3.39+(1/7)×2.81+(4/21)×2.39+(5/21)×2.07+(2/7)×1.81≈2.4bit 2.7解: X=1:考生被录取; X=0:考生未被录取; Y=1:考生来自本市;Y=0:考生来自外地; Z=1: 考生学过英语;Z=0:考生未学过英语 P(X=1)=1/4, P(X=0)=3/4; P(Y=1/ X=1)=1/2; P(Y=1/ X=0)=1/10; P(Z=1/ Y=1)=1, P(Z=1 / X=0, Y=0)=0.4, P(Z=1/ X=1, Y=0)=0.4, P(Z=1/Y=0)=0.4 (a) P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=0.075, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)=0.125 P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)=0.2 P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=0.375, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=0.625 I (X ;Y=1)=∑∑=====x x ) P() 1Y /(P log )1Y /(P )1Y (I )1Y /(P x x x x;x =1) P(X ) 1Y /1X (P log )1Y /1X (P 0)P(X )1Y /0X (P log )1Y /0X (P =====+=====
信息论和编码理论习题集答案解析
信息论和编码理论习题集答案解析 第二章信息量和熵 2.2 八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它 的信息速率。 解:同步信息均相同,不含信息,因此每个码字的信息量为2?8log =2?3=6 bit 因此,信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子,告诉你得到的总的点数为:(a) 7; (b) 12。问各得到多 少信息量。 解:(1) 可能的组合为 {1,6},{2,5},{3,4},{4,3},{5,2},{6,1} )(a p = 366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一,为 {6,6} )( b p = 36 1 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克(52张),问: (a) 任何一种特定的排列所给出的信息量是多少? (b) 若从中抽取13张牌,所给出的点数都不相同时得到多少信息量? 解:(a) )(a p = ! 521 信息量=)
(1 log a p =!52log =225.58 bit (b) 花色任选 种点数任意排列 13413!13 )(b p =13 52 134!13A ?=135213 4C 信息量=1313 52 4log log -C =13.208 bit 2.9 随机掷3颗骰子,X 表示第一颗骰子的结果,Y 表示第一和第二颗骰子的点 数之和,Z 表示3颗骰子的点数之和,试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、 )|,(Y Z X H 、)|(X Z H 。 解:令第一第二第三颗骰子的结果分别为321,,x x x ,1x ,2x ,3x 相互独立, 则1x X =,21x x Y +=,321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ,所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ,所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字,0,1,…,9。奇数在传送过程
信息论与编码第二章答案
第二章 信息的度量 2.1 信源在何种分布时,熵值最大?又在何种分布时,熵值最小? 答:信源在等概率分布时熵值最大;信源有一个为1,其余为0时熵值最小。 2.2 平均互信息量I(X;Y)与信源概率分布q(x)有何关系?与p(y|x)又是什么关系? 答: 若信道给定,I(X;Y)是q(x)的上凸形函数; 若信源给定,I(X;Y)是q(y|x)的下凸形函数。 2.3 熵是对信源什么物理量的度量? 答:平均信息量 2.4 设信道输入符号集为{x1,x2,……xk},则平均每个信道输入符号所能携带的最大信息量是多少? 答:k k k xi q xi q X H i log 1log 1)(log )() (=- =-=∑ 2.5 根据平均互信息量的链规则,写出I(X;YZ)的表达式。 答:)|;();();(Y Z X I Y X I YZ X I += 2.6 互信息量I(x;y)有时候取负值,是由于信道存在干扰或噪声的原因,这种说法对吗? 答:互信息量) ()|(log ) ;(xi q yj xi Q y x I =,若互信息量取负值,即Q(xi|yj) 答: 由图示可知:4 3)|(4 1)|(32)|(31)|(41)|(43)|(222111110201= = == == s x p s x p s x p s x p s x p s x p 即: 4 3)|(0)|(4 1)|(31)|(32)|(0)|(0 )|(4 1)|(4 3)|(222120121110020100= == = ==== = s s p s s p s s p s s p s s p s s p s s p s s p s s p 可得: 1 )()()() (43)(31)()(31)(41)()(41)(43)(210212101200=+++ = +=+=s p s p s p s p s p s p s p s p s p s p s p s p 第二章 信息量和熵 2.2 八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它的 信息速率。 解:同步信息均相同,不含信息,因此 每个码字的信息量为 2?8log =2?3=6 bit 因此,信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子,告诉你得到的总的点数为:(a) 7; (b) 12。问各得到多少信 息量。 解:(1) 可能的组合为 {1,6},{2,5},{3,4},{4,3},{5,2},{6,1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一,为 {6,6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克(52张),问: (a) 任何一种特定的排列所给出的信息量是多少? (b) 若从中抽取13张牌,所给出的点数都不相同时得到多少信息量? 解:(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52 134!13A ?=135213 4C 信息量=1313 524log log -C =13.208 bit 2.9 随机掷3颗骰子,X 表示第一颗骰子的结果,Y 表示第一和第二颗骰子的 点数之和,Z 表示3颗骰子的点数之和,试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解:令第一第二第三颗骰子的结果分别为321,,x x x ,1x ,2x ,3x 相互独立, 则1x X =,21x x Y +=,321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ,所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ,所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字,0,1,…,9。奇数在传送过程中以0.5的概 率错成另外一个奇数,其余正确接收,求收到一个数字平均得到的信息量。 解: 8,6,4,2,0=i √ );(Y X I =)(Y H -)|(X Y H 因为输入等概,由信道条件可知, 2.1 同时掷两个正常的骰子,也就是各面呈现的概率都是1/6,求: (1)“3和5同时出现”事件的自信息量; (2)“两个1同时出现”事件的自信息量; (3)两个点数的各种组合(无序对)的熵或平均信息量; (4)两个点数之和(即2,3,…,12构成的子集)的熵; (5)两个点数中至少有一个是1的自信息。 解:(1)一个骰子点数记为X ,另一个骰子的点数记做Y ,X 、Y 之间相互独立,且都服从等概率分布,即 同理 一个骰子点数为3,另一个骰子点数为5属于组合问题,对应的概率为 18 1616161613Y Py 5X Px 5Y Py 3X Px P 1=⨯+⨯===+===)()()()( 对应的信息量为 比特)()(17 .418 1 -lb P -I 11===lb (2)两个骰子点数同时为1的概率为 )()(36 1 1Y Py 1X Px P 2= === 对应的信息量为 比特)( )(17.536 1 -lb P -I 22===lb (3)各种组合及其对应的概率如下 ,6,5,4,3,2,1Y X 36 1 6161Y X P === ⨯==)(共6种可能 18 1 61612Y X P =⨯⨯=≠)( 共有15种可能 因此对应的熵或者平均自信息量为 34.418 118115-3613616-H 1=⨯⨯⨯⨯ =)()(lb lb 比特/符号 (4)令Z=X+Y ,可以计算出Z 对应的概率分布如下 对应的熵为 符号 比特) ()()()()()()(/1.914366 366-3653652-3643642-3633632-3633632-3623622-361361-2H 1=⨯⨯⨯⨯⨯⨯⨯⨯⨯⨯⨯⨯⨯ =lb lb lb lb lb lb lb (5)X 、Y 相互独立,所以联合熵为 比特)()(597 .06 162Y X,I =⨯=lb 2.2 设在一只布袋中装有100个大小、手感完全相同的球,每个球上涂有一种颜色。100个球的颜色有下列3种情况: (1)红色球和白色球各50个; (2)红色球99个,白色球1个; (3)红、黄、蓝、白色球各25个。 分别求出从布袋中随意取出一个球时,猜测其颜色所需要的信息量。 解: (1) 两种颜色的球服从等概率分布,即 2 1P P = =白红 对应信息量为1I I ==白红比特 (2) 两种颜色的球对应概率分别为 10099P = 红 100 1P =白 对应的概率分别为 0145.0100 99 -P -l I ===lb b 红红比特 644.6100 1 -P -I ===lb lb 白白比特 (3) 四种球服从等概率分布,因此对应的自信息量为 24 1 -I ==lb 比特 p(U 2U i )=Z , P (U 3U i ) = 0, p(U i U 2)=% , P (U 2U 2)= 0 , p(U 3U 2)= % , P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5 画出状态图,并计算各符号稳态概率。 解:状态转移概率矩阵为: _ 0.8 0.2 0 01 0 0 0.5 0.5 0.5 0.5 0 0 .0 0 0.2 0.8 一 令各状态的稳态分布概率为 W,、W 2 、W 3、W 4 ,利用(2-1-17)可得方程组。 WA | =呵卩仆 +w 2 p 21 +w 3 p 31 +w 4 p 41 =0.8W | +0.5W 3 W 2 =we 12 +w 2 p 22 +w 3 p 32 +w 4 p 42 =0.2W 1 +0.5W 3 W 3 =w 1p 13 +w 2p 23 +w 3p 33 +W 4P 43 =0.5W 2 + 0.2W 4 \W 4 =we 14 +w 2p 24 +w 3p 34 +w 4p 44 =0.5W 2 +0.8W 4 P(U i U 3)=%,P(U 2U 3)=% , P (U 3 U 3) -0。画出状态图并求出各符号稳态概率。 - 1/2 1/2 0〕 [P(S j |S i )]= 1/3 0 2/3 1/3 2/3 J 令各状态的稳态分布概率为 W ,W 2,W 3,则: 1 1 1 W =_W + _W 2 + _W 3, 2 3 3 -稳态分布概率为: W 2 = Z W + 2W 3 2 3 W 3=2W 2 且: w+W 2+W 3=i 3 W =-,^=—, 5 25 6 25 2-2.由符号集{ 0 , 1 }组成的二阶马尔可夫链, 其转移概率为 P (S j sj = 解:由题可得状态概率矩阵为: 状态转换图为: 0. 8 0 2 0. 5 0 2 2.1设有12枚同值硬币,其中一枚为假币。只知道假币的重量与真币的重量不同,但不知究竟是重还是轻。现用比较天平 左右两边轻重的方法来测量(因无砝码)。为了在天平上称出哪一枚是假币,试问至少必须称多少次? 解:分三组,每组4个,任意取两组称。会有两种情况,平衡,或不平衡。 (1) 平衡: 明确假币在其余的4个里面。从这4个里面任意取3个,并从其余8个好的里面也取3个称。又有 两种情况:平 衡或不平衡。 a )平衡:称一下那个剩下的就行了。 b )不平衡:我们至少知道那组假币是轻还是重。 从这三个有假币的组里任意选两个称一下,又有两种情况:平衡与不平衡,不过我们已经知道假币的轻重情况了,自然的,不平衡直接就知道谁是假币;平衡的话,剩下的呢个自然是假币,并且我们也知道他是轻还是重。 (2) 不平衡: 假定已经确定该组里有假币时候: 推论1:在知道该组是轻还是重的时候,只称一次,能找出假币的话,那么这组的个数不超过3。 我们知道,只要我们知道了该组(3个)有假币,并且知道轻重,只要称一次就可以找出来假币了。 从不平衡的两组中,比如轻的一组里分为3和1表示为“轻(3)”和“轻(1)”,同样重的一组也是分成3和1标示 为“重(3)”和“重(1)”。在从另外4个剩下的,也就是好的一组里取3个表示为“准(3)”。交叉组合为: 轻(3) + 重(1) ?=======? 轻(1) + 准(3) 来称一下。又会有3种情况: (1)左面轻:这说明假币一定在第一次称的时候的轻的一组,因为“重(1)”也出现在现在轻的一边,我们已经知道,假 币是轻的。那么假币在轻(3)里面,根据推论1,再称一次就可以了。 (2)右面轻:这里有两种可能: “重(1)”是假币,它是重的,或者“轻(1)”是假币,它是轻的。这两种情况,任意 取这两个中的一个和一个真币称一下即可。 (3)平衡:假币在“重(3)”里面,而且是重的。根据推论也只要称一次即可。 2.2 同时扔一对骰子,当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“骰子面朝上之和是3和4”时, 试问这三种情况分别获得多少信息量? 解:设“两骰子面朝上点数之和为2”为事件A ,则在可能出现的36种可能中,只能个骰子都为1,这一种结果。即: P (A )=1/36,I (A )= 2log P (A )=2log 36≈5.17 比特 设“面朝上点数之和为8”为事件B ,则有五种可能:2、6;6、2;4、4;3、5;5、3;即: P (B )= 5/36,I (B )= 2log P (B )= 2log 36/5≈2.85 比特 设“骰子面朝上之和是3和4”为事件C ,则有两种可能:3、4;4、3;即: P (C )= 2/36,I (C )= 2log P (C )= 2log 36/2≈4.17 比特 2.3 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几?”则答案中含有多少信息量?如果你在已知今天是 星期四的情况下提出同样的问题,则答案中你能获得多少信息量(假设已知星期一至星期日的排序) 解:(1)P =1/7 I =-Log 2P =-Log 27 (2)已知今天星期四,问明天是星期几? 即:明天是星期五是必然事件,不存在不确定性,I =0。 2.4地区的女孩中有25%是大学生,在女大学生中有75%是身高1.6米以上的,而女孩中身高1.6米以上的占半数一半。假 如我们得知“身高1.6米以上的某女孩是大学生”的消息,问获得多少信息量? 解:设A 为女大学生,B 为1.6米以上的女孩 则依题意有:1()4P A = , 1()2P B =, 3(|)4 P B A = 133()()(|)4416 P AB P A P B A ==?= 部分答案,仅供参考。 信息速率是指平均每秒传输的信息量 点和划出现的信息量分别为3log ,2 3log , 一秒钟点和划出现的次数平均为 4 153 14.0322.01= ⨯ +⨯ 一秒钟点和划分别出现的次数平均为4 5.410 那么根据两者出现的次数,可以计算一秒钟其信息量平均为2 53log 4 153log 4 52 3log 4 10-=+ 2.3 解: (a)骰子A 和B ,掷出7点有以下6种可能: A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6,所以信息量 -log(1/6)=1+log3≈2.58 bit (b) 骰子A 和B ,掷出12点只有1种可能: A=6,B=6 概率为1/36,所以信息量 -log(1/36)=2+log9≈5.17 bit 2.5解: 出现各点数的概率和信息量: 1点:1/21,log21≈4.39 bit ; 2点:2/21,log21-1≈3.39 bit ; 3点:1/7,log7≈2.81bit ; 4点:4/21,log21-2≈2.39bit ; 5点:5/21,log 〔21/5〕≈2.07bit ; 6点:2/7,log(7/2)≈ 平均信息量: (1/21)×4.39+(2/21)×3.39+(1/7)×2.81+(4/21)×2.39+(5/21)×2.07+(2/7)×≈ 2.7解: X=1:考生被录取; X=0:考生未被录取; Y=1:考生来自本市;Y=0:考生来自外地; Z=1: 考生学过英语;Z=0:考生未学过英语 P(X=1)=1/4, P(X=0)=3/4; P(Y=1/ X=1)=1/2; P(Y=1/ X=0)=1/10; P(Z=1/ Y=1)=1, P(Z=1 / X=0, Y=0)=0.4, P(Z=1/ X=1, Y=0 (a) I (X ;Y=1)=∑∑=====x x ) P() 1Y /(P log )1Y /(P )1Y (I )1Y /(P x x x x;x =1) P(X ) 1Y /1X (P log )1Y /1X (P 0)P(X )1Y /0X (P log )1Y /0X (P =====+===== 1 第2章 信息的度量 习 题 2.1 同时扔一对质地均匀的骰子,当得知“两骰子面朝上点数之和为5”或“面朝上点数之和为8”或“两骰子面朝上点数是3和6”时,试问这三种情况分别获得多少信息量? 解: 某一骰子扔得某一点数面朝上的概率是相等的,均为1/6,两骰子面朝上点数的状态共有36种,其中任一状态出现都是等概率的,出现概率为1/36。设两骰子面朝上点数之和为事件a ,有: ⑴ a=5时,有1+4,4+1,2+3,3+2,共4种,则该事件发生概率为4/36=1/9,则信息量为I(a)=-logp(a=5)=-log1/9≈3.17(bit) ⑵ a=8时,有2+6,6+2,4+4,3+5,5+3,共5种,则p(a)=5/36,则I(a)= -log5/36≈2.85(bit) ⑶ p(a)=2/36=1/18,则I(a)=-log1/18≈4.17(bit) 2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几”,则答案中含有多少信息量?如果你在已知今天是星期三的情况下提出同样的问题,则答案中你能获得多少信息量(假设已知星期一至星期日的排序)? 解: 设“明天是星期几”为事件a : ⑴ 不知道今天是星期几:I(a)=-log1/7≈2.81(bit) ⑵ 知道今天是星期几:I(a)=-log1=0 (bit) 2.3 居住某地区的女孩中有20%是大学生,在女大学生中有80%是身高1米6以上的,而女孩中身高1米6以上的占总数的一半。假如我们得知“身高1米6以上的某女孩是大学生”的消息,求获得多少信息量? 解: 设“居住某地区的女孩是大学生”为事件a ,“身高1米6以上的女孩”为事件b ,则有: p(a)= 0.2,p(b|a)=0.8,p(b)=0.5, 则“身高1米6以上的某女孩是大学生”的概率为: 32.05 .08 .02.0)()|()()|(=?== b p a b p a p b a p 信息量为:I=-logp(a|b)=-log0.32≈1.64(bit) 2.4 从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%,如果你问一位男同志:“你是否是红绿色盲?”,他回答“是”或“否”,问这两个回答中各含有多少信息量?平均每个回答中含有多少信息量?如果你问一位女同志,则答案中含有的平均自信息量是多少? 解: ⑴ 男同志回答“是”的概率为7%=0.07,则信息量I=-log0.07≈3.84(bit) 男同志回答“否”的概率为1-7%=0.93,则信息量I=-log0.93≈0.10(bit) 《信息论与编码》-雪虹-课后习题答案 第二章 2.1 —个马尔可夫信源有3个符号{iii.u2.ny},转移概率为:卩("[1“[) = 1/2, /?(W2 IZVI )= 1/2 , /7(//3l«l) = O , /7(M1 I M2)= 1/3 , /7(Z/2 I W2)= 0 , 0("3 I "2)= 2/3 , P (WI I«3)= 1/3, p©2lu3)= 2/3, p(inl“3)= 0,画出状态图并求出各符号稳态概率。 解:状态图如下 状态转移矩阵为: '1/2 1/2 0 “ p= 1/3 2/3 J/3 2/3 0 丿 设状态ui, gm 稳定后的概率分别为W], W2、W 3 2.2由符号集{0,廿组成的二阶马尔可夫链,其转移概率为:p(OIOO)=O.8, ”(0111)=0.2, p(ll00) =0.2 , p(llll) =0.8 , p(OIOl) =0.5 , p(0110) =0.5 , p(ll01) =0.5 , p(l 110)=0.5。画出状态图,并计算各状态的稳态概率。 解:p(OIOO) = p(OOIOO)=O.8 p (oiii )= /?(iour )=o.2 p(l 100) = 7X01100) = 0.2 “(II11) = “(11111) = 0.8 扑+护+扑十 WP = W W\ + W2 + Wi = \ 计算可得 -W2 = Wi 3 W\ + W2 + Wi = \ Wi = — 25 W1 = — 25 W^ = — 25 “(0l01) = p(10l01) = 0・5 p(OllO) = p(OOIlO) = O ・5 “(II01) = “(11101) = 0.5 p(l 110) = p(01110) = 0.5 信息论与编码第二章课后答案在信息科学领域中,信息论和编码是两个息息相关的概念。信息论主要研究信息的传输和处理,包括信息的压缩、传输的准确性以及信息的安全性等方面。而编码则是将信息进行转换和压缩的过程,常用的编码方式包括霍夫曼编码、香农-费诺编码等。 在《信息论与编码》这本书的第二章中,涉及了信息的熵、条件熵、熵的连锁法则等概念。这些概念对于信息理解和编码实现有着重要的意义。 首先是信息的熵。熵可以简单理解为信息的不确定性。当信息的发生概率越大,它的熵就越小。比如说,一枚硬币的正反面各有50%的概率,那么它的熵就是1bit。而如果硬币只有正面,那么它的熵就是0bit,因为我们已经知道了结果,不再有任何不确定性。 其次是条件熵。条件熵是在已知某些信息(即条件)的前提下,对信息的不确定性进行量化。它的定义为已知条件下,信息的熵的期望值。比如说,在猜词游戏中,我们手中已经有一些字母的信息,那么此时猜测单词的不确定性就会下降,条件熵也就会减少。 除了熵和条件熵之外,连锁法则也是信息理解和编码实现中的 重要概念。连锁法则指的是一个信息在不同时刻被传输的情况下,熵的变化情况。在信息传输的过程中,信息的熵可能会发生改变。这是因为在传输过程中,可能会发生噪声或者数据重复等情况。 而连锁法则就是用来描述这种情况下信息熵的变化情况的。 最后,霍夫曼编码和香农-费诺编码是两种比较常用的编码方式。霍夫曼编码是一种无损压缩编码方式,它可以将出现频率高的字 符用较短的二进制编码表示,出现频率较低的字符用较长的二进 制编码表示。香农-费诺编码则是一种用于无失真信源编码的方法,可以把每个符号用尽可能短的二进制串来表示,使得平均码长最 小化。 总的来说,信息论和编码是信息科学中非常重要的两个概念。 通过对信息熵、条件熵、连锁法则等的探讨和了解,可以更好地 理解信息及其传输过程中的不确定性和数据处理的方法。而霍夫 曼编码和香农-费诺编码则是实现数据压缩和传输的常用编码方式。 2.1一个马尔可夫信源有3个符号{}1,23,u u u ,转移概率为:()11|1/2p u u =, ()21|1/2p u u =,()31|0p u u =,()12|1/3p u u =,()22|0p u u =,()32|2/3p u u =, ()13|1/3p u u =,()23|2/3p u u =,()33|0p u u =,画出状态图并求出各符号稳态概率。 解:状态图如下 状态转移矩阵为: 1/21/2 01/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭ 设状态u 1,u 2,u 3稳定后的概率分别为W 1,W 2、W 3 由1231WP W W W W =⎧⎨++=⎩得1231132231231 112331223 231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩ 计算可得1231025925625W W W ⎧=⎪⎪⎪ =⎨⎪ ⎪=⎪⎩ 2.2 由符号集{0,1}组成的二阶马尔可夫链,其转移概率为:(0|00)p =0.8,(0|11)p =0.2, (1|00)p =0.2,(1|11)p =0.8,(0|01)p =0.5,(0|10)p =0.5,(1|01)p =0.5,(1|10)p =0.5。 画出状态图,并计算各状态的稳态概率。 解:(0|00)(00|00)0.8p p == (0|01) (10|01)p p == (0|11)(10|11)0.2p p == (0|10)(00|10)p p == (1|00)(01|00)0.2p p == (1|01)(11|01)p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p == 信息论与编码理论习题答案全解 第二章 信息量和熵 2.2 八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它的 信息速率。 解:同步信息均相同,不含信息,因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此,信息速率为 6⨯1000=6000 bit/s 2.3 掷一对无偏骰子,告诉你得到的总的点数为:(a) 7; (b) 12。问各得到多少 信息量。 解:(1) 可能的组合为 {1,6},{2,5},{3,4},{4,3},{5,2},{6,1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一,为 {6,6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克(52张),问: (a) 任何一种特定的排列所给出的信息量是多少? (b) 若从中抽取13张牌,所给出的点数都不相同时得到多少信息量? 解:(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ⨯=1352 13 4C 信息量=1313 524log log -C =13.208 bit 即)0;(1u I ,)00;(1u I ,)000;(1u I ,)0000;(1u I )0(p =4)1(81⨯-p +481⨯p =2 1 )0;(1u I =) 0()|0(log 1p u p =2 11log p -=1+)1log(p - bit )00(p =]2)1(4)1(2[8122p p p p +-+-=4 1 )00;(1u I =)00()|00(log 1p u p =4/1)1(log 2 p -=)]1log(1[2p -+ bit )000(p =])1(3)1(3)1[(813223p p p p p p +-+-+-=8 1 )000;(1u I =3[1+)1log(p -] bit )0000(p =])1(6)1[(8 1 4224p p p p +-+- )0000;(1u I =4 2244 )1(6)1()1(8log p p p p p +-+-- bit 2.12 计算习题2.9中);(Z Y I 、);(Z X I 、);,(Z Y X I 、)|;(X Z Y I 、)|;(Y Z X I 。 解:根据题2.9分析 )(Z H =2(216log 2161+3216log 2163+6216log 2166+10 216log 21610+ 15216log 21615+21216log 21621+25216log 21625+27 216 log 21627) =3.5993 bit );(Z Y I =)(Z H -)|(Y Z H =)(Z H -)(X H =1.0143 bit );(Z X I =)(Z H -)|(X Z H =)(Z H -)(Y H =0.3249 bit );,(Z Y X I =)(Z H -)|(XY Z H =)(Z H -)(X H =1.0143 bit 第二章 信息量和熵 2.2八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它的信 息速率. 解:同步信息均相同,不含信息,因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此,信息速率为 6⨯1000=6000 bit/s 2。3 掷一对无偏骰子,告诉你得到的总的点数为:(a ) 7; (b) 12。问各得到 多少信息量. 解:(1) 可能的组合为 {1,6},{2,5},{3,4},{4,3},{5,2},{6,1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2。585 bit (2) 可能的唯一,为 {6,6} )(b p =361 得到的信息量=) (1 log b p =36log =5。17 bit 2.4 经过充分洗牌后的一副扑克(52张),问: (a) 任何一种特定的排列所给出的信息量是多少? (b) 若从中抽取13张牌,所给出的点数都不相同时得到多少信息量? 解:(a ) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ⨯=1352 13 4C 信息量=1313 524log log -C =13。208 bit 2.9随机掷3颗骰子,X 表示第一颗骰子的结果,Y 表示第一和第二颗骰子的点 数之和,Z 表示3颗骰子的点数之和,试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、 )|,(Y Z X H 、)|(X Z H 。 解:令第一第二第三颗骰子的结果分别为321,,x x x ,1x ,2x ,3x 相互独立,则 1x X =,21x x Y +=,321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2⨯( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3。2744 bit )|(Y X H =)(X H —);(Y X I =)(X H —[)(Y H —)|(X Y H ] 而)|(X Y H =)(X H ,所以)|(Y X H = 2)(X H —)(Y H =1.8955 bit 或)|(Y X H =)(XY H —)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ,所以)|(Y X H =2)(X H —)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2。585=4.4805 bit 2.10 设一个系统传送10个数字,0,1,…,9。奇数在传送过程中以0.5的概率错 成另外一个奇数,其余正确接收,求收到一个数字平均得到的信息量。 解: 8,6,4,2,0=i √ );(Y X I =)(Y H -)|(X Y H 因为输入等概,由信道条件可知,信息论与编码理论习题答案全解
信息论与编码第二章习题参考答案
信息论与编码第二章答案
信息论与编码第2章习题解答
信息论与编码理论第二章习题答案(王育民)
信息论与编码理论-第2章信息的度量-习题解答-20071017
信息论与编码第2章答案
信息论与编码第二章课后答案
信息论与编码-曹雪虹-第二章-课后习题答案
信息论与编码理论习题答案全解
信息论与编码理论习题答案