信息论与编码第二章答案

2—1、一阶马尔可夫链信源有3个符号

{}123,,u u u ,转移概率为：1

112

()u p u

=，

2112()u p u =，31()0u p u =，1213()u p u = ，22()0u p u =,3223()u p u =，1313()u p u =，2323()u p u =，33()0u p u =。画出状态图并求出各符号稳态概率。

解：由题可得状态概率矩阵为:

1/21/2

0[(|)]1/302/31/32/30j i p s s ⎡⎤⎢⎥=⎢⎥

⎢⎥⎣⎦

状态转换图为：

令各状态的稳态分布概率为1W ,2W ，3W ，则: 1W =

121W +132W +133W , 2W =121W +233W , 3W =2

3

2W 且：1W +2W +3W =1 ∴稳态分布概率为:

1W =25，2W =925，3W = 6

25

2-2。由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：P(0｜00）=0.8，P(0｜11）

=0.2,P （1｜00)=0.2，P （1｜11）=0.8,P(0|01)=0。5,p(0|10）=0.5,p(1｜01）=0。5，p （1｜10）=0。5画出状态图，并计算各符号稳态概率。 解：状态转移概率矩阵为：

令各状态的稳态分布概率为1w 、2w 、3w 、4w ，利用（2-1—17）可得方程组.

111122133144113

211222233244213

311322333344324411422433444424

0.80.50.20.50.50.20.50.8w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w =+++=+⎧⎪=+++=+⎪⎨

=+++=+⎪⎪=+++=+⎩ 且12341w w w w +++=；

0.8 0.2 0 00 0 0.5 0.5()0.5 0.5 0 00 0 0.2 0.8j i p s s ⎡⎤⎢⎥

⎢

⎥=⎢⎥⎢⎥⎣⎦

解方程组得：12345141717514w w w w ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩ 即：5(00)141(01)71(10)75(11)14

p p p p ⎧=⎪⎪⎪=⎪⎨

⎪=⎪⎪⎪=⎩

2—3、同时掷两个正常的骰子，也就是各面呈现的概率都是16

,求:

（1）、“3和5同时出现"事件的自信息量；

（2)、“两个1同时出现”事件的自信息量； （3）、两个点数的各种组合的熵或平均信息量； （4）、两个点数之和的熵； （5）、两个点数中至少有一个是1的自信息量。

解：（1）3和5同时出现的概率为:1111

p(x )=26618

⨯⨯= 11

I(x )=-lb

4.1718

bit ∴= (2）两个1同时出现的概率为：2111

p(x )=6636

⨯=

21

I(x )=-lb

5.1736

bit ∴= （3)两个点数的各种组合（无序对）为: （1，1)，（1,2)，（1,3），(1,4),（1,5），(1,6） (2,2),(2，3),(2，4),（2，5)，（2，6） (3,3）， （3,4)，(3,5），(3，6） (4，4），（4，5）,（4，6) （5,5），（5,6） （6,6） 其中，(1,1）, (2,2), (3，3）， （4，4), (5，5)， （6,6)的概率为1/36，其余的概率均为1/18 所以，1111

()156 4.33718183636

H X lb lb bit ∴=-⨯

-⨯=事件 （4）两个点数之和概率分布为:

4678102

3591112356531244213636363636363636363636

x p

信息为熵为:12

2

()1() 3.27i

i

i H p x bp x bit ==-

=∑

（5)两个点数之中至少有一个是1的概率为：311

()36

p x = 311

I(x )=-lb

1.1736

bit ∴= 2-4。设在一只布袋中装有100个用手触摸感觉完全相同的木球,每个球上涂有一种颜色。100

个球的颜色有下列三种情况： （1）红色球和白色球各50个； （2）红色球99个，白色球1个; (3）红、黄、蓝、白色球各25个。

分别求出从布袋中随意取出一个球时，猜测其颜色所需要的信息量。 解：（1）设取出的红色球为1x ，白色球为2x ；有11()2p x =，21

()2

p x = 则有：1

111

()()2222

H X lb

lb =-+=1bit/事件 （2） 1()0.99p x =，2()0.01p x =；

则有:()(0.990.990.010.01)H X lb lb =-+=0。081（bit/事件）

（3)设取出红、黄、蓝、白球各为1x 、2x 、3x 、4x ，有12341

()()()()4

p x p x p x p x ====

则有：11()4()244

H X lb bit =-=/事件

2-5、居住某地区的女孩中有25%是大学生，在女大学生中有75％身高为1.6M 以上，而女孩中身高1。6M 以上的占总数一半。假如得知“身高1。6M 以上的某女孩是大学生”的消息，问获得多少信息量?

解：设女孩是大学生为事件A ，女孩中身高1。6m 以上为事件B ，则p(A)=1/4， p （B ）

=1/2,p （B ｜A ）=3/4，则 P （A|B ）=

()()(|)()()p AB p A P B A p B P B ==0.250.753

0.58

⨯= I （A|B ）＝log （1/p(A/B ））=1。42bit

2—6。掷两颗 ，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时,该消息所包含的信息量又是多少？

解:(1）小圆点数之和为3时有（1,2）和（2，1),而总的组合数为36，即概率为1

(3)18

p x ==，则

1

(3)(3) 4.1718

I x lbp x lb

bit ==-==-= （2)小园点数之和为7的情况有(1,6），（6,1)(2,5）(5，2)(3,4)（4，3）,则概率为1(7)6

p x ==,则有 1

(7) 2.5856

I x lb

bit ==-= 2-7、设有一离散无记忆信源，其概率空间为1234013338141418X x x x x P ====⎡⎤⎡⎤

=⎢⎥⎢⎥⎣⎦⎣⎦

(1)、求每个符号的自信息量；

（2）、信源发出一消息符号序列为

{}

202120130213001203210110321010021032011223210，求该消息序列的自信息量及平均每个符号携带的信息量。

解:（1）1x 的自信息量为：13

I(x )=-lb

1.4158bit = 2x 的自信息量为:21

I(x )=-lb 24bit =

3x 的自信息量为：31

I(x )=-lb 24bit =

4x 的自信息量为：41

I(x )=-lb 38

bit =

（2）在该消息符号序列中，1x 出现14次，2x 出现13次，3x 出现12，4x 出现6次，所以，该消息序列的自信息量为：

I （i x ）=14 I(1x ）+13 I(2x ）+12 I （3x ）+6 I （4x ）

19.8126241887.81bit bit bit bit

bit

=+++=

平均每个符号携带的信息量为：

11223344()()log ()()log ()()log ()()log ()

H X p x p x p x p x p x p x p x p x =+++

31111.41522384481.906bit

=⨯+⨯+⨯+⨯=

2—8．试问四进制、八进制脉冲所含的信息量是二进制脉冲的多少倍？

解；设二进制、四进制、八进制脉冲的信息量为

21()12I X lb

bit =-= 41()24I X lb bit == 81

()38

I X lb bit == 所以，四进制、八进制脉冲信息量分别是二进制脉冲信息量的2倍、3倍。

2-10 在一个袋中放5个黑球、10个白球,以摸一个球为实验,摸出的球不再放进去。求： （1)一次实验中包含的不确定度；

（2）第一次实验X 摸出是黑球，第二次实验Y 给出的不确定度； （3)第一次实验X 摸出是白球，第二次实验Y 给出的不确定度； （4）第二次实验包含的不确定度.

解：（1）一次实验的结果可能摸到的是黑球1x 或白球2x ，它们的概率分别是11

()3

p x =

，22

()3

p x =

.所以一次实验的不确定度为 121122

()(,)(log log )0.5280.3900.918333333

H X H bit ==-+=+=

（2）当第一次实验摸出是黑球，则第二次实验Y 的结果可能是摸到黑球1x 或白球2x ,它们

287.81/45 1.95I =≈ 比特/符号

的概率分别是 112()7p y x =、215()7

p y x =。 所以该事件的不确定度为

1112255

()()log ()(log log )7777i i i

H Y x p y x p y x =-=-+∑

0.5160.3470.863bit =+=/符号

（3)当第一次实验摸出是白球，则第二次实验Y 的结果可能是摸到黑球1y 或白球2y ，它们的概率分别是 125()14p y x =、229

()14

p y x =。 所以该事件的不确定度为

2225599

()()log ()(log log )14141414i i i

H Y x p y x p y x =-=-+∑

0.5300.4100.940bit =+=/符号

（4）

2

11220

(|)()(|)=()()()() =0.91bit /i i i H Y X p x H Y x p x H Y x p x H Y x ==-+∑符号

二次实验B 出现结果的概率分布是p （x ，y)=p （黑，黑）= 221,p （x ，y)=p(黑，白)= 5

21

,p （x ，y ）=p （白,黑)=

521,p （x,y ）=p （白，白）= 9

21

所以二次实验的不确定度为 H （B)= -

221log 221-

521log 521-521log 521-921log 9

21

=0.91bit/符号

2—11有一个可旋转的圆盘，盘面上被均匀地分成38份，用1，2，、、、,38数字标示，其中有2份涂绿色,18份涂红色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色. （1)若仅对颜色感兴趣，则计算平均不确定度；

（2）若对颜色和数字都感兴趣，则计算平均不确定度； （3）如果颜色已知时，则计算条件熵。

解：令X 表示指针指向某一数字，则X={1，2,……….,38} Y 表示指针指向某一种颜色,则Y={绿色，红色，黑色} Y 是X 的函数，由题意可知()()i j i p x y p x = (1)仅对颜色感兴趣,则 H(c)=-

322log 322—2⨯

3218⨯log 32

18

=0。2236+1。0213 =1。245bit (2）对颜色和数字都感兴趣,则

H （n,c)=H （n)=38⨯（-

381)log 38

1

=—3010.05798.1- =5。249bit

（3)如果颜色已知时，则

H （n|c ）=H （n ，c)-H(h)=5。249—1。245=4.004bit

2-12、两个实验X 和Y ，123{,,}X x x x =，123{,,}Y y y y =,联合概率(,)i j ij r x y r =为

11121321222331

32

337/241/2401/241/41/2401/247/24r r r r r r r r r ⎡⎤⎡⎤

⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦

（1）如果有人告诉你X 和Y 的结果，你得到的平均信息量是多少?

（2）如果有人告诉你Y 的结果，你得到的平均信息量是多少?

(3）在已知Y 的实验结果的情况下，告诉你X 的实验结果，你得到的平均信息量是多少? 解：（1）、33

11

(,)(,)log (,)i

j

i j i j H X Y p x y

p x y ===-

∑∑

771111

2log 4log log 2424242444

=-⨯

-⨯- 2.3bit /=符号 （2）、

1231

()()()3

p y p y p y ===

3

1

11111

()()log ()(,,)3log 1.58bit/33333i i i H Y p y p y H ==-==-⨯=∑符号

(3)、(|)(,)() 2.3 1.580.72bit/H X Y H X Y H Y =-=-=符号

()(,)log ()i j i j ij

H X Y p x y p x y =-∑

(,)(,)log

()

71

171124244(2log 4log log

)1112424433

3

0.1120.50.1040.716i j i j ij

j p x y p x y p y bit

=-=-⨯+⨯+=++=∑ 2-13有两个二元随机变量X 和Y ，它们的联合概率如右图所示。 并定义另一随机变量Z=XY （一

般乘积）。

试计算：

（1） ()H X ，()H Y ，()H Z ，(,)H X Z ，(,)H Y Z ，(,,)H X Y Z （2） H(X Y)

，

H(Y )

X ，

()

H X Z ,

()

H Z X ，

()H Y Z ,()H Z Y ,(,)H X Y Z ,(,)H Y X Z ，(,)H Z X Y

（3） (;)I X Y ，(;)I X Z ,(;)I Y Z ,(;)I X Y Z ,(;)I Y Z X ，(;)I X Z Y

解:（1）1)3182+=111121p(x )=p(x y )+p(x y )=

8 11

82

+=221223p(x )=p(x y )+p(x y )=8

()()log ()1/i i i

H X p x p x bit symbol =-=∑

3182+=111211p(y )=p(x y )+p(x y )=

8 11

82

+=212223p(y )=p(x y )+p(x y )=8

()()log ()1/j j j

H Y p y p y bit symbol =-=∑

120171()88z z Z P Z ==⎧⎫

⎡⎤⎪⎪

=⎨

⎬⎢⎥⎣⎦⎪

⎪⎩⎭

2

7711

()()(log log )0.544/8888k k

H Z p Z bit symbol =-=-+=∑

11112()()()p x p x z p x z =+ 111()()0.5p x z p x == 12()0p x z = 11121()()()p z p x z p x z =+ 2111173

()()()0.588

p x z p z p x z =-=

-= 21222()()()p z p x z p x z =+ 2221

()()8

p x z p z ==

()()log ()

131113311

(,0,,)(log log log ) 1.406/288228888

i k i k i

k

H XZ p x z p x z H bit symbol

=-==-++=∑∑

同理：

113311

()()log ()(log log log ) 1.406/228888j k j k j k

H YZ p y z p y z bit symbol =-=-++=∑∑

Pxyx （000)=1/8， Pxyz （010)=3/8, pxyz （100）=3/8, P （111)=1/8

Pxyz （110）=Pxyz(001）=Pxyz(101）=Pxyz(011）=0

21331

()()log ()(,,,)

888811333311

(log log log log ) 1.811/88888888

i j k i j k i j k

H XYZ p x y z p x y z H bit symbol

=-==-+++=∑∑∑

（2）1

133

(,)2(log

log ) 1.818888

H X Y bit =-⨯+= 由于(,)()()()()H X Y H X H Y X H Y H X Y =+=+所以：

()H X Y (,)()H X Y H Y =-；()(,)()H Y X H X Y H X =-则， () 1.8110.81H X Y bit =-= ()H Y X 1.8110.81bit =-=

()(,)()H X Z H X Z H Z =- 1.410.540.87bit =-= ()(,)()H Z X H X Z H X =- 1.4110.41bit =-= ()(,)()H Y Z H Y Z H Z =- 1.410.540.87bit =-= ()(,)() H Z Y H Y Z H Y =- 1.4110.41bit =-=

(,)(,,)(,)H X Y Z H X Y Z H Y Z =- 1.81 1.410.4bit =-= (,)(,,)(,) 1.81 1.410.4H Y X Z H X Y Z H X Z bit =-=-= (,)(,,)(,) 1.81 1.810H Z X Y H X Y Z H X Y bit =-=-=

Pxz=Px*Pz ｜x=Pz ＊Px|z

（3)(;)()()10.810.19I X Y H X H X Y bit =-=-= (;)()()10.870.13I X Z H X H X Z bit =-=-=

(;)()()10.870.13I Y Z H Y H Y Z bit =-=-=

由于(;,)(;)(;)I X Y Z I X Z I X Y Z =+则

(;)(;,)(;)()(,)()()I X Y Z I X Y Z I X Z H X H X Y Z H X H X Z =-=--⎡-⎤⎣⎦

()(,)H X Z H X Y Z =-0.870.40.47bit =-=

同理有： (;)()(,)0.810.40.41I Y Z X H Y X H Y X Z bit =-=-=

(;)()(,)0.810.40.41I X Z Y H X Y H X Y Z bit =-=-=

2.16 黑白传真机的消息元只有黑色和白色两种,即X={黑,白},一般气象图上，黑色的出现概率p(黑）＝0.3，白色出现的概率p(白)＝0.7。

（1）假设黑白消息视为前后无关，求信源熵H （X)，并画出该信源的香农线图

（2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝0。9143，P(黑｜白)＝0。0857，P(白|黑)＝0。2，P （黑|黑)＝0。8,求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。

(3）比较两种信源熵的大小，并说明原因。 解：（1）221010

()0.3log 0.7log 0.881337

H X =+=bit/符号 P （黑｜白)=P(黑)

P(白|白)＝P(白)

P(黑｜黑)＝P （黑) P （白|黑)＝P （白)

（2）根据题意，此一阶马尔可夫链是平稳的(P(白）＝0。7不随时间变化,P(黑）＝0.3不随时

间变化）

212

222

2

1()(|)(,)log (,)

111

0.91430.7log 0.08570.7log 0.20.3log 0.91430.08570.2

10.80.3log 0.8

i j i j ij

H X H X X p x y p x y ∞===⨯+⨯+⨯+⨯∑ ＝0.512bit/符号

2.20 给定语音信号样值X 的概率密度为1()2

x

p x e λλ-=,x -∞<<+∞，求H c （X)，并证明它小于同样方差的正态变量的连续熵。

解：

201()()log ()()log 2111()log ()()log log log ()22211

1log log ()log

()222

11log 2log 22x

c x x x x

x x x x

H X p x p x dx p x e dx

p x dx p x x edx e e x dx

e e x dx e x dx e xe λλλλλλλλλλλλλλλλ+∞+∞

--∞-∞

+∞

+∞

+∞

--∞-∞-∞+∞

--∞

+∞-=-=-=---=-+=-+⋅-+=-+⎰⎰⎰⎰⎰⎰⎰

⎰0

112log log (1)log log log 22x x e dx e x e e λλλλλλ+∞

-⎡⎤=--+=-+=⎣⎦2

2

()0,()E X D X λ=

=

,221214()log 2log log log ()22e H X e H X ππλλλλ

=

==>=

2—23 连续随机变量X和Y的联合概率密度为

22

1

{[(1)2]}

2

(,)

N

x xy y

N S

p x y-+-+

=

求()

c

H X,()

c

H Y,()

c

H Y X，(;)

I X Y

解：()(,)

X

P x p x y dy

∞

-∞

=

⎰22

1

{[(1)2]}

2

N

x xy y

N S dy

∞

-+-+

=⎰

2222

111

{[()]}[()]

222

N

x y x x x y

N S S N

dy dy ∞∞

--+---==

⎰⎰

2

1

2

x

S

-

=

22

1

{[(1)2]}

2

()(,)

N

x xy y

N S

Y

P y p x y dx dx

∞∞

-+-+

-∞

==

⎰⎰

22

2

22

2

{[()]}

2()

1

)]

2()

1

2()

S N S SN

x y y

NS S N S N

S

y x y

S N S N

y

S N

dx

dx

+

∞--+

++

∞

--

++

-

+

=

=

=

⎰

⎰

随机变量X的概率密度分布为()

X

P

x2

1

2

x

S

-

=，呈标准正态分布。其中数学期望为0，

方差为S；随机变量Y的概率密度分布为()

Y

P y

2

1

2()

y

S N

-

+

=，也呈标准正态分布。其中数学期望为0，方差为（S+N)。

22

11

22

()()log()x x

S S

c X X

H X P x P x dx dx

∞∞

--

-∞

=-=-

⎰⎰

2

1

2

2

11

)log2log()

22

11

log2log log

2

222

x

S

x x

E S e E x

S

S

S e eS

S

π

ππ

-

=-=+

=+=

22

11

2()2() ()()log()y y

S N S N

c Y Y

H Y P y P Y dy dy

∞∞--

++ -∞

=-=-

⎰⎰

2

1

2

2()

11

)log2()log()

22()

11

log2()log log2()

22()2

y

S N

y Y

E S N e E y

S N

S N

S N e

e S N

S N

π

ππ

-

+

=-=++

+

+

=++=+

+

(,)(,)log(,)

c

H X Y P x y P X Y dxdy

∞

-∞

=-⎰

2222

11

{[(1)2]}{[(1)2]}

22

N N

x xy y x xy y

N S N S dxdy

∞

-+-+-+-+

=-⎰

22

1

{[(1)2]}

2)

N

x xy y

N S

xy

E-+-+

=-

22

1

log2log([(1)2)

2xy

N

e E x xy y

N

S

=+-+

2

log2log

2

N

e

N

=log2π

=

()(,)()

c c c

H Y X H X Y H X

=-

11

log2log2log2

22

eS eN

πππ

=-=

(;)()()

c c

I X Y H Y H Y X

=-

111

log2()log2log(1)

222

S

e S N eN

N

ππ

=+-=+

2-25 某一无记忆信源的符号集为｛0，1｝，已知

（1)求符号的平均熵.

（2）由100 个构成的序列，求某一特定序列(例如有m个0和100—m个1)的自由信息量的表达式。

（3）计算（2）中的序列的熵。

解：（1）

1133

()log log0.50.310.81

4444

H X bit

=--=+=

（2）100

13

()log()()200(100)log3 1.5941

44

m m

I X m m

-

=-=--=+

(3）100

()100()81

H X H X bit

==

()

()2(1/100)log3

100

I X

H X m

==--

2—26 一个信源发出二重符号序列消息（

1

X,

2

X）,其中第一个符号

1

X可以是A,B，C中的

任一个，第二个符号

2

X可以是D，E，F,G中的任一个。已知各个

1

()

i

p x为

1

()

2

p A=,

1

()

3

p B=,

1

()

6

p C=；各个

21

()

j i

p x x值列成如下。求这个信源的熵（联合熵）12

(,)

H X X。

解：12121(,)()()H X X H X H X X =+ 1111111

()[log

log log ]0.50.5280.431 1.459223366

H X bit =-++=++= 21()H X X

111111133111111

[4log 2log 2log 3log log ]24435531010666622

=-⨯⨯+⨯⨯+⨯⨯+⨯⨯+⨯

10.30940.34720.21530.0833 1.955bit =++++=

12(,) 1.459 1.955 3.414/H X X bit =+=序列

2.29 有一个一阶平稳马尔可夫链1,2,

,,

r X X X ，各X r 取值于集合{}1,2,3A a a a =，已知

起始概率P （X r )为1231/2,1/4p p p ===，转移概率如下图所示

j

i

1 2 3 1 2 3

1/2 2/3 2/3

1/4 0 1/3

1/4 1/3 0

(1) 求123(,,)X X X 的联合熵和平均符号熵 (2) 求这个链的极限平均符号熵

(3) 求012,,H H H 和它们说对应的冗余度 解：（1）

12312132,112132(,,)()(|)(|)

()(|)(|)

H X X X H X H X X H X X X H X H X X H X X =++=++

1111111

()log log log 1.5/224444

H X bit =---=符号

212()()j i j i

p x p x x =∑

X 2的概率分布为

12()i j p x x

1 2 3 1 1/4 1/8 1/8

2 1/6 0 1/12 3

1/6

1/12

1 2 3 14/24

5/24

5/24

那么

21111131131

(|)log 4log 4log 4log log3log log348862126212

H X X =++++++

=1.209bit/符号

X 2X 3

那么

32771535535

(|)log 2log 4log 4log log3log log3244883627236272

H X X =

++++++ =1。26bit/符号

123(,,) 1.5 1.209 1.26 3.969H X X X bit =++=/符号

所以平均符号熵3123 3.969

(,,) 1.3233

H X X X bit =

=／符号 （2）设a 1，a 2,a 3稳定后的概率分布分别为W1，W2，W3,转移概率距阵为11

12442

103321033

P ⎛⎫ ⎪ ⎪

⎪= ⎪ ⎪ ⎪ ⎪⎝⎭

由1i WP W W =⎧⎪⎨=⎪⎩∑ 得到 123132123122123311431W W W W W W W W W ⎧++=⎪⎪⎪+=⎨⎪++=⎪⎪⎩计算得到12347314314W W W ⎧=⎪⎪

⎪=⎨⎪

⎪=⎪⎩

又满足不可约性和非周期性

3

1

4111321

()(|)(,,)2(,,0) 1.2572441433

i i i H X W H X W H H bit ∞===

+⨯=∑/符号 (3）0log3 1.58H bit ==/符号 1 1.5H bit =/符号 2 1.5 1.209

1.3552

H bit +=

=/符号 00 1.25110.211.58γη=-=-=11 1.25110.6171.5γη=-=-= 22 1.25

110.0781.355

γη=-=-=

图2-13

2。32 一阶马尔可夫信源的状态图如图2－13所示，信源X 的符号集为(0,1,2）。 （1）求信源平稳后的概率分布P （0)，P(1),P （2) （2）求此信源的熵

(3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H （X ）并与H ∞进行比较

解:根据香农线图,列出转移概率距阵1/2/2/21/2/2/21p p p P p p p p p p -⎡⎤⎢⎥=-⎢⎥⎢⎥-⎣⎦

令状态0,1，2平稳后的概率分布分别为W1,W2，W3

31

1i i WP W W ==⎧⎪⎨=⎪⎩∑ 得到 1231

1232123(1)2

2

(1)221p p p W W W W p

p W p W W W W W W ⎧

-++=⎪⎪⎪+-+

=⎨⎪++=⎪⎪⎩

计算得到131313W W W ⎧=⎪⎪

⎪

=⎨⎪

⎪=⎪⎩

由齐次遍历可得

112

()(|)3(1,,)(1)log log 3221i i i p p H X W H X W H p p p p p ∞==⨯-=-+-∑

,()log 3 1.58/H X bit ==符号 由最大熵定理可知()H X ∞存在极大值

或者也可以通过下面的方法得出存在极大值：

()121log(1)(1)log log

1222(1)H X p p p

p p p p p p ∞⎡⎤∂-=---+-++⋅⋅=-⎢⎥∂--⎣

⎦ 112(1)22(1)p p p =-+-- 又01p ≤≤所以

[]0,2(1)p p ∈+∞-当p=2/3时12(1)

p

p =- 0

()log 02(1)H X p p p ∞∂=->∂- 2/3〈p<1时()log 02(1)

H X p

p p ∞∂=-<∂- 所以当p=2/3时()H X ∞存在极大值，且max () 1.58/H X bit ∞=符号。所以,

()()H X H X ∞≤