信息论与编码_曹雪虹_课后习题答案

《信息论与编码》 -雪虹-课后习题答案

第二章

2.1 一 个 马 尔 可 夫 信 源 有 3 个 符 号

u u , u

， 转 移 概 率 为 ： p

u 1|u 11/2

，

p

u 2|u 11/2

，

p

u 3|u 1

，

p u 1|u 2 1/3

，

p u 2|u 20

，

p u 3|u 22/3

，

p

u 1|u 3 1/3

，

p u 2|u 3 2/3

，

p u 3|u 3 0

，画出状态图并求出各符号稳态概率。

解：状态图如下

1/2

u

1

1/2

1/3

u

2

状态转移矩阵为：

1/3

u

3

2/3

2/3

1/ 2 1/ 2 0 p 1/ 3 0 2 / 3

设状态 u u u 稳定后的概率分别为 W ，W 、W 1， 2， 3

1

2

3

1 1 1

W 1 W 2 W 3 W 1 2 3 3 1 2

WP W

W 1 W 3 W 2 由

得 2 3 计算可得 2

W W W 1

1 2 3

W 2 W 3

3 W W W 1

10 25 9 25

6 25

2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：

p (0 | 00) =0.8，p (0 |11) =0.2，

p (1| 00) =0.2，p (1|11) =0.8，p (0 | 01) =0.5，p (0 |10) =0.5，p (1| 01) =0.5，p (1|10) =0.5。

画出状态图，并计算各状态的稳态概率。

解：

p (0 | 00)

p (00 | 00) 0.8 p (0 | 01) p (10| 01) 0.5

p (0 |11) p (10|11) 0.2

p (0 |10) p (00 |10) 0.5

p (1| 00) p (01| 00) 0.2

p (1| 01) p (11| 01) 0.5

p (1|11) p (11|11) 0.8

p (1|10) p (01|10)

0.5

1, 2 3

1/ 3 2 / 3 0

W 1

W

2 W 3

1

2 3

于是可以列出转移概率矩阵：

p

0.8 0.2

0 0 0 0.5 0.5 0.5 0.5 0 0 0

0 0.2 0.8

状态图为：

0.8

00

0.5

0.2

0.5

0.5

01

0.5

10

11

0.8

设各状态 00，01，10，11 的稳态分布概率为 W ,W W W 有

1

2, 3, 4

WP W 4 W 1 i 1

0.8W 1 0.5W 3 W 1

0.2W 0.5W W 3 2 得 0.5W 2 0.2W 4 W 3

0.5W 0.8W W W W W W 1 5

W 14

1 W 7 计算得到 1 W 7

5 W 14

2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为 1/6，求：

(1) “3 和 5 同时出现”这事件的自信息； (2) “两个 1 同时出现”这事件的自信息；

(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即 2, 3, … , 12 构成的子集）的熵； (5) 两个点数中至少有一个是 1 的自信息量。 解：

(1)

1 1 1 1 1

p ( x )

6 6 6 6 18 1

I ( x ) log p ( x ) log 4.170 bit

18

(2)

1 1 1

p ( x )

6 6 36 1

I ( x ) log p ( x ) log 5.170 bit

36

(3)

0.2

i

1

2 4 4

1 2 3 4 1 2

3

4 i i

i

i i

i

两个点数的排列如下：

11 12 13 14 21 22 23 24 31 32 33 34 41 42 43 44 51 52 53 54 61 62 63 64

共有21种组合：15

25

35

45

55

65

16

26

36

46

56

66

其中11，22，33，44，55，66的概率是111 6636

其他15个组合的概率是2111 6618

H(X)p(x)l og p(x)

i i

i

1111

6log 15log

36361818

4.337bit/symbol

(4)

参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：

23456789101112

11115151111

H(X)p(x)log p(x )

i i

i

111111115511 2log 2log 2log 2log 2log log 36361818121299363666

3.274bit/symbol

(5)

1111

p(x )11

6636I (x )log p(x )log

i i

2-411

36

1.710bit

X

P(X)

3618129366369121836

i

2.5 居住某地区的女孩子有 25%是大学生，在女大学生中有 75%是身高 160 厘米 以上的，而女孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大学生”的消息，问获得多少信息量？

解：

设随机变量 X 代表女孩子学历

X x （是大学生）

1

x （不是大学生）

2

P(X) 0.25

0.75

设随机变量 Y 代表女孩子身高 Y y （身高>160cm ）

1

y （身高<160cm ）

2

P(Y) 0.5

0.5

已知：在女大学生中有 75%是身高 160 厘米以上的

即：

p ( y / x )

0.75 bit

1

1

求：身高 160 厘米以上的某女孩是大学生的信息量

即：

p ( x ) p ( y / x )

0.25 0.75 I ( x / y )

log p ( x / y ) log 1 1 1

log

p ( y )

0.5

1

1.415 bit

2.6 掷两颗骰子，当其向上的面的小圆点之和是 3 时，该消息包含的信息量是多少？当小圆 点之和是 7 时，该消息所包含的信息量又是多少？ 解：

1）因圆点之和为 3 的概率

p ( x ) p (1,2) p (2,1)

1

18 该消息自信息量

I ( x )

log p ( x ) log18 4.170bit

2）因圆点之和为 7 的概率

p ( x ) p (1,6) p (6,1) p (2,5) p (5,2) p (3,4) p (4,3)

1

6

该消息自信息量

I ( x )

log p ( x ) log6 2.585bit

2.7 设有一离散无记忆信源，其概率空间为

X x 1 0 x 2 1 x 3 2 x 4 3

P 3/8

1/ 4 1/ 4 1/8

（1）求每个符号的自信息量

（2）信源发出一消息符号序列为 {202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量

解：

1 8

I ( x ) log log 1.415bit

p ( x ) 3

同理可以求得

I ( x )

2bit , I ( x ) 2bit , I ( x ) 3bit 1

1 1 1

1 2 2 1 2 3 3

因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：I 14I(x)13I(x )12I(x )6I(x )87.81bit

平均每个符号携带的信息量为87.81

45

1.95bit/符号

2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：

四进制脉冲可以表示4个不同的消息，例如：{0,1,2,3}

八进制脉冲可以表示8个不同的消息，例如：{0,1,2,3,4,5, 6,7} 二进制脉冲可以表示2个不同的消息，例如：{0,1}

假设每个消息的发出都是等概率的，则：

四进制脉冲的平均信息量八进制脉冲的平均信息量二进制脉冲的平均信息量H(X)log n log42bit/symbol 1

H(X)log n log83bit/symbol 2

H(X)log n log21bit/symbol 0

所以：

四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2-9 “－”用三个脉冲“●”用一个脉冲

(1)I(●)=I(－)＝

(2)H=

2-10

(2) P(黑/黑)= P(白/黑)=

H(Y/黑)=

(3) P(黑/白)= P(白/白)=

H(Y/白)=

(4) P(黑)= P(白)=

H(Y)=

2.11有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。

（1）如果仅对颜色感兴趣，则计算平均不确定度

（2）如果仅对颜色和数字感兴趣，则计算平均不确定度

（3）如果颜色已知时，则计算条件熵

解：令X表示指针指向某一数字，则X={1,2, (38)

Y表示指针指向某一种颜色，则Y={l绿色，红色，黑色}

Y是X的函数，由题意可知p(x y)p(x)

（1）H(Y)3

j 1p(y)log

12381838

log 2log 1.24

p(y)3823818

bit/符号

1234

i j i

j

j

（2）

H ( X ,Y )

H ( X ) log 38 5.25

bit/符号

（3）

H ( X | Y )

H ( X , Y ) H (Y ) H ( X ) H (Y ) 5.25 1.24 4.01

bit/符号

2.12 两个实验 X 和 Y ，X={x x

1

2

r r 12 r r

21

22

r

r

31

32

x },Y={y y y },l 联合概率 3

1

2

3

r

7/ 24 1/ 24 0 r 1/ 24 1/ 4 1/ 24 23

r

x i ,y j r i j

为

（1） 如果有人告诉你 X 和 Y 的实验结果，你得到的平均信息量是多少？ （2） 如果有人告诉你 Y 的实验结果，你得到的平均信息量是多少？

（3） 在已知 Y 实验结果的情况下，告诉你 X 的实验结果，你得到的平均信息量是多少？

解：联合概率

p ( x , y )

为

X

Y

x 1

x

2

x

3

y1

7/24

1/24

y

2

1/24

1/4

1/24

y

3

1/24

7/24

1

H ( X , Y ) p ( x , y )log

p ( x , y )

ij

7 24 1 1 2 log 4 log 24 log 4 24 7 24 4

=2.3bit/符号

X 概率分布 X P

x

1

8/24 x

2

8/24 x

3

8/24

1

H (Y ) 3 log 3 1.58 3

bit/符号

H ( X | Y ) H ( X ,Y ) H (Y ) 2.3 1.58

Y 概率分布是 =0.72bit/符号

Y P

y1 8/24

y2 8/24

y3 8/24

2.13 有两个二元随机变量 X 和 Y ，它们的联合概率为

Y

X

x =0

1

x =1

2

y =0

1 y =1

2

1/8

3/8

3/8

1/8

并定义另一随机变量 Z = XY （一般乘积），试计算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和 H(XYZ)；

(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)

2

11 13

r 0 1/ 24 7 / 24 33

i j

i j 2

i

j

2

2 2

2

和H(Z/XY)；

(3) I(X;Y),I(X;Z), I(Y;Z),I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。解：

(1)

131

p(x )p(x y )p(x y)

882

311

p(x)p(x y )p(x y)

882

H(X)p(x)log p(x )1 bit/symbol

i i

i

131

p(y )p(x y )p(x y )

882

311

p(y)p(x y)p(x y)

882

H(Y)p(y)log p(y)1 bit/symbol

j j

j

Z = XY的概率分布如下：

z 0z 1

12

71

27711

H(Z)p(z)log log 0.544bit/symbol

8888

k

p(x )p(x z )p(x z)

11112

p(x z)0

12

p(x z )p(x )0.5

111

p(z )p(x z )p(x z )

11121

73

p(x z )p(z )p(x z )0.5

2111188

p(z)p(x z)p(x z)

21222

1

p(x z)p(z)

222

H(XZ)p(x z)log p(x z)

i k i k

i k 1

2

13311

log log log

28888

1.406bit/symbol

11112

22122

11121

21222 Z

P(Z)

88

k

8

p(y )p(y z )p(y z)

11 1 12 p(y z)0

12

p(y z )p(y )0.5

111

p(z )p(y z )p(y z )

11121 p(y z )p(z )p(y z ) 2111173

0.5

88

p(z)p(y z)p(y z)

21222

1

p(y z)p(z)

222

113311

H(YZ)p(y z)log p(y z)log log log 1.406 bit/symbol

228888

j k

p(x y z)0

112

p(x y z)0

122

p(x y z)0

212

p(x y z )p(x y z)p(x y ) 1

1111211

p(x y z )p(x y )1/8

11111

p(x y z )p(x y z )p(x z )

12111111

p(x y z )p(x z )p(x y z ) 12111111

p(x y z )p(x y z)p(x y ) 21121221

3

p(x y z )p(x y )

21121

p(x y z )0

221

p(x y z )p(x y z)p(x y) 22122222

1

p(x y z)p(x y)

22222113 288

H(XYZ)

i j k p(x y z)log p(x y z)

i j k2i j k

1 8

1333311

log log log log

8888888

1.811 bit/symbol

(2)8

j k j k

8

8

1

1 3 3 3 3 1 1

H ( X Y ) p ( x y )log p ( x y ) l o g log log log 1.811 bit / symbol

8 8 8 8 8 8 8 8

i j

H ( X / Y ) H ( XY ) H (Y ) 1.811 1 0.811 bit / symbol H (Y / X ) H ( XY ) H ( X ) 1.811 1 0.811 bit / symbol H ( X / Z ) H ( XZ ) H ( Z ) 1.406 0.544 0.862 bit / symbol H ( Z / X ) H ( XZ ) H ( X ) 1.406 1 0.406 bit / symbol H (Y / Z ) H (YZ ) H ( Z ) 1.406 0.544 0.862 bit / symbol H ( Z / Y ) H (YZ ) H (Y ) 1.406 1 0.406 bit / symbol

H ( X / Y Z ) H ( XYZ ) H (YZ ) 1.811 1.406 0.405 bit / symbol H (Y / XZ ) H ( XYZ ) H ( XZ ) 1.811 1.406 0.405 bit / symbol H ( Z / XY ) H ( XYZ ) H ( XY ) 1.811 1.811 0 bit / symbol

(3)

I ( X ;Y ) H ( X ) H ( X / Y ) 1 0.811 0.189 bit / symbol

I ( X ; Z ) H ( X ) H ( X / Z ) 1 0.862 0.138 bit / symbol I (Y ; Z ) H (Y ) H (Y / Z ) 1 0.862 0.138 bit / symbol

I ( X ;Y / Z ) H ( X / Z ) H ( X / Y Z ) 0.862 0.405 0.457 bit / symbol I (Y ; Z / X ) H (Y / X ) H (Y / XZ ) 0.862 0.405 0.457 bit / symbol I ( X ; Z / Y ) H ( X / Y ) H ( X / Y Z ) 0.811 0.405 0.406 bit / symbol

2-14 (1)

P(ij)= P(i/j)=

(2) 方法 1: =

方法 2:

2-15

P(j/i)=

2.16 黑白传真机的消息元只有黑色和白色两种，即 X ={黑，白}，一般气象图上，黑色的出 现概率 p(黑)＝0.3，白色出现的概率 p(白)＝0.7。

（1）假设黑白消息视为前后无关，求信源熵 H(X)，并画出该信源的香农线图

i j 2 i j

（2）实际上各个元素之间是有关联的，其转移概率为： P(白|白)＝0.9143，P(黑|白)＝ 0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，求这个一阶马尔可夫信源的信源熵，并画出该信 源的香农线图。

（3）比较两种信源熵的大小，并说明原因。

解：（1）

H ( X ) 0.3log 2

10 10

0.7log 0.8813 3 7

bit/符号

P(黑|白)=P(黑)

0.7

0.3

黑

白

0.7

P(白|白)＝P(白)

0.3

P(黑|黑)＝P(黑) P(白|黑)＝P(白)

（2）根据题意，此一阶马尔可夫链是平稳的（P(白)＝0.7 不随时间变化，P(黑)＝0.3 不随 时

间变化）

H ( X ) H ( X | X ) p ( x , y )log

ij

2

1 p ( x , y )

0.9143 0.7log

2

1

1

1

0.0857 0.7log 0.2 0.3log 0.9143

0.0857 0.2

0.8 0.3log

2

1

0.8

＝0.512bit/符号

2.17 每帧电视图像可以认为是由 3 10

5个像素组成的，所有像素均是独立变化，且每像素 又取 128 个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有 一个广播员，在约 10000 个汉字中选出 1000 个汉字来口述此电视图像，试问广播员描述此 图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描 述此图像，广播员在口述中至少需要多少汉字？ 解： 1)

H ( X ) log n log 128 7 bit / symbol

2

2

H ( X

2)

N ) NH ( X ) 3 10 5 7 2.1 10 6 bit / symbol

H ( X ) log n log 10000 13.288 bit / symbol

2

2

H ( X

3)

N ) NH ( X ) 1000 13.288 13288 bit / symbol

H ( X N ) 2.1 10 6

N

158037

H ( X ) 13.288

2

2

1

i

j

i j

2

2

2.20给定语音信号样值X的概率密度为p(x)1

2

e

x

,x,求H(X)，并证明

它小于同样方差的正态变量的连续熵。解：

H (X)p(x)log p(x)d x p(x)log 1

2

e dx

p(x)log 1

2

dx p(x)(x)log edx

log log e e(x)d x 22

log 1

2

log e

e

2

x (x)d x log

e

2

x

(x)d x

log 1

2

2log e

2

2

xe

x

dx

log 1

2

log e (1x)e

x 0

log 1

2

log e log

2e

E(X)0,D(X)

2

2

H(X,)1214e2e2e e

log 2e log log log H(X) 2222

1

2.24 连续随机变量X和Y的联合概率密度为：p(x,y)r2

0x2y

其他

2r2，

求H(X), H(Y),H(XYZ)和I(X;Y)。

（提示：2

0log sin xdx

22

log2）

2

解：c

c

x x

x

x

x

x

11

x

011

1

p(x)r x

r x p(x y)d y r x

r x

1

r

2

dy

2r2

r

x

2

2

(r x r)

H (X)

c

r

p(x)l og p(x)d x

p(x)log r 2r2x2

r2

dx

r

2

p(x)l og dx

r2r

p(x)l og r2x2dx

log p(x)log r2x2dx 2r

r21

log log r 1log e

22

log

2

1

r log e bit/symbol 2

其中：

r p(x)l og r2x2dx r

r 2r2x

r2

2

log r2x2dx

4

r 20

r2x2log r2x2dx

令x r cos

40

r2

2

4

r2

sin2

r sin log r sin

2

log r sin d

d(r cos )

4

2

sin2log r sin d

4

2

0sin2log

rd

4

2

sin2log sin d

4

log r

2

01cos 24

d

2

2

1cos

22

log s in d

2 2 2 2

2 2 2 2

r

r

r r

r2r

2

2

r

r

r2

2

log r

2d

02log r

2cos

2d0

2

2

log sin d

2

cos 2log sin d

log r 1

log r

2

d sin

2

2

(

2

log2)

2

2

2

cos 2log sin d

log r 1

2

2

cos 2log sin d

1

log r 1log e

2

其中：

2

2

cos 2log sin d

1

2

log sin d sin 2

1

sin 2log sin

2

02si n 2d log sin 0

1

2

02sin cos

cos log e

2

sin

d

2

log e

2

2

cos2d

2

log e

2

2

01cos

22

d

11 log e2d

0log e

2

2

cos 2d

11

log e log e sin 222

1

log e

22 0

2

2

2

22

2

p ( y )

r y y 2

p ( x y )d x

r 2 r

y

y 2

1 r

2

dx

2 r 2

r

y 2

2

(r y r )

p ( y ) p ( x )

H (Y ) H ( X ) log C

C

2

1 r log e bit/symbol 2

H ( X Y )

c

p ( x y )log p ( x y )d xdy

R

p ( x y )log

1 r 2

dxdy

R log r 2

p(xy)dxdy

R

log

r 2 bit/symbol 2

I ( X ;Y ) H ( X ) H (Y ) H ( XY )

c

c

c

c

2log r log e log r 2 2

2

log

log e bit/symbol

2

2

2.25 某一无记忆信源的符号集为{0, 1}，已知 P(0) = 1/4，P(1) = 3/4。 (1) 求符号的平均熵；

(2) 有 100 个符号构成的序列，求某一特定序列（例如有 m 个“0”和（100 - m ） 个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。

解： (1)

H ( X )

p ( x ) l og p ( x )

i i

i (2)

3100 m

p ( x )

4100

4

4

1 4

1 3 3

log log 4 4 4

0.811 bit / symbol

I ( x )

log p ( x )

log i

i

(3)

3100 m 4100

41.5 1.585m bit

H ( X 100) 100 H ( X ) 100 0.811 81.1 bit / symbol

2-26

P(i)= P(ij)=

r 2 2 2 2 2 2

1 3

m 100 m

i

H(IJ)=

2.29有一个一阶平稳马尔可夫链X X,L,X,L,各 X 取值于集合

r

A a1,a2,a 3,已知

起始概率P(X)为

r

p 1/2,p p 1/4，转移概率如下图所示

j123

i

1 2 31/2

2/3

2/3

1/4

1/3

1/4

1/3

(1)求(X,X,X)的联合熵和平均符号熵

(2)求这个链的极限平均符号熵

(3)求H ,H ,H和它们说对应的冗余度

解：（1）

H(X,X,X)H(X)H(X|X)H(X|X X) H(X)H(X|X)H(X|X)

111111

H(X )log log log 1.5bit/

224444

X，X的联合概率分布为

1 2

符号

p(x x)

i j

1

2

1

1/4

1/6

2

1/8

3

1/8

1/12

p(x)p(x x)

1i 2 j

i

X的概率分布为

2

123

31/61/12014/245/245/24那么

H(X|X)111131131log4 log4log4log log3log log3 48862126212

=1.209bit/符号

X X的联合概率分布为2 3

p(x x)

1

2

1

7/24

5/36

2

7/48

3

7/48

5/12 1,2r

123

123

012

12312132,1 12132

1

12

2j

21

2i3j

3

5/36 5/12 0

那么

H ( X | X )

=1.26bit/符号

7

7 1 5

3 5 5

3 5 log 2

log 4 log 4 log log3 log log3 24 48 8 36 2 72 36 2 72

H ( X , X , X ) 1.5 1.209 1.26 3.969bit

/符号

3.969

H ( X , X , X )

1.323bit 所以平均符号熵 ／符号

3

（2）设 a ,a ,a 稳定后的概率分布分别为 W1,W2,W3,转移概率距阵为 1

2

3

P

1 2 2 3 2 3

1 4

1 3

1 4 1 3

WP W 由

W

1

得到

1 2 2 W W W 1 W 2 3 3

1 1 W 1 W 3 W

2 计算得到 W 2 W W W 1 1 2

3 3

4

7 3 14 3 14

又满足不可约性和非周期性

3

4 1 1 1 3 2 1

H ( X ) W H ( X | W ) H ( , , ) 2 H ( , ,0) 1.25bit 7 2 4 4 14 3 3

i 1

/符号

(3)

H

log3 1.58bit

/符号

H 1.5bit

/符号

H

1.5 1.209 2

1.355bit /符号

1

1

1.25 1.25 1.25 0.21 1 1 0.617 1 1 0.078 1.58 1.5 1.355

1/2

a 1

2/3

1/4

2/3

1/4

a 2 1/3

a 3

1/3

1-30

(1) 求平稳概率 P(j/i)= 解方程组

3 2 1

2

3

3

1

2

3

i

1

1 2 3 4 3

W uuv

i

i

1

2

0 1 1 2 2

得到 (2)

信源熵为:

2-31

P(j/i)= 解方程组 得到 W1= , W2= , W3=

2.32 一阶马尔可夫信源的状态图如图 2－13 所示，信源 X 的符号集为（0，1，2）。 （1）求信源平稳后的概率分布 P(0),P(1),P(2) （2）求此信源的熵

（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H(X)并与 H

进行比较

1-p

1-p

p/2

1

p/2

p/2

p/2

p/2

p/2

2

1-p

图 2-13

1p p / 2 p / 2

解:根据香农线图,列出转移概率距阵

P p / 2 1 p p / 2

p / 2 p / 2 1 p

令状态 0,1,2 平稳后的概率分布分别为 W1,W2,W3

p

(1p )W W WP W p

3 得到 W 1 (1p )W 2 i i 1 W W W 1

p

2

p

2 W W

W W

1 W 3

1 计算得到 W

3 1 W 3

由齐次遍历可得

uuv H ( X )

i

1 p p 1 2

W H ( X | W ) 3 H (1p , , ) (1p )log p l og

3 2 2 1 p p

H ( X , ) log 3 1.58bit /

符号 由最大熵定理可知 uuv H ( X )

存在极大值

或者也可以通过下面的方法得出存在极大值:

uuv H ( X )

p

1 p p

2 1 p log(1p ) (1) log p log

1 p

2 p 2 2(1p )

p

1 1

p

p

又 0

p 1 所以 0,

当 p=2/3 时

2(1p )

2 2(1p )

2(1p )

2(1p )

1

0

uuv H ( X ) p log

p

2(1p )

2/3

uuv H ( X ) p log

p

2(1p )

所以当 p=2/3 时

uuv H ( X )

存在极大值,且

uuv

H ( X ) 1.58bit / 符号 所以

2-33

uuv

H ( X ) H ( X , )

(1)

解方程组:

得 p(0)=p(1)=p(2)= (2)

(3)

当 p=0 或 p=1 时 信源熵为 0

1 2 2 W 1 2

1 2 3 3 1 3 2

uuv

i i

max

练习题：有一离散无记忆信源，其输出为X

0,1,2

，相应的概率为p 1/4,p 1/4,p 1/2，设计两个独立的实验去观察它，其结果分别为Y10,1,Y 20,1，已知条件概率:

P(y|x)

1

1

2

1

1/2

1

1

1

1/2

P(y|x)

2

1

2

1

1

1

1

(1)求I(X;Y )和I(X;Y)，并判断哪一个实验好些

(2)求I(X;Y Y)，并计算做Y和Y两个实验比做Y和Y中的一个实验可多得多少关于X

1 2 1 2

的信息

(3)求I(X;Y|Y)和I(X;Y|Y )，并解释它们的含义

解:(1)由题意可知

X

Y

1

01

X

Y

2

01 0

1

2

1/4

1/4

1/4

1/4

1

2

1/4

1/4

1/2

P(y=0)=p(y=1)=1/2 p(y=1)=p(y=1)=1/2

1 1

2 2

11111

I(X;Y )H(Y )H(Y|X)log2log log 2log2

42424

=0.5bit/符号

111

I(X;Y)H(Y)H(Y|X)log2log1log1log11bit/

442

所以第二个实验比第一个实验好

p(y y|x)p(y|x)p(y|x)

（2）因为Y和Y 相互独立，所以

1 2

符号>I(X;Y )

P(y y x) 00

1 2

011011

0 1 21/4

1/4

1/4

1/4

P(y y|x) 00

1 2011011y y

1 2

00011011

01000p1/41/41/41/4

1 2

1/2

1

1/2

012

12

12

1221

111

2221

1212

1 1 1

I ( X ; Y Y ) H (Y ,Y ) H (Y Y | X )

log 4 log1 log1 2log 2 4 4 4

bit/符号 =1.5bit/符号

由此可见，做两个实验比单独做 Y 可多得 1bit 的关于 X 的信息量，比单独做 Y 多得 0.5bit

1 2

的关于 X 的信息量。 （3）

I ( X ; Y | Y ) H ( X | Y ) H ( X | Y , Y ) H ( X , Y ) H ( X ) [H ( X ) I ( X ;Y , Y )] [ H ( X ) I ( X ; Y )] [H ( X ) I ( X ;Y ,Y )] I ( X ; Y , Y ) I ( X ; Y )

=1.5-1=0.5bit/符号

表示在已做 Y2 的情况下，再做 Y1 而多得到的关于 X 的信息量 同理可得

I ( X ; Y | Y ) I ( X ; Y ,Y ) I ( X ; Y )

=1.5-0.5=1bit/符号

表示在已做 Y1 的情况下，再做 Y2 而多得到的关于 X 的信息量

欢迎下载！

第三章

2 1

3.1 设二元对称信道的传递矩阵为

3 1 3

3 2

3 (1) 若 P(0) = 3/4, P(1) = 1/4，求 H(X), H(X/Y), H(Y/X)和 I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；

解： 1)

1 2 1 2 1 2 1 2 1 1 2 2 1 2 2 1 2 1 2 2 2 1 1 2 1