信息论与编码理论-第2章信息的度量-习题解答-20071017

第2章信息的度量

习题

2.1 同时扔一对质地均匀的骰子，当得知“两骰子面朝上点数之和为5”或“面朝上点数之和为8”或“两骰子面朝上点数是3和6”时，试问这三种情况分别获得多少信息量？

解：

某一骰子扔得某一点数面朝上的概率是相等的，均为1/6，两骰子面朝上点数的状态共有36种,其中任一状态出现都是等概率的,出现概率为1/36。设两骰子面朝上点数之和为事件a ，有：

⑴ a=5时，有1+4，4+1，2+3，3+2，共4种，则该事件发生概率为4/36=1/9，则信息量为I(a)=-logp(a=5)=-log1/9≈3.17(bit)

⑵ a=8时，有2+6，6+2，4+4，3+5，5+3，共5种，则p(a)=5/36,则I(a)= -log5/36≈2.85(bit) ⑶ p(a)=2/36=1/18,则I(a)=-log1/18≈4.17(bit)

2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几”，则答案中含有多少信息量？如果你在已知今天是星期三的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）？

解：

设“明天是星期几”为事件a ：

⑴ 不知道今天是星期几：I(a)=-log1/7≈2.81(bit) ⑵ 知道今天是星期几：I(a)=-log1=0 (bit)

2.3 居住某地区的女孩中有20%是大学生，在女大学生中有80%是身高1米6以上的，而女孩中身高1米6以上的占总数的一半。假如我们得知“身高1米6以上的某女孩是大学生”的消息，求获得多少信息量？

解：

设“居住某地区的女孩是大学生”为事件a ，“身高1米6以上的女孩”为事件b ，则有： p(a)= 0.2，p(b|a)=0.8，p(b)=0.5，

则“身高1米6以上的某女孩是大学生”的概率为：

32.05

.08

.02.0)()|()()|(=?==

b p a b p a p b a p

信息量为：I=-logp(a|b)=-log0.32≈1.64(bit)

2.4 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志：“你是否是红绿色盲？”，他回答“是”或“否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？

解：

⑴ 男同志回答“是”的概率为7%=0.07，则信息量I=-log0.07≈3.84(bit) 男同志回答“否”的概率为1-7%=0.93，则信息量I=-log0.93≈0.10(bit)

平均信息量为：H 1=-(0.07×log0.07+0.93×log0.93) ≈0.37(bit/符号) ⑵ 问女同志的平均自信息量：H 2=-[0.05×log0.05+(1-0.05) ×log(1-0.05)] ≈0.045(bit/符号)

2.5 如有7行9列的棋型方格，若有两个质点A 和B ，分别以等概率落入任一方格内，且它们的坐标分别为（X A ，Y A ）、（X B ，Y B ），但A 、B 不能落入同一方格内。

(1) 若仅有质点A ，求A 落入任一个格的平均信息量。 (2) 若已知A 已落入，求B 落入的平均自信息量。

(3) 若A 、B 是可分辨的，求A 、B 同时都落入的平均自信息量。解：

⑴ 若仅有质点A ，A 落入任一格内的概率均为1/63，则A 落入任一个格的平均信息量为：∑=≈=?-

=63

)/(98.563log 631

log 631)(i bit A H 符号

⑵ 若已知A 已落入，质点B 再落入时，它只可能落入其中63-1=62个方格内，则其概率均为p(b|a)=1/62，则B 落入的平均自信息量为：

∑

=≈=?-=62

)/(95.562log 62

log 621)|(i bit A B H 符号 ⑶ A 、B 同时都落入的平均自信息量，即为求联合熵H(AB)：

)/(93.1195.598.5)|()()(符号bit A B H A H AB H =+=+=

2.6 设信源12

34560.20.190.180.170.160.17()X a a a a a a p x ????=?????

???，求这信源的熵，并解释为什么H (X ) > log6，不满足信息熵的极值性。

解：信息熵

log )/(66.216.0log 16.017.0log 17.0218.0log 18.019.0log 19.02.0log 2.0)(>≈-?----=符号bit X H 因为

107.1)(6

1>=∑=i i

a p ，所以独立变量不止6-1=5个，因此不满足信息熵的极值性。

2.7 有两个二元随机变量X 和Y ，它们的联合概率为

并定义另一随机变量Z=XY （一般乘积）。试计算： (1) ()()()()()H X H Y H Z H XZ H YZ ,,,,和()H XYZ 。

(2) (/)(|)(|)(|)(|)(|)(|)(|)H X Y H Y X H X Z H Z X H Y Z H Z Y H X YZ H Y XZ ，,,,,,,和 (|)H Z XY 。

(3) ()()()(|)(|)I X Y I X Z I Y Z I X Y Z I Y Z X ;,;,;,;,;和(|)I X Z Y ;。

解：

从题意可知，

)1,1(,83)0,1(8

)1,0(,81)0,0(=

======

=====y x p y x p y x p y x p

可得：2

)1()0()1()0(========y p y p x p x p

⑴ ()()()()()H X H Y H Z H XZ H YZ ,,,,和()H XYZ

)()/(12

log 212)(Y H bit X H ==?-=符号

由于Z=XY ，则有

)1,1()1(8

7)0,1()1,0()0,0()0(=

=====

==+==+====y x p z p y x p y x p y x p z p

所以)/(54.08

log 8187log 87)(符号bit Z H ≈--=

)

/(41.18

log 8183log 8321log 21)

,(log ),()(1

符号bit j Z i X p j Z i X p XZ H i j =---=====-=∑∑==

)/(41.1),(log ),()(00

符号bit j Z i Y p j Z i Y p YZ H i j ≈====-=∑∑==

)

/(81.181log 8183log 8

,(log ),()()(81

)1,1()1,1,1(,0)0,1,1(,0)1,0,1(,83)0,1()0,0,1(,0)1,1,0(,

)1,0()0,1,0(,0)1,0,0(,81)0,0()0,0,0()(1

0符号：

求bit j Y i X p j Y i X p XY H XYZ H p p p p p p p p p p y x p z y x p XYZ H i j ≈??? ??--?=====-===================∑∑==

⑵ (/)(|)(|)(|)(|)(|)(|)(|)H X Y H Y X H X Z H Z X H Y Z H Z Y H X YZ H Y XZ ，,,,,,,和

(|)H Z XY 。

)

/(0)|()/(40.041.181.1)()()|()/(40.041.181.1)()()|()/(41.0141.1)()()|()/(87.054.041.1)()()|()/(41.0141.1)()()|()/(87.054.041.1)()()|()/(81.0181.1)()()|()/(81.0181.1)()()|(符号符号符号符号符号符号符号符号符号bit XY Z H bit XZ H XYZ H XZ Y H bit YZ H XYZ H YZ X H bit Y H YZ H Y Z H bit Z H YZ H Z Y H bit X H XZ H X Z H bit Z H XZ H Z X H bit X H XY H X Y H bit Y H XY H Y X H ==-=-==-=-==-=-==-=-==-=-==-=-==-=-==-=-=

⑶ ()()()(|)(|)I X Y I X Z I Y Z I X Y Z I Y Z X ;,;,;,;,;和(|)I X Z Y ;。

()()()()()()

符号符号符号符号符号符号/41.040.081.0)|()|()|;(/41.040.081.0)|()|()|;(/47.040.087.0)|()|()|;(/13.087.01)|()();(/13.087.01)|()();(/19.081.01)|()();(bit YZ X H Y X H Y Z X I bit XZ Y H X Y H X Z Y I bit YZ X H Z X H Z Y X I bit Z Y H Y H Z Y I bit Z X H X H Z X I bit Y X H X H Y X I =-=-==-=-==-=-==-=-==-=-==-=-=

2.8 某一离散无记忆信源的符号集为{0,1}，已知()()01/4,13/4p p ==。

(1) 求该信源的信息熵。

(2) 有100个符号构成的序列，求某一个特定序列（例如有m 个“0”和（100 – m ）个“1”）的自信息量的表达式。

(3) 计算(2)中序列的熵。解：

(1) 该信源的信息熵为：H=-1/4log1/4-3/4log3/4≈0.81(bit/符号)

(2) 由于为离散无记忆信源，则有)()()(),,(1002110021a p a p a p a a a p =

所以

.41585.13

log )100(2)

1(log )100()0(log )()()(log ),,,(log ),,(10021100211001+=-+==--=-=-=-=m m m a p m a p m a p a p a p a a a p a a I i i

(3) )/(81)(100)()()()(100211001符号bit X H X H X H X H X X H ==+++=

2.9 设有离散无记忆信源S ，其概率空间为

()121

2q q i a S a a p p s p p ??

??=???????? 设另有一离散无记忆信源S '，其符号集为信源S 符号集的两倍，即A ={a i : i =1,2,…,q , q +1,?,2q }，并且符号的概率分布为：

(1),(1,2,,)

,(1,2,,2)

i i i i q p p i q p p i q q q εε-'=-='==++

请写出信源'S 的信息熵与信源S 的信息熵的关系。解：

()()121

()()log ()

()()log ()(1)()log(1)()()log ()

()1log 1log ()

()[(1)log(1)log ]()(,1)

i i i q q q

i i i i i i i i i q

i i H S p a p a H S p a p a p a p a p a p a p a H S H S H S H εεεεεεεεεεεεεε======-'''=-=----=---++????=---+=+-∑∑∑∑∑

2.10 设有一概率空间，其概率分布为{}

12,,q p p p ，并有12p p >。若取ε-='11

p p ，2

2p p ε'=+，其中1202p p ε<-≤，而其他概率值不变。试证明由此所得新的概率空间的熵是增加的，并用熵的物理意义作以解释。

证明：法1：

11223

11221122

121

12122()log ()()log()()log()log ()()()log()()log()log log log

log log q

i i

i q

i i

i H X p p H p p p p p p H H X p p p p p p p p p p p p p p p p εεεεεεεεεεε

εεεε

===-=----++--=----++++-=++-++∑∑

122121211

211212(1)(1)(1)log ()

log 20log 0()()0()()

p p p p p e

p p p p p e p p p p p e H H X H H X εεεεεεεεε

εεεεεε??-++≥-+-+-???-?

?--+=?--≥-≥+>>-≥≥因为，则，且，所以则

物理意义：新概率分布比原概率分布更“均匀”，所以，其熵更大。

法2：设原概率分布的熵为：

1()log q

i i i H X p p ==-∑

则新概率分布的熵为：

11223

()()log()()log()log ()log q

i i

i q

i i

i H p p p p p p f p p εεεεεε===----++-=-∑∑

其中

1122()()log()()log()f p p p p εεεεε=----++

由于

1212'()log()/()0 (()())f p p p p εεεεε=-+>->+

所以，f (ε)是单调上升的。因此，

()(0)log log ()q

i i i i i i H f p p p p H X ε==≥-==∑∑

2.11 设有一概率空间，其概率分布为{}12,,K p p p ，并有1m m K q p p +=++ ，试证明：

)log(),,,,(),,(2112,1m k q q p p p H p p p H m m m m K K -+≤+

证明：

由熵的递增性：

),,,(

),,,,(),,(212112,1m

K m m m m m m m m K K q p

q p q p H q q p p p H p p p H ++++= 又由熵的极值性：

)log(),,,(

21m k q p

q p q p H m K m m m

m -≤++ 因此，

)

log(),,,,(),,,(),,,,(),,(211212112,1m k q q p p p H q p

q p q p H q q p p p H p p p H m m m m m K m m m

m m m m m K K -+≤+=++++

2.12 设有一概率空间，其概率分布为[]1212,,,,,,K J p p p q q q ，并有

12K p p p α=+++ ，试证明：

)

,,,()1,,1()1()1,()

,,,,,,,(2

1122121α

ααααααααk k j j j k j k p p p H q q H H q q q p p p H +---+-=+ 证明：

因为12K p p p α=+++ ，而111=+++++j k q q p p ，所以在该概率空间中

α-=+++121j q q q

)

,,,()1,,1()1()1,()

,,,(

),,,,(),,,,,,,(21122

12112121α

ααααααααα

αααk k j j k k j j j k j k p p

p H q q H H p p p H q q q H q q q p p p H +---+-=+=++

即等式成立

2.13 证明31221(|)(|)H X X X H X X ≤，并说明等式成立的条件。证明：

由于条件熵小于或等于无条件熵，条件较多的熵小于或等于条件较少的熵，考虑到平稳性，有)|()|()|(1223213X X H X X H X X X H =≤，即证

2.14 证明1212()()()()N N H X X X H X H X H X +++ ≤。证明：

11211212()()(|)()() ()()().N N N N H X X H X H X X X H X H X X H X H X H X =+≤+≤++≤+++

当且仅当N X X 1相互独立时，等号成立。

2.15 (1) 为了使每帧黑白电视图像获得良好的清晰度和规定的适当的对比度，需要用5510?个像素和10个不同亮度电平，求传递此图像所需的信息率（比特/秒）。并设每秒要传送30帧图像，所有像素是独立变化的，且所有亮度电平等概率出现。

(2) 设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率约大2.5倍。

解：

⑴ 像素包含的信息量为：)/(32.310log )(符号bit X H ≈= 则每帧电视图像所含的信息量为：

)/(1066.132.3105)()(65符号bit X NH X H N ?=??==

则图像所需的信息率为30×1.66×106 =4.98×107bit/s ⑵ 证明：

5.2477.210

log

105303001

log

1053055≈≈??-??-

2.16 每帧电视图像可以认为是3×105个像素组成，所有像素均是独立变化的，且每一像素又取128个不同的亮度电平，并设亮度电平等概率出现。问每帧图像中含有多少信息量。若现有一广播员在约10000个汉字的字汇中选1000个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？

解：

⑴ 由于所有像素均是独立变化的，且每一像素又取128个等概率出现不同的亮度电平，则像素的包含的信息量为： )/(7128log 128

log 1281128)(符号bit X H ==?

-= 而每帧电视图像可以认为是3×105个像素组成，所有像素均是独立变化的，所以有

)/(101.27103)()(65符号bit X NH X H N ?=??==

⑵ 汉字所含的信息量为：

)/(288.1310000

log 10000110000)(符号bit Y H ≈?

所以1000个字所含的信息量：)/(13288)()(符号bit Y NH Y H N == ⑶ )(158037

288.13101.2)()(6个=??

?????=??????=Y H X H N N

2.17 为了传输一个由字母A 、B 、C 、D 组成的符号集，把每个字母编码成两个二元码脉冲序列，以00代表A ，01代表B ，10代表C ，11代表D 。每个二元码脉冲宽度为5毫秒。

(1) 不同字母等概率出现时，计算传输的平均信息速率。

(2) 若每个字母出现的概率分别为p A =1/5，p B =1/4，p C =1/4，p D =3/10，试计算传输的平均信息速率。

解：

⑴ 因为A,B,C,D 四个字母,每个字母用两个码,每个码为5ms, 所以每个字母用10ms ，当信源等概率分布时,信源熵为H(X)=log4=2(bit/符号)，则平均信息传递速率为：

s bi t ms bit X H /200/2.010

)

(== ⑵ )/(98.110

log 10341log 41251log 51)(符号bit X H ≈-

?--=，则平均信息传递速率为：

s bit ms bit X H /198)/(198.010

)

(==

2.18 设有一个信源，它产生0、1序列的消息。它在任意时间而且不论以前发生过什么符号，均按p (0)=0.4，p (1)=0.6的概率发出符号。

(1) 试问这个信源是否是平稳的？

(2) 试计算2()H X ，312(/)H X X X 及lim ()N N H X →∞

。

(3) 试计算4()H X ，并写出4X 信源中所有可能有的符号。解：

⑴ 这个信源是平稳的。因为平稳信源的概率分布与时间起点无关，而该信源在任

意时间而且不论以前发生过什么符号，概率分布均相同。

⑵ ())/(94.16.0log 6.04.0log 4.02)(2)(2符号bit X H X H ≈--?== 由于信源X ={0，1}是无记忆的，则每个X i 是独立的，所以有：

)/(97.06.0log 6.04.0log 4.0)()|(3213符号bit X H X X X H ≈--==

)

/(97.0)()(1

lim )(1lim

)(lim 21符号bit X H X NH N X X X H N X H N N N N N ≈=?==∞→∞→∞→ ⑶ )/(88.3)(4)(4符号bit X H X H ==

信源只产生0、1序列，所以所有组合如下：

1111

11101101110010111010100110000111

0110010101000011001000010000

2.19 有一个二元无记忆信源，其发0的概率为p ，而1p ≈，所以在发了二元序列中经常出现的是那些一串为0的序列（称高概率序列）。对于这样的信源我们可以用另一新信源来代替，新信源中只包含这些高概率序列。这时新信源1231[]n n n S s s s s s += ，共有n +1个符号，它与高概率的二元序列的对应关系如下：

二元序列： 1， 01，001，0001，…，0001n 位，00000n

位。新信源符号：1s ，2s ， 3s ， 4s ， …， n s ， 1+n s 。 (1) 求()n H S 。

(2) 当n →∞时，求信源的熵()lim ()n n H S H S →∞

=。

解：

由题，p p p p -==1)1(,)0(，则新信源概率分布：

-11()(1)(1,2,...,)()k k n

n p s p p k n p s p

+=-==

(1) 求()n H S 。

()()()2211111

()(1)log(1)(1)log(1)(1)log(1)(1)log(1)log (1)log 1log log 1log log 1log (1)log(1)(1)log log n n n n n

n n n n n

n n i i i i i H S p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p n p -------===-----------

---??=---++-+++-??

-=------∑∑ n

p ?

()

()1212231(1)log(1)1log (1)2(1)(1)(1)1(1)log(1)1log 22(1)(1)(1)

(1)log(1)log 1n n n

n n n n n

p p p p p p p p p n p p np p p p p

p p p p p n p n p np p p p p p p

---=---+++??--+-++--+??

-=---?

---+-++---+-=---?

⑵ 当n →∞时，求信源的熵()lim ()n n H S H S →∞

p p

p S H p p p

p p p p p S H S H n n n

n n n log 1)1log()(010]

1(log )1log()1[(lim )(lim )(--

--=→<<--?---==∞→∞→所以，所以因为

2.20 黑白气象传真图的消息只有黑色和白色两种，即信源X =[黑，白]，设黑色出现的概率为p (黑)=0.3，白色出现的概率p (白)=0.7。

(1) 假设图上黑白消息出现前后没有关联，求熵H (X )。 (2) 假设消息前后有关联，其依赖关系为p (白|白)=0.9，p (黑|白)=0.1，p (白|黑)=0.2，p (黑|黑)=0.8，求此一阶马尔科夫信源的熵H 2(X )。

(3) 分别求上述两种信源的冗余度，并比较H (X )和2H 的大小，并说明其物理意义。解：

(1) H (X )=-0.3log0.3-0.7log0.7≈0.88(bit/符号)

(2) 状态转移概率矩阵为?

??=8.02.01.09.0P ，设各状态的稳态分布概率为W 1 = p’(白)和W 2 = p’(黑)

则满足：W 1=0.9 W 1+0.2W 2, W 2=0.1 W 1+0.8 W 2，且W 1+ W 2=1

求得：W 1 =

32，W 2 =31 )

/(55.08

.0log 8.03

2.0log 2.0311.0log 1.0329.0log 9.032)(2符号bit X H ≈?-?-?-?-= ⑶

① 信源X 的最大熵为当p (黑)= p (白)=0.5时，H 0(X)=1(bit/符号)，则信源的冗余度为：

.01

.011112.01

.011100=-='-='-='=-=-

=-=∞∞H H H H ηγηγ

②H(X)> H2(X)，物理意义是：无记忆信源的不确定度大于有记忆信源的不确定度。

信息论与编码理论习题答案

信息论与编码理论习题答案 LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】

第二章信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。解：同步信息均相同，不含信息，因此每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log = bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log = bit 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =! 521 信息量=) (1 log a p =!52log = bit (b) ? ??????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和， Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、 )|,(Y Z X H 、)|(X Z H 。

信息论与编码习题与答案第二章

第一章信息、消息、信号的定义？三者的关系？通信系统的模型？各个主要功能模块及作用？第二章信源的分类？自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？计算方法? 冗余度? 具有概率为)(x i p 的符号x i 自信息量：)(log )(x x i i p I -= 条件自信息量：)(log )( y x y x i i i i p I -= 平均自信息量、平均不确定度、信源熵：∑-=i i i x x p p X H )(log )()( 条件熵：)(log ),()(),()(y x y x y x y x j i j ij i j i j ij i p p I p Y X H ∑∑-== 联合熵：),(log ),(),(),()(y x y x y x y x j i j ij i j i j ij i p p I p Y X H ∑∑-== 互信息：) ()(log )()() ()(log ),();(y x y x y x y x y y x j i j i j ij i j i j j ij i p p p p p p p Y X I ∑∑= = 熵的基本性质：非负性、对称性、确定性 2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。解：(1) bit x p x I x p i i i 170.418 1 log )(log )(18 1 61616161)(=-=-== ?+?= (2) bit x p x I x p i i i 170.536 1 log )(log )(361 6161)(=-=-== ?=

信息论与编码课后习题答案

1．有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 341)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为用费诺编码方法代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为用霍夫曼编码方法代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3

信息论与编码习题参考答案

bit/s 104.98310661.130)/)(()/(R bit/frame 10661.1322.3105)(H 105)(H bit/pels 322.310log )(log )()(H 76650510 10?=??=?=∴?=??=??====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性：由于亮度电平等概出现 . 5.2,,5.25.2477.210 log 300log )(H )(H pels /bit 300log )(log )()(H bit 3001030,10,,3001300 11倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=?∑=x x b p b p x i i i 个汉字最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量556 6 5 5 10322.6/10322.61 .0log 101.2)()()()(,log H(c):1.010000 1000 symble /bit 101.2128log 103)(103)(: ?∴?=-?=≥ ≤-=∴== ?=??=??=frame c H X H n c nH X H n p p x H X H ),...,,(21n p p p n m ≤≤0∑=-=m i i m p q 1 1)log(),,...,,(),...,,(2121m n q q p p p H p p p H m m m n -+≤ ∑∑+==- -=>-=<-=''-=''∴>- =''-=''>-=n m i i i m i i i n p p p p p p p H x x x x f x e x x x f x x e x x x f x x x x f 1 121log log ),...,,( )0(log )( 0log )log ()(0 log )log ()()0(log )( 又为凸函数。即又为凸函数，如下：先证明时等式成立。当且仅当时等式成立。当且仅当即可得：的算术平均值的函数，函数的平均值小于变量由凸函数的性质，变量n m m m m m n m m m i i i m m m m m m i i i n m i i i m i i i n n m m m m m n m i i i m m n m i i n m i i n m i i n m i i n m i i i p p p m n q q p p p H p p p H q q p p q p p p H m n q q q p p p p p p p p p H p p p m n q q q p p m n q q m n p m n p m n m n p f m n m n p f m n p p ===-+≤--=-+--≤- -=∴===-+-≤- --=----=---≤---=- ++==+==+++=+=+=+=+=+=∑∑∑∑∑∑∑∑∑ ∑...)log(),,...,,(),...,,(log log ),,...,,() log(log log log log ),...,,(...) log(log log log log )()()() ()(log 2121211 211 1 1 21211 1111 1 X n

信息论习题解答

第二章信息量与熵 2、2 八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它的信息速率。解:同步信息均相同,不含信息,因此每个码字的信息量为 2?8log =2?3=6 bit 因此,信息速率为 6?1000=6000 bit/s 2、3 掷一对无偏骰子,告诉您得到的总的点数为:(a) 7; (b) 12。问各得到多少信息量。解:(1) 可能的组合为 {1,6},{2,5},{3,4},{4,3},{5,2},{6,1} )(a p =366=6 1 得到的信息量 =)(1log a p =6log =2、585 bit (2) 可能的唯一,为 {6,6} )(b p =36 1 得到的信息量=)(1log b p =36log =5、17 bit 2、4 经过充分洗牌后的一副扑克(52张),问: (a) 任何一种特定的排列所给出的信息量就是多少？ (b) 若从中抽取13张牌,所给出的点数都不相同时得到多少信息量？解:(a) )(a p =! 521 信息量=) (1log a p =!52log =225、58 bit (b) ???????花色任选种点数任意排列 13413!13 )(b p =1352 134!13A ?=135213 4C 信息量=1313524log log -C =13、208 bit 2、9 随机掷3颗骰子,X 表示第一颗骰子的结果,Y 表示第一与第二颗骰子的点数之与,Z 表示3颗骰子的点数之与,试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。解:令第一第二第三颗骰子的结果分别为321,,x x x ,1x ,2x ,3x 相互独立,则 1x X =,21x x Y +=,321x x x Z ++= )|(Y Z H =)(3x H =log 6=2、585 bit )|(X Z H =)(32x x H +=)(Y H =2?(361log 36+362log 18+363log 12+364log 9+365log 536)+36 6log 6 =3、2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ,所以)|(Y X H = 2)(X H -)(Y H =1、8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ,所以)|(Y X H =2)(X H -)(Y H =1、8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2、585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1、8955+2、585=4、4805 bit

信息论与编码理论课后习题答案高等教育出版社

信息论与编码理论习题解第二章-信息量和熵解: 平均每个符号长为:154 4.0312.032= ?+?秒每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号所以信息速率为444.34 15 9183.0=?比特/秒解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特；所以信息速率为600010006=?比特/秒解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以

比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???? ??37种排法，Y 表示梧桐树可以栽种的位置，它有???? ??58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得

信息论与编码习题参考答案(全)

信息论与编码习题参考答案第一章单符号离散信源同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。解： bit P a I N n P bit P a I N n P c c N 17.536log log )(361 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： (3)信源空间：

bit x H 32.436log 36 16236log 36215)(=??+?? =∴ (4)信源空间： bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴== 如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。（1）若仅有质点A ，求A 落入任一方格的平均信息量；（2）若已知A 已落入，求B 落入的平均信息量；（3）若A ，B 是可辨认的，求A ，B 落入的平均信息量。解： bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率Θ bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知Θ

信息论与编码课后答案

一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。解：状态图如下状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态的稳态概率。解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==

信息论与编码理论第二章习题答案

I (X ;Y=1)= P(x/Y 1)I(x;Y 1) x P(x/Y 1)log P(x/Y 1) P(x) = P(X 0/Y 1)log P(X 0/Y 1) P(X 0) P(X 1/Y 1)log P(X 1/Y 1) P(X 1) 部分答案，仅供参考。信息速率是指平均每秒传输的信息量点和划出现的信息量分别为log3Jog3， 2’ 一秒钟点和划出现的次数平均为 1 15 2 1 ~4 0.20.4 - 3 3 一秒钟点和划分别出现的次数平均为巴5 4 4 那么根据两者出现的次数，可以计算一秒钟其信息量平均为10 log 3 5 竺 5 4 2 4 4 2 解： ⑻骰子A和B，掷出7点有以下6种可能： A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量 -log(1/6)=1+log3 ~ bit (b)骰子A和B,掷出12点只有1种可能： A=6,B=6 概率为1/36，所以信息量 -log(1/36)=2+log9 ~ bit 解：出现各点数的概率和信息量： 1 点：1/21 , log21 ?bit ; 2 点：2/21 , log21-1 ?bit ; 3 点：1/7 , log7 4 点：4/21 , log21-2 5 点：5/21 , log (21/5 )~; 6 点：2/ 7 , log(7/2)? 平均信息量： (1/21) X +(2/21) X +(1/7) X +(4/21) X +(5/21) X +(2/7) 解： X=1:考生被录取；X=0考生未被录取； Y=1：考生来自本市；Y=0考生来自外地； Z=1:考生学过英语；z=o：考生未学过英语 P(X=1)=1/4, P( X=q=3/4; P( Y=1/ X=1)=1/2 ；P( Y=1/ X=0)=1/10 ；P(Z=1/ Y=1 )=1, P( Z=1/ X=0, Y=0 )=, P( Z=1/ X=1, Y=0 )=, P(Z=1/Y=0)= (a)P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)= P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)= P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=

信息论与编码理论习题答案全解

第二章信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。解：同步信息均相同，不含信息，因此每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit

信息论与编码_习题解答

居住某地区的女孩子有25%是大学生，在女大学生中有 75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大学生”的消息，问获得多少信息量解：设随机变量 X P(X) X 代表女孩子学历 X 1 (是大学生) X 2 (不是大学生) 设随机变量 Y 代表女孩子身高丫 y 1 （身高 >160cm ） y 2 （身高 <160cm ） P （Y ）已知：在女大学生中有 75%是身高160厘米以上的即：p(y 1 /x 1) 0.75 bit 求：身高160厘米以上的某女孩是大学生的信息量亦 p(x-| )p(y 1 /x 1) 0.25 0.75 ... 即：I (x 1 / y 1) log p(x 1 / y 1) log - - — log 1.415 bit p(yj 0.5 设有一离散无记忆信源，其概率空间为 X P X 1 0 X 2 1 X 3 2 X 4 3 3/8 1/4 1/4 1/8 (1 )求每个符号的自信息量 (2)信源发出一消息符号序列为 {202 120 130 213 001 203 210 110 321 010 021 032 011 223 210｝，求该序列的自信息量和平均每个符号携带的信息量 & 1 8 解：I (x 1) log 2 log 2 1.415bit P(x 1) 3 同理可以求得 I (X 2) 2bit, I (x 3 ) 2bit,I(x 3) 3bit 因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：I 14I (X 1) 13I (X 2) 12I (X 3) 6I (X 4) 87.81bit 87 81 平均每个符号携带的信息量为 1.95bit/符号 45 有两个二元随机变量X 和丫，它们的联合概率为并定义另一随机变量Z = XY (—般乘积)，试计算: (1) H(X) H(Y), H(Z), H(XZ), H(Y 和) H(XYZ)

信息论习题答案第二章---陈前斌版

第2章习题 2-3 同时掷两个正常的骰子，也就是各面呈现的概率都是l/6，求： (1) “3和5同时出现”事件的自信息量； (2)“两个1同时出现”事件的自信息量； (3)两个点数的各种组合（无序对）的熵或平均信息量； (4) 两个点数之和(即 2，3，…，12构成的子集）的熵； (5)两个点数中至少有一个是1的自信息。解：（1）P （3、5或5、3）＝P （3、5）+P （5、3）＝1/18 I ＝log2（18）＝。（2）P （1、1）＝l/36。I ＝log2（36）＝。（3）相同点出现时（11、22、33、44、55、66）有6种，概率1/36。不同点出现时有15种，概率1/18。 H （i ，j ）＝6*1/36*log 2（36）+15*1/18*log 2（18）＝事件。（4） H(i+j)=H(1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36) =事件。（5）P （1、1or1、j or i 、1）＝1/36+5/36+5/36＝11/36。 I ＝log2（36/11）＝ 2-5 居住某地区的女孩中有25％是大学生，在女大学生中有75％身高为1.6m 以上，而女孩中身高1.6m 以上的占总数一半。假如得知“身高1.6m 以上的某女孩是大学生”的消息，问获得多少信息量、解：P （女大学生）＝1/4；P （身高>1.6m / 女大学生）=3/4；P （身高>1.6m ）＝1/2； P （女大学生 / 身高>1.6m ）＝P （身高>1.6m 、女大学生）/P （身高>1.6m ）＝3/4*1/4*2＝3/8 I ＝log2（8/3）＝。 2-7两个实验123{,,}X x x x =和123{,,}Y y y y =，联合概率()i j ij p x y p =为 11121321222331 32 337/241/2401/241/41/2401/247/24p p p p p p p p p ???? ????=???????????? （1）如果有人告诉你X 和Y 的实验结果，你得到的平均信息量是多少

信息论与编码课后习题答案

1．有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=符号 2．设有一个无记忆信源发出符号A 和B ，已知4 3 41)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。解：①∑- =X i i x p x p X H )(log )()( = bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 1614141)(=?=AA p 1634341 )(=?=AB p 1634143)(=?=BA p 1694343)(=?=BB p 用费诺编码方法代码组 b i BB 0 1 BA 10 2 AB 110 3

信息论与编码第2章习题解答.doc

2.1设有12枚同值硬币，其中一枚为假币。只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量（因无砝码）。为了在天平上称出哪一枚是假币，试问至少必须称多少次？解：分三组，每组4个，任意取两组称。会有两种情况，平衡，或不平衡。 (1) 平衡：明确假币在其余的4个里面。从这4个里面任意取3个，并从其余8个好的里面也取3个称。又有两种情况：平衡或不平衡。 a ）平衡：称一下那个剩下的就行了。 b ）不平衡：我们至少知道那组假币是轻还是重。从这三个有假币的组里任意选两个称一下，又有两种情况：平衡与不平衡，不过我们已经知道假币的轻重情况了，自然的，不平衡直接就知道谁是假币；平衡的话，剩下的呢个自然是假币，并且我们也知道他是轻还是重。 (2) 不平衡：假定已经确定该组里有假币时候：推论1：在知道该组是轻还是重的时候，只称一次，能找出假币的话，那么这组的个数不超过3。我们知道，只要我们知道了该组（3个）有假币，并且知道轻重，只要称一次就可以找出来假币了。从不平衡的两组中，比如轻的一组里分为3和1表示为“轻（3）”和“轻（1）”，同样重的一组也是分成3和1标示为“重（3）”和“重（1）”。在从另外4个剩下的，也就是好的一组里取3个表示为“准（3）”。交叉组合为：轻（3） + 重（1）？=======？轻（1） + 准（3）来称一下。又会有3种情况： (1)左面轻：这说明假币一定在第一次称的时候的轻的一组，因为“重（1）”也出现在现在轻的一边，我们已经知道，假币是轻的。那么假币在轻（3）里面，根据推论1，再称一次就可以了。 (2)右面轻：这里有两种可能： “重（1）”是假币，它是重的，或者“轻（1）”是假币，它是轻的。这两种情况，任意取这两个中的一个和一个真币称一下即可。 (3)平衡：假币在“重（3）”里面，而且是重的。根据推论也只要称一次即可。 2.2 同时扔一对骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“骰子面朝上之和是3和4”时，试问这三种情况分别获得多少信息量？解：设“两骰子面朝上点数之和为2”为事件A ，则在可能出现的36种可能中，只能个骰子都为1，这一种结果。即： P （A ）=1/36，I （A ）= 2log P （A ）=2log 36≈5.17 比特设“面朝上点数之和为8”为事件B ，则有五种可能：2、6；6、2；4、4；3、5；5、3；即： P （B ）= 5/36，I （B ）= 2log P （B ）= 2log 36/5≈2.85 比特设“骰子面朝上之和是3和4”为事件C ，则有两种可能：3、4；4、3；即： P （C ）= 2/36，I （C ）= 2log P （C ）= 2log 36/2≈4.17 比特 2.3 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）解：（1）P ＝1/7 I ＝－Log 2P ＝－Log 27 （2）已知今天星期四，问明天是星期几？即：明天是星期五是必然事件，不存在不确定性，I ＝0。 2.4地区的女孩中有25％是大学生，在女大学生中有75％是身高1.6米以上的，而女孩中身高1.6米以上的占半数一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A 为女大学生,B 为1.6米以上的女孩则依题意有:1()4P A = , 1()2P B =, 3(|)4 P B A = 133 ()()(|)4416 P AB P A P B A ==?=g

(完整版)信息论与编码习题参考答案

1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率（bit/s ）。解： bit/s 104.98310661.130)/)(()/(R bit/frame 10661.1322.3105)(H 105)(H bit/pels 322.310log )(log )()(H 76650510 10?=??=?=∴?=??=??====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性：由于亮度电平等概出现 1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大 2.5倍左右。证: . 5.2,,5.25.2477.210 log 300log )(H )(H pels /bit 300log )(log )()(H bit 3001030,10,,3001300 11倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=?∑=x x b p b p x i i i Θ 1.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？解: 个汉字最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量556 6 5 5 10322.6/10322.61 .0log 101.2)()()()(,log H(c):1.010000 1000 symble /bit 101.2128log 103)(103)(: ?∴?=-?=≥ ≤-=∴== ?=??=??=frame c H X H n c nH X H n p p x H X H 1.9 给定一个概率分布 ) ,...,,(21n p p p 和一个整数m ， n m ≤≤0。定义 ∑=-=m i i m p q 1 1，证明： )log(),,...,,(),...,,(2121m n q q p p p H p p p H m m m n -+≤。并说明等式何时成立？证： ∑∑+==- -=>-=<-=''-=''∴>- =''-=''>-=n m i i i m i i i n p p p p p p p H x x x x f x e x x x f x x e x x x f x x x x f 1 121log log ),...,,( )0(log )( 0log )log ()(0 log )log ()()0(log )(ΘΘ又为凸函数。即又为凸函数，如下：先证明时等式成立。当且仅当时等式成立。当且仅当即可得：的算术平均值的函数，函数的平均值小于变量由凸函数的性质，变量n m m m m m n m m m i i i m m m m m m i i i n m i i i m i i i n n m m m m m n m i i i m m n m i i n m i i n m i i n m i i n m i i i p p p m n q q p p p H p p p H q q p p q p p p H m n q q q p p p p p p p p p H p p p m n q q q p p m n q q m n p m n p m n m n p f m n m n p f m n p p ===-+≤--=-+--≤- -=∴===-+-≤- --=----=---≤---=- ++==+==+++=+=+=+=+=+=∑∑∑∑∑∑∑∑∑ ∑...)log(),,...,,(),...,,(log log ),,...,,() log(log log log log ),...,,(...) log(log log log log )()()() ()(log 2121211 211 1 1 21211 1111 1 ΘΘ 2.13把n 个二进制对称信道串接起来，每个二进制对称信道的错误传输概率为p(0

信息论与编码理论习题答案-文档

信息论与编码习题1及答案1

一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。（2）必然事件的自信息是0 。（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关二、（9）判断题（1）信息就是一种消息。（）（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（）（3）概率大的事件自信息量大。（）（4）互信息量可正、可负亦可为零。（）（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。（）

（6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。（）（7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。（）（8）信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。（）（9）信息率失真函数R(D)是关于平均失真度D 的上凸函数. ( ) 三、（5）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A 表示“大学生”这一事件，B 表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分） I(A|B)=-log0.375=1.42bit （1分）四、（5）证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明： ()()() () ()()()() ()() Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i X Y i j i j i -=??? ???---==∑∑∑∑∑∑log log log ; （2分）同理 ()()() X Y H Y H Y X I -=; （1分）则