信息论与编码习题参考答案(全)
信息论与编码习题参考答案
第一章 单符号离散信源
同时掷一对均匀的子,试求:
(1)“2和6同时出现”这一事件的自信息量; (2)“两个5同时出现”这一事件的自信息量; (3)两个点数的各种组合的熵; (4)两个点数之和的熵;
(5)“两个点数中至少有一个是1”的自信息量。 解:
bit
P a I N n P bit P a I N n P c c N 17.536log log )(36
1
)2(17.418log log )(362)1(36
662221111
616==-=∴====-=∴==
=?==样本空间:
* (3)信源空间:
bit x H 32.436log 36
16236log 36215)(=??+??
=∴
bit
x H 71.3636
log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??=
∴++ (5) bit P a I N n P 17.111
36
log log )(3611333==-=∴==
?
如有6行、8列的棋型方格,若有两个质点A 和B ,分别以等概落入任一方格内,且它们的坐标分别为(Xa ,Ya ), (Xb ,Yb ),但A ,B 不能同时落入同一方格内。 (1) 若仅有质点A ,求A 落入任一方格的平均信息量; (2) 若已知A 已落入,求B 落入的平均信息量; (3) 若A ,B 是可辨认的,求A ,B 落入的平均信息量。 解: !
bit
a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481
)(:)1(48
1
i i i i i ==-=∴=-=∴=
∑=落入任一格的概率
bit
b P b P b b P b I b P A i 55.547log )(log )()(H 47
log )(log )(47
1
)(:B ,)2(48
1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit
AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()
(log )(47
1
481)()3(47481
=?=-=-=∴?=∑?=是同时落入某两格的概率
从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士:“你是否是红绿色盲”他的回答可能是:“是”,也可能“不是”。问这两个回答中各含有多少信息量平均每个回答中各含有多少信息量如果你问一位女士,则她的答案中含有多少平均信息量 解:
bit w P w P w P w P m m P m I w P w I bit m P m P m P m P m bit m P m I bit m P m I n n y y n n y y n n y y n n y y 0454.0log99.5%99.5%-log0.5%-0.5% )(log )()(log )()(H %
5.99log )(log )(%5.0log )(log )(36
6.0log93%93%-log7%-7% )(log )()(log )()(H 105.0%93log )(log )(84.3%7log )(log )(:
=??=?-?-=-=-=-=-==??=?-?-==-=-==-=-=平均每个回答信息量::回答“不是”的信息量回答“是”的信息量:对于女:
平均每个回答信息量::回答“不是”的信息量回答“是”的信息量:对于男士
—
某一无记忆信源的符号集为{0,1},已知。
,3
23
110=
=
p p (1) 求符号的平均信息量;
(2) 由1000个符号构成的序列,求某一特定序列(例如有m 个“0”,(1000-m )个“1”)
的自信量的表达式;
(3) 计算(2)中序列的熵。 解:
3
2log 3)1000(231log 3log log )( ce bit/sequen 918918.01000)(1000)(3 3
2
log )1000(31log log )1000(log )(2/ 918.03
2
log 3231log 31log log )(110001
1110001100∑
∑-==---
=-
-==?==---=---==?-?-=--=m
i m
i m m p p p p A H X H A H bit m m p m p m A I symble
bit p p p p x H )()()(
设信源X 的信源空间为:
?
?
?? 0.3 0.18 0.16 0.18 0.19 0.17 X)( a a a a a a X ][654321p p x :
: ?
求信源熵,并解释为什么H(X)>log6,不满足信源熵的极值性。
解:
。
立的约束条件,所以不满足信源熵最大值成但是本题中
的约束条件下求得的,值是在这是因为信源熵的最大,不满足信源熵的极值性可见log6H(X)18.1 1
585.2log62.725H(X) bit/symble 725.2 3.0log 3.016.0log 16.018.0log 18.0219.0log 19.017.0log 17.0 )
(log )()(6
1
16
1
>===>==--?---=-=∑∑∑===i i
r
i i i i i p
p a p a p X H
为了使电视图象获得良好的清晰度和规定的对比度,需要用5×105个像素和10个不同的亮度电平,并设每秒要传送30帧图象,所有的像素是独立的,且所有亮度电平等概出现。求传输此图象所需要的信息率(bit/s )。 解:
bit/s 104.98310661.130)/)(()/(R bit/frame
10661.1322.3105)(H 105)(H bit/pels
322.310log )(log )()(H 76650510
10?=??=?=∴?=??=??====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为:每帧图像的熵是:每个像素的熵是:,由熵的极值性:
由于亮度电平等概出现
设某彩电系统,除了满足对于黑白电视系统的上述要求外,还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大倍左右。 ( 证:
.
5.2,,5.25.2477.210
log 300
log )(H )(H pels
/bit 300log )(log )()(H bit 3001030,10,,3001300
11倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是:量化
所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=?∑=x x b p b p x i i i
每帧电视图像可以认为是由3×105个像素组成,所以像素均是独立变化,且每像素又取128个不同的亮度电平,并设亮度电平是等概出现。问每帧图像含有多少信息量若现在有一个广播员,在约10000个汉字中选1000个字来口述这一电视图像,试问若要恰当地描述此图像,广播员在口述中至少需要多少汉字 解:
个汉字
最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量55665510322.6/10322.61.0log 101.2)()()()(,log H(c):1.010000
1000
symble /bit 101.2128log 103)(103)(:
?∴?=-?=≥≤-=∴==
?=??=??=frame
c H X H n c nH X H n p p x H X H
给定一个概率分布),...,,(21n p p p 和一个整数m ,n m ≤≤0。定义∑=-
=m
i i
m p
q 1
1,证明:
)log(),,...,,(),...,,(2121m n q q p p p H p p p H m m m n -+≤。并说明等式何时成立
证:
∑∑+==-
-=>-=<-=''-=''∴>-
=''-=''>-=n
m i i
i
m
i i i n p
p p p p p p H x x x x f x e
x x x f x x
e
x x x f x x x x f 1
121log log ),...,,(
)0(log )( 0log )log ()(0 log )log ()()0(log )( 又为凸函数。即又为凸函数,如下:
先证明
时等式成立。
当且仅当时等式成立。当且仅当即可得:
的算术平均值的函数,函数的平均值小于变量由凸函数的性质,变量n m m m m m n m
m m i i i m m m m m m
i i i n
m i i
i
m
i i i n n m m m m m n
m i i
i
m
m n
m i i
n
m i i
n
m i i
n
m i i
n
m i i i p p p m n q q p p p H p p p H q q p p q p p p H m n q q q p p p
p p p p p p H p p p m n q q q p
p m
n q q m
n p
m
n p
m n m
n p
f m n m
n p f m n p p ===-+≤--=-+--≤-
-=∴===-+-≤-
--=----=---≤---=-
++==+==+++=+=+=+=+=+=∑∑∑∑∑∑∑∑∑∑...)log(),,...,,(),...,,(log log ),,...,,()
log(log log log log ),...,,(...)
log(log log log
log
)
()(
)()
()
(log 2121211
211
1
1
21211
1
1
1
1
1
找出两种特殊分布: $
p 1≥p 2≥p 3≥…≥p n ,p 1≥p 2≥p 3≥…≥p m ,使H(p 1,p 2,p 3,…,p n )=H(p 1,p 2,p 3,…,p m )。 解:∑∑==-==-=m
i i i m n
i i i n q q q q q H p p p p p H 1
211
21log ),...,,(log ),...,,(
…
;
两个离散随机变量X 和Y ,其和为Z =X +Y ,若X 和Y 统计独立,求证: (1) H(X)≤H(Z), H(Y)≤H(Z) (2) H(XY)≥H(Z) 证明: /
∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑=================≥+-≥+-+-=≥
+?-≥-=??-≤++-≤-=∴??
??????s
j j j r
i s
j j i j r
i s
j j i j r s j j i i s s
j j i s
s j j i t k k k r
s
j j i j i r
s
j j i j i t
k k k s s r r q q q p q q p q q p p q p q p pz pz Z H XY H q p q p b a p b a p pz pz Z H Y X q q q Y P b b b P p p p X P a a a P 1
11
111i 11i 1
1i 1
1
1i 1
1i 1
1
21212121)
log(-)log( )
log())log(( )log()(log )()()log()( )(log )(log )(, ...
)( ... Y :][Y ... )( ... X
:][X Y X =又统计独立
又的信源空间为:
、设
第二章 单符号离散信道
设信源 .30 .70 )( X
:][X 21?
?
??X P a a P 通过一信道,信道的输出随机变量Y 的符号集
},{:21b b Y ,信道的矩阵:
??
??
??=4/34/16/16/5][ 2121a a P b b
试求:
(1) 信源X 中的符号1和2分别含有的自信息量; (2) 收到消息Y =b 1,Y =b 2后,获得关于1、2的互交信息量:I(
1;b 1)、I(1;b 2)、I(2;b 1)、
I(2;b 2);
(3) 信源X 和信宿Y 的信息熵;
(4) 信道疑义度H(X/Y)和噪声熵H(Y/X);
(5) 接收到消息Y 后获得的平均互交信息量I(X;Y)。 " 解:
bit/symble
228.0698.0926.0)()()5(symble /bit 653.0926.0698.0881.0)()()()( )
()()()( bit/symble
698.0)(log )()()(log )()()4(bit/symble 926.0)120
41
log 1204112079log 12079(
)(log )()( bit/symble
881.0)3.0log 3.07.0log 7.0()(log )()(120
41)()()( 12079)()()(:)3( 134.14/33.06/17.04
/3log
)
()(log
);(I 766.04
/13.06/57.04
/1log )()(log );(I 036.14
/33.06/17.06
/1log
)
()(log );(I 34.04
/13.06/57.06
/5log
)()(log );(I )2( 737.13.0log )(log )(I 5415.07.0log )(log )(I (1)2
12
1
2
12
1
2
1
2
1
2
1222
1112222212112212211111121211=-=-=∴=-+=-+=∴-=-=====+-=-==+-=-=∴=
==
==?+?==-=?+?==-=?+?===?+?===-=-==-=-=∑∑∑∑∑∑∑∑========X Y H Y H I(X;Y)Y H X Y H X H Y X H Y X H X H X Y H Y H I(X;Y)a b p a b p a p a b p b a p X Y H b p b p Y H a p a p X H a b p a p b p a b p a p b p bit
b p a b p b a bit
b p a b p b a bit
b p a b p b a bit
b p a b p b a bit a p a bit a p a j i i j i j i j i i j j i j j j i i i i i i i i i 又由上某二进制对称信道,其信道矩阵是:
??
??
??=98.002.002.098.010][1 0 P 设该信道以1500个二进制符号/秒的速度传输输入符号。现有一消息序列共有14000个二进
制符号,并设在这消息中p(0)= p(1)=。问从消息传输的角度来考虑,10秒钟内能否将这消息序列无失真的传送完。 解:
.
,1500bit/s,s
/bit 98.1201s 10/symble 14000:1400010symble /bit 859.098.0log 98.002.0log 02.01)1log()1(log 1)(1);(故不可能无失真传输最大码率超过了信道所能提供的而输入信源码率为为个二进制符号最大码率秒钟内传送信道在入等概信源
由于二进制对称信道输=?=∴=++=--++=-==∴C C H C Y X I t εεεεε
有两个二元随机变量X 和Y ,它们的联合概率为P[X=0,Y=0]=1/8,P[X=0,Y=1]=3/8,P[X=1,Y=1]=1/8,P[X=1,Y=0]=3/8。定义另一随机变量Z=XY ,试计算: (1) H(X),H(Y),H(Z),H(XZ),H(YZ),H(XYZ);
(2) H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ),H(Z/XY); (3) I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X),I(X;Z/Y)。 ` 解:
symble
/bit 406.1:symble
/bit 406.181log 81083log 83)8381log()8
3
81( ))11(log )11()01(log )01()10(log )10()00(log )00(( )
(log )()(bit/symble
544.0)81
log 8187log 87( symble
/bit 1)21
log 2121log 21()(
symble;/bit 1)21
log 2121log 21()(;
8
1
)1,1(;83)0,1(;0)1,0(;21)0()0,0( ;
81
)1,1(;83)0,1(;0)1,0(;21)0()0,0(.
8
1
)1(;87838381)0(:: .
2
1
8381)1(;218381)0(: .218381)1(;218381)0(: :)1(2
12
1===??????+++++-=+++-=-==+-==+-==+-=∴===============================++====+===+===+===+==∑∑==H(XZ)H(YZ)Z Y X p p p p p p p p z x p z x p XZ H H(Z)Y H X H Z Y p Z Y p Z Y p Y p Z Y p Z X p Z X p Z X p X p Z X p Z p Z p X XY Z Y p Y p Y X p X p X xz xz xz xz xz xz xz xz i k k i k i 的概率分布、、由上面且的分布的分布为的分布的分布由题意
[
]
[][]
bit/symble
0)8
/18/1log 818/38/3log 838/38/3log 838/18/1log 81()
)
11()111(log
)111()
10()100(log
)100()
01()010(log
)010()
00()000(log
)000(()()(log
)()(log )()(bit/symble
406.0)()(bit/symble
406.0)8/18/1log 812/18/3log 838/38/3log 832/18/1log 81()
)
11()111(log
)111()
00()100(log
)100()
10()010(log
)010()
00()000(log
)000(()()(log
)()(log )()(0
)110()011()101()001(bit/symble 4060)()(bit/symble 8620)()( :的概率Z 、Y 、X 由bit/symble
4060)2
18
1log 812183log 8302121log 21()11(log )11()01(log )10()10(log )01()00(log )00()()
(log
)()(log )()(bit/symble
8620)8
181log 818783log 8308721log 21()11(log )11()01(log )10()10(log )01()00(log )00()
()
(log
)()(log )()(:
同理bit/symble 8110)()()()()()()()()(bit/symble
8110)4
1
log 8143log 8343log 8341log 81()11(log )11()01(log )10()10(log )01()00(log )00()
(log )()(4
12181)1()11()11(43
2183)
1()01()10(4
32183)0()10()01(41
2181)
0()00()00()00(22
12
12
1
2
12
12
1
2
12
12
1
2
12
12
1
212
121212
12
1
2
12
1
2
12
1
p p p p p p p p p p p p y x p z y x p z y x p y x z p z y x p XY Z H YZ X H XZ Y H p p p p p p p p p p p p z y p z y x p z y x p z y x p z y x p YZ X H p p p p .X Z H Y Z H .Z X H Z Y H .//////p p p p p p p p x p x z p x z p x z p x z p X Z H .//////p p p p p p p p z p z x p z x p z x p z x p Z X H .Y X H X Y H Y H X 且H X Y H Y H Y X H X H X;Y I .p p p p p p p p y x p y x p Y X H .//p p ;p //p p p ;//p p ;p //p p p Y X )p (xy xyz xyz xy xyz xyz xy xyz xyz xy xyz xyz j i k j i i j k k j i j i k i j k k j i yz xyz xyz yz xyz xyz yz xyz xyz yz xyz xyz k j k j i i j k k j i k j i i j k k j i xyz xyz xyz xyz zx zx zx zx zx zx zx zx k i i i k i k k i i k i k xz xz xz xz xz xz xz xz i k k k i k i i k k i k i xy xy xy xy xy xy xy xy i j j i j i y xy xy y xy xy y xy xy y xy xy =+++-=+++-=-=-=∴===+++-=+++-=-=-=∴=========?+?++?-=+++-=-=-==?+?++?-=+++-=-=-===∴=-=-==?+?+?+?-=+++-=-=∴=====
=
=====
====∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑======================
symble
/bit 405.0406.0811.0)()()( symble /bit 405.0406.0811.0)()()( symble /bit 456.0406.0862.0)()()( symble
/bit 138.0862.01)()()( symble /bit 138.0862.01)()()( symble /bit 189.0811.01)()()(:)3(=-=-==-=-==-=-==-=-==-=-==-=-=YZ X H Y X H Y X;Z I XZ Y H X Y H X Y;Z I YZ X H Z X H Z X;Y I Z Y H Y H Y;Z I Z X H X H X;Z I Y X H X H X;Y I 由上
已知信源X 的信源空间为
?
?
??4.0 2.0 3.0 1.0 :)(
::][4321X P a a a a X P X 某信道的信道矩阵为:
b 1 b 2 b 3 b 4
?
?
??
?
???????2.04.03.01
.02.01.02.05.01.01.02.06.04.01.03.02.04321a a a a
试求: (1)“输入3,输出
b 2的概率”;
;
(2)“输出b 4的概率”;
(3)“收到b 3条件下推测输入2”的概率。
解:
136.022
.01
.03.0)
()
()()( 22
.04.04.01.02.01.03.01.01.0)()()()()3(19
.02.04.02.02.01.03.04.01.0 )()()()()2(04
.02.02.0)()();()1(3232324
1
34
1
334
144
14432323=?=
=
=?+?+?+?====?+?+?+?====?==∑∑∑∑====b p a b p a p b a p a b p a p b a p b p a b p a p b a p b p a b p a p b a p i i i i i i i i i i
已知从符号B 中获取关于符号A 的信息量是1比特,当符号A 的先验概率P(A)为下列各值时,分别计算收到B 后测A 的后验概率应是多少。 (1) P(A)=10-2; (2) P(A)=1/32; (3) P(A)=。
&
解:
1
)(,5.0)( 161)(,321)( 102)(,10)()
(2)(1)
()(log
);(22====?==∴=∴==--B A p A p B A p A p B A p A p A p B A p A p B A p B A I 时时时由题意
(1) 在W 4=011中,接到第一个码字“0”后获得关于a4的信息量I(a 4;0);
(2) 在收到“0”的前提下,从第二个码字符号“1”中获取关于a 4的信息量I(a 4;1/0); (3) 在收到“01”的前提下,从第三个码字符号“1”中获取关于a 4的信息量I(a 4;1/01); (4) 从码字W 4=011中获取关于a 4的信息量I(a 4;011)。 解: …
bit 38log 8
/11
log
)
()101(log
)011;((4)bit
12log )8/18/1/()8/1(1
log )01()101(log )011;((3)bit
585.13log )8/18/14/14/1/()8/1
()
8/18/1/()8/1(log
)
0()01(log
)01;((2)bit
415.034
log 8/1)8/18/14/14/1/()8/1(log
)
()0(log
)0;()1(444444444444======+====++++====+++==a p a p a I a p a p a I a p a p a I a p a p a I
把n 个二进制对称信道串接起来,每个二进制对称信道的错误传输概率为p(0
、
解:
1log )( )
()(log
)()
()(log
)();(lim )10)(()(2
1)1( 2
1
)10()0()00()0()0(:)
10(1)1(,)0(:2
1
])21(1[21lim lim 121]
)21(1[2
1
]
)21(1[21
])21(1[21])21(1[21])21(1[2
1])21(1[2
1 11])21(1[21])21(1[21])21(1[2
1])21(1[2
1][,]
)21(1[2
1
2222221221221111][:
2:2121
0212
1
002
12
1000000000000111
111
122222
222====∴=∴=====?=+==?===<<-=====
--=∴<---=--=∴????
???
???-+-----+=?????
?--??????
??
???-+-----+==--=-=∴??????-+-+--=??????--???????--==∑∑∑∑∑∑==∞==∞∞∞==∞∞∞∞
→∞∞∞∞∞∞∞∞∞→∞→+++++++i j j i i j j i j j i i j j i j j i n n n n n n n n k k k k k k k k k k
k X X p X p X X p X X p X p X X p X X p X X I x x x p x x p X p X X p X p X X p X p X p X a a X p a X p X p P p p P p P p p p p p p p p p p p p P k n p p p p p p p
p p p p p p p p p p p p p
P n 或取、则输出信源其中设输入信源空间故则时公式成立假设时由当用数学归纳法证明
|
试求下列各信道矩阵代表的信道的信道容量: (1)
?????
????
???=0010100000010100][
432114321a a a a P b b b b
(2)
????
????
??????????=100100010010001001][
b b b 6543212321a a a a a a P (3)
???
?
?
?????=3.01.02.04.000000000007.03.000000000004.03.02.01.0][
b b b b b b b b b b 3213109876 54321a a a P
解:
bit/symble
585.13log log :
(3)bit/symble 585.13log log (2)symble /bit 24log log )1(======∴===∴r C s C r C 信道为扩张性无噪信道信道为归并性无噪信道
系的无噪信道信道为一一对应确定关
】
设二进制对称信道的信道矩阵为:
??
??
??=4/34/14/14/310][1 0 P (1) 若p(0)=2/3,p(1)=1/3,求H(X),H(X/Y),H(Y/X)和I(X;Y);
(2) 求该信道的信道容量及其达到的输入概率分布。 | 解:
bit/symble
8113.0)4
3
log 433141log 413241log 413143log 4332( )
(log )()()(log )()(bit/symble 9799.0)12
5
log 125127log 127(
)(log )()(12
543314132)1()()1(12741314332)0()()0(bit/symble
9183.0)31
log 3132log 32()(log )()()1(2
12
1
2
12
1
2
1
21
2
12
1=?+?+?+?-=-=-==?+?-=-==?+?=
===?+?=
===?+?-=-=∑∑∑∑∑∑∑∑========i j i j i j i i j i j j i j j j i i i y i i i y i i i x y p x y p x p x y p y x p X Y H y p y p Y H x y p x p p x y p x p p x p x p X H
.
2
1
)1()0(,symble /bit 1887.01log 25.0)25.0(2log )1log()(log (2)bit/symble
7497.01686.09183.0);()()(bit/symble 1686.08113.09799.0)()();(C X p X p H r H r C Y X I X H Y X H X Y H Y H Y X I 时达到信道容量即信源输入为等概分布本信道为强对称信道=====--=---=∴=-=-==-=+=∴εε
设某信道的信道矩阵为
????
???
?????????=2.01.01.01.01.01.06.01.01.01.01.01.06.01.01.01.01.01.06.01.01.01.01.01.06.0][
b b b b b 5432154321a a a a a P
试求:
(1) 该信道的信道容量C ;
(2) I(a 3;Y); (3) I(a 2;Y)。 ` 解:
bit/symble
551.0);();((3)(2)bit/symble 551.04log 4.0)4.0(5log )1log()(log )1(53====--=---=∴C Y a I Y a I H r H r C 、道
本信道为强对称离散信εε
设某信道的信道矩阵为
??
??
??=3/13/16/16/16/16/13/13/1][
b b b b 214321a a P 试求:
(1)该信道的信道容量C ; 《
(2)I(a 1;Y); (3)I(a 2;Y)。 解:
bymble
/bit 0817.0);();()3()2(symble /bit 0817.0)6
1
,61,31,31(4log ),,,(log 1214321
====-=''''-=∴C Y a I Y a I H p p p p H s C 、道
)本信道为对称离散信(
设某信道的信道矩阵为
??
????=8/18/12/14/18/18/14/12/1][P
试该信道的信道容量C ;
解:
bit/symble
0612.0 )81
,81,41,21(]81log 81283log 832[),,,()(log )()(81
4121]8181[1)()()(83
4321]4121[1)()(2,2,4321
2
1
2
22121211121=-?+?-=''''--=∴==?=+?====?=+?=
===∑===H p p p p H b p b p s C b p r b p b p b p r b p b p s s l l l l l l l l 且道此信道为准对称离散信
/
求下列二个信道的信道容量,并加以比较(其中0
(1) ???
?
??----=δδδ
δδδ
22][1p q q p P (2) ??
?
???----=δδ
δ
δδδ
p q q p P 20
02][2 解:
.
0:2)log()()log()(2
2log )2( )
0,2,,()]2(21
log )2(212log 2[ ),,,()(log )()
2(21
)(1)(221
)02(1)(2,2,)2(log 2)log()()log()(2
2log )2( )
2,,(]log )2(2
1
log )2(212[ ),,()(log )(221
)2(1)()
2(21
)(1)(1,2,)1(21214321
2
122121321
2
112121时等号成立且当表达式可知、由上面且道此信道为准对称离散信且道此信道为准对称离散信=≤+--+--+-+-+-=----+?-+??+-=''''--=∴-+?=-+-?==?=+?===++--+--+-+-+-=---+-+?-+??-='''--=∴=?=?=-+?=-+-?===∑∑======δδ
δδδδδ
δδδδδδδδδδδδ
δδδ
δδδδδδδ
δδδδδδδδδ
δδδδδC C C C q q p p q p q p q p H q p q p p p p p H b p b p s C q p q p r b p r b p s s q q p p q p q p q p H q p q p p p p H b p b p s C r b p q p q p r b p s s l l l l l l l l l l l l l l l l
】
设某信道的信道矩阵为
??
??
?
?????=N p p p P
000][21
其中P 1,P 2,…,P N 是N 个离散信道的信道矩阵。令C 1,C 2,…,
C N 表示N 个离散信道的容量。试证明,该信道的容量∑==N
i c i
C 1
2
log 比特/符号,且当每个
信道i 的利用率p i =2Ci-C (i =1,2,…,N)时达其容量C 。 证明:
:
)1(,]P [)
,](2log[)
1(),2,1()/(log )/()/()
,2,1(:1
1
1
1
1
可以改写为方程组特点由其中可得解出由方程组列行为设∑∑∑∑∑===========?N
m m N m m s
j j s
j i j i j s
j j i j m m m l r k s C r i a b p a b p a b p N m k l P j β
ββ
]
2log[)
,,2,1(22
2
:]
2log[])2
(log[]2log[22
),,,2,1](2
log[)2(),2,1( )/(log )/()/()
/(log )/()/()/(log )/()/(1
)()
2
log (1
)
(1
1
11
1
1111
112
21
2211111
111
2
1
∑∑∑∑∑∑∑∑∑∑∑∑∑∑=--∑=-====================∴====???
????????====N
m C C C C k j C m N
m C N
m k j s
j C k j k j m s j i j pn i
j pn k j j pn i j pn s j i j p i j p k j j p i j p s
j i j p i j p k j j p i j p m m m
k j j
pm m
j pm m m
j
pm j m
m
j
pm m
j
pm N
C N m p C N m C r i a b p a b p a b p a b p a b p a b p a b p a b p a b p 时取得信道容量且在各信道利用率为即其中 ββ
βββββββ
第三章 多符号离散信源与信道
设X =X 1X 2…X N 是平稳离散有记忆信源,试证明:
H(X 1X 2…X N )=H(X 1)+ H(X 2/ X 1)+H(X 3/ X 1 X 2)+…+H(X N / X 1 X 2…X N-1)。 (证明详见p161-p162)
|
试证明:logr ≥H(X) ≥H(X 2/ X 1) ≥H(X 3/ X 1 X 2) ≥…≥H(X N / X 1 X 2…X N-1)。 证明:
)
/()/()/()(log )
(log log )()/()/()/()(:
)
/( )
/(log )( )
/(log )( )/(log )( )/(log )/()()/()
/()/(:121213121212131222111
11
1221112
111111
221112
11111132112
111111321121111212211132----==----==-=---==--=-==--=------≥≥≥≥∴≥≥≥≥=-=-=-=?
?????-≤∴=∑∑∑∑∑∑∑∑∑∑∑N N N N k k r
i r
ik ik i i ik ik i i r i r
ik r
ik ik i i ik ik ik i i r
i r ik ik i i ik r
ik ik ik i i r
i r
ik ik i i ik r ik ik i i ik ik i k k ik i i ik ik i i ik X X X X H X X X H X X H X H r X H r r X H X X X X H X X X H X X H X H X X X X H a a a a p a a
a p a a a a p a a a a p a a a a p a a a a p a a a a p a a a a p a a p X X X X H a a a a p a a a a p
,即达到最大,又仅当输入均匀分布时重复应用上面式子可得条件概率的平稳性有由离散平稳有记忆信源
试证明离散平稳信源的极限熵:
)/(lim 121-∞
→∞=N N n X X X X H H
(证明详见p165-p167) -
设随机变量序列(XYZ)是马氏链,且X :{a 1, a 2,…, a r },Y :{b 1,b 2, …,bs},Z:{c 1,c 2, …,cL}。又设X 与Y 之间的转移概率为p(b j /a i )(i=1,2, …,r;j=1,2, …,s);Y 与Z 之间的转移概率为p(c k /b j )(k=1,2,…,L;j=1,2, …,s)。试证明:X 与Z 之间的转移概率:
∑==s
j j k i j i k b c p a b p a c p 1
)/()/()/(
证明:
∑∑∑========∴=∴=================s
j j k i j i k j k i j k s
j i j k i j s
j i j k i s
j j k i k i k b Y c Z P a X b Y p a c p b c P a b c P Markov XYZ a X b Y c Z P a X b Y p a X b Y c Z p a X b Y c Z p a X c Z p a c p 11
1
1
)
/()/()/()/(),/()
,/()/( )
/,()/,( )
/()/(=序列为
试证明:对于有限齐次马氏链,如果存在一个正整数n0≥1,对于一切i ,j =1,2,…,r ,都有p ij (n 0)>0,则对每个j =1,2,…,r 都存在状态极限概率:
),,2,1()(lim r j p n p j ij n ==∞
→
—
(证明详见:p171~175)
设某齐次马氏链的第一步转移概率矩阵为:
????
??????p q p q p q 000210 2 1 0 试求:
(1) 该马氏链的二步转移概率矩阵; (2) 平稳后状态“0”、“1”、“2”的极限概率。 解:
[][]????
???????-=--=
-=---=
-=--=????????????=>=++???????????????????????????????????
?
??
??
?++=????????????????????==pq p pq q p p pq pq pq p q p pq q pq p q p i i p p p p p p p p q p q p q p p p p pq pq
q p pq q p pq
pq
q p q
p q p
q p q
p q
p
q
P P P T 11)1()0(11)1)(1()1(11)1()0()
2,1,0(0)(1)2()1()0()2()1()0(000)2()1()0()2(20
00000)]2()[1(2
2
2222
22=由:
(
答案~信息论与编码练习
1、有一个二元对称信道,其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号,并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑,10秒钟内能否将这消息序列无失真地传送完? 解答:消息是一个二元序列,且为等概率分布,即P(0)=P(1)=1/2,故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量=14000(bit/symbol)。 下面计算该二元对称信道能传输的最大的信息传输速率: 信道传递矩阵为: 信道容量(最大信息传输率)为: C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为: Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒 此信道10秒钟内能无失真传输得最大信息量=10× Rt ≈ 1.288×104比特 可见,此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量,故从信息传输的角度来考虑,不可能在10秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布,且有如下两个信道,其转移概率矩阵分别为: 试求这两个信道的信道容量,并问这两个信道是否有噪声? 3 、已知随即变量X 和Y 的联合分布如下所示: 01100.980.020.020.98P ?? =?? ??11112222 1111222212111122221111222200000000000000000000000000000000P P ???????? ????==???? ????????11 2222111 22222log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答:(1)由信道1的信道矩阵可知为对称信道故C 有熵损失,有噪声。(2)为对称信道,输入为等概率分布时达到信道容量无噪声
信息论与编码试卷与答案
一、(11’)填空题 (1)1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。 (2)必然事件的自信息是 0 。 (3)离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 (4)对于离散无记忆信源,当信源熵有最大值时,满足条件为__信源符号等概分布_。 (5)若一离散无记忆信源的信源熵H(X)等于2.5,对信源进行等长的无失真二进制编码,则编码长度至少为 3 。 (6)对于香农编码、费诺编码和霍夫曼编码,编码方法惟一的是香农编码。(7)已知某线性分组码的最小汉明距离为3,那么这组码最多能检测出_2_______个码元错误,最多能纠正___1__个码元错误。 (8)设有一离散无记忆平稳信道,其信道容量为C,只要待传送的信息传输率R__小于___C(大于、小于或者等于),则存在一种编码,当输入序列长度n足够大,使译码错误概率任意小。(9)平均错误概率不仅与信道本身的统计特性有关,还与___译码规则____________和___编码方法___有关 三、(5')居住在某地区的女孩中有25%是大学生,在女大学生中有75%是身高1.6米以上的,而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息,问获得多少信息量? 解:设A表示“大学生”这一事件,B表示“身高1.60以上”这一事件,则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 (2分) 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 (2分) I(A|B)=-log0.375=1.42bit (1分) 四、(5')证明:平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明:
信息论与编码课后习题答案
1. 有一个马尔可夫信源,已知p(x 1|x 1)=2/3,p(x 2|x 1)=1/3,p(x 1|x 2)=1,p(x 2|x 2)=0,试画出该信源的香农线图,并求出信源熵。 解:该信源的香农线图为: 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前,先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程:)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2.设有一个无记忆信源发出符号A 和B ,已知4 341)(.)(= =B p A p 。求: ①计算该信源熵; ②设该信源改为发出二重符号序列消息的信源,采用费诺编码方法,求其平均信息传输速率; ③又设该信源改为发三重序列消息的信源,采用霍夫曼编码方法,求其平均信息传输速率。 解:①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为 用霍夫曼编码方法 代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3
信息论与编码试题集与答案(新)
1. 在无失真的信源中,信源输出由 H (X ) 来度量;在有失真的信源中,信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密,必须首先 信源 编码, 然后_____加密____编码,再______信道_____编码,最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式,也就是有名的香农公式是log(1)C W SNR =+;当归一化信道容量C/W 趋近于零时,也即信道完全丧失了通信能力,此时E b /N 0为 -1.6 dB ,我们将它称作香农限,是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小,密钥熵H (K )就越 小 ,其密文中含有的关于明文的信息量I (M ;C )就越 大 。 5. 已知n =7的循环码4 2 ()1g x x x x =+++,则信息位长度k 为 3 ,校验多项式 h(x)= 3 1x x ++ 。 6. 设输入符号表为X ={0,1},输出符号表为Y ={0,1}。输入信号的概率分布为p =(1/2,1/2),失真函数为d (0,0) = d (1,1) = 0,d (0,1) =2,d (1,0) = 1,则D min = 0 ,R (D min )= 1bit/symbol ,相应的编码器转移概率矩阵[p(y/x )]=1001?? ???? ;D max = 0.5 ,R (D max )= 0 ,相应的编码器转移概率矩阵[p(y/x )]=1010?? ? ??? 。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55),5,11p q ==,则()φn = 40 ,他的秘密密钥(d,n )=(27,55) 。若用户B 向用户A 发送m =2的加密消息,则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 (√ ) 2. 线性码一定包含全零码。 (√ ) 3. 算术编码是一种无失真的分组信源编码,其基本思想是将一定精度数值作为序列的 编码,是以另外一种形式实现的最佳统计匹配编码。 (×) 4. 某一信源,不管它是否输出符号,只要这些符号具有某些概率特性,就有信息量。 (×) 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 (×) 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ,当它是正态分布时具 有最大熵。 (√ ) 7. 循环码的码集中的任何一个码字的循环移位仍是码字。 (√ ) 8. 信道容量是信道中能够传输的最小信息量。 (×) 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 (×) 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值,这种译码方 法叫做最佳译码。 (√ )
信息论与编码试题集与答案(2014)
一填空题 1、平均自信息为 表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y 获得的关于每个X 的平均信息量,也表示发X 前后Y 的平均不确定性减少的量,还表示通信前 后整个系统不确定性减少的量。 2、最大离散熵定理为:离散无记忆信源,等概率分布时熵最大,最大熵值为。 3、香农公式为 为保证足够大的信道容量,可采用(1)用频带换信噪比; (2)用信噪比换频带。 4、只要,当N 足够长时,一定存在一种无失真编码。 5、当R <C 时,只要码长足够长,一定能找到一种编码方法和译码规则,使译码错误概率无穷小。 6、1948年,美国数学家 香农 发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。 7.人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 8.信息的 可度量性 是建立信息论的基础。 9.统计度量 是信息度量最常用的方法。 10、单符号离散信源一般用随机变量描述,而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量,定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理:当消息经过多级处理后,随着处理器数目的增多,输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵,=∞H )/(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源,其状态空间共有 n m 个不同的状态。 20、一维连续随即变量X 在[a ,b]区间内均匀分布时,其信源熵为 log2(b-a ) 。
信息论与编码试卷及答案(多篇)
一、概念简答题(每题5分,共40分) 1.什么是平均自信息量与平均互信息,比较一下这两个概念的异同? 答:平均自信息为 表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量,也表示发X前后Y的平均不确定性减少的量,还表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源,其最大熵是多少? 答:最大离散熵定理为:离散无记忆信源,等概率分布时熵最大。 最大熵值为。 3.解释信息传输率、信道容量、最佳输入分布的概念,说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系? 答:信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。 平均互信息是信源概率分布的∩型凸函数,是信道传递概率的U型凸函数。 4.对于一个一般的通信系统,试给出其系统模型框图,并结合此图,解释数据处理定理。 答:通信系统模型如下:
数据处理定理为:串联信道的输入输出X、Y、Z组成一个马尔可夫链,且有, 。说明经数据处理后,一般只会增加信息的损失。 5.写出香农公式,并说明其物理意义。当信道带宽为5000Hz,信噪比为30dB时求信道容量。 .答:香农公式为,它是高斯加性白噪声信道在单位时间内的信道容量,其值取决于信噪比和带宽。 由得,则 6.解释无失真变长信源编码定理。 .答:只要,当N足够长时,一定存在一种无失真编码。 7.解释有噪信道编码定理。 答:当R<C时,只要码长足够长,一定能找到一种编码方法和译码规则,使译码错误概率无穷小。 8.什么是保真度准则?对二元信源,其失真矩阵,求a>0时率失真函数的和? 答:1)保真度准则为:平均失真度不大于允许的失真度。 2)因为失真矩阵中每行都有一个0,所以有,而。 二、综合题(每题10分,共60分) 1.黑白气象传真图的消息只有黑色和白色两种,求:
信息论与编码理论课后习题答案高等教育出版社
信息论与编码理论习题解 第二章-信息量和熵 解: 平均每个符号长为:154 4.0312.032= ?+?秒 每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号 所以信息速率为444.34 15 9183.0=?比特/秒 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特; 所以信息速率为600010006=?比特/秒 解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特 解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以
比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得, Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦,它有???? ??37种排法,Y 表示梧桐树可以栽 种的位置,它有???? ??58种排法,所以共有???? ??58*???? ??37=1960种排法保证没有 两棵梧桐树相邻,因此若告诉你没有两棵梧桐树相邻时,得到关于树排列的信息为1960log 27720log 22-= 比特 解: X=0表示未录取,X=1表示录取; Y=0表示本市,Y=1表示外地; Z=0表示学过英语,Z=1表示未学过英语,由此得
信息论与编码期中试卷及答案
信息论与编码期中试题答案 一、(10’)填空题 (1)1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。 (2)必然事件的自信息是0 。 (3)离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。 (4)对于离散无记忆信源,当信源熵有最大值时,满足条件为__信源符号等概分布_。 (5)若一离散无记忆信源的信源熵H(X)等于2.5,对信源进行等长的无失真二进制编码,则编码长度至少为 3 。 二、(10?)判断题 (1)信息就是一种消息。(? ) (2)信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。(? ) (3)概率大的事件自信息量大。(? ) (4)互信息量可正、可负亦可为零。(? ) (5)信源剩余度用来衡量信源的相关性程度,信源剩余度大说明信源符号间的依赖关系较小。 (? ) (6)对于固定的信源分布,平均互信息量是信道传递概率的下凸函数。(? ) (7)非奇异码一定是唯一可译码,唯一可译码不一定是非奇异码。(? ) (8)信源变长编码的核心问题是寻找紧致码(或最佳码)。 (? ) (9)信息率失真函数R(D)是关于平均失真度D的上凸函数. ( ? ) 三、(10?)居住在某地区的女孩中有25%是大学生,在女大学生中有75%是身高1.6米以上的,而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息,问获得多少信息量? 解:设A表示“大学生”这一事件,B表示“身高1.60以上”这一事件,则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 (5分) 故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 (4分) I(A|B)=-log0.375=1.42bit (1分)
信息论与编码课后答案
一个马尔可夫信源有3个符号{}1,23,u u u ,转移概率为:()11|1/2p u u =,()21|1/2p u u =, ()31|0p u u =,()12|1/3p u u =,()22|0p u u =,()32|2/3p u u =,()13|1/3p u u =,()23|2/3p u u =,()33|0p u u =,画出状态图并求出各符号稳态概率。 解:状态图如下 状态转移矩阵为: 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1,u 2,u 3稳定后的概率分别为W 1,W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0,1}组成的二阶马尔可夫链,其转移概率为:(0|00)p =,(0|11)p =,(1|00)p =, (1|11)p =,(0|01)p =,(0|10)p =,(1|01)p =,(1|10)p =。画出状态图,并计算各状态 的稳态概率。 解:(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==
信息论与编码期末试卷
上海大学2011~2012学年度冬季学期试卷(A卷) 课程名:信息论与编码课程号: 07276033学分: 4 应试人声明: 我保证遵守《上海大学学生手册》中的《上海大学考场规则》,如有考试违纪、作弊行为,愿意接受《上海大学学生考试违纪、作弊行为界定及处分规定》的纪律处分。 应试人应试人学号应试人所在院系 题号 1 2 3 4 得分——————————————————————————————————————一:填空题(每空2分,共40分) 1:掷一个正常的骰子,出现‘5’这一事件的自信息量为________,同时掷两个正常的骰子,‘点数之和为5’这一事件的自信息量为___________.(注明物理单位) 2:某信源包含16个不同的离散消息,则信源熵的最大值为___________,最小值为_____________. 3:信源X经过宥噪信道后,在接收端获得的平均信息量称为______________. 4:一个离散无记忆信源输出符号的概率分别为p(0)=0.5,p(1)=0.25,p(2)=0.25,则由60个符号构成的消息的平均自信息量为__________. 5:信源编码可提高信息传输的___有效___性,信道编码可提高信息传输的___可靠_性. 6:若某信道的信道矩阵为 ? ? ? ? ? ? ? ? ? ? ? ? 001 100 010 100 ,则该信道为具有____归并____性能的信道 7:根据香农第一定理(定长编码定理)若一个离散无记忆信源X的信源熵为H(X),对其n个符号进行二元无失真编码时,其码字的平均长度必须大于____________ 8:若某二元序列是一阶马尔科夫链,P(0/0)=0.8,P(1/1)=0.7,则‘0’游程长度为4的概率为____________,若游程序列为312314,则原始的二元序列为_________. 9:若循环码的生成多项式为1 ) (2 3+ + =x x x g,则接收向量为(1111011)的伴随多项式为_______________ 10:对有32个符号的信源编4进制HUFFMAN码,第一次取_______个信源进行编码. 11:若一个线性分组码的所有码字为:00000,10101,01111,11010,则该码为(____,_____),该码最多可以纠正_______位错误,共有________陪集. 12:码长为10的线性分组码若可以纠正2个差错,其监督吗至少有__5____位. 13:(7,4)汉明码的一致校验矩阵为 ? ? ? ? ? ? ? ? ? ? 1,0,1,0,1, ,1 0,1,1,0,0, ,1 0,0,0,1,1, ,1 3 2 1 r r r ,则3 2 1 r r r 为__________. _______________________________________________________________ 草稿纸 成绩
信息论与编码理论习题答案
第二章 信息量和熵 2.2 八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它的 信息速率。 解:同步信息均相同,不含信息,因此 每个码字的信息量为 2?8log =2?3=6 bit 因此,信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子,告诉你得到的总的点数为:(a) 7; (b) 12。问各得到多少信 息量。 解:(1) 可能的组合为 {1,6},{2,5},{3,4},{4,3},{5,2},{6,1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一,为 {6,6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克(52张),问: (a) 任何一种特定的排列所给出的信息量是多少? (b) 若从中抽取13张牌,所给出的点数都不相同时得到多少信息量? 解:(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit
2.9 随机掷3颗骰子,X 表示第一颗骰子的结果,Y 表示第一和第二颗骰子的 点数之和,Z 表示3颗骰子的点数之和,试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解:令第一第二第三颗骰子的结果分别为321,,x x x ,1x ,2x ,3x 相互独立, 则1x X =,21x x Y +=,321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ,所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ,所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字,0,1,…,9。奇数在传送过程中以0.5的概 率错成另外一个奇数,其余正确接收,求收到一个数字平均得到的信息量。 解: 8,6,4,2,0=i √ );(Y X I =)(Y H -)|(X Y H 因为输入等概,由信道条件可知,
信息论与编码试题集与答案
一填空题(本题20分,每小题2分) 1、平均自信息为 表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量,也表示发X前后Y的平均不确定性减少的量,还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为:离散无记忆信源,等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下: 5、香农公式为为保证足够大的信道容量,可采用(1)用频带换信噪比;(2)用信噪比换频带。 6、只要,当N足够长时,一定存在一种无失真编码。 7、当R<C时,只要码长足够长,一定能找到一种编码方法和译码规则,使译码错误概率无穷小。 8、在认识论层次上研究信息的时候,必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。 按照信息的性质,可以把信息分成语法信息、语义信息和语用信息。 按照信息的地位,可以把信息分成客观信息和主观信息。 人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。 信息的可度量性是建立信息论的基础。 统计度量是信息度量最常用的方法。 熵是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述,而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量,定义为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是∞。 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理:当消息经过多级处理后,随着处理器数目的增多,输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 18、离散平稳有记忆信源的极限熵,。 19、对于n元m阶马尔可夫信源,其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X在[a,b]区间内均匀分布时,其信源熵为 log2(b-a)。
信息论与编码(第二版)曹雪虹(最全版本)答案
《信息论与编码(第二版)》曹雪虹答案 第二章 2.1一个马尔可夫信源有3个符号{}1,23,u u u ,转移概率为:()11|1/2p u u =,()21|1/2p u u =, ()31|0p u u =,()12|1/3p u u =,()22|0p u u =,()32|2/3p u u =,()13|1/3p u u =,()23|2/3p u u =,()33|0p u u =,画出状态图并求出各符号稳态概率。 解:状态图如下 状态转移矩阵为: 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1,u 2,u 3稳定后的概率分别为W 1,W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =? ? ?=?? 2.2 由符号集{0,1}组成的二阶马尔可夫链,其转移概率为:(0|00)p =0.8,(0|11)p =0.2, (1|00)p =0.2,(1|11)p =0.8,(0|01)p =0.5,(0|10)p =0.5,(1|01)p =0.5,(1|10)p =0.5。画出 状态图,并计算各状态的稳态概率。 解:(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==
信息论与编码理论习题答案全解
信息论与编码理论习题答案全解
第二章 信息量和熵 2.2 八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它的 信息速率。 解:同步信息均相同,不含信息,因此 每个码字的信息量为 2?8log =2?3=6 bit 因此,信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子,告诉你得到的总的点数为:(a) 7; (b) 12。问各得到多少 信息量。 解:(1) 可能的组合为 {1,6},{2,5},{3,4},{4,3},{5,2},{6,1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一,为 {6,6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克(52张),问: (a) 任何一种特定的排列所给出的信息量是多少? (b) 若从中抽取13张牌,所给出的点数都不相同时得到多少信息量? 解:(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit
2.9 随机掷3颗骰子,X 表示第一颗骰子的结果,Y 表示第一和第二颗骰子的 点数之和,Z 表示3颗骰子的点数之和,试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解:令第一第二第三颗骰子的结果分别为321,,x x x ,1x ,2x ,3x 相互独立, 则1x X =,21x x Y +=,321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ,所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ,所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字,0,1,…,9。奇数在传送过程中以0.5的概 率错成另外一个奇数,其余正确接收,求收到一个数字平均得到的信息量。 解: 信道 X Y 9,7,5,3,1=i 8,6,4,2,0=i √Χ );(Y X I =)(Y H -)|(X Y H 因为输入等概,由信道条件可知,
信息论与编码试题集与答案(新)
" 1. 在无失真的信源中,信源输出由 H (X ) 来度量;在有失真的信源中,信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密,必须首先 信源 编码, 然后_____加密____编码,再______信道_____编码,最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式,也就是有名的香农公式是log(1)C W SNR =+;当归一化信道容量C/W 趋近于零时,也即信道完全丧失了通信能力,此时E b /N 0为 dB ,我们将它称作香农限,是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小,密钥熵H (K )就越 小 ,其密文中含有的关于明文的信息量I (M ;C )就越 大 。 5. 已知n =7的循环码4 2 ()1g x x x x =+++,则信息位长度k 为 3 ,校验多项式 h(x)= 3 1x x ++ 。 6. ? 7. 设输入符号表为X ={0,1},输出符号表为Y ={0,1}。输入信号的概率分布为p =(1/2,1/2),失真函数为d (0,0) = d (1,1) = 0,d (0,1) =2,d (1,0) = 1,则D min = 0 ,R (D min )= 1bit/symbol ,相应的编码器转移概率矩阵[p(y/x )]=1001?? ???? ;D max = ,R (D max )= 0 ,相应的编码器转移概率矩阵[p(y/x )]=1010?? ? ??? 。 8. 已知用户A 的RSA 公开密钥(e,n )=(3,55),5,11p q ==,则()φn = 40 ,他的秘密密钥(d,n )=(27,55) 。若用户B 向用户A 发送m =2的加密消息,则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 ( ) 2. 线性码一定包含全零码。 ( ) 3. 算术编码是一种无失真的分组信源编码,其基本思想是将一定精度数值作为序列的 编码,是以另外一种形式实现的最佳统计匹配编码。 (×) 4. " 5. 某一信源,不管它是否输出符号,只要这些符号具有某些概率特性,就有信息量。 (×) 6. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 (×) 7. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ,当它是正态分布时具 有最大熵。 ( ) 8. 循环码的码集中的任何一个码字的循环移位仍是码字。 ( ) 9. 信道容量是信道中能够传输的最小信息量。 (×) 10. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 (×) 11. ! 12. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值,这种译码方
信息理论与编码期末试卷A及答案
一、填空题(每空1分,共35分) 1、1948年,美国数学家 发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。信息论的基础理论是 ,它属于狭义信息论。 2、信号是 的载体,消息是 的载体。 3、某信源有五种符号}{,,,,a b c d e ,先验概率分别为5.0=a P ,25.0=b P ,125.0=c P ,0625.0==e d P P ,则符号“a ”的自信息量为 bit ,此信源的熵为 bit/符号。 4、某离散无记忆信源X ,其概率空间和重量空间分别为1 234 0.50.250.1250.125X x x x x P ????=??? ?????和1234 0.5122X x x x x w ???? =??????? ? ,则其信源熵和加权熵分别为 和 。 5、信源的剩余度主要来自两个方面,一是 ,二是 。 6、平均互信息量与信息熵、联合熵的关系是 。 7、信道的输出仅与信道当前输入有关,而与过去输入无关的信道称为 信道。 8、马尔可夫信源需要满足两个条件:一、 ; 二、 。 9、若某信道矩阵为????? ????? ??01000 1 000001 100,则该信道的信道容量C=__________。 10、根据是否允许失真,信源编码可分为 和 。 11、信源编码的概率匹配原则是:概率大的信源符号用 ,概率小的信源符号用 。(填 短码或长码) 12、在现代通信系统中,信源编码主要用于解决信息传输中的 性,信道编码主要用于解决信息传输中的 性,保密密编码主要用于解决信息传输中的安全性。 13、差错控制的基本方式大致可以分为 、 和混合纠错。 14、某线性分组码的最小汉明距dmin=4,则该码最多能检测出 个随机错,最多能纠正 个随机错。 15、码字101111101、011111101、100111001之间的最小汉明距离为 。 16、对于密码系统安全性的评价,通常分为 和 两种标准。 17、单密钥体制是指 。 18、现代数据加密体制主要分为 和 两种体制。 19、评价密码体制安全性有不同的途径,包括无条件安全性、 和 。 20、时间戳根据产生方式的不同分为两类:即 和 。 二、选择题(每小题1分,共10分) 1、下列不属于消息的是( )。 A. 文字 B. 信号 C. 图像 D. 语言 2、设有一个无记忆信源发出符号A 和B ,已知4341)(,)(==B p A p ,发出二重符号序列消息的信源, 无记忆信源熵)(2X H 为( )。 A. 0.81bit/二重符号 B. 1.62bit/二重符号 C. 0.93 bit/二重符号 D . 1.86 bit/二重符号 3、 同时扔两个正常的骰子,即各面呈现的概率都是1/6,若点数之和为12,则得到的自信息为( )。 A. -log36bit B. log36bit C. -log (11/36)bit D. log (11/36)bit 4、 二进制通信系统使用符号0和1,由于存在失真,传输时会产生误码,用符号表示下列事件,x0: 发出一个0 、 x1: 发出一个1、 y0 : 收到一个0、 y1: 收到一个1 ,则已知收到的符号,被告知发出的符号能得到的信息量是( )。 A. H(X/Y) B. H(Y/X) C. H( X, Y) D. H(XY) 5、一个随即变量x 的概率密度函数P(x)= x /2,V 20≤≤x ,则信源的相对熵为( )。 A . 0.5bit B. 0.72bit C. 1bit D. 1.44bit 6、 下面哪一项不属于熵的性质: ( ) A .非负性 B .完备性 C .对称性 D .确定性 信息论与编码 信息论与编码
信息论与编码理论第二章习题答案
I (X ;Y=1)= P(x/Y 1)I(x;Y 1) x P(x/Y 1)log P(x/Y 1) P(x) = P(X 0/Y 1)log P(X 0/Y 1) P(X 0) P(X 1/Y 1)log P(X 1/Y 1) P(X 1) 部分答案,仅供参考。 信息速率是指平均每秒传输的信息量点和划出现的信息量分别为log3Jog3, 2’ 一秒钟点和划出现的次数平均为 1 15 2 1 ~4 0.20.4 - 3 3 一秒钟点和划分别出现的次数平均为巴5 4 4 那么根据两者出现的次数,可以计算一秒钟其信息量平均为10 log 3 5 竺 5 4 2 4 4 2 解: ⑻骰子A和B,掷出7点有以下6种可能: A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6,所以信息量 -log(1/6)=1+log3 ~ bit (b)骰子A和B,掷出12点只有1种可能: A=6,B=6 概率为1/36,所以信息量 -log(1/36)=2+log9 ~ bit 解: 出现各点数的概率和信息量: 1 点:1/21 , log21 ?bit ; 2 点:2/21 , log21-1 ?bit ; 3 点:1/7 , log7 4 点:4/21 , log21-2 5 点:5/21 , log (21/5 )~; 6 点:2/ 7 , log(7/2)? 平均信息量: (1/21) X +(2/21) X +(1/7) X +(4/21) X +(5/21) X +(2/7) 解: X=1:考生被录取;X=0考生未被录取; Y=1:考生来自本市;Y=0考生来自外地; Z=1:考生学过英语;z=o:考生未学过英语 P(X=1)=1/4, P( X=q=3/4; P( Y=1/ X=1)=1/2 ;P( Y=1/ X=0)=1/10 ;P(Z=1/ Y=1 )=1, P( Z=1/ X=0, Y=0 )=, P( Z=1/ X=1, Y=0 )=, P(Z=1/Y=0)= (a)P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)= P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)= P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=
信息论与编码期末考试题(全套)
(一) 一、判断题共10 小题,满分20 分、 1、当随机变量与相互独立时,条件熵等于信源熵、( ) 2、由于构成同一空间得基底不就是唯一得,所以不同得基底或生成矩阵有可能生成同一码集、( ) 3、一般情况下,用变长编码得到得平均码长比定长编码 大得多、( ) 4、只要信息传输率大于信道容量,总存在一种信道编译 码,可以以所要求得任意小得误差概率实现可靠得通 信、 ( ) 5、各码字得长度符合克拉夫特不等式,就是唯一可译码存在得充分与必要条件、() 6、连续信源与离散信源得熵都具有非负性、( ) 7、信源得消息通过信道传输后得误差或失真越大,信宿收到消息后对信源存在得不确 定性就越小,获得得信息量就越小、 8、汉明码就是一种线性分组码、( ) 9、率失真函数得最小值就是、( ) 10、必然事件与不可能事件得自信息量都就是、( ) 二、填空题共 6 小题,满分20 分、 1、码得检、纠错能力取决 于、 2、信源编码得目得就是 ;信道编码 得目得就是、 3、把信息组原封不动地搬到码字前位得码就叫 做、 4、香农信息论中得三大极限定理就 是、、、 5、设信道得输入与输出随机序列分别为与,则成立得 条件、 6、对于香农-费诺编码、原始香农-费诺编码与哈夫曼编码,编码方法惟一得就是、 7、某二元信源,其失真矩阵,则该信源得=、 三、本题共 4 小题,满分50 分、 1、某信源发送端有2种符号,;接收端有3种符号,转移概率矩阵为、 (1)计算接收端得平均不确定度; (2)计算由于噪声产生得不确定度; (3)计算信道容量以及最佳入口分布、 2、一阶马尔可夫信源得状态转移图如右图所示, 信源得符号集为、 (1)求信源平稳后得概率分布; (2)求此信源得熵; (3)近似地认为此信源为无记忆时,符号得概率分布为平 稳分布、求近似信源得熵并与进行比较、 4、设二元线性分组码得生成矩阵为、 (1)给出该码得一致校验矩阵,写出所有得陪集首与与之相 对应得伴随式; (2)若接收矢量,试计算出其对应得伴随式并按照最小距离 译码准则 试着对其译码、 (二) 一、填空题(共15分,每空1分) 1、信源编码得主要目得就是 ,信道编码得主要目得就是。 2、信源得剩余度主要来自两个方面,一就是 ,二就是。 3、三进制信源得最小熵为 ,最大熵为。 4、无失真信源编码得平均码长最小理论极限制为。 5、当时,信源与信道达到匹配。 6、根据信道特性就是否随时间变化,信道可以分为与。 7、根据就是否允许失真,信源编码可分为与。 8、若连续信源输出信号得平均功率为,则输出信号幅度得概 率密度就是时,信源具有最大熵,其值为值。 9、在下面空格中选择填入数学符号“”或“” (1)当X与Y相互独立时,H(XY) H(X)+H(X/Y) H(Y)+H(X)。 (2) (3)假设信道输入用X表示,信道输出用Y表示。在无噪有损 信道中,H(X/Y) 0, H(Y/X) 0,I(X;Y) H(X)。 三、(16分)已知信源 (1)用霍夫曼编码法编成二进制变长码;(6 分) (2)计算平均码长;(4分) (3)计算编码信息率;(2分)