信息论基础-曹雪虹-第三章-课后习题及答案
3.1 设二元对称信道的传递矩阵为⎥
⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132
(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；
解： 1)
symbol
bit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbol
bit x y p x y p x p X Y H symbol
bit x p X H j
j i
j
i j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()
/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167
.03
2
413143)/()()/()()()()(5833.031
413243)/()()/()()()()(/ 918.0 10
log )3
2
lg 324131lg 314131lg 314332lg 3243( )
/(log )/()()/(/ 811.0)41
log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=
+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑
2)
2221122
max (;)log log 2(lg lg )log 100.082 /3333
mi C I X Y m H bit symbol
==-=++⨯=其最佳输入分布为1
()2
i p x =
3-2某信源发送端有2个符号，i x ，i ＝1，2；()i p x a =，每秒发出一个符号。接受端有3
种符号i y ，j ＝1，2，3，转移概率矩阵为1/21/201/21/41/4P ⎡⎤
=⎢
⎥
⎣⎦
。 （1） 计算接受端的平均不确定度；
（2） 计算由于噪声产生的不确定度(|)H Y X ； （3） 计算信道容量。
解：1/21/201/21/41/4P ⎡⎤
=⎢⎥
⎣⎦
联合概率(,)i j p x y
（1）()log 2log log
24141H Y a a
=+++- 211161log 2log log
24141a a
a a -=++-+ 2
11111log 2log16log log 244141a a
a a -=+++-+ 23111log 2log log
24141a a
a a
-=++-+ 取2为底
22
23111()(log log )24141a a H Y bit a a
-=++-+ （2）11111111(|)log log log log log 2
222224444a
a a a a H Y X ---⎡⎤=-++
++⎢⎥⎣⎦ 3(1)
log 2log 22
a a -=-+
3log 22
a -=
取2为底
3(|)2
a
H Y X bit -=
[]2()()()111max (;)max ()(|)max log 2log log 2
4141i i i p x p x p x a
a a c I X Y H Y H Y X a a -⎛⎫∴==-=++ ⎪-+⎝⎭取e 为底2
111(ln 2ln ln )24141a a a a a a
-∂++-+∂
21121111ln 2ln ()24141411a a a a a a a -=+++---+-+ 221112ln 2ln 22(1)4141a a a a a a -=++--+- 111ln 2ln
241a
a
-=++ = 0
1114
a a -=+ 35a ∴=
9
251311131log 2log log 2541454c ∴=⨯++⨯- 312531log 2log log 10416204
=++
3153
log 2log log 2102410=
+- 15log 24
=
3.3 在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。
解：
由题意可知该二元信道的转移概率矩阵为：
0.990.010.010.99P ⎡⎤
=⎢⎥
⎣⎦
为一个BSC 信道
所以由BSC 信道的信道容量计算公式得到：
2
1
1
log ()log 2log
0.92/1
1000920/sec
i i i
t C s H P p bit sign p C C C bit t
==-=-====∑
3.4 求图中信道的信道容量及其最佳的输入概率分布.并求当=0和1/2时的信道
容量C 的大小。
解: 信道矩阵P=⎥⎥
⎥⎦
⎤⎢⎢⎢⎣⎡-e 1e 0e e 10001－,此信道为非奇异矩阵,又r=s,可利用方程组求解
3
1
(|)
j i j
j P b a =
3
1(|)log (|)j i j i j P b a P b a (i=1,2,3) 1
23
2
3
0(1
)
(1)log(1)
log (1
)
log
(1
)log(1
)
解得
1
2
3
(1
)log(1
)
log
X 0
Y 0
1 1 1
2
2
1－ 1－
所以 C=log
2j j
=log[20+2×2(1-)log(1-)+
log ]
=log[1+21-H()
]=log[1+2(1
)
(1
)]
2
311
(1
)
1
()
2
(1)
3
21
1
()
2
2
1
2(1
)
1
2
(1)()
2
12(1)()
2()
C
C
H C
C P b P b P b P b
而 3
1
()
()(|)j i j i i P b P a P b a (j=1,2,3)
得11223323()
()()
()(1)
()()
()
()(1)
P b P a P b P a
P a P b P a P a 所以
P(a 1)=P(b 1)=(1)
1
12(1
)
2323(1
)
(1)()()()
()
12(1)P a P a P b P b
当=0时,此信道为一一对应信道,得
C=log3, 1231()
()()
3P a P a P a 当=1/2时,得 C=log2, 11
()
2
P a ,231()()
4
P a P a
3.5 求下列二个信道的信道容量，并加以比较
（1）
⎪⎪⎭
⎫ ⎝⎛----εεεεεε22p p p p （2）⎪⎪⎭
⎫ ⎝⎛----εε
εεεε20
02p p p p
其中p+p =1
解：
（1）此信道是准对称信道，信道矩阵中Y 可划分成三个互不相交的子集 由于集列所组
成的矩阵⎪⎪⎭⎫ ⎝⎛----εε
εε
p p p p ,⎪⎪⎭
⎫
⎝⎛εε22而这两个子矩阵满足对称性，因此可直接利用准对称信道的信道容量公式进行计算。 C1=logr-H(p1’ p2’ p3’)-
Mk k N k log 2
1
∑=
其中r=2,N1=M1=1-2ε N2=ε2 M2=4ε 所以 C1=log2-H(ε-p ,p-ε,2ε)-(1-2ε)log(1-2ε)-2εlog4ε
=log2+(ε-p )log(ε-p )+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog4ε =log2-2εlog2-(1-2ε)log(1-2ε)+(ε-p )log(ε-p )+(p-ε)log(p-ε) =(1-2ε)log2/(1-2ε)+(ε-p )log(ε-p )+(p-ε)log(p-ε) 输入等概率分布时达到信道容量。
（2）此信道也是准对称信道，也可采用上述两种方法之一来进行计算。先采用准对称信
道的信道容量公式进行计算，此信道矩阵中Y 可划分成两个互不相交的子集，由子
集列所组成的矩阵为⎪⎪⎭⎫
⎝
⎛----εεεεp p p p ，⎪⎪⎭
⎫
⎝⎛εε2002这两矩阵为对称矩阵 其中r=2,N1=M1=1-2ε N2=M2=2ε，所以 C=logr-H(p -ε,p-ε,2ε,0)-
∑=2
1
log k Mk Nk
=log2+(p -ε)log(p -ε)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog2ε =log2-(1-2ε)log(1-2ε)+( p -ε)log(p -ε)+(p-ε)log(p-ε) =(1-2ε)log2/(1-2ε)+2εlog2+(p -ε)log(p -ε)+(p-ε)log(p-ε) =C1+2εlog2
输入等概率分布（P （a1）=P （a2）=1/2）时达到此信道容量。比较此两信道容量，可得C2=C1+2εlog2
3-6 设有扰离散信道的传输情况分别如图3－17所示。求出该信道的信道容量。
X
Y
1/2
图3-17
解：112
2
11221122112200000000⎡
⎤⎢⎥
⎢⎥⎢⎥⎢⎥⎣⎦
对称信道
log (|)i C m H Y a =-
1
log42log2
2
=-⨯
取2为底1
C=bit/符号
3-7
(1)
条件概率，联合概率，后验概率
p y0 ()
1
3
:=，p y1
()
1
2
:=，p y2
()
1
6
:=
（2）
H(Y/X)=
（3）
当接收为y2，发为x1时正确，如果发的是x1和x3为错误，各自的概率为：
P(x1/y2)=1
5
，P(x2/y2)=
1
5
，P(x3/y2)=
3
5
其中错误概率为：
Pe=P(x1/y2)+P(x3/y2)=1
5
3
5
+0.8
=
（4）平均错误概率为
（5）仍为0.733
（6）此信道不好
原因是信源等概率分布，从转移信道来看
正确发送的概率x1-y1的概率0.5有一半失真
x2-y2的概率0.3有失真严重
x3-y3的概率0 完全失真（7）
H(X/Y)=
16
Log 2()110
Log 5()+
115
Log 52⎛
⎝⎫
⎪⎭+
215Log 52⎛ ⎝⎫⎪⎭+110Log 5()+110Log 53⎛ ⎝⎫⎪⎭+130Log 10()+310Log 53⎛ ⎝⎫
⎪⎭
+ 1.301=
3. 8 设加性高斯白噪声信道中，信道带宽3kHz ，又设{(信号功率+噪声功率)/
噪声功率}=10dB 。试计算该信道的最大信息传输速率C t 。
解：
3. 9 在图片传输中，每帧约有2.25 106个像素，为了能很好地重现图像，能分16个亮度电平，并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信道的带宽（信噪功率比为30dB ）。
解：
s
bit t I C bit NH I symbol bit n H t / 101.560
10910
10941025.2/ 416log log 56
6622⨯=⨯===⨯=⨯⨯=====
z
15049)10001(log 105.11log 1log 25
H P P C W P P W C N X t
N X t =+⨯=⎪
⎪⎭⎫ ⎝⎛+=⎪
⎪⎭⎫
⎝
⎛+=
3-10 一个平均功率受限制的连续信道，其通频带为1MHZ ，信道上存在白色高斯噪声。 （1）已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；
（2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？
（3）若信道通频带减小为0.5MHZ 时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大？ 解：（1）2log (1)C W SNR =+
6
2110log (110)=⨯+
3.159Mbps =
（2）222log (15) 3.459C W Mbps =+=
223.159 1.338log 6
M
W MHZ ∴=
=
（3）'
332log (1) 3.459C W SNR Mbps =+=
'2 3.459
log (1)0.5
SNR +=
120SNR ∴=
(完整版)信息论与编码-曹雪虹-课后习题答案
《信息论与编码》-曹雪虹-课后习题答案 第二章 2.1一个马尔可夫信源有3个符号{}1, 23,u u u ，转移概率 为：()1 1 |1/2p u u =，()2 1|1/2p u u =，()31|0p u u =，()12|1/3p u u =， ()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =， 画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭ 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =⎧⎨++=⎩得1231132231231 112331223231 W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪ =⎨ ⎪ ⎪=⎪⎩
2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8， (0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。画出 状态图，并计算各状态的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p == 于是可以列出转移概率矩阵：0.80.20 0000.50.50.50.500000.20.8p ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭ 状态图为： 设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有 41 1i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 131 132 24324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到123451417175 14W W W W ⎧=⎪⎪ ⎪=⎪⎨ ⎪=⎪⎪⎪= ⎩
信息论基础与编码课后题答案(第三章)
3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ???? =? ??? ???? ，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为516 61344P ???? =? ?????? ? ，求： （1） 信源X 中事件1x 和2x 分别含有的自信息量； （2） 收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量； （3） 信源X 和信宿Y 的信息熵； （4） 信道疑义度(/)H X Y 和噪声熵(/)H Y X ； （5） 接收到消息Y 后获得的平均互信息量(;)I X Y 。 解：（1）12()0.737,() 1.322I x bit I x bit == （2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-， 22(;)0.907I x y bit = （3）()(0.6,0.4)0.971/H X H bit symbol == ()(0.6,0.4)0.971/H Y H bit symbol == （4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol == (/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol = （5）(;)0.9710.7140.257/I X Y bit symbol =-= 3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。该信道的正 确传输概率为0.5，错误传输概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均信息量为0.21比特。 证明：信道传输矩阵为：
信息论课后习题答案
第六章 有噪信道编码 6.1 R 为信息传输率，根据香农第二定理，当码长n->无穷大时，满足什么关系式，可使错误概率Pe->0。 答：Pe
信息论与编码-曹雪虹-课后习题参考答案
《信息论与编码》-曹雪虹-课后习题答案 第二章 错误！未定义书签。2.1一个马尔可夫信源有3个符号{}1, 23,u u u ，转 移概率为：()1 1 |1/2p u u =，()2 1|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =， ()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出 各符号稳态概率。 W 2、W 3 12310259 25625W W W ?=???=? ? ?=?? 2.2(0|p (0|01)p =0.5，(0|10)p 解：(0|00)(00|00)0.8p p ==(0|01)(10|01)0.5p p == 于是可以列出转移概率矩阵：0.80.20 0000.50.50.50.5000 00.20.8p ?? ? ?= ? ? ?? 状态图为：
设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4有 4 1 1 i i WP W W = = ? ? ? = ? ? ∑ 得 131 132 243 244 1234 0.80.5 0.20.5 0.50.2 0.50.8 1 W W W W W W W W W W W W W W W W += ? ?+= ?? += ? ?+= ? +++= ?? 计算得到 1 2 3 4 5 14 1 7 1 7 5 14 W W W W ? = ? ? ?= ? ? ?= ? ? ?= ? 2.31/6， 求： (1)“3和5 (2)“两个1 (3) 1的自信息量。 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56
3.-第三章课后习题及答案
第三章 1. (Q1) Suppose the network layer provides the following service. The network layer in the source host accepts a segment of maximum size 1,200 bytes and a destination host address from the transport layer. The network layer then guarantees to deliver the segment to the transport layer at the destination host. Suppose many network application processes can be running at the destination host. a. Design the simplest possible transport-layer protocol that will get application data to the desired process at the destination host. Assume the operating system in the destination host has assigned a 4-byte port number to each running application process. b. Modify this protocol so that it provides a “return address”to the destination process. c. In your protocols, does the transport layer “have to do anything” in the core of the computer network. Answer: a. Call this protocol Simple Transport Protocol (STP). At the sender side, STP accepts from the sending process a chunk of data not exceeding 1196 bytes, a destination host address, and a destination port number. STP adds a four- byte header to each chunk and puts the port number of the destination process in this header. STP then gives the destination host address and the resulting segment to the network layer. The network layer delivers the segment to STP at the destination host. STP then examines the port number in the segment, extracts the data from the segment, and passes the data to the process identified by the port number. b. The segment now has two header fields: a source port field and destination
信息论基础-曹雪虹-第三章-课后习题及答案
3.1 设二元对称信道的传递矩阵为⎥ ⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解： 1) symbol bit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbol bit x y p x y p x p X Y H symbol bit x p X H j j i j i j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/() /()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167 .03 2 413143)/()()/()()()()(5833.031 413243)/()()/()()()()(/ 918.0 10 log )3 2 lg 324131lg 314131lg 314332lg 3243( ) /(log )/()()/(/ 811.0)41 log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯= +=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑ 2) 2221122 max (;)log log 2(lg lg )log 100.082 /3333 mi C I X Y m H bit symbol ==-=++⨯=其最佳输入分布为1 ()2 i p x = 3-2某信源发送端有2个符号，i x ，i ＝1，2；()i p x a =，每秒发出一个符号。接受端有3 种符号i y ，j ＝1，2，3，转移概率矩阵为1/21/201/21/41/4P ⎡⎤ =⎢ ⎥ ⎣⎦ 。 （1） 计算接受端的平均不确定度； （2） 计算由于噪声产生的不确定度(|)H Y X ； （3） 计算信道容量。 解：1/21/201/21/41/4P ⎡⎤ =⎢⎥ ⎣⎦ 联合概率(,)i j p x y
【电子信息类】课后习题答案大全
【电子信息类】课后习题答案大全 第9类【一共15类】【电子信息类课后习题答案大全】 ▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆ 第9类【一共15类】【电子信息类课后习题答案大全】 ▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆ 《模拟电子技术基础》详细习题答案（童诗白，华成英版，高教版） https://www.360docs.net/doc/b719114572.html,/viewthread.php?tid=42&fromuid=1000 《电工学》课后习题答案（第六版，上册，秦曾煌主编） https://www.360docs.net/doc/b719114572.html,/viewthread.php?tid=232&fromuid=1000 《数字电子技术基础》习题答案（阎石，第五版） https://www.360docs.net/doc/b719114572.html,/viewthread.php?tid=90&fromuid=1000 《电路》习题答案上（邱关源，第五版） https://www.360docs.net/doc/b719114572.html,/viewthread.php?tid=137&fromuid=1000 《电工学》习题答案（第六版，秦曾煌） https://www.360docs.net/doc/b719114572.html,/viewthread.php?tid=112&fromuid=1000 《模拟电子技术基础》课后习题答案（共10章） https://www.360docs.net/doc/b719114572.html,/viewthread.php?tid=21&fromuid=1000 《模拟电子技术基础简明教程》课后习题答案（杨素行第三版） https://www.360docs.net/doc/b719114572.html,/viewthread.php?tid=41&fromuid=1000 《信号与线性系统分析》习题答案及辅导参考（吴大正版） https://www.360docs.net/doc/b719114572.html,/viewthread.php?tid=74&fromuid=1000 《通信原理》课后习题答案及每章总结（樊昌信，国·防工业出版社，第五版）https://www.360docs.net/doc/b719114572.html,/viewthread.php?tid=203&fromuid=1000 《电力电子技术》习题答案（第四版，王兆安，王俊主编） https://www.360docs.net/doc/b719114572.html,/viewthread.php?tid=164&fromuid=1000 《自动控制原理》课后题答案（胡寿松，第四版） https://www.360docs.net/doc/b719114572.html,/viewthread.php?tid=52&fromuid=1000 《信号与系统》习题答案（第四版，吴大正） https://www.360docs.net/doc/b719114572.html,/viewthread.php?tid=268&fromuid=1000 《电工学——电子技术》习题答案（下册） https://www.360docs.net/doc/b719114572.html,/viewthread.php?tid=237&fromuid=1000
《信息论与编码》第三章部分习题参考答案
第三章习题参考答案 3-1 解：(1)判断唯一可译码的方法：①先用克劳夫特不等式判定是否满足该不等式；②若满足再利用码树，看码字是否都位于叶子结点上。如果在叶节点上则一定是唯一可译码，如果不在叶节点上则只能用唯一可译码的定义来判断是不是。 其中C1,C2,C3,C6都是唯一可译码。 对于码C2和C4都满足craft 不等式。但是不满足码树的条件。就只能举例来判断。 对C5：6 1319225218 ki i ---==+⨯=>∑，不满足该不等式。所以C5不是唯一可 译码。 (2)判断即时码方法：定义：即时码接收端收到一个完整的码字后，就能立即译码。特点：码集任何一个码不能是其他码的前缀，即时码必定是唯一可译码, 唯一可译码不一定是即时码。 其中C1,C3,C6都是即时码。 对C2：“0”是“01”的前缀，……，所以C2不是即时码。 (1) 由平均码长6 1()i i i K p x k ==∑得 1236 3 1111712(3456) 24168 11117 12(3456) 2416811152334 24162 K bit K bit K bit K bit ==⨯+⨯+⨯+++==⨯+⨯+⨯+++==⨯+⨯+⨯⨯=
6 21 11 22 33 66 ()()log () 2 /()2 66.7%3()294.1%178 ()294.1% 178 ()280.0% 52 i i i H U p u p u H U K H U K H U K H U K ηηηη==-===== ========∑比特符号 3-7 解：(1)信源消息的概率分布呈等比级数，按香农编码方法，其码长集合为自然数数列1, 2, 3, ···, i, ···；对应的编码分别为：0, 10, 110, ···, 111…110 ( i – 1个1), ···。 (2) 先求熵和平均码长，二者的比值即信息传输速率 2()()log () 2 /()...2/() 1 bit/i i I i i I H p x p x bit k p x k H R k =-===== =∑∑X X 符号 码元符号 码元时间 (3)编码效率：η = 1 =100%
信息论课后习题答案
第1章 信息论基础 1.8 p (s 0 ) = 0.8p (s 0 ) + 0.5p (s 2 ) p (s 1 ) = 0.2p (s 0 ) + 0.5p (s 2 ) p (s 2 ) = 0.5p (s 1 ) + 0.3p (s 3 ) p (s 3 ) = 0.5p (s 1 ) + 0.7p (s 3 ) p (s 0 ) + p (s 1 ) + p (s 2 ) + p (s 3 ) = 1 p (s 0 ) = 3715， p (s 1 ) = p (s 2 ) = 376，p (s 3 ) = 37 10 第2章 信息的度量 2.4 logk 2.12 （1）I (x i ) = -log1/100 = log100备注：2.12有错误 （2）H(X)=log100. 2.17 （1）())1(2log 100;14p u I -== （2）())1(2log 2100;104p u I -== （3）())1(2log 3100;1004p u I -== 2.30 （1）H (X ) = 1.69 (Bit/符号) （2）H (Y ) = 1.57 (Bit/符号) (3)() 符号/76.0)(Bit X Y H = (4) (Bit / 2.45)(符号=XY H （5）I (X;Y) = 0.81 (Bit/符号) 第3章 离散信源无失真编码 3.6 （1） 2位 （2）取码长n 1=1、n 1=2、n 1=3、n 1=3就能得到紧致码。 3.14 （1）x 1 →0，x 2→11，x 3→10 5.1=n 99.0=η （2）x 1x 1→01，x 1x 2→110，x 2x 1→101，x 1x 3→011，x 3x 1→010，x 2x 2→1111，x 2x 3→1110，x 3x 2→1001 3=n 99.0=η 3.17 方法一：概率之和与原信源某概率相等，概率之和往上排：
信息论与编码_曹雪虹_课后习题答案
《信息论与编码》-雪虹-课后习题答案 第二章 2.1 一个马尔可夫信源有 3 个符号 {} 1,23,u u u ,转移概率为： ()11|1/2p u u =,()21|1/2p u u =,()31|0p u u =,()12|1/3p u u =,()22|0p u u =,()32|2/3p u u =,()13|1/3p u u =,()23|2/3p u u =,()33|0p u u =,画出状态图并求出 各符号稳态概率。 解：状态图如下 状态转移矩阵为： 设状态u 1,u 2,u 3稳定后的概率分别为W 1,W 2、W 3 由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223 231 W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪ =⎨⎪ ⎪=⎪⎩ 2.2 由符号集{0,1}组成的二阶马尔可夫链,其转移概率为： (0|00)p =0.8,(0|11)p =0.2,(1|00)p =0.2,(1|11)p =0.8,(0|01)p =0.5,(0|10)p =0.5,(1|01)p =0.5,(1|10)p =0.5。画出状态图,并计算各状态的稳态概率。 解：(0|00)(00|00)0.8p p ==(0|01)(10|01)0.5p p == 于是可以列出转移概率矩阵：0.80.20 0000.50.50.50.500000.20.8p ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭ 状态图为： 设各状态00,01,10,11的稳态分布概率为W 1,W 2,W 3,W 4 有 41 1i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 131 132 24324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到123451417175 14W W W W ⎧=⎪⎪ ⎪=⎪⎨ ⎪=⎪⎪⎪= ⎩
信息论与编码(第二版)曹雪虹(最全版本)答案
《信息论与编码（第二版）》曹雪虹答案（一）第二章 Equation Chapter 1 Section 12.1一个马尔可夫信源有3个符号，转移概率为：，，，，，，， ，，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 设状态u1，u2，u3稳定后的概率分别为W1，W2、W3 由得计算可得 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：=0.8，=0.2，=0.2， =0.8，=0.5，=0.5，=0.5，=0.5。画出状态图，并计算各状态的稳态概率。 解： 于是可以列出转移概率矩阵： 状态图为：
00 01 10 11 0.8 0.2 0.5 0.50.50.5 0.2 0.8 设各状态00，01，10，11的稳态分布概率为 W1,W2,W3,W4 有 得 计算得到 2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解：(1)(2) (3) 两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66 共有21种组合： 其中11，22，33，44，55，66的概率是 其他15个组合的概率是 (4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：
信息论与编码(第二版)曹雪虹(最全版本)答案
《信息论与编码（第二版）》曹雪虹答案 第二章 一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭ 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =⎧⎨++=⎩得1231132231231 112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩ 计算可得1231025925625W W W ⎧=⎪⎪⎪ =⎨ ⎪ ⎪=⎪⎩ - 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态的稳态概 率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==
信息论第三版课后答案
信息论第三版课后答案 【篇一：西电邓家先版信息论与编码第3章课后习题解 答】 6 x1 1/6 y1 3/4 1/4 x2 图3.1 二元信道 y2 ?x??x1x2???=?0.60.4?通过一干扰信道，接收符号y=?y1y2?,信 道传递概率如p(x)????图3.33所示。求： （1）信源x中事件x1,和x2分别含有的自信息。 （2）收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量。（3）信源x和信源y的信息熵。 （4）信道疑义度h（x|y）和噪声熵h（y|x）。（5）接收到消息 y后获得的平均互信息。 解：（1）由定义得：i（x1）= －log0.6=0.74bit i（x2）= －log0.4=1.32bit i（xi；xj）= i（xi）－i（xi|yj）=log[p（xi|yj）/p（xi）] = log[p（yj|xi）/p（yj）] 则 i（x1；y1）= log[p（y1|x1）/p（y1）]=log5/6/0.8=0.059bit i （x1；y2）= log[p（y2|x2）/p（y2）]=log1/6/0.2=-0.263biti（x2；y1）= log[p（y1|x2）/p（y1）]=log3/4/0.8=-0.093bit i（x2；y2） = log[p（y2|x2）/p（y2）]=log1/4/0.2=0.322bit （3）由定义显然 h（x）=0.97095bit/符号 h（y）=0.72193bit/符号 （4）h（y|x）= ? 2 2 p（xy）log[1/p（y|x）] =
?? i?1j?1 p（xi）p（yj|xi）log[1/p（yj|xi）] h（x|y）= h（x）+h（y|x）－h（y）=0.9635bit/符号 (5) i（x；y）= h（x）－h（x|y）=0.00745 bit/符号 3.2设8个等概率分布的消息通过传递概率为p的bsc进行传送。 八个消息相应编成下述码字： m1=0000, m2=0101, m3=0110, m4=0011, m5=1001, m6=1010, m7=1100, m8=1111, 试问 (1) 接受到第一个数字0与m之间的互 信息。 (2) 接受到第二个数字也是0时，得到多少关与m的附加互信息。 (3) 接受到第三个数字仍是0时，又增加多少关与m的互信息。(4) 接受到第四个数字还是0时，再增加了多少关与m的互信息。 解： (1 ) i(0;m1)= log[ p(0|m1)/p(0)]=1 bit (2 ) i(00;m1)= log[ 1/p(00)]=2 bit2－1=1 bit(3 ) i(000;m1)=3 bit 3－2=1 bit(4 ) i(0000;m1)=4 bit4－3=1 bit 3.3 设二元对称信道的传递矩阵为 ?2?3??1??3 1?3?? 2??3? （1）若p(0)?3/4,p(1)?1/4，求h(x),h(x|y),h(y|x)和i(x;y)；（2）求该信道的信道容量及其达到信道容量时的输入概率分布。 解：（1）已知二元对称信道的传递矩阵，又已知输入的概率分布 p(0)?3/4,p(1)?1/4, 可以求得输出y的概率分别和后验概率。 p(y?0)??p(x)p(y?0|x) x ?p(x?0)p(y?0|x?0)?p(x?1)p(y?0|x?1) 32117?????434312p(y?1)??p(x)p(y?1|x) x ?p(x?0)p(y?1|x?0)?p(x?1)p(y?1|x?1) 31125?????434312 所以p(x?0|y?0)? p(x?0)p(y?0|x?0)6 ? p(x)p(y?0|x)7x p(x?1|y?0)? p(x?1)p(y?0|x?1)1 ? p(x)p(y?0|x)7x
信息论与编码课后习题答案
1、 在认识论层次上研究信息的时候，必须同时考虑到 形式、含义和效用 三个方面的因素。 2、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 3、 按照信息的性质，可以把信息分成 语法信息、语义信息和语用信息 。 4、 按照信息的地位，可以把信息分成 客观信息和主观信息 。 5、 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 6、 信息的 可度量性 是建立信息论的基础。 7、 统计度量 是信息度量最常用的方法。 8、 熵 是香农信息论最基本最重要的概念。 9、 事物的不确定度是用时间统计发生 概率的对数 来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log 2（b-a ） 。 21、平均功率为P 的高斯分布的连续信源，其信源熵，H c （X ）=。 22、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。 23、对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。 24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P 和信源的熵功率 之比 。 25、若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 26、m 元长度为k i ，i=1，2，···n 的异前置码存在的充要条件是：。 27、若把掷骰子的结果作为一离散信源，则其信源熵为 log 26 。 28、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 log 218（1+2 log 23）。 29、若一维随即变量X 的取值区间是[0，∞]，其概率密度函数为，其中：，m 是X 的数学 期望，则X 的信源熵。 30、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信 源熵为 。 31、根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续 信道。 32、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 无记忆 信道。 33、具有一一对应关系的无噪信道的信道容量C= log 2n 。 34、强对称信道的信道容量C= log 2n-H ni 。 35、对称信道的信道容量C= log 2m-H mi 。 36、对于离散无记忆信道和信源的N 次扩展，其信道容量C N = NC 。 =∞H )/(lim 121-∞→N N N X X X X H eP π2log 212P ∑=-≤n i k i m 11 m x e m x p -=1)(0≥x =)(X H C me 2log 52 log 2