信息论与编码习题与答案第四章
信息论与编码2016(第4章)
§4.2 离散无记忆信道 对称DMC容量的计算
P的所有列都是第一列的一种置换，信 道是关于输出对称的
0 .8 0 .2 P 0 .5 0 .5 0 .2 0 .8
§4.2 离散无记忆信道
命题2 若DMC关于输出为对称的，则当输入分布等概时，输 出分布等概。 证明 此时{p(y|x)，x=0~ K-1}与{p(0|x)，x=0~ K-1}互为置换。 设q(x)=1/K，x∈{0, 1, …, K-1}。则
q( z ) p( y | z )
都取一个相同的值；对任何满足q(k)=0的k，I(X=k; Y)都 不大于此相同的值。 （2）此时此相同的值恰好就是信道容量C。
§4.2 离散无记忆信道
注解
如果对DMC信道没有任何简化，要计算最佳输 入分布并不容易。但是，通常使用的DMC是很简单 的（比如，以下的准对称信道和对称信道），最佳 输入分布很容易求出。
§4.2 ቤተ መጻሕፍቲ ባይዱ散无记忆信道
定理4.2.2(p91) （1）输入概率分布{x, q(x), x∈{0, 1, …, K-1}}是最佳输入分 布的充分必要条件为：对任何满足q(k)>0的k，
I ( X k ; Y ) p( y | k ) log K 1
y 0 z 0 J 1
p( y | k )
第四章：信道及其容量
§4.1 §4.2 §4.5 §4.6 §4.7 信道分类 离散无记忆信道 信道的组合 时间离散的无记忆连续信道 波形信道
5
§4.1 信道分类
所有信道都有一个输入集A，一个输出集B以及 两者之间的联系，如条件概率P(y│x)，x∈A， y∈B。这些参量可用来规定一条信道。
信息论、编码与密码学课后习题答案
第1章 信源编码
1.1考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS。求信源熵H（X）。
解： 信源熵
H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]
10100+11110=01010 10100+00111=10011
10100+01101=11001
11110+00111=11001 11110+01101=10011
00111+01101=01010
满足第一条性质
2、全零码字总是一个码字
{00000，01010，10011，11001，10100，11110，00111，01101}
(1)给出此信源的霍夫曼码并确定编码效率。
(2)每次考虑两个符号时，给出此信源的霍夫曼码并确定编码效率。
(3)每次考虑三个符号时，给出此信பைடு நூலகம்的霍夫曼码并确定编码效率。
解：
(1)本题的霍夫曼编码如下图所示：
图1.11 霍夫曼编码
则霍夫曼码如下表：
符号
概率
码字
x1
0.5
1
x2
0.4
00
x3
0.1
01
该信源的熵为：
（2）全零字总是一个码字，
（3）两个码字之间的最小距离等于任何非零码字的最小重量，即
设 ，即 ， ， ， ，
首先证明条件（1）：
， ， ， ， ， ，
很明显，条件（1）是满足的。条件（2）也是显然成立的。
《信息论与编码》习题解答-第四章(新)
《信息论与编码》习题解答第四章 信息率失真函数-习题答案4.1解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0110d ，转移概率⎥⎦⎤⎢⎣⎡--=εεεε11)|(i j a b p 平均失真：εεεεε=⨯-⨯+⨯⨯+⨯⨯+⨯-⨯==∑∑==0)1(2/112/112/10)1(2/1),()|()(2121j i i j i j i b a d a b p a p D4.2解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0210d ， 0min =D ,∑=⨯+⨯=⨯+⨯===ij i i j j y x d x p D D )102/122/1(2/112/102/1),()(min min max 舍去当0min =D ，bit X H R D R 12log )()0()(min ====因为没有失真，此时的转移概率为⎥⎦⎤⎢⎣⎡=1001P当2/1max =D ，0)(max =D R因为取的是第二列的max D 值，所以输出符号概率:,1)(,0)(21==b p b p ,,2221b a b a →→因此编码器的转移概率为⎥⎦⎤⎢⎣⎡=1010P 4.3解：0min =D0041041041041),(min )(43041141141141),()(min min min max =⨯+⨯+⨯+⨯===⨯+⨯+⨯+⨯===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 当0min =D ，bit X H R D R 24log )()0()(min ==== 因为没有失真，此时的转移概率为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000010000100001P 当4/3max =D ，0)(max =D R因为任何一列的max D 值均为3/4，所以取输出符号概率:0)(,0)(,0)(,1)(4321====b p b p b p b p ，即14131211,,,b a b a b a b a →→→→因此编码器的转移概率为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0001000100010001P 4.4解： 依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=4/1014/110d ， 0min =D∑=⨯+⨯===ij i i j j y x d x p D D )2/12(4/1)4/12/14/12/1min(),()(min min max 个均为其它当0min =D ，bit X H R D R 12log )()0()(min ====因为没有失真，此时的转移概率为⎥⎦⎤⎢⎣⎡=010001P 当4/1max =D ，0)(max =D R因为取的是第三列的max D 值为1/4，所以取输出符号概率:1)(,0)(,0)(321===b p b p b p ，即3231,b a b a →→因此编码器的转移概率为⎥⎦⎤⎢⎣⎡=100100P 4.5解：(1)依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0110d ，转移概率为：⎥⎦⎤⎢⎣⎡-=q q P 101 )1(0)1()1(1)1(1001),()|()(11p q q p q p p p y x d x y p x p D n i mj j i i j i -⨯=⨯-⨯-+⨯⨯-+⨯⨯+⨯⨯==∑∑==(2) 0min =D因为)(D R 是D 的递减函数，所以)1log()1(log )()()())(m ax (min min p p p p D H p H D R D R ----=-==当0=q 时可达到))(max(D R ，此时0=D(3) ∑-=⨯+⨯===iji i j j ，p p p p y x d x p D D )1(10),()(min min max 舍去更大另一个 因为)(D R 是D 的递减函数，所以0)()()())(m in(max max =-==D H p H D R D R当1=q 时可达到))(min(D R ，此时p D -=1(图略，见课堂展示)4.6解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡∞∞=1010d ，信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡2/12/110)(u p u 0min =D ，∑⨯+⨯⨯+∞⨯∞⨯+⨯===iji i j j y x d x p D D )12/112/1,02/12/1,2/102/1min(),()(min min max )(1]1,,m in[舍去另二个，∞=∞∞=10≤≤D因为二元等概信源率失真函数：⎪⎭⎫ ⎝⎛-=a D H n D R ln )( 其中1,2==a n ，所以率失真函数为：D D R -=1)(4.7解：失真矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011101110d ，按照P81页方法求解。
信息论与编码第四章课后习题答案
p( x2 | x1 ) = p ( x 2 ) p( x3 | x1 x 2 ) = p ( x3 ) …… p( x N | x1 x2 L x N −1 ) = p( x N ) 即 p( x1 x 2 ) = p ( x1 ) p( x 2 ) p( x1 x 2 x3 ) = p ( x1 ) p( x 2 ) p ( x3 ) …… p( x1 x 2 L x N ) = p ( x1 ) p( x2 )L p( x N ) 【4.8】设连续随机变量 X ，已知 X ≥ 0 ，其平均值受限，即数学期望为 A ，试求 在此条件下获得的最大熵的最佳分布，并求出最大熵。 解： 给定条件如下：
2 2 x1 + x2 2
− ∞ < x1 , x2 < ∞
求随机变量 Y1 = X 1 + X 2 的概率密度函数，并计算变量 Y 的熵 h(Y ) 。 解： 1 − p( x1 x 2 ) = e 2π
2 2 x1 + x2 2
1 − 21 = e 2π
x2
1 − 22 e = p( x1 ) p ( x 2 ) 2π
0 = − log λ + log et ln t 1 − log e ∫ dt
= − log λ + log e = log （2） e λ
h( X ) = − ∫ p ( x ) log p ( x)dx ∞ 1 1 −λ x −λ x = −∫ λe log λe dx −∞ 2 2 ∞ 1 = − ∫ λe −λx log λe −λx dx 0 2 ∞ ∞ 1 = − ∫ λe −λx log dx − ∫ λe −λx log λe −λx dx 0 0 2 e = log 2 + log λ 2e = log λ 注： （2）题直接借用了（1）的结论。
王育民信息论与编码理论第四章答案2
4.5若将N 个相同的BSC 级联如题图4.5所示，各信道的转移概率矩阵为⎥⎦⎤⎢⎣⎡--p p p p 11。
令Q t =P{X t =0}，t=0,1,…,N,且Q 0为已知。
题图 4.5(a)求Q t 的表达式。
(b)证明N →∞时有Q N →1/2，且与Q 0取值无关，从而证明N →∞级联信道的信道容量C N →0，P>0。
解：(a)对于满足X N 为马氏链的串联信道，他们总的信道转移概率矩阵为各个串联信道矩阵的乘积，即P(X N |X 0)= P(X 1|X 0) P(X 2|X 1)……P(X N |X N-1)由已知得，但各信道的转移概率矩阵为⎥⎦⎤⎢⎣⎡--p p p p 11 则两个信道级联的转移概率矩阵为： P 2=⎥⎦⎤⎢⎣⎡--p p p p 11⎥⎦⎤⎢⎣⎡--p p p p 11=()()()()⎥⎦⎤⎢⎣⎡-+---+2222112p 12p 1p p p p p p 三个信道级联的转移概率矩阵为： P 3=()()()()⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-+----+33331221211221211221211-2p 2121p p p 四个信道级联的转移概率矩阵为： P 4=()()()()⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-+----+44441221211221211221211-2p 2121p p p 以此类推：可得N 个信道级联的转移概率矩阵为：P N =()()()()⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-+----+N N N N p p p 1221211221211221211-2p 2121 则Q t =P{X t =0}=()()()()()000121221211122121122121Q p p Q p Q p t t t t -+--=-⎥⎦⎤⎢⎣⎡--+⎥⎦⎤⎢⎣⎡-+即Q t 的表达式为：Q t =()()012122121Q p p t t -+-- t=0,1,……,N (b) 由(a)可得到：Q N =()()012122121Q p p t t -+-- 由0<p<1，则0<2p<2，-1<2p-1<1，即|2p-1|<1 则21lim =∞→N N Q ，与Q 0取值无关。
信息论第四章习题解答
四 解 (1) 要能纠一位错，监督位数 r 必须满足 2r ? n ? 1,
章
由 n = 6 ? r 可求得满足该条件的最小的 r 为 r = 4 .
抗
故需构造 (10, 6 ) 码。
干
(2) 可以构造出多种 (10, 6 ) 码，下面仅给出其中的一种。
扰
111100 1000
二 元
监督阵 [H ] =
二
元 编
当
d
为偶数时，可以纠正
??? d
2
2 ?? 位错误， ?
码
且发现 ?? d - 2 ?? ? 1 位错误。
?2?
4
习题解答
第 4.4 试计算 ( 8, 7 ) 奇偶校验码的漏检概率和编码效率，
四
已知码元的错误概率为 Pe = 10- 4 .
章 解 (1) 奇偶校验码不能发现偶数位错误，其漏检概率为：
码
(5) 系统码和非系统码 (略)。
(P 175)
19
习题解答
第 4.13 已知 (7, 4) 循环码的生成多项式为 g( x) = x3 ? x2 ? 1,
四
当收到一循环码字为 0010011 时，根据校验子判断有
章
无错误？哪一位错了？
抗 解 (1) 求校验子 干 扰 二 元 编 码
c0 位错 c1 位错 c2 位错 c3 位错 c4 位错 c5 位错 c6 位错
00000，11101，11110，11000，10100。
编
码
2
习题解答
第 4.2 求 000000、110110、011101、101010 四码字的汉明距离，
四
并据此拟出校正错误用的译码表。
信息论与编码技术第四章课后习题答案
解：（1） D =
∑ P(u,υ )d (u,υ ) = (1 − p)q
UV
（2）根据题4.5，可知R(D)的最大值为H(p),此时q=0,平均失真D=0; （3）R(D)的最大值为0,此时q=1,平均失真D=（1-p）; 4.7 设连续信源 X ，其概率密度分布为
p ( x) =
a − a | x| e 2
达到
D
min
的信道为
⎡1 ⎡1 0 ⎤ ⎡1 0 ⎤ ⎢ ⎥ ⎢ ⎥ ⎢1 [ P (υ j | u i )] = ⎢ ⎢ 0 1 ⎥ , ⎢1 0 ⎥ 或 ⎢ 2 ⎢ ⎣0 1 ⎥ ⎦ ⎢ ⎣0 1⎥ ⎦ ⎢0 ⎣
4.2 已知二元信源 ⎢
0⎤ 1⎥ ⎥ 2⎥ 1⎥ ⎦
1 ⎤ ⎡ X ⎤ ⎡ 0, ⎡0 1⎤ =⎢ =⎢ 以及失真矩阵 ⎡ dij ⎤ ⎥ ⎥ ⎥ ，试求： ⎣ ⎦ ⎣ p ( x ) ⎦ ⎣ p, 1 − p ⎦ ⎣1 0 ⎦
g (θ ) 的傅立叶变换
G s(w) = ∫
+∞ −∞
g
s
(θ )e
− jwθ
dθ =
s
2
s
2 2
+w
, (3)
得: Q( w) = P ( w) + w2 P( w), (4)
2
s
求式（4）的傅立叶反变换，又根据式（2）得
p( y ) = p( x = y) − D 所以 p( y ) =
2
p ( x = y), (5)
⎡0 ⎢1 定义为 D = ⎢ ⎢1 ⎢ ⎣1
解：
1 0 1 1
1 1 0 1
1⎤ 1⎥ ⎥ ，求 Dmax , Dmin 及信源的 R ( D ) 函数，并作出率失真函数曲线(取4到5个点)。 1⎥ ⎥ 0⎦
信息论与编码第四章课后习题答案
∫ =
− log λe−λx
∞ 0
+ log e
ln e−λx de−λx
∫ =
− log
λ
+
log
et
ln
t
0 1
−
log
e
dt
= −log λ + log e
= log e λ
（2）
h( X )
= −∫ p(x)log p(x)dx
∫ = − ∞ 1 λe−λ x log 1 λe−λ x dx
−∞ 2
2
∫ = − ∞ λe−λx log 1 λe−λxdx
0
2
∫ ∫ = − ∞ λe−λx log 1 dx − ∞ λe−λx log λe−λxdx
0
2
0
= log 2 + log e λ
= log 2e λ
注：（2）题直接借用了（1）的结论。
【4.3】设有一连续随机变量，其概率密度函数为：
sin
x
=
1 2
log
e∫
ln(1
+
sin
x)d
sin
x
+
1 2
log
e∫
ln(1
−
sin
x)d
sin
x
∫ ∫ ln(1+ sin x)d sin x
π
= (1 + sin
x) ln(1+ sin
x)
2 −π
−
2
1 + sin x d sin x 1 + sin x
= 2ln 2 − 2
∫ ln(1− sin x)d sin x
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
4-1 设有一个二元等该率信源{}1,0∈X ,2/110==p p ，通过一个二进制对称信道（BSC ）。
其失真函数ij d 与信道转移概率ij p 分别定义为
j i j i d ij =≠⎩⎨⎧=,0,1 ，j i j i p ij =≠⎩
⎨⎧-=,1,εε 试求失真矩阵d 和平均失真D 。
解：由题意得，
失真矩阵为d ⎥⎦⎤⎢⎣⎡=0110d ，信道转移概率矩阵为P ⎥⎦
⎤⎢⎣⎡--=εεεε11)(i j 平均失真为ε
εεεε=⨯-+⨯+⨯+⨯-=
=∑0)1(211211210)1(21),()()(,j i d i j p i p D j
i 4-3 设输入符号与输出符号X 和Y 均取值于{0,1,2,3}，且输入符号的概率分布为P(X=i)=1/4,i=0,1,2,3,设失真矩阵为
⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎣⎡=0111101111011110d 求)(),(,,max min max min D R D R D D 以及相应的编码器转移概率矩阵。
解：由题意，得 0min =D
则symbol bit X H R D R /24log )()0()(2min ====
这时信源无失真，0→0,1→1,2→2,3→3，相应的编码器转移概率矩阵为
⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎣⎡=1000
010*********)j (i P ∑===30
3,2,1,0max ),()(min i j j i d i p D
，，14
1141041141141141141041min{⨯+⨯+⨯+⨯⨯+⨯+⨯+⨯=
}04
1141141141141041141141⨯+⨯+⨯+⨯⨯+⨯+⨯+⨯， 43}43,43,43,43min{== 则0)(max =D R
此时输出概率分布可有多种，其中一种为：p(0)=1,p(1)=p(2)=p(3)=0 则相应的编码器转移概率矩阵为⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎣⎡=0001000100010001)(i j P
4-5 具有符号集{}10,u u U =的二元信源，信源发生概率为：2/10,1)(,)(10≤<-==p p u p p u p 。
Z 信道如下图所示，接收符号集},{10v v V =，转移概率为：q u v q u v q -==1)(,1)(1100。
发出符号与接收符号的失真：1),(),(,0),(),(10011100====v u d v u d v u d v u d 。
（1）计算平均失真D ；
（2）率失真函数R(D)的最大值是什么？当q 为什么值时可达到该最大值？此时平均失真D 是多大？
（3）率失真函数R(D)的最小值是什么？当q 为什么值时可达到该最小值？此时平均失真D 是多大？
（4）画出R(D)-D 的曲线。
0u 1u 0
v 1v 1
q q -1
解：由题意，知
失真矩阵为d ⎥⎦⎤⎢⎣⎡=0110,转移概率矩阵为⎥⎦
⎤⎢⎣⎡-=q q Q 101 p u p p u p -==1)(,)(10
（1） 平均失真)
1(0)1()1(1)1(1001)
,()()(,p q q p q p p p v u d u v q u p D j i i j j
i i -=⨯-⨯-+⨯⨯-+⨯⨯+⨯⨯==∑
（2） )
1(log )1(log )
()0()()(max 22min p p p p U H R D R D R ----==== 此时的平均失真0min ==D D ，则q=0
（3） minR(D)=0 此时),()(101,0max min j i
i i j v u d u p D ∑===
}0)1(1,1)1(0{min ⨯-+⨯⨯-+⨯=p p p p p p p =-=},1min{
此时输出符号概率1)(,0)(10==v p v p ，相应的的转移概率矩阵为
⎥⎦
⎤⎢⎣⎡=1010Q 而在给定的信道下，⎥⎦
⎤⎢⎣⎡-=q q Q 101 令 )]()([min );(min )(V U H U H V U I D R -===0
)](log ),()1log()1(log min[101
0j i j i j i v u q v u p p p p p ∑∑==+----=
)]
log()()1(log )1(log )1log()1(log min[pq q p pq q p p q p q p p p p p p -+-+---++----= 0
)]log()()1(log )1()1log()1(min[=-+-+---+---=pq q p pq q p p q p q p p 容易看出当 1=q 时，R(D)=0
此时的平均失真D=q(1-p)=1-p>p )2/10(≤<p
（4）
)(D R D )
(U H max D p
1
R(D)-D 曲线。