信息论与编码理论-第3章信道容量-习题解答
第3章 信道容量
习题解答
3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3??
????
解: (1) 若12()3/4,()1/4P a P a ==,求(),(),(|),(|)H X H Y H X Y H Y X 和
(;)I X Y 。
i i 2
i=1
3311
H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-?-=∑符号
111121*********
j j j=1
32117
p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125
p(b )=p(a )p(b |a )+p(a )p(b |a )=434312
7755
H(Y)=p(b )log(b )=log()log()0.9799(/)
12121212bit ?+?=
?+?=
---=∑符号 22
i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )
2211
log()log()0.9183(/)
3333
i j
j
bit -=-=-?-?=∑∑符号
I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)
(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量
H(P)=-plog(p)-(1-p)log(1-p)
1122
C =1-H(P)=1+log()+log()=0.0817(bit/)
3333符 BSC 信道达到信道容量时,输入为等概率分布,即:{,} 注意单位
3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
1b 2b 3b 3
a 2a 1a Y X 1
b 2b 3
a 2a 1a Y X 1
b 2b 2
a 1
a Y X 3
b 111
111
1
0.7
0.3
第一种:无噪无损信道,其概率转移矩阵为: 1 0 0P=0 1 00 0 1??
????????
信道容量:()
max (;)P X C I X Y @ bit/符号
()
()
()
()
max{(;)}max{()(|)}
(|)0
max{(;)}max{()}
p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==
离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量,
C=log3=1.5850 bit/符号 输入最佳概率分布如下:111,,333??
????
第二种:无噪有损信道,其概率转移矩阵为: 1 0P=0 10 1??
????????,离散输入信道, ()
()
()
()
max{(;)}max{()(|)}
(|)0
max{(;)}max{()}
p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==
H(Y)输出为等概率分布时可达到最大值,此值就是信道容量 此时最佳输入概率:123p(a )+p(a )=0.5,p(a )=0.5 信道容量:C=log(2)=1 bit/符号 第三种:有噪无损信道,由图可知:
()
()
()
()
max{(;)}max{()(|)}
(|)0
max{(;)}max{()}
p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==
输入为等概率分布时可达到信道容量,此时信道容量
p(x)
C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布:11,22??
????
3-3 设4元删除信道的输入量{1,2,3,4}X ∈,输出量{1,2,3,4,}Y E ∈,转移概率为
(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i ε
ε
===-===????
?
???
??
??
????????
?
???????????????
其中1,2,3,4i = 1)该信道是对称DMC 信道吗 2)计算该信道的信道容量;
3)比较该信道与两个独立并联的二元删除信道的信道容量。 (1)本通信过程的转移概率分布如下所示:
1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε?????
??????? 可以分解为两个矩阵: 1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε ε????
????
????????????????
可以看出该信道不是对称DMC 信道,它是准对称DMC 信道。 (2)该信道的信道容量为:(直接套用准对称信道计算公式)
2log (|)log (|)log log (4)(1,)(1)log(1)log(4)
2(1)log(1)log()(1)log(1)log(4)1
2log()22(/)
4
j k j k s s
j
s
C n p b a p b a N M H bit εεεεεεεεεεεεεεεε=+-=------=+--+----=+=-∑∑符号 (3)两个独立并联的二元删除信道其转移概率如下:
1-ε ε 00 ε 1-ε??????可以写成:1-ε 0 ε 0 1-ε ε ????
????????
与的形式
独立并联的二元信道的信道容量为两个信道容量的和。
其信道容量为:1(1-ε,ε )(1-ε)log(1-ε)εlog(2ε)=1-εC H =--- bit/符号 两个独立并联和删除信道的信道容量=2C=22-ε bit/符号 本信道的信道容量与两个并联删除信道信道容量相等。
3-4 设BSC 信道的转移概率矩阵为
1
12211Q εεεε-??=??-??
1)写出信息熵()H Y 和条件熵(|)H Y X 的关于1()H ε和2()H ε表达式,其中
()log (1)log(1)H εεεεε=----。
2)根据()H ε的变化曲线,定性分析信道的容道容量,并说明当12εε=的信道容量。
解:(1)设输入信号的概率颁布是{p,1-p}
111121212
()()(|)()(|)(1)(1)p b p a p b a p a p b a p p =?+?=?-ε+-?ε212122212()()(|)()(|)(1)(1)
p b p a p b a p a p b a p p =?+?=?ε+-?-ε
11221212121212()()log ()()log ()
[(1)(1)]log[(1)(1)][(1)(1)]log[(1)(1)][(1)(1)]
H Y p b p b p b p b p p p p p p p p H p p =--=-?-ε+-?ε?-ε+-?ε-?ε+-?-ε?ε+-?-ε=?-ε+-?ε
2
,1
111222212(|)()(|)log (|)
[(1)log(1)1log()](1)[(1)log(1)log()]()(1)()
i j i j i i j H Y X p a p b a p b a p p p H p H ==-=-?-ε-ε+εε---ε-ε+εε=?ε+-?ε∑
(2)()H ε的变化曲线,是一个上凸函数,当输入等概率分布时达到信道
容量。
()
()
1212()
max{(;)}max{()(|)}
max{[(1)(1)]()(1)()}p x p x p x C I X Y H Y H Y X H p p p H p H ==-=?-ε+-?ε-?ε+-?ε
由于函数H (ε)是一个凸函数,有一个性质:
1212((1))()(1)()f f f θ?α+-θ?α≥θ?α+-θ?α
可知:C ≥0
假设12εε==ε时此信道是一个二元对称信道,转移概率分布为:
11Q ε-ε
ε??=??
ε-?? 信道容量:
121-log -(1-)log(1-)1-()
C H εεε
εεεεε==== 3-5 求下列两个信道的容量,并加以比较。
1-p-εp-ε2εp-ε1-p-ε2ε??
???? 12010
2p p p p ε
εεεεε---??
??---?
?
第一个:可以写成:1-p-ε p-εp-ε 1-p-ε????
??与2ε2ε??
????
11(1-p-ε,p-ε,2ε)(12ε)log(12ε)2εlog(4ε)C H =----- bit/符号
第二个:12010
2p p p p ε
εεε
εε---??
?
?---??
??????1-p-ε p-εp-ε 1-p-ε与2ε 00 2ε??
???
?两个对称形式
21(1-p-ε,p-ε,2ε,0)(12ε)log(12ε)2εlog(2ε)C H =-----bit/符
号
122ε<0C C -=-
所以:信道一的信道容量大于信道二的信道容量,信道容量的不增性。
3-6设信道前向转移概率矩阵为
1
000101Q p p p p ????=-??
??-??
1)求信道容量和最佳输入概率分布的一般表达式;
2)当0p =和1/2p =时,信道容量分别为多少并针对计算结果做出说明。 (1)此信道为非对称信道,设输入概率分布为:
{}123123p ,p , p p +p + p 1=
输出概率分布为:
{}123123q ,q , q q +q + q 1=
[]111112123131231
2212122232312323331max (;)max[()(|)]
()()(|)()(|)()(|)100()()(|)()(|)()(|)0(1)(1)()()C I X Y H Y H Y X q p b p a p b a p a p b a p a p b a p p p p q p b p a p b a p a p b a p a p b a p p p p p p p p p
q p b p a ==-==?+?+?=?+?+?===?+?+?=?+?-+?=?-+?==?3123233312323(|)()(|)()(|)0(1)(1)
p b a p a p b a p a p b a p p p p p p p p p +?+?=?+?+?-=?+?-
3
,1
122332323(|)()(|)log (|)
1log1(1)log(1)log log (1)log(1)
()(1)log(1)()log i j i j i i j H Y X p x p y x p y x p p p p p p p p p p p p p p p p p p p p p
==-=-??-?---??-?-?--=-+---+∑
[]12323max (;)max[()(|)]max[(,,)(,1)(,1)]
C I X Y H Y H Y X H q q q p H p p p H p p ==-=----
把C 对P 1,P 2,P 3 分别求导:123
δC δC δC =0 =0 =0δp δp δp ,可得:
232323233232log(1)(1)log[(1)]log[(1)](,1)0log(1)(1)log[(1)]log[(1)](,1)0
p p p p p p p p p p p p H p p p p p p p p p p p p p p H p p -----+-+---=??
-----+-+---=?可得: P 2 = P 3 22log(12)log (,1)0p p H p p ----= 可以解得:23(,1)122
H P P p p -==
+
最佳输入概率分布的表达式为:
(,1-)(,1-)(,1-)
2111,,222222H P P H P P H P P ??
-??+++??
设(,1)
2
2H P P N -+=则
123()
21
p =1 p =p =N N
max{()(|)}22212
(1)log(1)log ()p x C H Y H Y X H p N N N N N
-
=-=--
---
(2)p=0时,100010001Q ??
??=??
????是一个对称信道,当输入等概率分布时可以达到信道容量,输入转移概率为111,,333??
????
N=3,所以2221
(1)log(1)log 1.58503333
C =----= bit/符号
(3)p=1/2时,100110
221102
2Q ?????
???
=???????
?
,可得N=4, 1111111
log log (,)12224222C H =---= bit/符号
3-7设BSC 信道的前向转移概率矩阵为
0.980.020.020.98Q ??
=??
??
设该信道以1500个二元符号/秒的速度传输输入符号,现在一消息序列共有14000个二元符号,并设在这消息中(0)(1)1/2P P ==,问从信息传输的角度来考虑,10秒钟内能否将这消息序列无失真地传输完。 解:BSC 信道,且输入为等概率,信道容量
1(0.98,0.02)0.8586C H =-= bit/符号
14000个二元符号的信息量为:14000log2=14000?符比特
1500/100.8568/12852??=符秒秒比特符比特<14000比特
所以10秒内不能无失真的传输完。
3-8 有m 个离散信道,转移概率矩阵分别为12,,,m Q Q Q L 。由这m 个离散信道组成一个新信道,称为和信道,其转移概率矩阵为:
12
00000
m Q Q
Q Q ?????
?=???
???
L L M M O M L
设k C 是第k 个离散信道的信道容量。试证明:和信道的信道容量为
1
log 2k m
C k C ==∑
此时第k 个信道的使用概率为()
2
k C C k P -=。
解:m=2时,转移矩阵变为: 12Q 0Q=0 Q ??
????
,设两个信道的信道容量分别为:12,C C ,信道的利用率分别为:1212p ,p p +p 1=并且,并行信道,有C=C 1+C 2
()
()
,1
111111()
1,11
112222222,21
22(|)max{(;)}max{()(|)log
}
()
(|)max{
()(|)log
()(|) ()(|)log
}
()
n
j i i j i p x p x i j j n
j i i j i p x i j j n
j i i j i i j j p y x C I X Y p x p y x p y p y x p p x p y x p p y p y x p p x p y x p p y ======+
∑∑
∑
111
111()
1,11
1222
2222,21
211221212()112212()
(|)max{()(|)log
()(|) ()(|)log
()
log log }
max{(;)2(;)(,)}
max{(,)}
n
j i i j i p x i j j n
j i i j i i j j p x p x p y x p p x p y x p y p y x p p x p y x p y p p p p p I X Y p I X Y H p p p C p C H p p ===+--=++=++∑
∑
分别对C 1,C 2进行求导可得:
12
1122dC dC =0 =0dp dp 1C logp =In2
1C logp =
In2
????
???--可得:1122C logp =C logp -- 令1122C logp =C logp m =--,可得:12C m
C m 1212p =2
,p =2,p p 1+=--
12112212121212121212C m C m C m C m C m C m
12C m C m C m C m 1212C m C m 12C C 12C C C C C C C C C 222log 22log 222(C m)2(C m)2(22)(p p )p =2
,p =2
221222log(22)
C
C
C C C C C m m m C ??=++--??
=+--=+=+=∴+=→=+→=+------------------
依次类推,可得:k k m
C C C
k k=1C=log( 2 ) p 2=∑-
3-9 求N 个相同的BSC 级联信道的信道容量。
解:N 个相同BSC 级联,设11001(1)10110i Q εεεεεε-??????
==-?+???????-?????? 级联后:111.....111Q εεεεεεεεεεεε---??????=????????---??????
1
10101(1)
10101010 ...(1)0101n n n
i n n n
Q Q C C εεεε-????????==?+??-???????????
???????
?????-?????????????
N 为偶数时:0 1101 001n
Q ????==???????? N 为奇数时:0 1011 010n Q ????==????????
可知本信道等同于BSC 信道,可得出:(,1)C H p p =- bit/符号 3-10 电视图像由30万个像素组成,对于适当的对比度,一个像素可取10个可辨别的亮度电平,假设各个像素的10个亮度电平都以等概率出现,实时传送电视图像每秒发送30帧图像。为了获得满意的图像质量,要求信号与噪声的平均功率比值为30dB ,试计算在这些条件下传送电视的视频信号所需的带宽。 解:
i 1
p(x )=
10
()log10 3.32/I X bit ==像素
1秒内可以传送的信息量为:
3.3219/bit bit ????7像素3010000像素30=2.989710
103
36log(1),:10log ()3010log(110): 2.999510S S
C B dB N N
S
N
B B HZ
=+
=∴=?=+=?7已知2.989710可得
3-11 一通信系统通过波形信道传送信息,信道受双边功率谱密度
80/20.510N -=?W /Hz 的加性高斯白噪声的干扰,信息传输速率
24R =kbit/s ,信号功率1P =W 。
1)若信道带宽无约束,求信道容量;
解:带限的加性高斯白噪声波形信道的信道容量为
无带宽约束时:
00
080
lim lim
log(1)
log 1.442710/S S t w w S S P N W P
C C N P N W P
e bit s
N ->∞
->∞==+==?
2)若信道的频率范围为0到3KHz ,求信道容量和系统的频带利用率/R W (bps/Hz )(注:W 为系统带宽);对同样的频带利用率,保证系统可靠传输所需的最小0/b E N 是多少dB W=3KHZ
在最大信息速率条件下,每传输1比特信息所需的信号能量记为E b
S
b P E =
C
04
8
84
00log(1)log(1)13000log(1) 4.5074101103000
24/8/3133.47110 4.507410S
b S P C W W SNR N W
bps R kbit s bps Hz W KHz E P dB N N C --=+
=+=?+
=???=====???
3)若信道带宽变为100KHz ,欲保持与2)相同的信道容量,则此时的信噪
比为多少dB 信号功率要变化多数dB
450005
8
3
3
1004.507410log(1)10log(1)0.3667: 4.3654'0.366710100.366710'0.36671034.35691
S S S
s s W KHZ
P P
bps W N W N W
P SNR dB N W
Ps w P dB
P ---=?=+=+=
=-=??=??==-1010即信号功率的变化为:
10log 10log