信息论与编码理论-第3章信道容量-习题解答

第3章 信道容量

习题解答

3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤

⎢⎥

⎣⎦

解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和

(;)I X Y 。

i i 2

i=1

3311

H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号

111121*********

j j j=1

32117

p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125

p(b )=p(a )p(b |a )+p(a )p(b |a )=434312

7755

H(Y)=p(b )log(b )=log()log()0.9799(/)

12121212bit ⨯+⨯=

⨯+⨯=

---=∑符号 22

i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )

2211

log()log()0.9183(/)

3333

i j

j

bit -=-=-⨯-⨯=∑∑符号

I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)

(2)求该信道的信道容量及其达到信道容量时的输入概率分布。

二进制对称信息的信道容量

H(P)=-plog(p)-(1-p)log(1-p)

1122

C =1-H(P)=1+log()+log()=0.0817(bit/)

3333

符

BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位

3-2 求下列三个信道的信道容量及其最佳的输入概率分布。

1b 2b 3b 3

a 2a 1a Y X 1

b 2b 3

a 2a 1a Y X 1

b 2b 2

a 1

a Y X 3

b 111

111

1

0.7

0.3

第一种：无噪无损信道，其概率转移矩阵为： 1 0 0P=0 1 00 0 1⎡⎤

⎢⎥⎢⎥⎢⎥⎣⎦

信道容量：()

max (;)P X C

I X Y bit/符号

()

()

()

()

max{(;)}max{()(|)}

(|)0

max{(;)}max{()}

p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==

离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，

C=log3=1.5850 bit/符号

输入最佳概率分布如下：111,,333⎧⎫

⎨⎬⎩⎭

第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1⎡⎤

⎢⎥⎢⎥⎢⎥⎣⎦，离散输入信道， ()

()

()

()

max{(;)}max{()(|)}

(|)0

max{(;)}max{()}

p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==

H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号

第三种：有噪无损信道，由图可知：

()

()

()

()

max{(;)}max{()(|)}

(|)0

max{(;)}max{()}

p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==

输入为等概率分布时可达到信道容量，此时信道容量

p(x)

C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：11,22⎧⎫

⎨⎬⎩⎭

3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为

(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i ε

ε

===-===⎡⎤⎢⎥

⎢

⎥⎢⎥

⎢⎥

⎣⎦

⎡⎤⎡⎤⎢⎥⎢⎥

⎢

⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦

其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；

3）比较该信道与两个独立并联的二元删除信道的信道容量。 （1）本通信过程的转移概率分布如下所示：

1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε⎡⎤⎢⎥⎢

⎥⎢⎥⎢⎥⎣⎦ 可以分解为两个矩阵： 1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε ε⎡⎤⎡⎤

⎢⎥⎢⎥

⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦

可以看出该信道不是对称DMC 信道，它是准对称DMC 信道。