信息论与编码理论-第3章信道容量-习题解答-071102

第3章信道容量

习题解答

2/3 1/3

3-1设二进制对称信道的转移概率矩阵为

1/3 2/3

解：⑴若 P 佝)3/4, P(a 2)1/4 ,求 H(X),H( Y),H(X| Y), H (Y|X)和 l(X; Y)。

H(X)=

p(ajog p®)

| log (扌) i=1

4 4

3 p(b 1)=p(a 1)p(b 1|a 1)+p(a 2)pQ |a>)=-

4 3 p(b 2)=p(a 1)p( b 2|a 1)+p(a 2)p(b 2|a 2)=-

4

2 3 1 3 1 4 1 4 1 3 2 3 7 12 H(Y)= : p(bjMggp 三如右)

152l og(15

2) 0.9799(bit/ 符号) 2 H(Y|X)= P (a j ,b j )log p(b j |aj i,j 2 2

3叫)

2

p (b j |a i )log p(b j |a i ) j 1 1 -log(—) 0.9183(bit/符号)

3 3

l(X;Y )=H( Y) H(Y1X)=0.9799 0.9183 0.0616(bit/ 符号) H(X| Y)二

H(X) I(X;Y)=0.8113 0.0616 0.7497(bit / 符号) (2)求该信道的信道容量及其达到信道容量时的输入概率分布。 二进制对称信息的信道容量 H(P )= -p log( p) -(1- p)log(1- p) 1 1 2 2 C=1-H(P)=1+ -log(丄)+2log(

-)=0.0817(bit/ 3 3 3 3 符)

BSC 信道达到信道容量时，输入为等概率分布，即: 注意单位

｛，

｝

1log(1

) 0.8113(bit /符

号)

p(a 1) p(b 2 |a 1)

(1 p) (1 2)

p(a 2) p(b 2 |a 2)

p(a i )p(b j | a i )log p(b j |a i )

i ,j 1

1)log(1 1) 1log( 1)]

2)log(1 2) 2 log( 2)]

(1 p) H( 2)

2) H ( ) 的变化曲线，是一个上凸函数，当输入等概率分布时达到信道 容

量。

C max{I(X;Y)} max{ H (Y ) H(Y |X)} m p(a x)x{ H [ p (1

由于函数H (£ )是

3-4设BSC 信道的转移概率矩阵为 Q 1 1 1

212

1)写出信息熵H(Y)和条件熵H(Y |X)的关于H( 1)和H( 2)表达式，其中 H( ) log (1 )log(1 )。 2)根据 H ( ) 的变化曲线，定性分析信道的容道容量， 并说明当 1 2

的

信道容量。 解：(1)设输入信号的概率颁布是 {p,1-p} p(b 1) p(a 1) p(b 1 |a 1

)

p (1

1) (1 p) 2

p(a 2) p(b 1 |a 2)

H(Y)

[p [p 1 H[p

p(b 1)log

p(b 1) (1 (1 (1

1) p) 1) 2

(1 (1 (1 p(b 2)log 2 ]log[ p 2)]log[ p 1 p) 2]

p) p(b 2)

(1 1) (1 (1 p) (1 p) 2 ]

2)]

p(b 2) H(Y|X)

p [(1 (1 p)[(1

p H( 1) 1) (1 p)

2] p H( 1) (1 p) H ( 2)}

f ( 1 (1 ) 2) f( 1) (1 ) f( 2)

个凸函数，有一个性质：

可知：C 假设1

2

时此信道是一个二元对称信道，转移概率分布为：

信道容量:

1 2

C 1- log -(1- )log(1-) 1-H()

3-10电视图像由30万个像素组成，对于适当的对比度，一个像素可取

10

个可辨别的亮度电平，假设各个像素的10个亮度电平都以等概率出现，实 时传送电视图像每秒发送30帧图像。为了获得满意的图像质量，要求信号 与噪声的平均功率比值为30dB ,试计算在这些条件下传送电视的视频信号 所需的带宽。 解：

P (

x%

I (X) log10 3.32bit/像素 1秒内可以传送的信息量为：

3.3219bit/ 像素 30 10000像 素 30=2.9897 107

bit

S

),已知:10log 10(—) 30dB N N

Blog(1 103)可得：B 2.9995 106

HZ

3-11 一通信系统通过波形信道传送信息，信道受双边功率谱密度 N o /2 0.5 10 8 W / Hz 的加性高斯白噪声的干扰，信息传输速率 R 24 kbit/s ，信号功率 P 1W 。

1）若信道带宽无约束，求信道容量； 解：带限的加性高斯白噪声波形信道的

信道容量为

C Blog(1 S 3

—103

N 2.9897 107

1

4.5074 104

b ps Wlog(1 旦)105

log(1

NW P

S )

NW

SNR

N o W

Ps' 0.3667 10

5

信号功率的变化为

0.3667即: 4.3654dB

108

0.3667 10 3

w

10log 10 P

^' 10log P s 0.3667 10 3

10 ■

34.3569dB

C limC t

lim-P s NW 旦)

w

w

N 。P S

NW

邑 loge 1.4427 108

bit/s N 。

2）若信道的频率范围为0到3KHz 求信道容量和系统的频带利用率 R/W

（bps/Hz ）（注: W 为系统带宽）；对同样的频带利用率，保证系统可靠传输 所需的最小E b /N o 是多少dB

3）若信道带宽变为 比为多少dB 信号功率要变化多数dB

W 100KHZ

无带宽约束时:

W=3KHZ

在最大信息速率条件下，每传输 1比特信息所需的信号能量记为 E b

C W log(1

P S NW

)Wlog(1

SNR)

3000 log(1 1 108

3000) 4.5074 104b ps

R W E b 24kbit/s 3KHz P S

8bp s/Hz

N 。

N 0C 1 10 8 4.5074 104 33.4

7d B

100KHz 欲保持与2）相同的信道容量，则此时的信噪