信息论基础与编码— 信道及信道容量ch04.article

信息论基础与编码—信道及信道容量

Contents

1 综述2

2 信道分类2

3 信道模型3

4 信道疑义度4

5 平均互信息量及其性质5

6 信道容量5

6.1 离散无记忆信道容量定理. . . . . . . . . . . . . . . . . . . . . . . 6

7 信道容量的计算7

7.1 离散无噪、无损信道的信道容量计算. . . . . . . . . . . . . . . . 7

7.2 离散对称信道的信道容量计算. . . . . . . . . . . . . . . . . . . . 8

7.3 信道矩阵可逆的信道容量求法. . . . . . . . . . . . . . . . . . . . 8

7.4 拉格朗日乘数法. . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

7.5 信道容量的迭代计算法. . . . . . . . . . . . . . . . . . . . . . . . 9

8 数据处理定理11

9 信道的组合11

10 连续信道及其容量12

10.1 连续随机变量的互信息量. . . . . . . . . . . . . . . . . . . . . . . 12

10.2 连续信道的信道容量. . . . . . . . . . . . . . . . . . . . . . . . . 13

10.3 高斯加性信道的信道容量. . . . . . . . . . . . . . . . . . . . . . . 13

10.4 多维高斯加性信道的信道容量. . . . . . . . . . . . . . . . . . . . 14

10.5 波形信道及其信道容量. . . . . . . . . . . . . . . . . . . . . . . . 15

1

1 综述

?在通信系统中，信道是很重要的一部分。信道的任务是以信号的方式传输信息或存储信息。

?研究信道的两个基本问题是

1. 一个给定的信道中能够传输或存储的最大信息量，即信道容量的问

题；

2. 如何在有噪声的信道中可靠地传输或存储信息的问题。

?在本章的学习中，如果没有明确说明，则一律假设信源是理想的，即独立等概分布的离散多符号信源。

?一些有噪信道的例子：

–一根模拟电话线用于两个Modem 之间的数字通信

–木星轨道空间站与地球之间的无线电通信链路

–细胞的繁殖，父细胞向子细胞传递DNA 信息

–一个磁盘驱动器

2 信道分类

?信道是指信息传输的通道。包括：

–空间传输针对我们常见的情形，例如各种物理通道：电缆、光缆、空间等；

–时间传输是指将信息保存，以后再读取。

?按输入/输出之间的记忆性来划分：

–信道的输出只与信道当前时刻的输入有关而与信道其他时刻的输入无关，则为无记忆信道；

–信道的输出不仅与信道当前时刻的输入有关而且与以前时刻的输入有关，则为有记忆信道。

?根据信道的参数是否随时间改变可分为

–信道的统计特性不随时间变化的平稳信道；

–信道的统计特性随时间变化的非平稳信道。

?根据输入/输出的个数可分为：

–一个输入一个输出为单用户信道；

–多个输入多个输出为多用户信道，例如广播信道、卫星通信信道、网络通信信道等。

2

3

?

? 根据信道输入端和输出端的关系，可分为：

– 信道输出端无信号反馈到输入端的无反馈信道； – 信道输出端有信号反馈到输入端的反馈信道。 ? 根据信号的特点，可分为：

– 输入和输出均为离散取值信号的离散信道； – 输入和输出均为连续取值信号的连续信道；

– 输入和输出一个为离散取值，一个为连续取值的半连续信道； – 时间上也连续的取值连续信道称为波形信道。

? 本课程只研究单用户、无记忆、无反馈、平稳的离散信道，它是进一步研 究其它各种类型信道的基础。

3 信道模型

? 对于离散无记忆信道 (DMC) 来说：设信道的输入随机变量 X 的取值集合 为 A = {a 1, a 2, . . . , a r }，相应的概率分布为 {p i }，输出随机变量 Y 的取值 集合为 B = {b 1, b 2, . . . , b s }，相应的概率分布为 {q j }。则单符号信道特性 可以用信道转移概率矩阵来表示：P = (p ji )rs = (Pr {Y = b j |X = a i })rs 。

信道的数学模型为三元组 {X, P, Y }。

? 我们可以将上述数学描述简单地扩展到多符号的信道特性：信道的输 入序列为 X = (X 1X 2 . . . X N )，其取值为 α = (x 1x 2 . . . x N )，其中 x i ∈ A, 1 ? i ? N ；相应的输出序列为 Y = (Y 1Y 2 . . . Y N )，其取值为 β = (y 1y 2 . . . y N )， 其 中 y j ∈ B, 1 ? j ? N ； 信 道 转 移 概 率 为 p (β|α) = p (y 1y 2 . . . y N |x 1x 2 . . . x N )。

多符号信道的数学模型为三元组 {X , p (β|α), Y }。

Example 1. 二进制对称信道（BSC ）：

(1 ? p )

0 ? /?

[

1 p p

]

? /

? x

/? p y

P =

p 1 ? p

/ ? / ??

1

? 1 (1 ? p )

4

? B ? ?????? B ??? C

. E ....? ? ??? ? ... ??? Z 3

.

Example 2. 二进制删除信道（BEC ）：

(1 ? p )?

0 ?? p x

q ??? 1

? ??

? ?

? ? y

? 1

P =

[ 1 ? p p 0 ] 0 q 1 ? q

Example 3. Z 信道：

(1 ? q )

1

? 0 /? /

[

1 0 ]

x

/ p / /

1

? 1 y

P =

p 1 ? p

(1 ? p )

Example 4. 噪声打字机信道： A ...... ???? A ????...?.??

............

1

1

3 3 1 1 0 0 ·

· · 1

1

C ?.? ?.? ?

3

3

3 0 · · · 0

?......?..

. P =

1 1

1 0 D ?? ?

???? D

3

3

. 3

· · ·

.

?

. . . . . .

.

??? ?

』 ??.? E .

.

1 1

? ? ... ?.? 3

0 0 0 · · ·

3

....? ????? ??? ......

? Y .......? ??.?.. Y Z ?.? ? .?.? ? -

?? ??....??◆ -

4 信道疑义度

Definition 5. H(X|Y ) 称为信道疑义度，意为当收到信道输出的所有符号之后对信道

输入的符号尚存的平均不确定性。

?信道疑义度也表示信源符号通过有噪信道传输后所引起的信息的损失，故也称为损失熵；输出变量Y 的平均不确定性等于通过信道传递过来的平均

互信息量I(X; Y)加上H(Y |X)，这完全是由于信道中的噪声引起的，因

5

6

此 H (Y |X ) 又称为噪声熵或散布熵，它反映了信道中噪声源的平均不确定 性。

? 若信道是理想的：一一对应，则损失熵 H (X |Y ) 和噪声熵 H (Y |X ) 都应该 为零。

? 若信道的输入 X 和输出 Y 之间完全统计独立，则 I (X ; Y ) = 0，此时 H (X |Y ) = H (X )，H (Y |X ) = H (Y )。

5 平均互信息量及其性质

? 平均互信息量 I (X ; Y ) 表示信道传输信息的数量。 ? 平均互信息量的凸性：

Theorem 6 (1). 在给定信源分布的情况下，I (X ; Y ) 是信道转移概率的下凸函数。 Theorem 7 (2). 在给定信道转移概率的情况下，I (X ; Y ) 是信源分布的上凸函数。

? N 次扩展信道的平均互信息量：

Theorem 8 (3). 假设信道的输入随机序列为 X = (X 1X 2 . . . X N )，接收到的随 机序列为 Y = (Y 1Y 2 . . . Y N )。假若信道是无记忆的，则

N

I (X ; Y ) ? ∑

I (X i ; Y i )

(1)

i =1

当且仅当信源也为无记忆时上式才取等号。

Theorem 9 (4). 若信道的输入随机序列为 X = (X 1X 2 . . . X N )，通过信道传输， 接收到的随机序列为 Y = (Y 1Y 2 . . . Y N )。假若信源是无记忆的，则

N

I (X ; Y ) ? ∑

I (X i ; Y i )

(2)

i =1

当且仅当信道也为无记忆时上式才取等号。

Example 10. 当一个 BSC 的错误概率为 p = 0.15 时，其平均互信息量 I (X ; Y ) 与信源分布 p 1 的关系如下左图所示；

当一个 Z 信道的错误概率也为 p = 0.15 时，其平均互信息量 I (X ; Y ) 与信源 分布 p 1 的关系如下右图所示；

6 信道容量

Definition 11. 信道中平均每个符号所传送的信息量称为信道的信息传输率：

R =△

I (X ; Y )

(3)

7

{

1

2 ?x = λ x > 0 ? λ x = 0 2

图 1: BSC 信道和 Z 信道的平均互信息量

? 由定理7可知，I (X ; Y ) 是输入随机变量 X 的概率分布 p (x ) 的上凸函数。

因此对于一个固定的信道，总存在一个信源，使得传输每个符号平均获得 的信息量最大，也就是每个固定的信道都有一个最大的信息传输率。 Definition 12. 平均互信息量对于信源概率分布的极大值定义为信道容量：

C =△

max I (X ; Y )

(4)

p (x ) 其单位为比特/符号。而相应的输入概率分布称为最佳输入分布。

? 信道容量是在假定信源理想的情况下信道传输信息能力的极值。

? 信道容量与输入信源的概率分布无关，它只是信道转移概率的函数，只与 信道的统计特性有关。 ? 对于多符号信道，有

C = lim

1

max {I (X X . . . X N ; Y 1Y 2

. . . Y N )}

(5)

N →∞ N p (x )

Example 13. BSC 的平均互信息量 I (X ; Y ) = H (ωp + ωp ) ? H (p )。容易求得其 对

于 ω 的极大值，即当 ω = ω = 1 时，I (X ; Y ) = 1 H (。 因此，BSC 的信道容量为 C = 1 ? H (p )(比特/符号)

6.1 离散无记忆信道容量定理

Lemma 14 (K-T 条件). 令 f (x ) 是定义在 R 上的上凸函数，其中 x = (x 1, x 2, . . . , x r )

为概率矢量。假定 ?f (x )

均存在，且在 R 上连续，则 f (x ) 在 R 上取极大值的充

i

要条件是：

{

?f (x ) ?x i ? i ?f (x )

?x i ? i

(6)

8

图 2: BSC 的信道容量

Theorem 15 (离散无记忆信道容量定理). 输入概率矢量 (p 1, p 2, . . . , p r ) 达到转移

概率矩阵为 (p ji )rs 的离散无记忆信道 (DMC) 容量 C 的充要条件为：

{

I (X = x i ; Y ) = C ?p i > 0

I (X = x i ; Y ) ? C ?p i = 0 (7)

其中 I (X = x i ; Y ) 为输入为 X = x i 时，信道输出一个符号的平均互信息，即：

s I (X = x i ; Y ) = ∑ p ji log

p ji

r

(8)

7 信道容量的计算

j =1 ∑ p k p jk

k =1

? 离散无噪、无损信道的信道容量计算 ? 离散对称信道的信道容量计算 ? 信道矩阵可逆的信道容量计算 ? 一般信道容量的计算

– 拉格朗日乘数法 – 迭代法

7.1 离散无噪、无损信道的信道容量计算

? 若信道的输入和输出是一一对应的关系，则称为无噪无损信道。其信道 容量为

C = max H (X ) = max H (Y ) = log r = log s (9)

9

? 若 {X , (p (β|α)), Y } 满足 β = f (α)，即由 α 可唯一确定 β，则称为无噪 有损信道，其信道容量为 C = max H (Y ) = log s ? max H (X ) = log r 。 ? 反之，若由 β 可唯一确定 α，则称为无损有噪信道，其信道容量为 C = max H (X ) = log r ? max H (Y ) = log s 。

7.2 离散对称信道的信道容量计算

? 若信道矩阵中的每一行都是由同一符号集合的不同排列组成的，则称此信 道是行对称信道。

? 若信道矩阵中的每一列都是由同一符号集合的不同排列组成的，则称此信 道是列对称信道。

? 若某信道即是行对称、又是列对称的，则称此信道为对称信道。

Theorem 16. 当信源为均匀分布时，对称信道达到信道容量：

C = log s ? H (p 1, p 2, . . . , p s ) (10)

其中 p 1, p 2, . . . , p s 为信道矩阵中的任意一行。

? 若某个对称信道的输入和输出符号个数相同，且信道中总的错误概率为

p ，此错误概率均匀地分配给 r ? 1 个不在主对角线上的元素，则称此信道 为强对称信道。

Theorem 17. 当信源为均匀分布时，强对称信道达到信道容量：

C = log r ? p log(r ? 1) ? H (p )

(11)

? 若 s 个输出符号可分为 m 个互不相交的子集，信道矩阵中各个子集对应 的列构成的子矩阵都是对称矩阵，则称原矩阵对应的信道是准对称信道。

Theorem 18. 当信源为均匀分布时，准对称信道达到信道容量：

m C = log r ? ∑

N i log M i ? H (p 1, p 2, . . . , p s )

(12)

i =1

其中 p 1, p 2, . . . , p s 为信道矩阵中的任意一行。N i 和 M i 分别为第 i 个子矩阵的 行、列元素之和。

7.3 信道矩阵可逆的信道容量求法

已知：r = s ，信道转移概率矩阵可逆；

r p j = ∑

p i p ji

(13)

i =1

假设：P 的所有分量都不为零

1

求解：根据 DMC 容量定理 (7)，因为信源概率分布的所有分量 p i 都不为零， 所以有：

I (X = x i ; Y ) = C

?x i

s ∑ p ji log j =1

p ji

= C (14)

p j

s s ∑ p ji log p ji = ∑

p ji [C + log p j ] (15)

j =1

j =1

因为信道转移概率矩阵可逆且 r = s ，所以可以求出上述方程组的 s 个未知数 [C + log p j ]。 记

βj = C + log p j

(16) 所以

p j = 2βj ?C

(17)

s

由约束条件 ∑

p j = 1 可得：

j =1

s C = log ∑

2βj

(18)

j =1

根据 p j 再由式(13)求出信源概率分布，验证所有的 p i 是否满足大于零的假 设。如不满足，则说明必有若干个分量为零，再试探。

7.4 拉格朗日乘数法

? 平均互信息量 I (X ; Y ) 是 r 个变量 (p (a i ), i = 1, 2, . . . , r ) 的多元上凸函数，

r 且满足约束条件 ∑

p (a i ) = 1 因此可以用拉格朗日乘数法来求其极值。

i =1

7.5 信道容量的迭代计算法

I (X ; Y ) = ∑ ∑ p i p ji log

p ji

p j

i j

?? = ∑ ∑ p i p ji log ij

p i

(19)

其中 ?? i

j

=

p i p ji

，Φ? = (?? )rs 。

ij p j

ij 记 Φ = (?ij )rs 为满足 ?ij ≥ 0, ∑

?ij = 1 的任意矩阵。

i

10

i ?

ij = i i p ji ij i

= ij ij

i

Theorem 19. 当 P 和 P 给定时，I (X ; Y ) = I (P , Φ?) ? I (P , Φ)，当 Φ = Φ? 时 等号成立。

Theorem 20. 若 Φ 固定，则：

max I (P , Φ) =I (P ?

, Φ)

P

此时 P 的分布 P ?

= (p ?) 为：

= l og [ r ∑ exp i =1

( s

( s )] ∑

p ji log ?ij

j =1

)

(20)

p i = exp

r ∑

exp i =1

∑ p ji log ?ij j =1

( s ∑ p ji log ?ij

j =1

) (21)

算法：

Step 1: 任取一输入概率分布 P (0)，令 k = 0，C (0) = ?∞，并给 δ 赋初值； Step 2: 计算本轮 ?ij

?(k )

p (k )p ji r

∑ p (k )

(22)

i =1

Step 3: 计算新一轮的 p i

exp

( s ) ∑ p ji log ?(k )

p (k +1)

r ∑

exp j =1

( s ∑ p ji log ?(k )

)

(23)

i =1

j =1

Step 4: 计算新一轮的 C

r

s C (k +1)

= log ∑ exp ∑ p ji log ?(k

)

(24)

i =1 j =1

Step 5: 若

则 k = k + 1，转Step 2；

C (k +1) ? C (k )

C (k +1)

> δ (25)

Step 6: 输出 P = (p (k +1)

) r

和 C (k +1)，终止。

11

n

8 数据处理定理

Lemma 21. 设 X, Y, Z 表示两个级联信道对应的三个随机变量，则其互信息满 足以下关系：

I (XY ; Z ) ≥ I (Y ; Z )

(26)

I (XY ; Z ) ≥ I (X ; Z ) (27)

等号成立的充要条件为：?x, y , z 有 p (z |xy ) = p (z |y ), p (z |xy ) = p (z |x )。即 X , Y , Z 构成一个一阶马尔可夫链。

Theorem 22 (数据处理定理). 若随机变量 X, Y , Z 构成一个一阶马尔可夫链， 则有：

I (X ; Z ) ≤ I (X ; Y ) (28) I (X ; Z ) ≤ I (Y ; Z )

(29)

? 数据处理定理表明数据在处理之后，一般只会增加信息的损失，最多保持 原来的信息不变，不可能获得额外的信息。

? 在任何信息传输系统中，最后获得的信息至多是信源所提供的信息。如果 一旦在某一过程中丢失了一些信息，以后的系统不管如何处理，如果不触 及到丢失信息过程的输入端，就不能再恢复已丢失的信息。

? 换一种说法：对接收到的数据 Y 进行处理后，无论变量 Z 和变量 Y 之间 是确定对应关系还是概率关系，决不会减少关于 X 的不确定性。

9 信道的组合

? 级联信道：设 N 个信道串连在一起，其转移概率矩阵分别为 P 1, P 2, . . . , P N ， 则总的级联信道的转移概率矩阵为：

N P = P 1P 2 . . . P N = ∏

P n

(30)

n =1

根据求得的级联信道的 P ，由前述的各种方法就可求出级联信道的信道 容量。

Theorem 23.

C ≤ min {C 1, C 2, . . . , C N }

(31)

? 并联信道共有三种形式：输入并接信道、并用信道、和信道。

– 输入并接信道的 N 个组成信道具有相同的输入符号表，且输入被同 时使用，而 N 个信道的输出各不相同，他们在一起组成输出符号序 列，用 Y = (Y 1Y 2 . . . Y N ) 来表示。

12

≤

Theorem 24.

C max H (X )

(32)

p (x )

– 并用信道的 N 个组成信道输入、输出彼此独立、各不相同，分别对 应于并联信道输入矢量和输出矢量的一个分量。

Theorem 25.

C = max I (X ; Y )

p (x )

N N = max ∑ I (X n ; Y n ) = ∑

C n

(33)

n =1 n =1

– 和信道由 N 个独立的信道组成，传输信息时每次只使用其中一个 信道。

Theorem 26.

N C = log 2 ∑

2C n

(34)

n =1

此时各组成信道的选择概率为 p n (C ) = 2(C n ?C )

10 连续信道及其容量

10.1 连续随机变量的互信息量

Definition 27. 连续随机变量 X 和 Y 之间的平均互信息量定义为： ∫ ∫

I (X ; Y ) =

2

R

p (xy ) log p (xy )

p (x )p (y )

d x d y (35)

? 连续随机变量平均互信息量的性质：

1. 对称性

2. 非负性

I (X ; Y ) = I (Y ; X ) = h (X ) + h (Y ) ? h (XY )

= h (X ) ? h (X |Y ) = h (Y ) ? h (Y |X )

(36)

I (X ; Y ) ? 0

(37)

Example 28. 已知二维高斯分布的概率密度函数为：

13

σ X

p (xy ) =

1 √

exp { 1 [ (x ? μX )2 ? 2ρ(x ? μX )(y ? μY ) ? + (y ? μY )2 ]} 2πσX σY 1 ? ρ2 2(1 ? ρ2) 2 ρX ρY 2 Y

(38)

则

1

2

I (X ; Y ) = ? 2

ln(1 ? ρ ) nat/sample (39)

即两个高斯随机变量之间的互信息只与归一化相关系数 ρ 有关，而与数学期望

μX , μY

及方差 σ2 , σ2 无关。 X Y

10.2 连续信道的信道容量

? 可以证明，连续信道的平均互信息量在固定信道统计特性时是信源概率密

度函数 p (x ) 的上凸函数，因此可得：

Definition 29. 连续信道的信道容量为平均互信息量关于信源概率密度函数的极 大值：

C =△

max I (X ; Y )

(40)

p (x )

10.3 高斯加性信道的信道容量

? 一般连续信道的信道容量很难计算，但是加性噪声信道则相对简单一些。

? 在加性噪声信道中，随机变量 N 表示的噪声与信道的输入随机变量 X 统 计独立，信道的输出 Y 为噪声 N 和输入 X 的线性叠加：Y = X + N 。 ? 由坐标变换理论可得：p (y |x ) = p (n )，其中 p (n ) 是噪声的概率密度函数。 此时可得：

∫ ∫

h (Y |X ) = ?

2

R

∫ ∫ = ?

2

R

∫ p (x )p (y |x ) l og p (y |x ) d x

d y p (x )p (n ) log p (n ) d x d n = ?

p (n ) log p (n ) d n

R

= h (N )

(41)

? 因此有：

C = max [h (Y ) ? h (Y |X )] = max [h (Y ) ? h (N )]

(42)

p (x )

p (x )

14

? X

Y X N N

N N

∫ N 1

? 由于 N 与 X 统计独立，故而 p (x ) 的变化不会影响到 h (N )，因此又有：

C = max h (Y ) h (N )

(43)

p (x )

? 对于不同的限制条件，连续随机变量的平均不确定性具有不同的最大值， 因此连续信道的信道容量取决于输入随机变量 X 所受的限制条件以及噪 声 N 的统计特性。

? 若输入信号的功率受限，则输出信号的功率也为有限值，此时 Y 取高斯分 布时会使平均互信息量达到极大值。

? 当 X, N 统计独立、N 为 0 均值高斯噪声且 Y = X + N 时，若输入是均

值为 0、方差为 σ2 的高斯随机变量，则输出 Y 也为高斯分布，均值为 0 且 σ2 = σ2 + σ2 . ? 可以证明，噪声功率 σ2 给定后，高斯噪声信道的信道容量最小。

Theorem 30. 若噪声 N 是均值为 0，方差为 σ2 的高斯随机变量，即满足：

则其信道容量为：

+∞ ∫ ?∞

+∞ ∫

?∞ +∞

?∞

p (n ) d n = 1 np (n ) d n = 0 n 2p (n ) d n = σ2

(44) 1 ( 2 ) ( ) C = log 2 σ 1 + X N

1 P X = log 1 +

2 P N

(45)

10.4 多维高斯加性信道的信道容量

? 当信道为多维高斯加性信道时，由于加性噪声信道必然是一个无记忆信 道，所以

有：

N I (X ; Y ) ? ∑ I (X i ; Y i ) ? 1 ∑ log (

+ P X i

) (46)

i =1 2 i =1 P N i

? 因此有：

n n ( P ) C = max I (X ; Y ) = max ∑ I (X i ; Y i ) ? log 1 + X i

(47)

p (x ) p (x ) i =1

2 P N i

当且仅当输入随机矢量 X 中各分量统计独立且均为高斯分布时达到信道 容量。

15

X N σ 2

σ σ σ σ σ 2

? 若在每个抽样时刻信源和噪声都是均值为 0、方差为 σ2 和 σ2 的高斯分 布随机变量，则

C = n log 2 ( σ2 ) 1 + X N

bit/n sample (48)

10.5 波形信道及其信道容量

? 波形信道通常根据抽样定理转化为多维连续信道进行分析。

? 假设信号和噪声的频带均限制于 (0, B )，用 2B 的抽样频率进行抽样，即 每

秒 2B 个样值，因此单位时间内的信道容量为：

( 2 ) C t = B log 1 + X

N

bit/s (49)

? 当噪声是双边功率谱密度为 N 0/2 的高斯白噪声时，有：

(

C t = B log 1 +

2 ) X

N 0B

(50)

这就是著名的香农公式。 ? 当 B → ∞ 时，有：

C t = lim B →∞

( B log 1 +

2 ) X N 0B

2 = 1.44 X N 0

(51)

? 由于高斯加性信道是实际信道中最差的信道，所以香农公式可以用于确定 实际信道的信道容量的下限。

? 香农公式给出了在有噪声的信道中无失真地传输信息所能达到的极限信 息传输率，对实际通信系统的设计有非常重要的指导意义。

The End of Chapter 4.