4.信道及其容量

第4章 离散信道及其容量

4.1节

离散无记忆信道（DMC, Discrete Memoryless Channel ）

什么是 “信道”？

通信的基本目标是将信源发出的消息有效、可靠地通过“信道”传输到目的地，即信宿（sink ）。但什么是“信道”？

Kelly 称信道是通信系统中“不愿或不能改变的部分”。比如CDMA 通信中，设备商只能针对给定的频谱范围进行设备开发，而运营商可能出于成本的考虑，不愿意进行新的投资，仍旧采用老的设备。通信是对随机信号的通信，因此信源必须具有可选的消息，因此不可能利用一个sin(〃)信号进行通信，而是至少需要两个可供发射机进行选择。一旦选择了信息传输所采用的信号，信道决定了从信源到信宿的过程中信号所受到的各种影响。从数学上理解，信道指定了接收机接收到各种信号的条件概率(conditional probability)，但输入信号的先念概念（prior probability ）则由使用信道的接收机指定。

如果只考虑离散时间信道，则输入、输出均可用随机变量序列进行描述。输入序列X 1,

X 2,……是由发射机进行选择，信道则决定输出序列Y 1, Y 2,……的条件概率。数学上考虑的最

简单的信道是离散无记忆信道。 离散无记忆信道由三部分组成：

（1） 输入字符集A ={a 1, a 2, a 3,…}。该字符集既可以是有限，也可以是可数无限。其中每个

符号a i 代表发射机使用信道时可选择的信号。

（2） 输出字符集B={b 1, b 2, b 3,…}。该字符集既可以是有限，也可以是可数无限。其中每个

符号bi 代表接收机使用信道时可选择的信号。

（3） 条件概率分布P Y |X (〃|X )，该条件分布定义在B 上，其中X ∈A 。它描述了信道对输

入信号的影响。

离散无记忆的假设表明，信道在某一时刻的输出只与该时刻的输入有关，而与该时刻之前的输入无关。或者：

1111|(|,...,,,...,)(|)n n n Y X n n P y x x y y P y x --=，n =1,2,3….

Remark: (1) n x 在信道传输时受到的影响与n 时刻以前的输入信号无关。

(2) DMC 是时不变的，即|n

n

Y

X P 与n 无关。因此|(|)n n

Y

X n n P y x 可简写为|(|)Y X n n P y x 。

例 4.1 （二进制对称信道，BSC ） (b) 二进制擦除信道

例 4.2 BSC 信道假设的合理性：考虑一个通信系统，其发射机采用二进制频移键控(BPSK)方式发射信号，即采用两个不同频率的正弦信号分别代表“0”和“1”。发射机每毫秒产生一个脉冲，代表“0”和“1”，该信号通过宽带信道进行传输。接收机每毫秒对接收到的信号作一次 “硬判决”，由于传输媒介中噪声和接收机前端热噪声的影响，该判决会存在误差。如果带宽足够宽，则各次判决之间的误差是独立。此时，该信道可以用BSC 进行建模。 本课程只讨论不带反馈的离散无记忆信道，即条件分布满足：

1

1

1

11

1(|,...,,

,...,)(|,...,)

n n n n n

P x x x y y P x x x ---=

注意这个假设并不代表各个输入i x 之间相互独立。 定理4.3 对于离散无记忆信道，条件分布满足：

11

1

|1

(,...,,|

,...,)

(|)n

n n

n Y X

i

i i P y y y x x P

y x -==∏ n =1,2,3…. 证明：111111111(,...,,,...,)(|,...,,,...,)(|,...,,,...,)n n i i i i i i P x x y y P x x x y y P y x x y y ---=

11|1

(|,...,)(|

)

n

i

i Y X i i i P x

x x P y x -==

∏ 11|11

(|,...,)(|)n n j j Y X i i j i P x x x P y x -==????

=????????∏∏

1|1

(,...,)(|)n

n Y X i i i P x x P y x ==∏

两边同时除于1(,...,)n P x x ，即得到所需要的等式。

该定理经常被错误地用作DMC 的定义！在应用该定理作为DMC 的定义时，一般都隐含地假设了信道是无反馈的。

例4.4 BSC 信道的条件概率为

()()()()0|010|11|01|11p y x p y x p y x p y x εεεε

===-=========-

图4.1 二元对称信道

发送长度为N 的分组()12,,...,N

N x x x =x

时， ()(

)

()

(

)

,,|1N

N

N

N

d N d N

N

p ε

ε-=-x

y

x

y

y

x

()

(

),11N

N

d N

εε

ε??=- ?-??

x

y

其中()12,,...,N

N y y y =y

为接收到的数据分组，(),N N d x y 为这两个分组之间的汉明距离。

所谓汉明距离指的是两个分组之间不同比特的个数，比如d(000, 111)=3, d(101, 011)=2。

定理4.5 对于无反馈离散无记忆信道，如果n 1≥,

()()1

;;n

N

N

i

i i I I X

Y =≤∑x y

证明。因为信道是DMC 信道，

()()1

||n

N

N

i

i i p p y

x ==∏y

x

因此，有

()()|log |N

N

N

N

H E p =-y

x

y

x

()1

log |n

i i i E p y x ==-∏

()1

log |n

i i i E p y x ==-∑

()1

|n

i

i i H y

x ==

∑

从而有

()()();|N

N

N

N

N

I H H =-x y

y y

x

()()1|n

N

i

i i H H y

x ==-∑y

()()1

1

|n

n

i

i

i i i H y H y

x ==≤

-∑∑

()1

;n

i

i i I X

Y ==

∑

可以看到等式成立的条件是

()()1

n

N

i

i H H y ==∑y

即输出分组N y 是独立的。

定理4.6 如果信源是离散无记忆信源(DMS: Discrete Memoryless Source)，则有

()()1

;;n

N

N

i

i i I I X

Y =≥∑x y

证明. 因为信源是无记忆信源，所以

()()()()1

2

...N

N

p p x p x p x =x

因此有

()()log N

N

H E p =-x

x

()()()12log ...N E p x p x p x =-

()1

log N

i i E p x ==-∑

()1

n

i

i H x ==

∑

考虑条件熵

()|N

N

H x

y

()12...|N

N H x x x =y

()1

1

|,N

i N

i

i H x

-==

∑x

y

()1

|N

i

i i H x

y =≤

∑

最后一个不等式利用了条件会降低熵。 现在考虑两分组之间的互信息：

()()();|N

N

N

N

N

I H H =-x y

x x

y

()()1|n

N

N

i

i H x H ==

-∑x

y

()()1

1

|n

N

i

i

i i i H x H x

y ==≥

-∑∑

()1

;n

i

i i I X

Y ==

∑

等式成立的条件是，当且仅当对任意的i ，有

()()1

|,|i N

i i

i H x H x y -=x

y

等价于说

()()1

|,|i N

i i

i p x p x

y -=x

y

证明完毕。

注释1. 定理4.5中，如果信源是无记忆的，则

()()()()1

2

...N

N

p p x p x p x =x

计算输出分组的概率：

()(),N

N

N

N

p p =∑x y x

y ()()|N

N

N N

p p =

∑x

x y

x

()()|N

i

i

i i

p x p y

x =∑∏x

(),N

i

i

i

p x y =

∑∏x

()i

i

p y =

∏

即输出分组也是独立的，此时有：

()()1

;;n

N

N

i

i i I I X

Y ==∑x y

注释2. 在定理4.6中，如果信道是离散无记忆信道，即

()()1

||n

N

N

i

i i p p y

x ==∏y

x

可以计算出

()

()

()

,|N

N

N

N

N

p p p =

x y

x

y

y

()()

()

|N

N

N

N

p p p =

y

x

x y

()()

()

|i i i i

i p y x p x p y =

∏

（分别由信道是DMC ，信源是DMS 和注释1得到）

()|i

i i

p x

y =

∏

因此

()|N

N

H x

y

()1

|N

i

i i H x

y ==∑

从而有

()()1

;;n

N

N

i

i i I I X

Y ==∑x y

两个定理在附加的条件下达到的结论相同。从而，由定理4.5，定理4.6和相关的注释，得到下面这个定理：

定理4.7 如果信源是离散无记忆信源，信道是离散无记忆信道，则

()()1

;;n

N

N

i

i i I I X

Y ==∑x y

4.2节 信道容量

在通信系统中，信道由条件概率()|p y x 确定，而且一般情况下信道是给定的。比如设备制造商开发新的移动通信设备，必须在指定的频段使用，并且满足国家相关部门制定的入网标准。但通信系统中传输信息的用户可以自由的选择()p x ，来最大化传输的速率。

基于这个考虑，很自然定义信道容量如下。

定义4.8 定义信道容量为通过选择()p x ，离散无记忆信道能获得的最大平均互信息，即

()

()m ax ;p x C I X Y =

()

()()max |p x H Y H Y X =-????

例4.9 无噪声二元信道

图4.2 无噪声二元信道

该信道的任意二元输入都能在输出端正确接收。因此，每次可以无差错传输1比特，因此C=1。也可以通过定义来计算，采用等概输入，可以计算出C=1.

例4.10 二元对称信道

()()();|I X Y H Y H Y X =- ()()()|x

H Y p x H Y X x =-=∑

()()()x

H Y p x h ε=-∑

()()H Y h ε=- ()1h ε≤-

等式成立的条件是输出Y 等概。当输入服从一致分布时，即

()()12

01p X p X ====

输出的分布：

()()()()0011p Y p X p X εε===-+=()12

1εε=

-+????=12

()()()()()1

1

2

2

11101p Y p X p X εεεε===-+==

-+=

????

即一致输入导致一致输出，

()1C h ε=-bits

例4.11 二元删除信道（BEC, Binary Erasure Channel ）

图4.3 BEC 信道

该信道的特点是，信源传输0或1时，接收端以1α-的概率正确接收，以概率α被删除。

被删除的信息无法恢复。但是信息不会被错误接收，即0不会被翻转为1, 1也不会翻转为0。

()

()m ax ;p x C I X Y =

()

()()max |p x H Y H Y X =-???? ()

()()m ax p x H Y h δ=-

其中

()()()||x

H Y X

p x H Y

X x ==∑

()()()()0|01|1p X H Y X p X H Y X ===+==

()()()()01p X h p X h δδ==+=

()h δ=

()h δ为二元熵，即

()h δ

()()log 1log 1δδδδ=----

直观的猜测是BEC 的容量为()log 3h δ-，因为由表达式C=()

()()m ax p x H Y h δ-猜测当Y

服从一致分布时，H(Y)=log3。进一步猜测输入X 分布为等概时，Y 会等概。但这个猜测是错误的，事实上，当X 等概时，

()()()()1

2

0011p Y p X αα===-=- ()()()()12

1111p Y p X αα===-=

-

()()()01p Y e p X p X ααα===+==

要输出等概则要求()12

1αα=

-，即13

α

=

，但删除概率α是个变量。可以进一步的证明，

无论采用怎样的输入分布，输出Y 都无法等概，或H(Y)无法取得最大值log3。

现在我们来计算BEC 的容量。令E 代表删除事件{}Y e =，()1p X π==，则

()(),H Y H Y E =()()|H E H Y E =+

第一个等式用到E 是Y 的函数。考虑输出Y 的分布：

()()()()()00111p Y p X απ

α===-=--

()()()()1111p Y p X απα===-=-

()p Y e α==

因此

()()()()()11,1,H Y H

παπαα=---

()()()()()()11log 111log 1log π

απαπαπααα

=---------

()()()()()()

()()()11log 111log 1...1log 11log log π

ααπαππααπαπαα

=--------------

()()()()()()1log 111log 11log log ααπαππαπαα

=----------

()()()()11log 1log h ααππππ=+-----????

()()()1h h ααπ=+-

因此

()

()()m ax p x C H Y h δ=-

()()()()max 1h h h π

απαα=-+-

()()max 1h π

απ=-

=1α-

取得最大值的输入分布为等概分布，即当12

π=

时。

直观的理解：由于α比例的信息在传输中被删除，且无法恢复，因而能够恢复的信息比例最多为1-α，从而最大传输信息即容量为1-α。

4.3节 特殊信道的容量计算

从上面例子可以看出，即使对于很简单的信道，比如BSC, BEC ，计算它们的容量也比较复杂。事实上，信道容量的计算是一个非常复杂的问题，但是如果信道满足一些特定的条件，具有比较好的结构，它的容量的计算可能会得到极大的简化。

信道由从输入到输出的条件转移概率p(j|i)来描述。假设输入X 的字母表为{ 1, 2, …, J}，输出字母表为{1, 2, …, K}，则描述信道的条件转移概率共有KJ 个。把这些概率写成矩阵的形式，得到

()()()()1|1...|1...

......

1|...

|p p K p J p K J ??

??=?

?

???

?

p 矩阵p 称为信道转移矩阵，注意矩阵p 的行对应的是输入，列对应的是输出。矩阵中元素()|p k j 代表的是输入为j ，输出为k 的条件概率。注意到这个矩阵的每一行的和是1，即

()1

|K

k p k j =∑=1, j=1, 2, …, J

但是列的和不一定是1，比如BEC 信道，它的信道转移矩阵为：

100

1δ

δδ

δ-??=?

?-??

p BSC 信道的转移矩阵为

11εεε

ε-??

=?

?-??

p 其中ε为交叉概率。

4.3.1 离散输入对称信道容量的计算

定义4.12（离散输入对称信道）. 如果信道转移矩阵p 的每一行都是其他行的臵换，则称该信道为离散输入对称信道。或者说，离开每个输入节点的条件概率都相同。 例4.13.

图4.4

可以写出信道转移矩阵为

112

2112

200

??=?

???

p 除了出现的次序，两行的元素相同，都是0,1/2,1/2。

引理4.14 对于输入对称的离散无记忆信道，条件熵H(Y|X)与输入分布p(x)无关，且

()1

|log J

j j j H Y X

p p ==-∑

其中12,,...,J p p p 是离开每个输入符号节点的条件概率。 证明. 由离散输入对称的定义马上可得：

()1

|log J

j j j H Y X x p p ===-∑

因此

()()()||x

H Y X

H Y

X x p x ==∑

()1log J j j j x

p p p x =??

=-????∑∑ 1

log J

j j j p p ==-∑

证明完毕。

例4.15 由离散输入对称信道的定义很容易判断出BSC 和BEC 信道都是离散输入对称信道。对于BSC 信道

()()()()|log 1log 1H Y X h εεεεε==----

对于BEC 信道

()()()()|log 1log 1H Y X h δδδδδ==----

例4.13中信道的条件熵()()

1

2|1H Y X h ==。

根据该引理和容量的定义，可以得出离散输入对称DMC 信道的容量为

()

()m ax ;p x C I X Y =

()

()()m a x |p x H Y H Y X =-???? ()

()()m ax |p x H Y H Y X

=-

这样，输入对称DMC 信道容量的计算问题就转化为通过选择p(x)最大化H(Y)，目标是计算

()

()m ax p x H Y

4.3.2 离散输出对称信道容量的计算

定义4.16（离散输出对称信道）. 如果信道转移矩阵p 的每一列都是其他列的臵换，则称该信道为离散输出对称信道。或者说，进入每个输出节点的条件概率都相同。

引理4.17 对于离散输出对称DMC 信道，如果()1p x J

=，则()1p y K

=

。即服从一致分布

的输入能得到服从一致分布的输出。 证明. 考虑

()(),x

p y p x y =

∑

()()|x

p x p y x =

∑

()1|x

p y x J

=

∑

注意到()|x

p y x ∑代表的是进入输出节点y 的J 个条件概率的和，根据输出对称的定义，

进入每个输出节点的条件概率相同，因此()|x

p y x ∑对每个输出节点都相同，从而()p y 是

常数，因此

()1p y K

=

证明完毕。

由该引理和输出对称的定义马上可以得到，对于离散输出对称DMC 信道

()

()m ax log p x H Y

K =

且取得最大值的输入分布为()1p x J

=。

例4.18 可以判断出BSC 信道是输出对称信道，BEC 不是。

4.3.3 对称信道容量的计算

定义4.19（对称信道） DMC 信道如果既是输入对称信道，又是输出对称信道，则称为对称信道。

根据对称信道的定义可知，对称信道的信道转移矩阵的每一行都是其他行的臵换，并且每一列都是其他列的臵换。

综合引理4.14和引理4.17可以很容易计算出对称信道的容量。

定理4.20 一个具有J 个输入，K 个输出的离散无记忆对称信道的容量为

1

log log J

j j j C K p p ==+

∑

其中12,,...,J p p p 是离开每个输入符号节点的条件概率，也是矩阵p 的任意行的元素。取得容量的输入分布为为一致分布，即

()1p x J

=

证明.

()

()m ax ;p x C I X Y =

()

()()max |p x H Y H Y X =-???? ()

()()m ax |p x H Y H Y X

=-

1

log log J

j j j K p p ==+

∑

引理4.17保证了一致输入导致一致输出，从而取得容量。证明完毕。

例4.21 BSC 信道的容量

1

log log J

j j j C K p p ==-∑

()log 2h ε=-=1()()log 1log 1εεεε++--

4.3.4 准对称信道容量的计算

从上面的讨论可以看到，对称信道的容量计算非常简单，但很多信道具有明显的对称结构，比如BEC ，但不是对称信道。引理4.17表明取得容量要求输入的分布能导致出一致的输出分布，我们希望能推广“对称”的概念，把BEC 这类的信道也包括进来。尽管BEC 不是对称信道，但仔细分析可以发现BEC 可以分解为两个对称信道：

图4.5

可以这样理解，BEC 信道在确定了要发送的输入符号后，以概率11q δ=-选择使用信道1，以概率2q δ=选择使用信道2来传输该符号，进一步的信道分解图如下

图4.6

定义4.22（离散准对称信道）一个DMC 信道，如果存在整数L ，使得该信道可以分解为L 个对称子信道，相应的选择概率为1,...,L q q ，则称该DMC 信道为离散准对称信道。

定理4.23 准对称DMC 信道的容量为

1

L

i

i

i C q C

==

∑

其中12,,...,L C C C 是L 个子对称信道的容量，1,...,L q q 是相应的选择的选择概率。

例4.24 由图4.5和图4.6可以看出，BEC 可以分解为两个对称信道，且121,0C C ==，

121,q q δδ=-=。因此BEC 容量为

11221C q C q C δ=+=-

定理4.23的证明. 定义随机变量Z 。当输出字符属于第i 个子对称信道的输出符号集时，令Z=i 。因此Z 是Y 的函数，从而H(Z|Y)=0。进一步，由Z 的定义()i p Z i q ==，即Z 可以用来标示信息传输时所选择的子信道。另外，根据假设，Z 与X 统计独立。

()()(),|H Y Z H Y H Z Y =+

=()H Y

()()|

H

Z H Y Z =+

()()()1|

L

i H

Z H Y Z i p

Z i

==+==∑

()()1

|L

i i H

Z H Y Z i q

==+=∑

考虑到X 与Z 独立

()()|,|H Z X Y H Z Y ==0

因此

()()(),|||,H Y Z X H Y X H Z Y X =+

()|H Y X =

()()||,H Z X H Y X Z =+

()()1

||,L

i i H Z X H Y X Z

i q ==+

=∑

()()1

|,L

i i H Z H Y X Z

i q ==+

=∑

代入公式（）和（），则互信息为

()()();|I X Y H Y H Y X =-

()()1

||,L

i i H Y Z

i H Y X Z i q ==

=-=????∑

用();i I X Y 代表第i 个子信道的互信息，每个子信道的输入分布与准对称信道的输入分布相同，即()p x ，则有

();i i I X Y C ≤

等式成立的充分必要条件是()p x 为一致分布。

()()();||,i I X Y H Y Z i H Y X Z i ==-=

因为

()()||X Z X p x i p x =

因此

()()1

;;L

i

i

i I X Y I X Y q

==

∑

从而

()

()1

m ax ;L

i

i

p x i C I X Y q C

===

∑

当()p x 为一致分布时，所有的子信道同时取得容量，从而，准对称信道取得容量。 证明完毕。

注释1：一般情况下1

L

i

i

i C q C

=≤∑，等式成立的条件是输入分布使得所有的子信道同时取得

它的容量。

注释2：准对称信道一定是离散输入对称信道。准对称信道在进行信道矩阵分割的时候，是

把它的列分割成互斥的子集，每个子集的列都相同（臵换！），而每一行元素都相同，是其他行的臵换。

例4.25 给定DMC 信道的转移矩阵为

0.8

0.10.10.1

0.1

0.8??

????

观察转移矩阵，第二行是第一行的臵换，因此是输入对称信道，但第二列不是其他列的臵换，不是输出对称信道。该矩阵可以分解为两个对称矩阵，因此是准对称信道，这两个子信道为：

0.8

0.1

0.9

0.9

0.10.80.9

0.90.8

0.10.90.1

0.8????=????????

即第一个子信道是二元对称信道，选择概率10.9q =，()0.80.1

10.90.91,C h =-

0.110.10.11????

=????????

即第二个子信道的选择概率20.1q =，这个信道是个纯噪声信道，20C = 因此，该信道容量为

()0.80.1

11220.90.90.91,0.4471C q C q C h ??=+=-=??bits

例4.26（K 元对称信道）K 元对称信道指的是概率转移矩阵具有如下形式的DMC 信道

1...111 (1)

1............

...

11

1

p p

p K K p p p K K p p p K K ?

?-??

--????-??=--??????-?

?

?--?p

观察这个转移矩阵，可以发现每行都是第一行的臵换，每列都是第一列的臵换，所以这是一个对称矩阵，其容量为

1log 1,,...,11K p p C K H p K K -?? ?

=-- ?--

???

共项

()()()

log 1log 11log

1

1

p p K p p K K K =+--+---

()()log log 1K h p p K =---

4.4节 信道编码定理（概要）

考虑如下图所示通信系统

图

消息W 取自消息集{1, 2, …, M}，经编码器后生成信号()n

X

W ，经过信道传输后，接

收到的序列为n Y ，接收机采用适当的译码器对n Y 进行判决，得到关于消息W 的一个估计

()?n W

g Y =，如果?W W ≠，则接收机宣布出现了错误。

定义4.25. 离散信道（A, p(y|x), B ），A 和B 分别是输入、输出的字母表，p(y|x)代表信道转移概率，()|0p y x ≥，()|1y

p y x =∑，X 和Y 分别看着信道的输入和输出。

定义4.26. DMC 的n 次扩展指信道()(

),|,n

n

n

n

A p y x

B ，其中

()()1

|,|k

k k k

k p y x y

p y

x -=

定义4.27. 信道（A, p(y|x), B ）的（M, n ）码序列由以下几个部分组成构成： 1． 指标集{1, 2, …, M}。 2． 编码函数

:{1,2,...,}n

n

X

M A →

生成码字()()()1,2,...,n

n n x x x M 。所有码字的集合称为码本（codebook ）

3． 译码函数

:{1,2,...,}n

g B M →

译码函数对每个接收到的向量进行判决，给出消息的估计。

定义4.28（条件误差概率）令

()()(

)()()()()P r ||n

n

n

n

n

n

n i y

g Y

i X

x

i p y x

i I g Y i λ=≠==≠∑

为当发送消息为i ，但接收机判决出的消息却不为i 时的条件概率，I(.)为示性函数。

定义4.29 （M, n ）码的最大误差概率()n

λ定义为

()

()

1,2,...,max n i i M

λ

λ∈=

定义4.30 （M, n ）码的平均误差概率()n e P 定义为

()1

1M

n e

i

i P M

λ

==

∑

显然

()

()

n n e

P λ

≤

如果消息从指标集中按一致分布选择，()n

n

X

x

W =，则

()()()

Pr n n

e

P W g Y ≠

定义4.31 （M, n ）码的码率R 定义为

log M R n

=

bits per transmission

定义4.32 如果存在一个(

)

2,nR

n ????

码序列，当n →∞时，(

)

n λ→∞，则称码率R 可达。

定义4.33 信道容量定义为所有可达码率的上确界。

联合典型序列

粗糙地讲，如果码字()n

X

i 与接收到的序列n Y 是联合典型，则将n Y 译为消息i 。我们

来定义联合典型的概念、计算正确译码概率和差错概率。