通信原理第三章-离散信源及信息测度

第三章 离散信源及其信息测度

3.1 信源的数学模型及分类

信源是信息的来源，是产生消息或消息序列的源泉。信息是抽象的，而消息是具体的。消息不是信息本身，但它包含着和携带着信息。我们不研究信源的内部结构，不研究信源为什么产生和怎样产生各种不同的、可能的消息，而只研究信源的各种可能的输出，以及各种可能消息的不确定性。

在通信系统中收信者在未收到消息以前，对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机矢量或随机过程来描述信源输出的消息。不同的信源输出的消息不同，可以根据消息的不同的随机性质来对信源进行分类。

1）信源输出的单符号消息可用随机变量描述

在实际情况中，有些信源可能输出的消息数是有限的或可数的，而且每次只输出其中一个消息，如书信文字、计算机的代码、电报符号、阿拉伯数字码等。这些信源输出的都是单个符号的消息，它们符号集的取值是有限的或可数的。我们可用一维离散型随机变量X 来描述这些信源的输出。这样的信源称为离散信源。它的数学模型就是离散型的概率空间

121

2(),

,(),(),()q q X P x a a a P a P a P a =???????????? （3-1） 显然，()(1,2,,)i P a i q =应满足

1()1q

i

i P a ==∑ （3-2） 式中，{}i a 是离散信源可能的输出符号；()1(1,2,,)0i P a i q ≤=≤是信源输出符号

(1,2,,)i a i q =的先验概率。

有的信源虽然输出的是单个符号（代码）的消息，但其可能出现的消息数是不可数的无限值，即输出消息的取值是连续的，或取值是实数集(,)-∞∞。例如，语音信号、热噪声信号某时间的连续取值数据，遥控系统中有关电压、温度、压力等测得的连续数据。这些数据取值是连续的，但又是随机的。我们可用一维的连续型随机变量X 来描述这些消息，则这种信源称为连续信源，其数学模型是连续型概率空间

()(x)X P x p =??????????

??R （3-3） 并满足 ()d 1b a p x x =? 或()d 1p x x =?R

式中，R 表示实数集(,)-∞∞；()p x 是随机变量X 的概率密度函数。

上述离散信源和连续信源是最简单、最基本的情况，信源只输出一个消息（符号），所

以可用一维随机变量来描述。

2）信源输出的符号序列用随机矢量描述

然而，很多实际信源输出的消息往往是由一系列符号序列所组成的。例如，中文自然语言文字作为信源，输出的消息是由汉字和标点符号组成的符号序列，其中每个符号的出现是不确定的、随机的，由此构成了不同的中文消息。又如，对离散化的平面灰度图像信源来说，从XY 平面空间上来看，每幅黑白灰度画面都是一系列空间离散的灰度值符号，而空间每一点的符号（灰度值）又都是随机的，由此形成了不同的图像消息。上述这类信源输出的一系列随机变量，即为随机矢量。这样，信源的输出可用N 维随机矢量12()N X X X =X 来描述,其中N 可为有限正整数或可数的无限值。这N 维随机矢量X 也称为随机序列。

假设随机矢量X 为严平稳随机过程。若信源输出的随机序列12

()N X X X =X 中，每个随机变量(1,2,,)i X i N =都是取值离散的离散型随机变量，即每个随机变量i X 的可能取值都是有限的或可数的，这样的信源称为离散平稳信源；若每个随机分量(1,2,,)i X i N =都是取值为连续的连续型随机变量，则信源称为连续平稳信源。例如，语音信号{}()X t 、热噪声信号{}()n t ，它们在时间上取样离散化后的信源为12i X X X =X N X 和12i N n n n n =n 。它们在时间上是离散的，但每个随机变量i X 或i n 的取值都是连续的。所以它们是连续型平稳信源。

平稳信源又分为无记忆信源和有记忆信源。在某些简单的离散平稳信源情况下，信源先后发出的一个个符号彼此是统计独立的。也就是说在信源输出的随机矢量12()N X X X =X 中，各随机变量(1,2,,)i X i N =之间是统计独立的，即N 维随机矢量的联合概率分布满足

12

1122()()()()()N N N P P X X X P X P X P X ==X （3-4） 因为信源是平稳的，根据离散平稳随机序列的统计特性可知，各变量i X 的一维概率分布都相同，即1122()()()N N P X P X P X ===，则得

()()N i P P X =X

在一般情况下，信源在不同时刻发出的符号之间是相互依赖的。也就是信源输出的平稳离散随机序列X 中，各随机变量i X 之间是有依赖的。例如，在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相关的。这种信源称为有记忆信源。我们需要在N 维随机矢量的联合概率分布中，引入条件概率来说明它们之间的关联。有记忆信源的输出可建模为马尔可夫随机过程，即假设信源的输出只与最近的几个符号相关，而与更前面符号无关。

连续平稳信源情况下也分无记忆信源和有记忆信源。若信源输出的连续型随机矢量

12()N X X X =X 中，各随机变量(1,2,,)i X i N =之间无依赖，统计独立，称此信源为连续平稳无记忆信源，否则称为有记忆信源。

3）信源输出的消息用随机过程描述

更一般地说，实际信源输出的消息常常是时间和取值都是连续的。例如，语音信号X (t )、热噪声信号n (t )、电视图像信号00(,,)X x y t 等时间连续函数。同时，在某一固定时间0t ，它们的可能取值又是连续的和随机的。对于这种信源输出的消息，可用随机过程来描述。称这类信源为随机波形信源。

分析一般随机波形信源比较复杂和困难。常见的随机波形信源输出的消息是频率有限的随机过程。根据取样定理，可以把随机过程用一系列时间上的离散取样值来表示，而每个取样值都是连续型随机变量。这样就可把随机过程转换成时间上离散的随机序列来处理。如果随机过程是平稳的随机过程，时间离散化后可转换成平稳的随机序列。若再对每个取样值（连续型的）经过量化，就可将连续的取值转换成有限的或可数的离散值。经过时间和幅值上的离散化处理，随机波形信源的输出就转化成了2）中所述的离散平稳信源。

3.2离散信源的信息熵

我们首先研究最基本的离散信源，即信源输出是单个符号的消息。

对于一般实际输出为单个符号的离散信源都可用一维离散型随机变量X 来描述信源的输出，信源的数学模型统一抽象为

121

2(),

,(),(),()q q X P x a a a P a P a P a =???????????? 其中()1(1,2,,)0i P a i q ≤=≤且 1()1q

i

i P a ==∑ 这样的信源能输出多少信息？每个消息的出现又携带多少信息量呢？下面我们来讨论这些问题。

3.2.1 自信息

我们已知信源发出的消息常常是随机的，所以在没有收到消息前，收信者不能确定信源发出的是什么消息。这种不确定性是客观存在的。只有当信源发出的消息通过信道传输给收信者后，才能消除不确定性并获得信息。如果信源中某一消息发生的不确定性越大，一旦它发生，并为收信者收到后，消除的不确定性就越大，获得的信息量也就越大。在信息传输的一般情况下，收信者所获得的信息量应等于信息传输前后不确定性的减少（消除）的量。因此，我们直观地把信息量定义为：

收到某消息获得的信息量（即收到某消息后获得关于某基本事件发生的信息量）

=（收到此消息前关于某事件发生的不确定性）-（收到此消息后关于某事件发生的不确定性）

在无噪声时，通过信道的传输，关于消息的不确定性完全消除，因此

收到某消息获得的信息量=收到消息前关于某事件发生的不确定性

=信源输出的某消息中所含有的信息量

消息中包含的信息量和事件发生的概率有关。事件发生的概率越小，信息量越大。令()i P a 表示事件i a 发生的概率，则该事件所含有的信息量为

1()=l o g ()

i i I a P a （3-5） ()i I a 代表两种含义：事件i a 发生以前，表示事件i a 发生的不确定性；事件i a 发生以后，表示事件i a 所提供的信息量。

自信息采用的单位取决于对数所选取的底。如果选取以2为底，则所得的信息量单位称为比特（bit ，binary unit 的缩写）。

3.2.2信息熵

前面定义的自信息量是指某一信源发出某一消息所含有的信息量。所发出的消息不同，它们所含有的信息量也就不同。所以自信息()i I a 是一个随机变量，不能用它来作为整个信源的信息测度。

设离散信源X ，其概率空间为

1212(),

,(),(),()q q X P x a a a P a P a P a =????????????，1

()1q i i P a ==∑ 我们将自信息的数学期望定义为信源的平均自信息量，即

11()E log ()log ()()q i i i i H X P a P a P a =??==-???

?∑ （3-6） ()H X 也被称为信源的信息熵。

信息熵是从平均意义上来表征信源的总体信息测度的一个量。信息熵具有以下两种物理含义：

第一，信息熵H (X )是表示信源输出后，每个消息（或符号）所提供的平均信息量。 第二，信息熵H (X )是表示信源输出前，信源的平均不确定性。

应该注意的是：信息熵是信源的平均不确定的描述。在一般情况下，它并不等于平均获得的信息量。只是在无噪声情况下，接收者才能获得信源的平均信息量H (X )。

3.3信息熵的基本性质

令12=(,,,)q p p p P 表示信源概率空间中的概率矢量。信源的信息熵为P 的函数， 它具有下列一些性质

1）确定性

在概率矢量12=(,,,)q p p p P 中，当某分量1i p =时，()0H X =。

这个性质意味着从总体来看，信源虽然有不同的输出消息（符号），但它只有一个消息几乎必然出现，而其他消息都是几乎不可能出现，那么，这个信源是一个确知信源，其熵等于零。

2. 非负性

()0H ≥P （3-7） 这种非负性对于离散信源的熵而言是正确的，但对连续信源来说这一性质并不存在。以后可以看到，在差熵的概念下，可能出现负值。

3.可加性

()()()H XY H X H Y =+ （3-8）

统计独立信源X 和Y 的联合信源的熵等于分别熵之和。

4.强可加性

()()(|)H XY H X H Y X =+ （3-9）

两个互相关联的信源X 和Y 的联合信源的熵等于信源X 的熵加上在X 已知条件下信源Y 的条件熵。

5.极值性

12(,,,)(1/,1/,,1/)log q H p p p H q q q q ≤= （3-10）

此性质表明，在离散信源情况下，对于具有q 个符号的离散信源，只有在q 个信源符号等可能出现的情况下，信源熵才能达到最大值。这也表明等概率分布信源的平均不确定性为最大。这是一个很重要的结论，称为最大离散熵定理。

3.4 离散无记忆的扩展信源

前面几节，我们讨论的只是最简单的离散信源，即信源每次输出只是个单个符号的信息。我们给出了信息熵()H X 来对基本离散信源进行测度，以及研究了解信息熵()H X 的基本性质。从本节开始，我们将进一步讨论较为复杂的离散信源及其信息测度。

首先，我们来研究平稳离散无记忆信源，此信源输出的消息序列是平稳随机序列并且符号之间是无依赖的，即是统计独立的。因此，离散无记忆信源的数学模型与前最简单的离散信源的数学模型基本相同，也用[],()X P x 概率空间来描述，所不同的只是离散无记忆信源输出的消息是一串符号序列（用随机矢量来描述），并且随机矢量的联合概率分布等于随机矢量中各个随机变量的概率乘积。

如果有一个离散无记忆信源X ，其样本空间为{}12,,,q a a a ，对它的输出信息序列，可以用一组长度为N 的序列来表示。这时，它就等效成了一个新信源。新信源输出的符号是N 长的消息序列，用N 维离散随机矢量来描述，写成()12,,

,N X X X X =，其中每个分量()1,2,,i X i N =都是随机变量，样本空间均为{}12,,,q a a a ，并且分量之间统计独立。则由这个随机矢量X 组成的新信源成为离散无记忆信源X 的N 次扩展信源。离散无记忆信源X 的N 次扩展信源被表示为N

X 。

设一个离散无记忆信源的概率空间为

1211

2,,

,,10,,,()q q i i i q a a a X p p p p p P x =????==????????∑（≥） 则信源X 的N 次扩展信源N X 是具有N q 个符号的离散信源，其N 重概率空间为

1212,

,,(),(),,()()N N N q i q X P P P P ααααααα????=?????????? （3-11） 式中，每个符号i α对应于一个N 长的序列。若()12N i i i i

i ααααα=，则 12()()()()N i i i i P P P P αααα=，并且，0()1i P α≤≤， 1()1N

q i

i P α==∑。 根据信息熵的额定义，N 次扩展信源的熵

()=()()log ()()log ()N N

N i i X X H X H X P X P X P P αα=-=-∑∑ （3-12）

可以证明离散无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍，即

()()N H X NH X = （3-13）

例，有一离散无记忆信源

1

23,,111(),,244a a a X P x ??????=????????

我们求这个离散无记忆信源的二次扩展信源，扩展信源的每个符号是信源X 的输出长度为2的符号序列。因为信源X 共有三个不同符号，所以由X 的二次扩展信源包含9个符号序列。

21112132122233132331/41/81/81/81/161/161/81/161/16()a a a a a a a a a a a a a a a a a a X P x ????=??????

??

3.5 离散平稳信源

在一般情况下，离散信源的输出是空间或时间的离散符号序列，而且在序列中符号之间有依赖关系。此时可用随机矢量来描述信源输出的消息，即(),...,...,,,...,321i X X X X X =，其中任一变量i X 都是离散随机变量，它表示i t =时刻所输出的符号。

在本书中，我们仅考虑信源输出序列为严平稳随机过程的情况。最简单的离散平稳信源就是二维离散平稳信源。设有一个二维离散平稳信源，信源的概率空间为：

()()()()()()()O a P a P a P a P a P a a a x P X i q

i q q ≥=??????=??????∑=1,...,,,...,,112121且 （3-14）

同时还已知连续两个信源符号出现的联合概率分布()()q j i a a P j i ,...,2,1,=，并有

()()

11011=≤≤∑∑==q i q j j i j i a a P a a P 且 （3-15）

根据（3-14）可进一步得到两个符号的条件概率，可求得已知i a 符号出现后，紧跟着j a 符号出现的条件概率为

()()()()q j i a P a a P

a a P i j i i j ,...,2,1,|== （3-16）

条件概率满足()()

1|1|01=≤≤∑=q j i j i j a a P a a P 且。

因为二维离散平稳信源输出的符号序列中，当前符号只与前一个符号有关联，而且依赖关系不随时间推移而变化。因此，我们可以把这个二维信源输出的随机序列分成每两个符号一组，每组代表新信源12X X =X 中的一个符号（消息）。并假设组与组之间是统计独立的，互不相关的。实际上，每组组尾的符号与下一个组头的符号是有关联的，不是统计独立的。这个假设只是为了简化问题的数学分析。这样，二维离散平稳信源就等效成一个新的离散无记忆信源12X X ，它们的联合概率空间为

()()()()111211212,,...,,|q q q q i j j i i a a a a a a a a X X P x x P a a P a a P a -????=????=??????

（3-17） 且()111q q i j

i j P a a ===∑∑。

根据信息熵的定义，可求得

()()()

j i q i q j j i a a P a a P X X H log 1121∑∑==-= （3-16）

我们把()12H X X 称为12X X 为的联合熵。此值表示原来信源X 输出任意一对可能的消息的共熵，即描述信源X 输出长度为2的序列的所含有的信息量。因此，可用()2121X X H 作为二维离散平稳信源X 的信息熵的近似值。

由于1X 和2X 相互关联，其条件熵定义为：

()()

()()()()()i

j q i q j j i i j i j q i q j i q i i a a P a a P a a P a a P a P a X X P X X H |log |log |||111111212∑∑∑∑∑=====-=-=== （3-17）

可以证明，联合熵和条件熵存在如下关系：

()()()12121|X X H X H X X H += （3-18）

另外，我们还可以求得条件熵与无条件熵的关系为

()()212|X H X X H ≤ （3-19）

例，某一二维离散平稳信源的概率空间为

()012114136

94X P x ??????=????????

相邻符号的联合概率密度函数如表2.1所示。

由表3.1可知（表中列相加） ()()i j j i a P a a P =∑=3

1 （3-20）

根据概率关系可计算得条件概率()

i j a a P |，把计算结果列成表3.2。

当认为信源符号之间无依赖性时，计算得信源X 的信息熵为

()()()()符号比特/542.1log 31

=-=∑=i i i a P a P X H

当考虑符号之间有依赖性时，计算得条件熵

()()()()符号比特/870

.0|log |313112=-=∑∑==i j i j j i a a P a a P X X H

而联合熵

()()()

()两个符号比特/41.2log 313121=-=∑∑==j i i j j i a a P a a P X X H

以上公式验证了()()()12121|H X X H X H X X =+。

信源的条件熵比信源符号间无依赖时的熵()X H 减少了0.672比特，这正是因为符号之间有依赖性所造成的结果。联合熵()21X X H 表示平均每两个信源符号所携带的信息量。我

表3.2 ()|j i P a a 表3.1 ()j

i a a P

们用()2121X X H 作为二维平稳信源X 的信息熵的近似值。那么平均每一个信源符号携带的信息量近似为()()()符号比特/205.121212==X X H X H ，可见()()X H X H <2。

但二维离散平稳信源X 的信息熵不等于()X H 2,此值只能作为信源X 的信息熵的近似值。因为在新信源()21X X 中假设组与组之间是统计独立的，但实际上它们之间是有关联的。虽然信源X 输出的随机序列中每个符号只与前一个有直接关系，但在平稳序列中，由于每一时刻的符号都通过一个符号与更前一个联系起来，因此序列的关联是可延伸到无穷的。

我们也可用条件熵()12|X X H 来作为二维离散平稳信源X 的信息熵的近似值。因为条件熵正好描述了前后两个符号有依赖关系时的平均不确定大小。

由于符号的相互依赖关系往往不仅存在于相邻两个符号之间，而且存在于更多的符号之间。为了计算离散平稳信源的信息熵，我们定义N 长的信息符号序列中平均每个信源符号所携带的信息量为

()()()N N X X X H N X H N N ,..,3,2...121== （3-21）

此值称为平均符号熵。

另一方面，在已知前面1-N 个符号时，后面出现一个符号所携带的平均信息量，为条件熵

()()

1212112121,,...,|......log |...N N N N N N i i i i i i i i i i H X X X X P a a a P a a a a --??=- ???∑ （3-22） 对于离散平稳信源，当()∞

（1）条件熵()121...|-N N X X X X H 随N 的增加是非递增的；、

（2）N 给定时，平均符号熵≥条件熵，即()()N N N X X X X H X H ...|21≥;

（3）平均符号熵()X H N 随N 的增加也是非递增的；

（4）()X H H N N ∞

→∞=lim 存在，并且 ()()121...|lim lim -∞

→∞→∞==N N N N N X X X X H X H H （3-23） ∞H 为离散平稳信源的极限熵或极限信息熵；也有称它为离散平稳信源的熵率。

3.6 马尔可夫信源

许多信源是非平稳信源，但在其输出的符号序列中符号之间的依赖关系是有限的，即任何时刻信源符号发生的概率只与前面已经输出的若干个符号有关，而与更前面输出的符号无关。为了描述这类信源，除了信源符号集外，我们还需引入状态S 。这时，信源输出消息符号还与信源所处的状态有关。对于此类信源，我们可用马尔可夫链来描述。

设一般信源所处的状态{}

1,23,.....J S E E E E ∈,在每一状态可能输出的符号X A ∈={}12,......q

a a a 。并认为每一时刻，当信源输出一个符号后，信源所处的状态将发生转移。 定义3.6.1 马尔可夫信源输出的符号序列和信源所处的状态满足下列两个条件。

（1）某一时刻信源符号的输出只与此刻信源所处的状态有关，而与以前的输出符号都无关。即

()

()i l k l j l k l i l k l E s a x P E s a x E s a x P =======--|,...,,|111 （3-24） 当具有时齐性时，有

()()i k i l k l E a P E s a x P ||=== 及

()1|=∑∈A a i k k E a P （3-25）

（2）信源某l 时刻所处的状态由当前的输出符号和前一时刻()1-l 信源的状态唯一决定（和()1-l 之前的状态无关）。

可见，信源的随机状态序列服从马尔可夫链，即下一个时刻信源处于什么状态只与现在时刻所处的状态有关，与以前所处的状态无关。一般情况，状态转移概率和已知状态输出符号的概率均与时刻l 有关。若当这些概率与时刻l 无关时，则称为时齐马尔可夫链。

若信源处于某一状态i E ，当它输出一个符号后，所处的状态就变了，一定从状态i E 转移到另一状态（比如j E ）。显然，状态的转移依赖于输出的信源符号，因此在条件概率()i k E a P |给定的条件下，可求得状态的一步转移概率()

i j E E P |。 一些常见的马尔可夫信源，其可能所处的状态()J i E i ,.....,1=与符号序列是有关的。如m 阶有限记忆离散信源，它在任何时刻l ，符号发生的概率只与前面m 个符号有关，我们可以把这前面m 个符号序列看作信源在此l 时刻所处的状态。若信源符号集共有q 个符号，则信源可以有m q 个不同的状态，它们分别对应于m q 个长度为m 的不同的符号序列。这时，信源输出依赖长度为1+m 的随机符号序列就可转换成对应的状态随机序列，而这状态序列符合马尔可夫链的性质，因此m 阶有记忆离散信源可用马尔可夫链来描述。

例3.1，有一个二元二阶马尔可夫信源，其信源符号集[0，1]，条件概率定为

()()()()()()()()5

.010|101|110|001|02.011|000|18

.011|100|0========P P P P P P P P 可见，此信源任何时刻输出什么符号只与前两个符号有关，与更前面的符号无关。那么，信源就有422==m q 种可能的状态，即为00,01,10,11，分别用1234,,,E E E E 表示。如果原来状态为00，则此时刻只可能发出符号0或1，所以下一时刻只可能转移到00和01状态。由于处在00状态时发符号0的概率为0.8，所以处在00状态转回00状态概率为0.8.而处在00状态时发符号1的概率为0.2，所以00状态转移到01状态的概率为0.2，因此，根据给定的条件概率，可以求得状态之间的转移概率（一步转移概率）为

()()()()()()()()5.0||||2.0||8

.0||3124322343124411========E E P E E P E E P E E P E E P E E P E E P E E P （3-26）

除此之外，其他的状态转移概率都为零。由此可见，状态转移概率完全依赖于给定的条件概率。

有了上述关于马尔可夫信源的定义和描述，下面我们就可以讨论一般马尔可夫信源的熵。 马尔可夫信源熵的计算公式如下：

()()1|J

i i i H Q E H X E ∞==∑

()()()11|log |q

J i k i k i i k Q E P a E P a E ===-∑∑ （3-27） 式中，()i E Q 是时齐、遍历马尔可夫链的状态极限概率。它满足

()()()|j j i j i

E E Q E P E E Q E ∈=∑ （3-28） ()1i i

E E Q E ∈=∑ （3-29） 一般马尔可夫信源的状态极限概率与初始状态概率分布有关。而时齐、遍历的马尔可夫信源，当状态转移步数N 足够长以后，状态的极限概率分布存在，并且它已与初始的状态概率分布无关。它意味着时齐、遍历的马尔可夫信源在经过足够长时间之后，信源处于什么状态已与初始状态无关，这时信源每种状态出现的概率达到一种稳定分布，这种稳定分布由式（3-28）和式（3-29）决定。

时齐、遍历的m 阶马尔可夫信源并非是记忆长度为m 的离散平稳信源。只有当N 足够长以后，信源所处的状态链达到稳定，这时由m 个符号组成的各种状态达到一种稳定分布后，才可将时齐、遍历的m 阶马尔可夫信源作为记忆长度为m 的离散平稳信源。

下面举例说明马尔可夫信源熵的计算。

例3.2，（续例3.1）在例3.1种，我们得到了状态间的转移概率，根据式（3-28）和式（3-29），可进一步计算出状态概率

()()()()()()()()()()()()()()()()()()()()7

114

51

5.08.02.05.05.02.05.08.032414321244423312311====?????????=++++=+=+=+=E Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E Q 求出 （3-30） 由式（3-30）得信源熵

()()()()()()()()()()符号比特/8.017

27219.0752.0,8.014

55.0,5.0715.0,5.0712.0,8.0145||log |13≈?+?=+++=-

=-

==∑∑∑∈∈=∞H H H H E X H E Q E a P E a P E Q H H i E E i i k i k E E q k i i i