第二章信源信息熵

第二章信源与信息熵主要内容：（1）信源的描述与分类；（2）离散信源熵和互信息；（3）离散序列信源的熵；（4）连续信源的熵和互信息；（5）冗余度。

重点：离散/连续信源熵和互信息。

难点：离散序列有记忆信源熵。

说明：本章内容主要针对信源，但是很多基本概念却是整个信息论的基础，所以安排了较多课时。

由于求熵涉及一些概率论的基础知识，考虑到大四的同学可能对这部分知识已经遗忘，故适当复习部分概率论知识。

较难的 2.1.2节马尔可夫信源部分放置在本章最后讲，便于同学理解。

本章概念和定理较多，比较抽象，课堂教学时考虑多讲述一些例题，通过例题来巩固概念和消化定理。

作业：2．1—2．7，2．10，2．12。

课时分配：10课时。

板书及讲解要点：在信息论中，信源是发出消息的源，信源输出以符号形式出现的具体消息。

如果符号是确定的而且预先是知道的，那么该消息就无信息而言。

只有当符号的出现是随机的，预先无法确定，一旦出现某个符合就给观察者提供了信息。

因此应该用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息，这就是香农信息论的基本点。

2．1 信源的描述与分类在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度——概率空间来描述信源。

信源：产生随机变量、随机序列和随机过程的源。

信源的基本特性：具有随机不确定性。

信源的分类离散信源：文字、数据、电报——随机序列连续信源：话音、图像——随机过程离散信源：输出在时间和幅度上都是离散分布的消息。

消息数是有限的或可数的，且每次只输出其中一个消息，即两两不相容。

发出单个符号的无记忆信源离散无记忆信源： 发出符号序列的无记忆信源离散信源离散有记忆信源： 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源概率论基础：无条件概率，条件概率和联合概率的性质和关系： （1） 非负性0()()(/)(/)()1i j j i i j i j p x p y p y x p x y p x y ≤≤，，，， （2） 完备性111111()1,()1,(/)1,(/)1,()1n m nijiji j i mm nji i j j j i p x p y p x y p yx p x y ===========∑∑∑∑∑∑11()(),()()n mijjijii j p x y p y p x y p x ====∑∑（3） 联合概率()()(/)()(/)()()()(/)()(/)()i j i j i j i j i j i j j i j i j i p x y p x p y x p y p x y X Y p x y p x p y p y x p y p x y p x =====当与相互独立时，，（4） 贝叶斯公式11()()(/)(/)()()i j i j i j j i nmijiji j p x y p x y p x y p y x p x y p x y ====∑∑，2.1.1 无记忆信源：例如扔骰子，每次试验结果必然是1～6点中的某一个面朝上。

可以用一个离散型随机变量X 来描述这个信源输出的消息。

⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡6/1,6/1,6/1,6/1,6/1,6/1,,,,,)(654321x x x x x x x p X 并满足1)(61=∑=i ix P在实际情况中，存在着很多这样的信源、例如投硬币、书信文字、计算机的代码、电报符号、阿拉伯数字码等等。

这些信源输出的都是单个符号（或代码）的消息，它们符号集的取值是有限的或可数的。

我们可用一维离散型随机变量X 来描述这些信息的输出。

这样的信息称为离散信源。

其数学模型就是离散型的概率空间：⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡)()()()(11n i n i x p x p x p x x x x p X ΛΛΛΛ， 0≤p (x i )≤1 1)(1=∑=ni ix pp(x i )：信源输出符号x i （i =1，2，…，n ）的先验概率。

当信源给定，其相应的概率空间就已给定；反之，如果概率空间给定，这就表示相应的信源已给定。

所以概率空间能表征这离散信源的统计特性。

上式表示信源可能的消息（符号）数是有限的，只有n 个：x 1 ,x 2 ,… ，x n ，而且每次必定选取其中一个消息输出，满足完备集条件。

这是最基本的离散信源。

有的信源输出的消息也是单个符号，但消息的数量是无限的，如符号集A 的取值是介于a 和b 之间的连续值，或者取值为实数集R 等。

连续信源：输出在时间和幅度上都是连续分布的消息。

消息数是无限的或不可数的，且每次只输出其中一个消息。

我们可用一维的连续型随机变量X 来描述这些消息。

其数学模型是连续型的概率空间()⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡)(,x p b a P X X 或⎥⎦⎤⎢⎣⎡)(x p R X ， 并满足 ⎰=badx x p 1)(。

p(x)是随机变量X 的概率密度函数。

例如：随机取一干电池，测电压值作为输出符号,该信源每次输出一个符号,但符号的取值是在[0，1.5]之间的所有实数,每次测量值是随机的,可用连续型随机变最X 来描述。

在有些情况下，可将符号的连续幅度进行量化使其取值转换成有限的或可数的离散值．也就是把连续信源转换成离散信源来处理。

很多实际信源输出的消息是由一系列符号组成，这种用每次发出1组含2个以上符号的符号序列来代表一个消息的信源叫做发出符号序列的信源。

需要用随机序列(随机矢量) X =（X 1X 2…X l …X L ）来描述信源输出的消息，用联合概率分布来表示信源特件。

例如扔骰子：⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡6/16/16/16/16/16/1101100011010001000)(x p X 符号序列信源是L 为3的情况，此时信源X =(X 1X 2X 3)，X l 取={0,1} 离散随机序列X 的样值x 可表示为 x = (x 1…x 1…x L )x ∈ n L = n ×n ×…×n （共L 个），即每个随机变量取值有n 种，那么L 个随机变量组成的随机序列，其样值共有n L 种可能取值。

有时将这种由信源X 输出的L 长随机序列X 所描述的信源叫做离散无记忆信源X 的L 次扩展信源。

其对应的概率为：)|()|()|()()|()|()|()()()(11213121111231211--===L L l L L l x x p x x p x x p x p x x x p x x x p x x p x p x x x p x p ΛΛΛΛΛ 当信源无记忆时： p (x ) = p (x 1x 2…x L )= p (x 1) p (x 2)…p (x L ) =∏=Ll l x p 1)(扩展信源也满足完备性1)(1==∑=nLi ix X p2.1.2有记忆信源一般情况下,信源在不同时刻发出的符号之间是相互依赖的，也就是信源输出的平稳随机序列X 中，各随机变量X l 之间是有依赖的。

如在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相关的。

例如布袋中有100个球，80个红球，20个白球。

先取出一个球，记下颜色后不放回布袋，接着取另一个。

而在取第二个球时布袋中的红球、白球概率已与取第一个球时不同，此时的概率分布与第1个球的颜色有关：若第1个球为红色，则取第二个球时的概率p (a 1)=0.79，p (a 2)=0.2 若第1个球为白色，则取第二个球时的概率p (a 1)=0.8，p (a 2)=0.19即组成消息的两个球的颜色之间有关联件,是有记忆的信源，这种信源就叫做发出符号序列的有记忆信原。

例如由英文字母组成单词,字母间是有关联性的，不是任何字母的组合都能成为有意义的单词,同样不是任问单词的排列都能形成有意义的文章等。

这些都是有记忆信源。

此时的联合概率表示比较复杂，需要引入条件概率来反映信源发出符号序列内各个符号之间的记忆特征)|()|()|()(),,(1112312121x x x p x x x p x x p x p x x x p L L L ΛΛΛ-=表述的复杂度将随着序列长度的增加而增加。

实际上信源发出的符号往往只与前若干个符号有较强的依赖关系，随着长度的增加依赖关系越来越弱，因此可以根据信源的特性和处理时的需要限制记忆的长度，使分析和处理简化。

在实际应用中还有一些信源输出的消息不仅在幅度上是连续的，在时间上或频率上也是连续的，即所谓的模拟信号。

如话音信号、电视图像信号等都是时间连续、幅度连续的模拟信号。

某一时刻的取值是随机的通常用随机过程{x(t)}来描述。

为了与时间离散的连续信源相区别，有时也叫做随机波形信源。

这种信源处理起来就更复杂了。

就统计特性而言，随机过程可分为平稳随机过程和非平稳随机过程两大类，最常见的平稳随机过程为遍历过程。

一般认为，通信系统中的信号都是平稳遍历的随机过程。

虽然受衰落现象干扰的无线电信号属于非平稳随机过程，但在正常通信条件下都近似地当作平稳随机过程来处理。

因此一般用平稳遍历的随机过程来描述随机波形信源的输出。

对于确知的模拟信号可进行采样、量化，使其变换成时间和幅度都是离散的离散信号。

离散信源的统计特性：①离散消息是从有限个符号组成的符号集中选择排列组成的随机序列（组成离消息的信息源的符号个数是有限的）。

一篇汉文，尽管文章优美，词汇丰富，一般所用的词都是从常用 10 000个汉字里选出来的。

一本英文书，不管它有多厚，总是从26个英文字母选出来，按一定词汇结构，文法关系排列起来的。

②在形成消息时，从符号集中选择各个符号的概率不同。

对大量的由不同符号组成的消息进行统计，结果发现符号集中的每一个符号都是按一定的概率在消息中出现的。

例如在英文中，每一个英文字母都是按照一定概率出现的，符号“e”出现最多，“z”出现最少。

③组成消息的基本符号之间有一定的统计相关特性。

每一个基本符号在消息中，通常是按一定概率出现的。

但在具体的条件下还应作具体的分析。

如英文中出现字母h的概率约为 0.04305，这是指对大量文章统计后所得到的字母h出现的可能性；但是，h紧接在t后面的单词特别多，紧接在y后面的单词几乎没有。

也就是说，在不同的具体条件下，同一个基本符号出现的概率是不同的。

因此，做信源统计工作时，不仅需做每个独立的基本符号出现的概率，还须做前几个符号出现后下一个符号为某一基本符号的概率。

一般情况下，常常只考虑在前一个符号出现的条件下，下一个符号为某一基本符号的概率。

2.1.2 马尔可夫信源（马氏链）我们讨论一类相对简单的离散平稳信源，该信源在某一时刻发出字母的概率除与该字母有关外，只与此前发出的有限个字母有关。