信息论作业

信息论

1925年，R.A.Fisher 给出了“信息”的定义。它是从古典统计理论的角度定义的一种信息量，又称为Fisher 信息量。Fisher 信息量在统计角度中具有重要的价值，并且在各种信号处理中获得了应用。其后，信息论的创始人Shannon 在其1948年发表的信息论奠基性论文“通信的数学理论”中国提出了两个重要的概念熵和互信息。利用这两个概念，Shannon 对通信系统进行理论分析，取得了通信技术史上划时代的重要成果。1959年，S.K.Kullbac 提出了另一个重要概念——鉴别信息（discrimination information ），他认为这一概念可以统一Fisher 在1925年定义的信息以及后来由Shannon 定义的信息。由于Shannon 熵在连续随机变量下失去了意义，因此鉴别信息在此情况下具有特别重要的价值。

在信息的研究中，各种通信系统的形式和用途不同，但他们的本质一样，都是信息的传输系统。为老人便于研究信息传输的共同特征和处理的共同规律，我们将各种通信系统中具有共同特征性的部分抽取出来，概括成一个统一的理论模型。

1、 信息熵

（1）我们定义自信息的数学期望为信源的平均自信息量，即

()()()1

log q

i i i H X P a P a ==-∑

这个平均自信息的表达式与统计物理学中的热熵的表达式很相似。在统计物理学中。热熵是一个物理系统杂乱性的度量，这在概念上两者也有相似之处。因而，我们把()H X 称为熵，也称为信息熵。

A 、信息熵()H X 是表示信源熵输出后，每个消息所提供的平均信息量。

B 、信息熵()H X 是表示信源输出前，信源的平均不确定性。 例如有两个信源，其概率空间分别为

()120.990.01X a a P x ????

= ? ????? ，()120.50.5Y b b P y ????= ? ?

??

??

其熵分别为：()0.99log0.990.01log0.010.08H X =--=

()0.5log0.50.5log0.51H Y =--=

可见()()H Y H X >

随机论所关心的是这一随机变量的不确定性，即人们在对这一随机变量进行观察、测量、记录时，其结果的不确定性。因为不确定性，才驱使人们对随机变量进行观察、记录，并从中获取信息。显然，随机变量的不确定程度越高，我们从实验中可能获取信息也就越多。

C 、信息熵()H X 来表征变量X 随机性 （2）信源熵表示的是信源概率空间

它有以下一些性质：

A 、 对称性：当变量12,,...q p p p 的顺序任意互换时，熵函数的值不变，即

()()()1223111,,...,,...,...,,...q q q q H p p p H p p p p H p p p -===

该式表明，熵只与随机变量的总体结构有关，即与信源的总体的统计特征性有关。

B 、 确定性：()()()1,01,0,0...1,0,0,...,00H H H ====

这个性质意味着从总体来看，信源虽然有不同的输出消息，但它只有一个消息几乎必然出现，而其他消息都是几乎不可能出现，那么，这个信源是一个确知信源，其熵等于零。

C 、 非负性：()(

)121

,,...log 0q

q i

i

i H P H p p p p p ===-

≥∑

该性质是很显然的，因为随机变量X 的所有取值的概率分布满足01i p <<，当取对数的底大于1时，log 0i p <，而log 0i i p p ->，则得到的熵是正值。

D 、 扩展性：()()

112120

lim ,,...,,,...,q q q q H p p p H p p p εεε+→-=

E 、 可加性：()()()H XY H X H Y =+，统计独立信源X 和Y 的联合信源的

熵等于分别熵之和。

F 、 强可加性：()()()|H XY H X H Y X =+，两个互相关联的信源X 和Y 的

联合信源的熵等于信源X 的熵加上在X 已知的条件下信源Y 的条件熵。 对于随机变量而言，其取值是不确定的。在做随机试验之前，只了解各取值的概率分布，而做完随机试验后，就确切的知道了取值，不确定性完全消失。这样，通过随机试验我们或得了信息，且该信息的数量恰好等于随机变量的熵。在这个意义上，可以把熵作为信息的量度。

2、

互信息

由于事物是普遍联系的，因此，对于两个随机变量X 和Y ，它们之间在某种程度上也是相互联系的，即他们之间存在统计依赖关系。于是在获知某随即变量的取值的条件下的条件熵()|H X Y 总是不大于另一随机变量的无条件熵

H X <。也就是说，未知Y 时，X 的不确定度()H X ,已知()()|H X Y H X ≤。

我们已知()H X 代表收到输出符号以前关于输入变量X 的平均不确定性，而()|H X Y 代表接收到输出符号后关于输入变量的不确定性。

可见，通过信道传输消除了一些不确定性，获得了一定的信息。所以定义()()();|I X Y H X H X Y =-，

();I X Y 称为X 和Y 之间的互信息。

互信息的另一种定义方法是直接定义的X 和Y 之间的互信息为

()()()

()()

11,|,log

n

n

i j i j i j i j P a a I X Y P a a P a P a ===∑∑，

于是得到()()()();I X Y H X H Y H XY =+-

在一般情况下，互信息的值满足关系式()()()0;min ,I X Y H X H Y ≤≤???? 当随机变量之间统计独立时，有：()()()()|,|H X Y H X H Y X H Y == 于是得到();0I X Y =,

当随机变量X 和Y 之间有确定的函数关系时，分如下两种情况： A 、 X 可以唯一确定Y ，此时()|0H Y X =，故：()();I X Y H Y = B 、

Y 可以唯一确定X 时，此时()|0H X Y =，故：()();I X Y H X =

3、 鉴别信息

鉴别信息（discrimination information ）一词来自Kullback ，现在有些文献中有称为交叉熵（cross —entropy ）、Kullback 熵、相对熵（relative entropy ）、方向散度（directed divergence ）、K —L 数等。

在离散随机变量的情形下，设随机变量X 的可能取值为{}12,,...,k ααα，且X 的概率分布情况与假设1H 和2H 有关，即在假设1H 下，X 的概率分布为

另外，假设1H 和2H 成立的概率分别为()1p H 和()2p H ，则根据条件概率公式及

全概率公式，有()()()()()()()

1111122|k k k k p H p p H p H p p H P αααα=+

()()()

()()()()

2221222|k k k k p H p p H p H p p H P αααα=

+

其中，()()11|k k p p H αα=，()()22|k k p p H αα=，而()1|k p H α和()2|k p H α分别是X 取k α得条件下，假设1H 和2H 成立的条件概率，于是可以知道

()()()()()

()

222111|log

log log

|k k k k p p H p H p p H p H αααα=-。 鉴别信息是为了鉴别2H 和1H 而随机变量X 在2H 假设的分布下进行观察所

平均得到的倾向于2H 的信息量。

4、 总结

信息论的三个基本概念分别给出了随机变量不确定的量以及在消除或减少这一不确定性时所获信息的量度。

A 、 随机变量不确定性的量度：在概念上讲，连续随机变量所取的值，应该是无穷精度，其不确定性为无穷是完全合理的。在实际应用中，由于变量所取的数值只能是有限精度，因此，连续随机变量的熵，为无穷这点并不会给实际应用带来困难，只需用一个相对尺度来衡量连续随机变量的不确定性即可。

B 、 减少或消除随机变量的不确定性的两条途径和信息的两种量度：一条是对另一个与堆积变量统计关联的随机变量进行观察、试验，从而获得关于原随机变量的信息，减少或消除其不确定性。该信息量可以用互信息进行量度。另一条是对随机变量本身进行观察、试验，从而获得信息，减少或消除其不确定性。该信息量可以鉴别信息进行量度。

在信息论的这三个基本概念中，熵是基础的，鉴别信息则是最普遍的。有鉴别信息可以退出互信息，所以互信息是鉴别信息的特例。由互信息又可以推出熵，所以，熵是互信息的特例。