实验一 灰度图像信息熵的相关计算与分析

实验一
灰度图像信息熵的相关计算与分析
一、实验目的
1、复习信息熵，条件熵，联合熵，互信息，相对熵的基本定义, 掌握其计算方法，学习互信息与相对熵的区别之处并比较两者的有效性，加深对所学理论理论知识的理解。

2、掌握图像的的基本处理方法，了解图像的编码原理。

3、学习使用matlab ，掌握matlab 的编程。

4、通过对比分析，。

在解决问题的过程中，锻炼自身对问题的研究能力。

二、实验内容与要求
1、计算灰度图像的信息熵，条件熵，联合熵，互信息，相对熵，并比较互信息和相对熵在判别两幅图像的联系与区别。

2、利用matlab 编程计算，并书写完整实验报告。

三、实验原理
1、信息熵
离散随机变量X 的熵H(X)为： ()()log ()
x H X p x p x χ
∈=-∑
图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。

图像的一 维熵表示图像中灰度分布的聚集特征所包含的信息量，将图像的灰度值进行数学统计，便可得到每个灰度值出现的次数及概率，则定义灰度图像的一元灰度熵为：
255
log i
i
i H p p
==-∑
利用信息熵的计算公式便可计算图像的信息熵，求出任意一个离散信源的熵（平均自信息量）。

自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。

所发出的消息不同，它们所含有的信息量也就不同。

任何一个消息的自信息量都代表不了信源所包含的平均自信息量。

信息熵的意义：信源的信息熵H 是从整个信源的统计特性来考虑的。

它是从平均意义上来表征信源的总体特性的。

对于某特定的信源，其信息熵只有一个。

不同的信源因统计特性不同，其熵也不同。

图像的一维熵可以表示图像灰度分布的聚集特征，却不能反映图像灰度分布的空间特征，为了表征这种空间特征，可以在一维熵的基础上引入能够反映灰度分布空间特征的特征量来组成图像的二维熵。

选择图像的邻域灰度均值作为灰度分布的空间特征量，与图像的像素灰度组成特征二元组，记为( i, j )，其中i 表示像素的灰度值(0255)i ≤≤，j 表示邻域灰度(0255)j ≤≤,
2
(,)/ij P f i j N
=
上式能反应某像素位置上的灰度值与其周围像素灰度分布的综合特征，其中 f(i, j)为特征二元组(i, j)出现的频数，N 为图像的尺度，定义离散的图像二维熵为：
255
0log ij ij
i H p p ==∑
构造的图像二维熵可以在图像所包含信息量的前提下，突出反映图像中像素位置的灰度信息和像素邻域内灰度分布的综合特征。

2、联合熵
离散型随机变量（X,Y ）的联合分布函数为
(,)p x y ,其联合熵(,)H X Y ：
(,)(,)log (,)
x y H X Y P x y P x y χγ
∈∈=-∑∑
3、条件熵
若(,)~(,)X Y p x y ，则条件熵(/)H Y X 为：
(/)()(/)
x X
H Y X p x H Y X x ∈==∑
()(/)log (/)
x X
y Y
p x p y x p y x ∈∈=-∑∑
(,)log (/)
x X y Y
p x y p y x ∈∈=-∑∑
log (/)E p Y X =-
4、相对熵
相对熵是对两种分布之间的偏移的测量，在统计学中，以概率比的对数的期望形式出现。

相对熵是两个概率分布P 和Q 差别的非对称性的度量。

是用来度量使用基于Q 的编码来编码来自P 的样本平均所需的额外的比特个数。

典型情况下，P 表示数据的真实分布，Q 表示数据的理论分布，模型分布，或P 的近似分布。

相对熵的定义如下： p(x) 和 q(x)之间相关熵为
()(//)()log
()x X
p x D p q P x q x ∈=∑
()log
()p p X E q X =
5、互信息
互信息是一个随机变量包含另一个随机变量多少的一个量度，是一个随机变量由另一个随机变量的信息其不确定性的减少。

互信息的定义如下：两个随机变量X 和Y ，联合概率分布函数p(x, y)，边缘概率分布函数为p(x)和p(y)，互信息为联合分布和分布乘积之间的相对熵。

(,)(;)(,)log
()()x X y Y
p x y I X Y p x y p x p y ∈∈=∑∑
互信息是一有用的信息度量，指两个事件集合之间的相关性，互信息的值越大（小），相关程度越高（低）。

相对熵是两个概率分布差别的非对称性的度量，是用来度量使用基于一个的编码来编码来自另一个的样本平均所需的额外的比特个数，相对熵的值越大（小），非对称性的量度越大（小），侧面反映相关程度的低（高）。

两者都可以用来衡量两幅图像的相关程度，但是也有区别。

四、实验步骤
1) 输入一幅图像，并将其转换成灰度图像。

2) 统计出图像中每个灰度阶象素概率。

3) 统计出图像中相邻两象素的灰度阶联合分布矩阵。

4) 计算出每幅图像的熵和成对图像的条件熵，联合熵，互信息，相对熵 5）分析实验结果。

五、实验结果及分析
3）结果分析：
从原始图像可以看出图1分别与图2，图3，图4的差别原来越大。

从计算结果上看，它们的互信息的值越来越小、相对熵的值越来越大，与实际相符，结果正确。

回顾互信息与相对熵的定义，我们可以了解到互信息是一种有用的信息度量，它是指两个事件集合之间的相关性，因此互信息越大，二者的相似程度就越高。

而相对熵基于熵来定义，其直观意义是用p进行编码平均比q多的比特数，也就是p与q的差距，p与q差距越大相对熵就越大。

用两者不同的信息去衡量相同的信息，会产生较大的误差。

所以在衡量两个随机变量的相关程度时，互信息要比相对熵有优势，效果会更好一些。

六、心得体会
本次大作业我们首先对之前学过的知识复习一下，加深对信息熵、联合熵、互信息、条件熵以及相对熵的理解。

对于KL散度,虽然老师上课有专门讲解过,但是具体操作的时候还是概念不太清晰,为此我们参考网络已有的资料又重新学习了一下。

在图像的选择方面，我们刚开始决定用一组图像来计算，但是一组图像并不能完全说明互信息与相对熵之间的对比关系，最后经过讨论我们决定采用多组图像进行对比。

整个作业过程中程序仍然是大问题，我们不断的对程序进行修改，时间主要耗费在程序编写与数据的分析。

最后还是依靠大家一起合作，顺利完成了此次作业。