信息论与编码-实验报告

信息论与编码实验报告

题目：关于信源熵的实验

学院：信息科学与工程学院

专业班级：电子信息工程1002班

指导老师：赵颖

学号： 0909101123

姓名：杨家骏

2012 年12 月

一、实验目的

1.掌握离散信源熵的原理和计算方法。

2.熟悉 matlab 软件的基本操作，练习使用 matlab 求解信源的信息熵。

3.自学图像熵的相关概念，并应用所学知识，使用 matlab 或其他开发工具

求解图像熵。

4.掌握 Excel 的绘图功能，使用 Excel 绘制散点图、直方图。

二、实验原理

1.离散信源相关的基本概念、原理和计算公式

产生离散信息的信源称为离散信源。离散信源只能产生有限种符号。

随机事件的自信息量 I（xi）为其对应的随机变量 xi出现概率对数的负值。

即：

I（xi）= -log2 p(xi)

随机事件 X的平均不确定度（信源熵）H（X）为离散随机变量 xi出现概率的数学期望，即：

2.二元信源的信息熵

设信源符号集 X={0，1}，每个符号发生的概率分别为 p(0)=p，p(1)=q，p+ q=1，即信源的概率空间为

则该二元信源的信源熵为：

H(X) = - p log p– q log q = - p log p– (1- p) log (1- p)

即：H (p) = - p log p– (1- p) log (1- p)其中 0 ≤ p≤1

3.MATLAB二维绘图

用 matlab 中的命令 plot(x, y)就可以自动绘制出二维图来。

例 1-2，在 matlab 上绘制余弦曲线图，y = cos x，其中 0 ≤ x≤ 2 。

>>x=0:0.1:2*pi； %生成横坐标向量，使其为 0，0.1，0.2，…，6.2

>>y=cos(x)；%计算余弦向量

>>plot(x,y) %绘制图形

4.MATLAB求解离散信源熵

求解信息熵过程：

1) 输入一个离散信源，并检查该信源是否是完备集。

2) 去除信源中符号分布概率为零的元素。

3) 根据平均信息量公式，求出离散信源的熵。

5.图像熵的相关知识

图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量，令 Pi 表示图像中灰度值为 i 的像素所占的比例，则定义灰度图像的一元灰度熵为：

图像熵计算过程：

1) 输入一幅图像，并将其转换成灰度图像。

2) 统计出图像中每个灰度阶象素概率。

3) 计算出一幅图像的一维熵。

6.Excel的绘图功能

比如：用 Excel 或制作二元熵函数曲线。具体步骤如下：

1）启动 Excel 应用程序。

2）准备一组数据 p。在 Excel 的一个工作表的 A 列（或其它列）输入一组 p，取步长为 0.01，从 0 至 100 产生 101 个 p（利用 Excel 填充功能）。

3）使用 Excel 的计算功能，在 B 列中用二元熵函数计算公式，求得 A 列中各数值对应的二元熵值。比如：在单元格 B2 中输入公式：

=-A2*LOG(A2,2)-(1-A2)*LOG(1-A2,2)。

4）使用 Excel 的图表向导，图表类型选“XY 散点图”，子图表类型选“无

数据点平滑散点图”，绘制二元熵函数散点图。

三、实验内容

1.使用 matlab 软件绘制二元信源熵函数曲线，并说明其物理意义。

实验结果：

物理意义：信源熵为信源的平均不确定性，而概率的大小决定了信息量的大小。由图上可知概率为1时，信息量最小，不确定性最低；概率等于0.5时熵最大。

源代码：

p=0.00001:0.001:0.99999;

h=-p.*log2(p)-(1-p).*log2(1-p);

plot(p,h);

title('二进制熵函数曲线');

ylabel('H(p,1-p)')

2.

源代码：p1=[1/3,1/5,1/5,4/15]; %代表甲信源对应的概率p2=[7/8,1/8]; %代表乙信源对应的概率

H1=0.0;

H2=0.0;

I=[];

J=[];

for i=1:4

H1=H1+p1(i)*log2(1/p1(i));

I(i)=log2(1/p1(i));

end

disp('自信息量分别为：');

I

disp('H1信源熵为：');

H1

for j=1:2

H2=H2+p2(j)*log2(1/p2(j));

J(j)=log2(1/p2(j));

end

disp('自信息量分别为：');

J

disp('H2信源熵为：');

H2

3：

源代码：clear all;

close all;

fid=fopen('lena.img','r');

A=fread(fid,[256,256],'uint8'); fclose(fid);

subplot(1,2,1);

imshow(A,[]);

[M,N]=size(A);

A_size=M*N;

L=256;

H1=0;

p=zeros(L,1);

fid=fopen('fing_128.img','r');

B=fread(fid,[128,128],'uint8'); fclose(fid);

subplot(1,2,2);

imshow(B,[]);

[M,N]=size(B);

B_size=M*N;

L=256;

H2=0;

p=zeros(L,1);

%对图像的灰度值在[0,255]上做统计for m=1:M;

for n=1:N;

if A(m,n)==0;

i=1;

else

i=A(m,n);

end

p(i)=p(i)+1;

end

end

p=p./(M*N);

%由熵的定义做计算

result=0;

for i=1:length(p)

if p(i)==0;

result=result;

else

result=result-p(i)*log2(p(i));

end

end

result

四、实验分析总结

在这次信息论与编码中，做实验是为了加深我们对平时学习的理论知识的理解，在理论和实验教学基础上进一步巩固所学基本理论和提高应用所学知识并加以综合应用的能力，培养学生将所学知识应用于实际的思想，提高分析和解决问题的能力，增强学生的综合能力，开发学生的智力，激发学生的创新精神，为毕业设计和以后工作打下必要基础。

还有就是学习过程中的不足，这主要体现在做实验的过程中，我们深深感觉到自身所学知识的有限，书本上没有提及的环节，我们基本都没有去研究过，做的过程有时突然间觉得有点茫然，虽然通过查阅可以解决问题，但还是浪费了许多时间，这一点是我们在以后的学习中必须加以改进的地方，同时在以后的学习过程中也要督促自己不断地完善自我，超越自我，对知识的汲取应该如饥似渴。

通过本次试验，我加深了对信息论与编码这门课知识点的认识，学会了怎么样去计算信源熵，怎样去把它具体实现出来。还有，之前我很少用过Excel，也没用过Excel画图表，经过这次学习后，我基本上掌握了。

而且学会了用matlab计算单符号和二元的信源熵，学会了怎么用matlab 来画出信源矩阵，同时还使用了Excel 软件，用该软件画出了，用了散点图和柱状图。实验中遇到了变量定义，数据的输入以及图像的输入和像素的查找等问题，最后都通过查资料解决，但是实验中像素的统计未能够做出更好的简单方便的方法。

通过这次的课程设计，我们深深地体会到信息论编码的有用性和重要性。同

时也发现了自身存在的不少不足之处，这给今后的学习敲响了警钟，也提供了经验教训。