(最新版)信息论与编码实验报告

实验报告

课程名称：信息论与编码姓名：

系：

专业：

年级：

学号：

指导教师：

职称：

年月日

目录

实验一信源熵值的计算 (1)

实验二Huffman信源编码 (5)

实验三Shannon编码 (9)

实验四信道容量的迭代算法 (12)

实验五率失真函数 (15)

实验六差错控制方法 (20)

实验七汉明编码 (22)

实验一 信源熵值的计算

一、 实验目的

1 进一步熟悉信源熵值的计算

2熟悉 Matlab 编程

二、实验原理

熵（平均自信息）的计算公式

∑∑=--==q i i i q

i i i p p p p x H 1212log 1log )( MATLAB 实现：；或者

流程：第一步：打开一个名为“nan311”的TXT 文档，读入一篇英文文章存入一个数组temp ，为了程序准确性将所读内容转存到另一个数组S ，计算该数组中每个字母与空格的出现次数(遇到小写字母都将其转化为大写字母进行计数)，每出现一次该字符的计数器+1；

第二步：计算信源总大小计算出每个字母和空格出现的概率；

最后，通过统计数据和信息熵公式计算出所求信源熵值（本程序中单位为奈特nat ）。

程序流程图：

三、实验内容

1、写出计算自信息量的Matlab 程序

2、已知：信源符号为英文字母（不区分大小写）和空格。

输入：一篇英文的信源文档。

输出：给出该信源文档的中各个字母与空格的概率分布，以及该信源的熵。

四、实验环境

Microsoft Windows 7

Matlab 6.5

五、编码程序

#include"stdio.h"

#include

#include

#define N 1000

int main(void)

{

char s[N];

int i,n=0;

float num[27]={0};

double result=0,p[27]={0};

FILE *f;

char *temp=new char[485];

f=fopen("nan311.txt","r");

while (!feof(f)) {

fread(temp,1, 486, f);}

fclose(f);

s[0]=*temp;

for(i=0;i

{

s[i]=temp[i];

}

for(i=0;i

{

if(s[i]==' ')

num[26]++;

else if(s[i]>='a'&&s[i]<='z')

num[s[i]-97]++;

else if(s[i]>='A'&&s[i]<='Z')

num[s[i]-65]++;

}

printf("文档中各个字母出现的频率:\n"); for(i=0;i<26;i++)

{

p[i]=num[i]/strlen(s);

printf("%3c:%f\t",i+65,p[i]);

n++;

if(n==3)

{

printf("\n");

n=0;

}

}

p[26]=num[26]/strlen(s);

printf("空格:%f\t",p[26]);

printf("\n");

for(i=0;i<27;i++)

{

if (p[i]!=0)

result=result+p[i]*log(p[i]);

}

result=-result;

printf("信息熵为:%f",result);

printf("\n");

return 0;

}

六、求解结果

其中nan311.txt中的文档如下：

There is no hate without fear. Hate is crystallized fear, fear’s dividend, fear objectivized. We hate what we fear and so where hate is, fear is lurking. Thus we

hate what threatens our person, our vanity and our dreams and plans for ourselves. If we can isolate this element in what we hate we may be able to cease from hating.

七、实验总结

通过这次实验，我们懂得了不必运行程序时重新输入文档就可以对文档进行统计，既节省了时间而且也规避了一些输入错误。在实验中，我们进一步了解到信源熵的计算，理论和实践的结合让我们对这个知识点了解的更加深刻了。

实验二Huffman信源编码

一、实验目的

1．理解信源的最优变长编码的基本思想。

2．熟练掌握Huffman信源编码方法。

二、设计原理

设信源S={s1,s2,…..,sq}，其对应的概率分布为P(si)={p1,p2,p3,….,pq}，则其编码步骤如下：

(1)将q个信源符号按递减方式排列。

(2)用0、1码符分别表示概率最小的两个信源符号，并将这两个符号合并成一个新的符号，从而得到q-1个符号的新信源成为S信源的缩减信源S1。

(3)将缩减信源S1中的符号仍按递减顺序排列，再将最小两个概率相加，合并成一个符号，并分别用0、1码表示，这样有形成了q-2个缩减信源S2。

(4)依次继续下去，直到缩减信源只剩下两个符号为止，将最后两个符号用0、1分别表示。

(5)从最后一次缩减信源开始，向前返回，沿信源缩减过程的反方向取出所编的马元。

三、实验内容

计算定信源和输入信号字母表的Huffman编码，并计算Huffman编码的平均码长。实验具体要求如下：

信源字母表的概率分布为：