信息论与编码课程设计报告,统计信源熵与香农编码

信息论与编码课程设计报告设计题目：统计信源熵与香农编码

专业班级电信 12-06

学号

学生姓名

指导教师

教师评分

2015年 3 月 30日

目录

一、设计任务与要求 (2)

二、设计思路 (2)

三、设计流程图 (3)

四、程序运行及结果 (4)

五、心得体会 (6)

参考文献 (7)

附录：源程序 (8)

一、设计任务与要求

1.统计信源熵

要求：统计任意文本文件中各字符（不区分大小写）数量，计算字符概率，并计算信源熵。

2.香农编码

要求：任意输入消息概率，利用香农编码方法进行编码，并计算信源熵和编码效率。

二、设计思路

本次课程设计中主要运用C 语言编程以实现任务要求，分析所需要的统计量以及相关变量，依据具体公式和计算步骤编写语句，组成完整C 程序。

1、信源熵

定义：信源各个离散消息的自信息量的数学期望为信源的平均信息量，一般称为信源的信息熵，也叫信源熵或香农熵，有时称为无条件熵或熵函数，简称熵，记为H （）。

计算公式：

)

(log )(-)x (i i i x p x p H ∑=

2、香农编码过程：

（1）将信源消息符号按其出现的概率大小依次排列为

n p p ≥???≥≥21p

（2）确定满足下列不等式的整数码长i K 为

1)()(+-<≤-i i i p lb K p lb

（3）为了编成唯一可译码，计算第i 个消息的累加概率

∑-==11)

(i k k i a p P

（4）将累计概率

i P 变换成二进制数。 （5）取i P 二进制数的小数点后i K 位即为该消息符号的二进制码字。

三、设计流程图

1、统计信源熵

开始

读取给定文件

判断文件是否打开否

并且不为空

是

统计文本字符，直关闭文件

至文本字符读完。

统计同一字符(不分

大小写)出现的次数

计算字符概率

计算信源熵

输出

结束

2、香农编码

开始

输入概率

计算累加概率

计算码字

计算码长

计算平均码长

计算信源熵

计算编码效率

输出

结束

四、程序运行及结果

1、统计信源熵

2、香农编码

五、心得体会

通过这次课程设计明显的体会到知识匮乏所带来的种种问题，首先是对C 语言编程的不熟练，课程知识在与C语言的结合中没有清晰的思路，具体实现程序语言的编写较为困难。在程序的调试中出现的问题无法及时快速的解决，有些错误甚至无法找到合适的解决方法，以至于不断的修改程序，浪费了大量的时间。

在设计期间出现的问题还是非常多的，要求熟悉相关软件的操作使用，需要不断的搜集所需的各种资料，及时解决遇到的问题。课程设计很是考察个人能力和团队合作协调能力，在面对自己所不熟悉甚至不了解的问题时，是怎样一步步的设计完成给定的任务，及时有成效的解决面临的问题的。从整体的分析设计到后面语句变量的敲定最终完成课题是对自己极其有益的锻炼，从中收获的不仅是知识上的，也是学习经验的积累和思维能力的提升，虽然一次课程设计任务不是那么繁重，可是认真去完成其中的一个个细节也是一种难得的体验。

参考文献

[1]曹雪虹，张宗橙.《信息论与编码》清华大学出版社.2009.

[2]贾宗璞，许合利.《C语言程序设计》人民邮电出版社.2010.

[3]盛骤，谢式千，潘承毅.《概率论与数理统计》[M].高等教育出版.1989.

附录：源程序

1、统计信源熵

#include

#include

#include /*memcpy所需头文件*/

#include

#define N 1000 /*宏定义N，此处N代表读取文本文件最大字符数为1000*/

int main(void)

{

char s[N],M[N];

int i = 0,j=0,n=0,L=0;

int len, num[27] = {0};

double result=0,p[27]= {0};

FILE *f;

char temp[N];

/********打开'文件.txt'*******/

if(!(f = fopen("D:\\VC++6.0\\text518.txt","rb")))

{ printf("文件打开失败！\n");

return 0;

}

while(!feof(f)) /*feof检查文件是否结束。如结束，否则返回0.*/ {

len=fread(temp,1,1000,f);/*fread返回读取的字符个数。从f锁指定的文件中读取长度为1的1000个数据项，存到temp所指向的内存区。返回所读取的数据个数。*/ }

fclose(f); /*关闭f所指向的文件*/

temp[len]='\0'; /*将temp数组元素清空（'\0'空字符）*/

memcpy(s,temp,sizeof(temp)); /*从temp中拷贝sizeof个字节到目标s中。sizeof返回一个对象或者类型所占的内存字节数*/

/*****计算各个字母、空格出现数目*****/

for(i=0; i

{

if(s[i]==' ')

num[26]++;

else

if(s[i]>='a'&&s[i]<='z')

num[s[i]-97]++;

else

if(s[i]>='A'&&s[i]<='Z')

num[s[i]-65]++;

}

printf("文本文件中各字符(不区分大小写)数量:\n");

for(j=0; j<26; j++)

{

M[j]=num[j];

printf("%4c:%d\t",j+65,M[j]); /*输出格式，%3c在该字符前在空三个空格*/

L++;

if(L==5) /*输出格式，每行五个字母*/

{

printf("\n");

L=0;

}

}

printf("空格:%d\t",num[26]);

/*****计算各个字母、空格出现概率****/

printf("\n文本文件中各个字符概率:\n");

for(i=0; i<26; i++)

{

p[i]=(double)num[i]/strlen(s); printf("%3c:%f\t",i+65,p[i]);

n++;

if(n==5) /*输出格式，每行五个字母概率*/

{

printf("\n");

n=0;

}

}

p[26]=(double)num[26]/strlen(s);

printf("空格:%f\t",p[26]);

printf("\n");

/**********计算信源熵**********/

for(i=0; i<27; i++)

{

if (p[i]!=0)

result=result+p[i]*log(p[i])*1.433;/*信源熵,I(x)=-logp(x)*/

}

result=-result;

printf("信源熵为:%f",result);

printf("\n");

return 0;

}

2、香农编码

#include

#include

#include

#define max_CL 10 /*最大容量的代码的长度*/

#define max_PN 6 /*输入序列的个数*/

typedef float datatype;

typedef struct SHNODE {

datatype pb; /*第i个消息符号出现的概率*/

datatype p_sum; /*第i个消息符号累加概率*/

int kl; /*第i个消息符号对应的码长*/

int code[max_CL]; /*第i个消息符号的码字*/

struct SHNODE *next;

}shnolist;

datatype sym_arry[max_PN]; /*序列的概率*/

void pb_scan(); /*得到序列概率*/

void pb_sort(); /*序列概率排序*/

void valuelist(shnolist *L); /**/

void codedisp(shnolist *L);

void pb_scan()

{

int i;

datatype sum=0;

printf("input %d possible!\n",max_PN);

for(i=0;i

{ printf(">>");

scanf("%f",&sym_arry[i]);

sum=sum+sym_arry[i];

}

/*判断序列的概率之和是否等于1scanf()对float数的缺

足0.99

if(sum>1.0001||sum<0.99)

{ printf("sum=%f,sum must (<0.999

pb_scan();

}

}

/*选择法排序*/

void pb_sort()

{

int i,j,pos;

datatype max;

for(i=0;i

{

max=sym_arry[i];

pos=i;

for(j=i+1;j

if(sym_arry[j]>max)

{

max=sym_arry[j];

pos=j;

}

sym_arry[pos]=sym_arry[i];

sym_arry[i]=max;

}

}

void codedisp(shnolist *L)

{

int i,j;

shnolist *p;

datatype hx=0,KL=0; /*hx KL存放序列编码后的平均码字的

结果*/

p=L->next;

printf("num\tgailv\tsum\t-lb(p(ai))\tlenth\tcode\n");

printf("\n");

for(i=0;i

{

printf("a%d\t%1.3f\t%1.3f\t%f\t%d\t",i,p->pb,p->p_sum,-3.332*log10(p->pb),p->kl);

j=0;

for(j=0;jkl;j++)

printf("%d",p->code[j]);

printf("\n");

hx=hx-p->pb*3.332*log10(p->pb); /*计算消息序列的熵*/

KL=KL+p->kl*p->pb; /*计算平均码字*/

p=p->next;

}

printf("H(x)=%f\tKL=%f\nR=%fbit/code",hx,KL,hx/KL); /*计算编码效率*/

}

shnolist *setnull()

{ shnolist *head;

head=(shnolist *)malloc(sizeof(shnolist));

head->next=NULL;

return(head);

}

shnolist *my_creat(datatype a[],int n)

{

shnolist *head,*p,*r;

int i;

head=setnull();

r=head;//87

for(i=0;i

{ p=(shnolist *)malloc(sizeof(shnolist));

p->pb=a[i];

p->next=NULL;

r->next=p;

r=p;

}

return(head);

}

void valuelist(shnolist *L)

{

shnolist *head,*p;

int j=0;

int i;

datatype temp,s;

head=L;

p=head->next;

temp=0;

while(j

{

p->p_sum=temp;

temp=temp+p->pb;

p->kl=-3.322*log10(p->pb)+1;

/**/

{

s=p->p_sum;

for(i=0;ikl;i++)

p->code[i]=0;

for(i=0;ikl;i++)

{

p->code[i]=2*s;

if(2*s>=1)

s=2*s-1;

else if(2*s==0)

break;

else s=2*s;

}

}

j++;

p=p->next;

}

}

int main(void)

{

shnolist *head;

pb_scan();

pb_sort();

head=my_creat(sym_arry,max_PN); valuelist(head);

codedisp(head);

}