信息论与编码课程大作业香农编码

信息论与编码课程大作业

题目：香农编码

学生姓名：

学号：2010110100

专业班级：电子信息工程班

2013年5月17日

香农编码

一、实验目的

(1) 进一步熟悉Shannon 编码过程。 (2) 掌握高级语言程序的设计和调试技术。

二、实验要求

输入：信源符号个数n 、信源的概率分布P={p(s i )},i=1,…..,n 。 输出：每个信源符号对应的香农编码的码字。

三、实验原理

香农第一定理指出了平均码长与信源之间的关系，同时也指出了可以通过编码使平均码长达到极限值，这是一个很重要的极限定理。如何构造这种码？香农第一定理指出，选择每个码字的长度K i 满足下式

I(x i )≤K ﹤I(x i )+1, 就可以得到这种码。这种编码方法就是香农编码。 编码步骤

香农编码法冗余度稍大，实用性不大，但有重要的理论意义。编码步骤如下： （1） 将信源消息符号按其出现的概率大小依次排列 p （x 1）≥p （x 2）≥…≥p （x n ） （2） 确定满足下列不等式整数码长K i ：

-log 2p(x i )≤K i ＜-log 2p(x i )+1 （3） 为了编成唯一可译码，计算第i 个消息的累加概率 P i =∑-+1

1i k p(x k )

（4） 将累加概率P i 变成二进制数。

（5） 取P i 二进制数的小数点后K i 位即为该消息符号的二进制码字

四、用Matlab实现

1、编码主程序

n=input('输入单符号信源个数n=')

p=zeros(1,n);

for i=1:n

p(1,i)=input('输入单符号信源的概率:');

end

if sum(p)<1||sum(p)>1

error('不符合概率分布无效')

end

y=fliplr(sort(p));%大到小排序

D=zeros(n,4);%生成n*4的零矩阵

D(:,1)=y';%把y赋给零矩阵的第一列

for i=2:n

D(1,2)=0;%令第一行第二列的元素为0

D(i,2)=D(i-1,1)+D(i-1,2);%求累加概率

end

for i=1:n

D(i,3)=-log2(D(i,1));%求第三列的元素

D(i,4)=ceil(D(i,3));%求第四列的元素，对D(i,3)向无穷方向取最小正整数

end

D

A=D(:,2)';%取出D中第二列元素

B=D(:,4)';%取出D中第四列元素

for j=1:n

C=binary(A(j),B(j))%生成码字

end 2、含有的子函数binary

function [C]=binary(A,B)%对累加概率求二进制的函数

C=zeros(1,B);%生成零矩阵用于存储生成的二进制数，对二进制的每一位进行操作

temp=A;%temp赋初值

for i=1:B%累加概率转化为二进制，循环求二进制的每一位，A控制生成二进制的位数

temp=temp*2;

if temp>1

temp=temp-1;

C(1,i)=1;

else

C(1,i)=0;

end

end

五、运行结果及分析（宋体四号，加粗）

输入信源符号个数n=5

输入信源符号概率:0.21

输入信源符号概率:0.19

输入信源符号概率:0.18

输入信源符号概率:0.17

输入信源符号概率:0.25

得到结果为：

六、心得体会（宋体四号，加粗）

本次大作业之前我对信息论香农编码的理解还只是停留在以前通信课本和信息论课本理论知识，这两周时间主要是通过看课本和通过网络资源完成了本次大作业，运行程序只对于正确输入情况下可以出来结果，若输入信号概率之和不为1也能运行，出来的编码是错误的，这点没有考虑到。通过运用香农编码方法进行计算和对香农编码Matlab的运行，可知，香农编码方法多余度稍大，相较于其他编码方法实用性不大，例如：后面课本上所学的费诺编码，但香农编码法有重要的理论意义。