信息论与编码实验报告材料

实验报告

课程名称：信息论与编码姓名：

系：专

业：年

级：学

号：指导教

师：职

称：

年月日

目录

实验一信源熵值的计算 (1)

实验二Huffman 信源编码. (5)

实验三Shannon 编码 (9)

实验四信道容量的迭代算法 (12)

实验五率失真函数 (15)

实验六差错控制方法 (20)

实验七汉明编码 (22)

实验一信源熵值的计算

、实验目的

1 进一步熟悉信源熵值的计算

2 熟悉Matlab 编程

、实验原理

熵(平均自信息)的计算公式

q

q

1

H(x) p i log2 p i log2 p i

i 1 p i i 1

MATLAB实现：HX sum( x.* log2( x))；或者h h x(i)* log 2 (x(i )) 流程：第一步：打开一个名为“ nan311”的TXT文档，读入一篇英文文章存入一个数组temp，为了程序准确性将所读内容转存到另一个数组S，计算该数组中每个字母与空格的出现次数( 遇到小写字母都将其转化为大写字母进行计数) ，每出现一次该字符的计数器+1；第二步：计算信源总大小计算出每个字母和空格出现的概率；最后，通过统计数据和信息熵公式计算出所求信源熵值(本程序中单位为奈特nat )。

程序流程图：

三、实验内容

1、写出计算自信息量的Matlab 程序

2、已知：信源符号为英文字母(不区分大小写)和空格输入：一篇英文的信源文档。输出：给出该信源文档的中各个字母与空格的概率分布，以及该信源的熵。

四、实验环境

Microsoft Windows 7

五、编码程序

#include"stdio.h"

#include

#include

#define N 1000

int main(void)

{

char s[N];

int i,n=0;

float num[27]={0};

double result=0,p[27]={0};

FILE *f;

char *temp=new char[485];

f=fopen("nan311.txt","r");

while (!feof(f)) {

fread(temp,1, 486, f);}

fclose(f);

s[0]=*temp;

for(i=0;i

{

s[i]=temp[i];

}

for(i=0;i

{

if(s[i]==' ')

num[26]++;

else if(s[i]>='a'&&s[i]<='z')

num[s[i]-97]++;

else if(s[i]>='A'&&s[i]<='Z')

num[s[i]-65]++;

}

printf（" 文档中各个字母出现的频率:\n"）;

for(i=0;i<26;i++)

{

p[i]=num[i]/strlen(s);

printf("%3c:%f\t",i+65,p[i]);

n++;

if(n==3)

{

printf("\n");

n=0;

}

} p[26]=num[26]/strlen(s);

printf(" 空格:%f\t",p[26]);

for(i=0;i<27;i++)

{

if (p[i]!=0)

result=result+p[i]*log(p[i]);

}

result=-result;

printf(" 信息熵为:%f",result);

printf("\n");

return 0;

}

六、求解结果

其中nan311.txt 中的文档如下：

There is no hate without fear. Hate is crystallized fear, fear 's dividend, fear objectivized. We hate what we fear and so where hate is, fear is lurking. Thus we hate what threatens our person, our vanity and our dreams and plans for ourselves. If we can isolate this element in what we hate we may be able to cease from hating.

七、实验总结

通过这次实验，我们懂得了不必运行程序时重新输入文档就可以对文档进行统计，既节省了时间而且也规避了一些输入错误。在实验中，我们进一步了解到信源熵的计算，理论和实践的结合让我们对这个知识点了解的更加深刻了。

实验二Huffman 信源编码

一、实验目的

1．理解信源的最优变长编码的基本思想。

2．熟练掌握Huffman 信源编码方法。

二、设计原理

设信源S={s1,s2, ?..,sq} ，其对应的概率分布为P(si)={p1,p2,p3, ?.,pq} ，则其编码步骤如下：

(1) 将q 个信源符号按递减方式排列。

(2) 用0、1 码符分别表示概率最小的两个信源符号，并将这两个符号合并成一个新的符号，从而得到q-1 个符号的新信源成为S 信源的缩减信源S1。

(3) 将缩减信源S1 中的符号仍按递减顺序排列，再将最小两个概率相加，合并成一个符号，并分别用0、1 码表示，这样有形成了q-2 个缩减信源S2。

(4) 依次继续下去，直到缩减信源只剩下两个符号为止，将最后两个符号用0、1 分别表示。

(5) 从最后一次缩减信源开始，向前返回，沿信源缩减过程的反方向取出所编的马元。

三、实验内容

计算定信源和输入信号字母表的Huffman 编码，并计算Huffman 编码的平均码长。实验具体要求如下：

信源字母表的概率分布为：

P={ 0.15,0.12,0.2,0.08,0.04,0.18,0.02,0.09,0.04,0.02,0.06}

输入信号字母表：

U={0,1,2} ；

1. 独立设计信源和输入信号字母表进行Huffman 编码, 其中信源字母表元素个数要求是8 以上，信号字母表元素个数是2 以上；

2. 输出Huffman 编码的平均码长。

四、实验环境

Microsoft Windows 7

Matlab 6.5

五、编码程序

MATLAB编码：

function[h,L]=huffman(p,r)

%变量p 为符号出现概率所组成的概率向量

%返回值h 为利用Huffman 编码算法编码后最后得到编码结果

%返回值L 为进行Huffman 编码后所得编码的码字长度

if length(find(p<0))~=0 error('Not a prob.vector,negative component(s)');

end

%判断概率向量中是否有0 元素，有0 元素程序显示出错，终止运行if

(sum(p,2)>1)

error('Not a prob.vector,components do not add up to 1');

end

%判断所有符号出现概率之和是否大于1，如果大于1 程序显示出错，终止运行a=length(p); % 测定概率向量长度，将长度值赋给变量n k=fix((a-1)/(r-1));

l1=a-k*r+k;

q=zeros(1,a); m=zeros(k+1,a);

mp=m;

q=p; [m(1,:),mp(1,:)]=sort(q);

if (l1>1) s=sum(m(1,1:l1),2); q=[s,m(1,(l1+1):a),ones(1,l1-1)];

[m(2,:),mp(2,:)]=sort(q);

else m(2,:)=m(1,:); mp(2,:)=1:1:a;

end for i=3:k+1 s=sum(m(i-1,1:r),2); q=[s,m(i-1,r+1:a),ones(1,r-1)];

[m(i,:),mp(i,:)]=sort(q);

end

n1=m;

n2=mp;

for i=1:k+1 n1(i,:)=m(k+2-i,:); n2(i,:)=mp(k+2-i,:);

end

m=n1;

mp=n2; c=cell(k+1,a);

for j=1:r

c{1,j}=num2str(j-1);

end

for i=2:k p1=find(mp(i-1,:)==1);

for j=1:r c{i,j}=strcat(c{i-1,p1},int2str(j-1));

end

for j=(r+1):(p1+r-1) c{i,j}=c{i-1,j-r};

end

for j=(p1+r):a c{i,j}=c{i-1,j-r+1};

end

end

if l1==1

for j=1:a c{k+1,j}=c{k,j};

end

else

p1=find(mp(k,:)==1);

for j=1:l1 c{k+1,j}=strcat(c(k,p1),int2str(j-1));

end

for j=(l1+1):(p1+l1) c{k+1,j}=c{k,mp(1,j-l1)};

end

for j=(p1(1)+l1+1):a c{k+1,j}=c{k,mp(1,j-l1+1)};

end

end

for j=1:a

l(j)=length(c{k+1,j});

end

h=cell(1,a);

for j=1:a

h{1,j}=c{k+1,j};

end

L=sum(l.*m(k+1,:)); % 求平均码长

2、在MATLAB命令窗口中输入：

p=[0.15,0.12,0.2,0.08,0.04,0.18,0.02,0.09,0.04,0.02,0.06]; r=3;

[h,L]=huffman(p,r).

六、运行结果

得出的结论为：

概率编码概率编码

0.15 2120 0.02 11

0.12 2121 0.09 12

0.2 2122 0.04 20

0.08 210 0.02 22

0.04 211 0.06 0

0.18 10

L=2.0600

七、实验总结

在huffman 编码的过程中，我们运用了平时熟悉的数学软件MATLAB的运行来实现，把书本上huffman 的算法运用编程来实现。通过这次实验，使我更加清晰地理解huffman 编码的原理及实现过程，并且能够在MATLAB中熟练地进行编码运行。

实验三Shannon编码

一、实验目的

1、熟悉离散信源的特点；

2、学习仿真离散信源的方法

3、学习离散信源平均信息量的计算方法

4、熟悉Matlab 编程

二、实验原理

给定某个信源符号的概率分布，通过以下的步骤进行香农编码

1、信源符号按概率从大到小排列；

p1 p2 p n

2、确定满足下列不等式的整数码长K i为

lb(p i ) K i lb(p i) 1

3、为了编成唯一可译码，计算第i 个消息的累加概率：

i1

P i p(a k)

k1

4、将累加概率P i 变换成二进制数；

5、取P i二进制数的小数点后K i位即为该消息符号的二进制码字

三、实验内容

1、写出计算自信息量的Matlab 程序

2、写出计算离散信源平均信息量的Matlab 程序。

3、将程序在计算机上仿真实现，验证程序的正确性并完成习题。

四、实验环境

Microsoft Windows 7

Matlab 6.5

五、编码程序

计算如下信源进行香农编码，并计算编码效率：

X a0 a1 a2 a3 a4 a5 a6

P 0.2 0.19 0.18 0.17 0.15 0.1 0.01

MATLAB程序：

(1) a=[0.2 0.18 0.19 0.15 0.17 0.1 0.01]; k=length(a);y=0;

for i=1:k-1

for n=i+1:k

if (a(i)

end

end

end s=zeros(k,1);b=zeros(k,1); for m=1:k s(m)=y; y=y+a(m); b(m)=ceil(-log2(a(m))); z=zeros(b(m),1); x=s(m); p=b2d10(x);

for r=1:b(m) z(r)=p(r);

end

disp(' ê? 3 ? ? á1 ? ? a ￡o ')

disp(' 3 ? ê? ? ? ? ê'),disp(a(m))

disp(' ? óo í? á1 ? '),disp(s(m))

disp(' ±à? ? ? ? êy '),disp(b(m))

disp(' ×? ? ? ±à? ? '),disp(z')

end

(2) function y=b2d10(x)

for i=1:8

temp=x.*2;

if(temp<1)

y(i)=0;

x=temp;

else x=temp-1; y(i)=1;

end

end

(3) p=[0.2 0.19 0.18 0.17 0.15 0.1 0.01]; sum=0;sum1=0; for i=1:7

a(i)=-log2(p(i));

K(i)=ceil(a(i));

R(i)=p(i)*K(i); sum=sum+R(i); c(i)=a(i)*p(i);

sum1=sum1+c(i); end

K1=sum; H=sum1; Y=H/K1;

disp(' ? ? ? ùD ? ? ￠ á? '),disp(H) disp(' ? ? ? ù? ? 3 ¤ '),disp(K1) disp(' ±à? ? D

§? ê '),disp(Y)

六、实验结果

输出结果为：

编码效率： 平均信息量 2.6087 平均码长 3.1400 编码效率 0.8308

七、实验总结

通过本次的实验，掌握了 Shannon 编码的实验原理以及编码过程。 Shannon 编码中，对概率的排序是最基本的， 如果没有将其按照从大到小的顺序排序， 则 经过

MATLAB 的程序运行后， 将出现错误。 在运用 MATLAB 编程的过程中， 调用了 各种

函数，实现了编程。通过与队友的讨论，不但让我们更快的完成

MATLAB 编

码，也深深体会到只有将大家的智慧融合起来，才能更快更好的解决难题。

出事概率 0.2000 ，

求和结果 出事概率 0.1900 ， 求和结果 0，编码位数 3，最终编码 000

最终编码 0.2000 ， 编码位数 3， 001 出事概率 0.1800 ， 求和结果 0.3900 ， 编码位数 3， 最终编码 011 出事概率 0.1700 ， 求和结果 0.5700 ， 编码位数 3， 最终编码 100 出事概率 0.1500 ， 求和结果 0.7400 ， 编码位数 3， 最终编码 101 出事概率 0.1000 ， 求和结果 0.8900 ，

编码位数 4， 最终编码 1110 出事概率 0.0100 ， 求和结果 0.9900 ， 编码位数 7， 最终编码 1111110

实验四 信道容量的迭代算法 、实验目的

1、进一步熟悉信道容量的迭代算法；

2、学习如何将复杂的公式转化为程序；

3、熟悉程序设计语言的数值计算程序和调试技术。

、实验原理

exp P ij ln (ji

k) j

(8) 停止。

三、实验内容

1、已知：信源符号个数 r 、新宿符号个数 s 、信道转移概率矩阵 P ；

2、输入：任意的一个信道转移概率矩阵，信源符号个数、信宿符号个数和 每一个具

体的转移概率在运行时从键盘输入；

3、 输出：最佳信源分布 P*, 信道容量 C 。

四、实验环境

Microsoft Windows 7 、 Matlab 6.5

五、编码程序

aa.m 文件： clear;

r=input( ' 输入信源个数： ' );

(1) 初始化信源分布 P (0)

P 1,P 2, 数器

k=0，设信道容量相对误差门限为

,P r (一般初始化为均匀分布 ), 置迭代计 ， >0，可设 ;

(2)

(k) ji

P ij P i (k)

i

PijPi (k)

i 1,2,

,s

(3)

P

i (k 1)

exp

P ij ln

j

(k) ji

i 1,2, r

(4)

C (k

1)

ln

exp

i

P ij ln (ji

k )

(5) 如果 C (k 1)

C (k)

C (k 1)

(6) 置迭代序号 k 1

(7) 输出 Pi

(k 1) 和

C (k 1)

，转向(7) ；

k ，转向 (2) ；

的结果；

s=input( ' 输入信宿个数：' ); deta=input( ' 输入信道容量的精度：' );

Q=rand(r,s); % 创建m*n随机分布矩阵A=sum(Q,2);

B=repmat(A,1,s);

disp( ' 信源转移概率矩阵:' ),p=Q./B %信源转移概率矩阵

i=1:1:r;

q(i)=1/r;

disp( ' 原始信源分布：' ),q c=-10e-8;

C=repmat(q',1,s);

for k=1:1:100000 m=p.*C; %后验概率的分子部分

a=sum(m); %后验概率的分母部分

su1=repmat(a,r,1);

t=m./su1; %后验概率矩阵

D=exp(sum(p.*log(t),2)); %信源分布的分子部分

su2=sum(D); %信源分布的分母部分

q=D/su2; %信源分布

C=repmat(q,1,s); c(k+1)=log(sum(exp(sum(p.*log(t),2))))/log(2);

kk=abs(c(k+1)-c(k))/c(k+1);

if (kk<=0.000001) break ;

end

end

disp( ' 最大信道容量时的信源分布：q=' ),disp(q') disp( ' 最大信道容量：c=' ),disp(c(k+1))

六、实验结果结果

1) 检验：运行aa.m

输入信源的个数：2

输入信宿的个数：3 输入信道容量的精度：0.000001

信宿转移概率矩阵:p =0.5000 0.3000 0.2000

0.3000 0.5000 0.2000 原始信源分布：q = 0.5000 0.5000

最佳信源分布：q= 0.5000 0.5000

最大信道容量：c= 0.0365

2) 计算信源个数为3，信宿个数为5 的信道容量：

运行aa.m

输入信源的个数：3

输入信宿的个数：5

输入信道容量的精度：0.000001

信宿转移概率矩阵:p =0.0484 0.1385 0.3058 0.2845

0.2227

0.2104 0.2471 0.1077 0.3762 0.0585

0.3430 0.0800 0.1808 0.3428 0.0534

原始信源分布：q

= 0.3333 0.3333 0.3333

最佳信源分布：q =0.4691 0.1794 0.3515

最大信道容量： c =0.1559

七、实验总结

通过实验，我们对信道容量的理解更加深刻了。信道容量是指信道能无错误传送的最大信息率。信道的输入、输出都取值于离散符号集，且都用一个随机变量来表示的信道就是离散单符号信道。由于信道中存在干扰，因此输入符号在传输中将会产生错误，这种信道干扰对传输的影响可用传递概率来描述。为了评价实际信道的利用率，应具体计算已给信道的容量。这是一个求最大值的问题。由于互信息对输入符号概率而言是凸函数，其极值将为最大值，因此这也就是求极值的问题。对于离散信道，P( x)是一组数，满足非负性和归一性等条件，可用拉格朗日乘子法求得条件极值。对于连续信道，P(x) 是一函数，须用变分法求条件极值。

实验过程中，我们虽然也遇到了很多困难，但也正是因为如此，我们才能发现自己基础的薄弱点，学的更有方向。对于编程方面，我们也有了很大的提升。

实验五 率失真函数

、实验目的 验证率失真函数的极值特性，理解相关参数的变化对率失真函数的影

响。

、实验原理

（1）输入 S ，d 的初始值、条件概率、输出分布等值；

M

2）计算输出分布 q j

pi i pji j ；

i1

3）进入迭代，标志为 0 或者误差大于指定 eps 则迭代，否则退出迭代；

k1 M

6）重算一次（ 4），并计算 D pi i pji ij d ij ；

i1

7）重算（ 3）- （7）步骤，直到退出迭代；

三、实验环境

Microsoft Windows 7 、 Visual Studio 2005 profession

四、编码程序

#include #include #include using namespace std; //Define some global var const int M = 10;

//M 元信源

const double S = -50;

// 迭代算法中的中间量， S 越小，允

许最大失真度 D 越小，当 S 很小时(例如 -100 )，R(D)=H(X) static int d[M][M]; // 失真函数

static double q[M], Pji[M][M]; // 输出分布和条件概率分布

static double Pi[M] = {0.4, 0.1, 0.25, 0.1, 0.05, 0.05, 0.01, 0.02,

0.005, 0.015}; // 初始化信源的概率分布 const int systemDefine = 2; // 定义进制(默认为 2 进制，结果

为 bit ，为 e 时，结果为 nat )

4）计算一个互信息 I （qj; pji ）

pi i pji ij log(p q

jiij )；

i 1 j 1

q j

5）计算一个条件概率分布 P （ j;i ）

q j e

Sd ij

q k e

Sd ik

实用文档

const double eps = 1e-8; // 允许误差

// 计算输出分布(qj)

void calcOutDistribution()

{

int i, j;

for(j=0; j

{ q[j]=0; for(i=0; i

}

}

}

// 计算条件概率分布pji

void calcProbabilityDistribution()

{

int i, j, k;

double temp = 0;

for(i=0; i

{

temp = 0;

for(k=0; k

{

temp = temp + q[k] * exp(S*d[i][k]);

}

for(j=0; j

{

// 设定一个初始的条件概率分布Pji[i][j] = q[j] *

exp(S*d[i][j])/temp;

}

}

}

// 取得R(r,r)=I(qj;Pji) 【实际上就是根据互信息量公式求互信息】double getSelfInformation()

{

int i, j;

double I=0;

for(i=0; i

{

for(j=0; j

{

I += Pi[i] * Pji[i][j] log(Pji[i][j]/q[j])/log(systemDefine); // 求互信息量}

}

return I;

}

int main(int argc, char *argv[])

{

double probabilityCount = 0.0; // 概率和

for(int k=0; k

{

probabilityCount += Pi[k];

}

// 和不为1，说明概率有错误if(fabs(probabilityCount-1.0) > eps) {

cout<<" 概率和不为1，程序异常退出!"<

}

// 前两个变量代表求的相邻的两个互信息R(r, r) 和R(r, r+1) 限定失真

；D代表double mutualInformation1, mutualInformation2, D;

int i, j, flag, nCount;

// 初始值mutualInformation1 = 0;

mutualInformation2 = 0;

D = 0; flag = 0;

nCount = 0; // 迭代次数指示器

//init mothod

// 输出分布的初始化for(i=0; i

{

q[i] = 0;

// 率失真函数的初始化，根据汉明失真距离来初始化for(i=0; i

{

for(j=0; j

{

if(i == j)

{

d[i][j] = 0;

} else

{ d[i][j] = 1;

} }

}

for(i=0; i

{

for(j=0; j

{

// 设定一个初始的条件概率分布Pji[i][j] = 1/(double)(M);

}

}

// 计算输出分布

calcOutDistribution();

// 迭代算法

cout<<" 误差精度："<

while(flag == 0 || fabs(mutualInformation2-mutualInformation1) > eps)

{ cout<

flag = 1;

// 获得一个互信息R(r, r) mutualInformation1 = getSelfInformation();

// 计算下一个条件概率分布

calcProbabilityDistribution();

// 在上面的原来的输出分布q 和新生成的条件概率分布Pji 的基础上获得新的互信息R(r, r+1)

mutualInformation2 = getSelfInformation();

// 再计算条件概率分布calcOutDistribution();

cout<<" 互信息1 ："<

for(i=0; i

{

for(j=0; j

{

// 求最大允许失真度D D = D + Pi[i]*Pji[i][j]*d[i][j]; }

}

cout<<"D = "<

cout<<"R(D) = "<

cout<<" ----------- ================ ----------- "<

}

ret

ur

n

0;

}

五、实验结果

运行实验结果如下：

六、实验总结

通过这次实验，让我们更好的掌握了率失真的求解方法，而且通过计算机解

决问题效率提高了很多，节省了很多繁琐的步骤，更加直观和方便的让我们了解到相关参数变化对率失真的影响。

实验六差错控制方法

一、实验目的

1、了解纠错编码的基本原理

2、了解几种常用编码：奇偶校验码、正反码等，线性分组码、循环码、卷积码的编解码原理

3、重点掌握线性分组码、循环码、卷积码的编解码原理。

二、实验原理

N个重复码是一种将输入比特重复n 遍的编码，假设信道的错误率为p，接收端收到n 个比特后进行译码，如果n 个接收比特的“ 1”的个数多于” 0 “的个数，则译码为“ 1”反之为“ 0”，假设编码输入时等概的。

（1）计算n=5 的信道错误率与译码的错误率的关系；

（2）用matlab 仿真得到上述的曲线。

三、实验内容

n 重复码是一种将输入比特重复n 遍的编码，假设信道的错误率为p ，接收端收到n个比特后进行译码，如果n个接收比特的“ 1”的个数多于“ 0”的个数，

则译码为“ 1”，反之为“ 0”。假设编码输入时等概的。

（1）计算n=5 时信道错误率与译码错误率的关系；

（2）用Matlab 仿真得到上述的曲线；

实验步骤：

（1）令n1，n2分别表示接收到的n个比特中“ 0”和“1”的个数，则误码率可

以写成

Pb=P(n1n0| ”0”)P(0)

当n=5 时，

为p ，则编码时“ 1”被映射成“ 11111”；“ 0”映射成“ 00000”，信道错误率

P(n1 n2"1") C50p e5C51(1 p e)p e4C52(1 p e)2p e3 P(n1 n2 "0") C50p e5C51(1 p e)p e4C52(1 p e)2p e3