信息论

《信息编码理论》课程题目：哈夫曼及线性分组码编码的实现

姓名：李

学号：

学院：物理与信息工程学院

专业：081001 通信与信息系统

年级：2015级

2015 年12 月20 日

目录

中文摘要 (3)

Abstract (3)

第一章发展背景与国内外现状 (4)

第二章哈夫曼编码 (5)

1 、编码原理 (5)

2、哈夫曼二叉树 (5)

第三章线性分组码 (7)

1、线性分组的概念 (7)

2、线性分组码的原理 (7)

3、汉明距离 (9)

第四章 MATLAB编码译码仿真 (10)

第五章心得体会 (15)

参考文献 (16)

中文摘要

在信息的传输过程中，为了提高信息的安全性和信息可靠性，我们往往要对信源符号和信道分别进行编码以达到我到接收的要求。因此通信的过程中对信源和信道的分别编码具有很高的要求。本文我们重点讲解的是信源编码当中的哈夫曼编码和信道编码的线性分组编码。通过对这两种典型编码的讲解让我更深一步了解信息传输过程中的规则，能加强对信息的进一步认识。本文重点放在了理论讲解，并且通过具体的例子进行了细致的编码过程，这样就能对信源编码中哈夫曼编码和信道编码中的线性分组码有深的认识。最后又附加了在matlab软件运用的环境下用程序去实现了两种编码方式。

关键词：哈夫曼编码、线性分组码、matlab程序实现

Abstract

In the transmission of information, in order to improve the security and reliability of the information, we often have to carry out the source symbols and channels to meet the requirements of encoding to meet me. Therefore, the process of communication on the source and channel of encoding has a very high demand. In this paper, we focus on the linear block encoding Huffman encoding and channel encoding of the source encoding. Through the two typical encoding to explain to me a deeper understanding of the information transmission process of the rules, can strengthen the further understanding of information. This paper put in the theory to explain, and carried on detailed coding process through concrete examples, so that we can to source coding in Huffman coding and channel coding in linear block codes have deep understanding. Finally added in the use of the MATLAB software environment to achieve the use of the program to achieve the two encoding.

Key words: Huffman encoding, linear block code, matlab programming

第一章发展背景与国内外现状

在通信系统中，信源编码是一种以提高通信有效性为目的而对信源符号进行的变换，或者说为了减少或消除信源冗余而进行的信源符号变换。具体就，就是针对信源输出符号序列的统计特性来寻找某种方法，把信源输出符号序列变换成最短的码字序列，使后者的各码元所含有的平均信息量最大，同时又能保证无失真地恢复原来的符号序列。信源编码发展了很长一段时间，最原始的信源编码是莫尔斯电码，另外还有ASCII码和电报码等都是信源编码。随着现代科学技术的发展又出现了好多的信源编码方式。比如：哈夫曼编码，算术编码，L-Z编码，这几种都是最佳变码方式。

本文我主要讲的是哈夫曼编码。哈夫曼编码是可变字长编码的一种。它是1952年提出的一种编码方法，该方法完全依据字符出现概率来构造的平均长度最短的码字，有时我们也称之为最佳编码。随着计算机的普遍应用与日益发展，哈夫曼编码的应用又得到了很大的发展。在现代技术的发展过程中，有好多地方用到了哈夫曼编码，比如在数据压缩，图象处理等方面都有很好的应用。然而仅仅依靠信源编码对信息的传输还是有一定的不安全性，因些我们还要考虑对信道进行编码。在通信中，由于信息码元序列是一种随机序列，接收端无法预知码元的取值，也无法识别其中有无错码。所以在发送端需要在信息码元序列中增加一些差错控制码元，它们称为监督码元（校验元）。这些监督码元和信息码元之间有确定的关系。在信息码元序列中加监督码元就称为差错控制编码，差错控制编码属于信道编码。对于信道编码有不同的类型，一般可分为两大类：一类是分组码，另一类则是卷积码。现在国内外信源编码的发展又有很大的创新，单纯就哈夫曼编码而言就出现了比较新的编码方法称之为动态哈夫曼编码。而对于线性分组码而言现在出现了一种叫低码率二进制线性分组码的盲识别。接下来我就重点讲解信源编码当中的哈夫曼编码和信道编码中的线性分组码编码。

第二章 哈夫曼编码

1 、编码原理

哈夫曼编码也称前缀编码，它是根据每一个字符出现的频率而进行编码的，

要求任一字符的编码都不是其它任意字符编码的前缀且字符编码的总长度为最短。因此我们可以得到哈夫曼编码的前提一定要是先了解到各个字符各出现的概率是多少，只有这样我们才能对其进行哈夫曼编码。哈夫曼编码的一般方法是：

（1）将信源消息符号按其出现的概率大小依次排列为

n p p p p ≥≥≥ 321

（2）取两个概率最小的字母分配以0和1两个码元，并将这两个概率相加作为一个新字母的概率，与未分配的二进制符号的字母重新排队。

（3）对重排的两个概率最小的符号重复步骤（2）的过程。

（4）不断继续上述过程，直到最后两个符号配以0和1为上有止。

（5）从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即相应的码字。

2、哈夫曼二叉树

前面我们已经了解到了哈夫曼编码的一般步骤，那么我们知道了这一般的编

码步骤以后应该如何更好更加观的表现出编码的形式呢。在这里我们给出了哈夫曼树的概念。所谓哈夫曼树又称最优三叉树，是一种带有权路径长度最短二叉树。所谓树的带权路径长度也就是树中所有叶结点的权值。二叉树的每一个叶即代表出现的每个字符的概率大小。那如何构造一棵哈夫曼树呢？最具有一般规率就是如下的描述：

1）对给定的n 个权值（也就是所给定的各个符号的概率）

{n w w w w w w w 654321,,,,,}构成n 棵二叉树的初始集合F={n T T T T 321,,}，其中每棵二叉树i T 中只有一个权值为i w 的根结点，它的左右子树均为空。

2）在F 中选取两棵根结点权值最小的树作为新构造的二叉树的左右子树，

新二叉树的根结点的权值为其左右子树的根结点的权值之和。

3）从F 中删除这两棵树，并把这棵新树的二叉树加入到集合F 中。

4）重得2、3两步，直到到集合F 中只有一棵二叉树为止。

单纯的看上面的步骤显得有些抽象，现在我们通过一个例题来说明一下哈夫曼编

码的具体过程。下图是各信源符号对应的各自概率，并且概率大小关系已经列出，

请用哈夫曼编码方法对信源符号进行编码。 信源符号i a

概率)(i a p 1a 0.4

2a 0.2

3a 0.2

4a 0.1

5a

0.1 通过给出的概率作出哈夫曼编码的树如下图所示

在上图的哈夫曼树当中方框中的数是题目所给的各信源符号的概率，椭圆里面则

是两个概率的和，我们一般规定左支为0右支为1，然后根据路径从上到下就完

成了哈夫曼编码的过程，编完的码如下图所示

信源符号i a

概率)(i a p 码字i W 码长i K 1a

0.4 1 1 2a 0.2

01 2 3a 0.2

000 3 4a 0.1

0010 4 5a

0.1 0011 4

1 0.4.0.2

0.2 0.2 0.1 0.1 0 1

0 1 0 1

第三章 线性分组码

1、线性分组的概念

所谓线性分组码是当分组码的信息码元与监督码元之间的关系为线性关系，一般线性分组码用（n,k)来表示。也就是说（n,k)分组码是把信息分割成一串前后独立的k bit 信息组（通常用m 表示），再将每组信息元映射成n 个码元组成的码字。k 信息元组可以写成矩阵],,,[011m m m m k -=，码字同样也可以写成矩阵],,,[011c c c c n -=。在二进制情况下：1个码元符号可携带1比特信息。对于线性分组码最核心的部分就是生成矩阵G ，它决定了编码的线性变换规则，也同样决定了码集C 。矩阵G 可以看成由3个行矢量构成，这3个矢量线性无关，所有的码字都是这三个行矢量的线性组合002211g m g m g m C k k k k +++=----

2、线性分组码的原理

通过线性分组码的概念我们初步对线性分组码有了了解，那具体的对信道如何进行编码呢，现在我们通过一个实例对线性分组码如何进行编码做具体的学习。

（6，3）二进制线性分组码输入信息组是][012m m m m =编码输出是][012345c c c c c c C =,而输入输出码元的关系如下图示

⊕ ⊕ ⊕

图3-2-1

其中的⊕是模2加。当三位信息码元m2m1m0给定后，根据图2-1即可写出

0m 1m 2m 0c 1c 2c 3c 4c 5c

码字C 与信息元m 之间的关系 ???????????+=++=+====0

200121122

031425m m c m m m c m m c m c m c m c 将上式改写成矩阵的形式为

()()G m C m m m c c c c c c ?=?????

??????=110100011010111001012012345 图3-2-2 矩阵形式

由于信息元k=3所以编码共有3

2=8种组合，即信息组()012m m m 分别对应从0-7的二进制数000，001，010，011，100，101，110，111然后根据图2-2的矩阵形式就可以对其进行编码。例如当 ()012m m m =（001）时代入矩阵形式有

()()()001011110100011010111001001012345=????

??????=c c c c c c 图3-2-3 系数矩阵

所以所对应码字即为（001011）

通过上面讲解我们知道了如何进行编码，然而我们如何检验一个码字是不是系统码里的码字呢，为此我们引入了校验矩阵H 。我们通过对生成矩阵的分析可以理解成生成矩阵可以通过矩阵的列变换化成k 位的线性无关组即将生成矩阵

看成[]P I G k |=,由于生成矩阵和校验矩阵的转置必需满足正交性所以定义[]k n T I P H --=|证明： 0]|[]|[]|[]|[=+=?-=?--k n k T k k n T T I P P I P I I P H G

我们现在已经定义有检验矩阵H 了，那如何通过检验矩阵来判断是不是码字

呢？因些我们假设

0=?T H r ，则证是r 是码字，反之则不是。可以把信息组置于监督码元的前面，也可以置于后面，这样结构的码均称作系统码；也可以把它

们分散开交错排列，这样的码称为非系统码。系统码和非系统码在检纠错能力上是一样的，一般采用前者，于是得到一个系统码码字。

3、汉明距离

在线性分组码的编码过程当中有可能会出现误码的问题，对于误码是不可避免的，也就是任何一种信道编码的纠、检能力都是有限的，这种限度与码间的距离有关系。为此我们为了表征二元编码间差异的量度我们引入了汉明距离。所谓汉明距离就是说逐位比较两个n 重矢量1R 和2R 的对应各位，其中取值不同的元素的个数称为1R 与2R 的汉明距离，用)(21R R d ，来表示。显然，有)(21R R d ，=)(21R R w ⊕成立。同样也定义汉明重量为n 重矢量R 中，非零元素的个数。最小距离计算定理:线性分组码的最小距离等于码集中非零码字的最小重量。根据此定理我们就将最小距离问题转化为寻找最轻码字的问题使计算量大大减少。并且通过定理二我们可知线性分组码的随机检错的能力为min d -1。而定理三告诉我们线性分组码的纠错能力也是有限的在量上随机差错的能力t 为t=INT ]2

1[min -d 。例如1011101和1001001的汉明距离是多少？可以对两组码字进行模2运算最后再看所对就的权重即是两组码字的汉明距离大小,计算出结果为2。

第四章MATLAB编码译码仿真

MATALB在实现信息编码与译码方面有非常好的作用，它本身含有两个可实现的函数，下面将用MATLAB分别实现信源A=（0.3，0.2，0.1，0.2，0.2）的哈夫曼编码和其对就的熵值和编码效率

哈夫曼编码的MATLAB实现（基于0、1编码）

clc;

clear;

A=[0.3,0.2,0.1,0.2,0.2];

A=fliplr(sort(A));

T=A;

[m,n]=size(A);

B=zeros(n,n-1);

for i=1:n

B(i,1)=T(i);

end

r=B(i,1)+B(i-1,1);

T(n-1)=r;

T(n)=0;

T=fliplr(sort(T));

t=n-1;

for j=2:n-1

for i=1:t

B(i,j)=T(i);

end

K=find(T==r);

B(n,j)=K(end);

r=(B(t-1,j)+B(t,j));

T(t-1)=r;

T(t)=0;

T=fliplr(sort(T));

t=t-1;

end

B;

END1=sym('[0,1]');

END=END1;

t=3;

d=1;

for j=n-2:-1:1

for i=1:t-2

if i>1 & B(i,j)==B(i-1,j)

d=d+1;

else

d=1;

end

B(B(n,j+1),j+1)=-1;

temp=B(:,j+1);

x=find(temp==B(i,j));

END(i)=END1(x(d));

end

y=B(n,j+1);

END(t-1)=[char(END1(y)),'0']; END(t)=[char(END1(y)),'1']; t=t+1;

END1=END;

end

A

END

for i=1:n

[a,b]=size(char(END(i))); L(i)=b;

end

avlen=sum(L.*A)

H1=log2(A);

H=-A*(H1')

P=H/avlen

运行结果显示

接下来用matlab 实现对信道的线性分组编码，我们就用前面所讲的例题（6，3）

线性分组码并且生成矩阵为????

??????==110100011010111001]|[3P I G 实现代码如下 c lc

clear

m=[0 0 0;0 0 1;0 1 0;0 1 1; 1 0 0;1 0 1;1 1 0;1 1 1]; E=eye(3);

disp(E);

p=[1 1 1;1 1 0;0 1 1];

G=[E,p];

disp(G)

C=rem(m*G,2)

w_min=min(sum(C))

运行结果

第五章心得体会

通过本次对信源编码中哈夫曼编码和信道编码中的线性分组码的讲解，自身对这两种针对不同方面的编码类型又有了更深的理解。讲解的同时也是自身学习的一个过程。在此过程个我在结合教材的同时又查询了好多此类方面的资料，并且还请教了老师和同学们。当然在论述的过程中语言方面有可能存在表达不准确的地方。在对哈夫曼信源编码的讲解中还发现了哈夫曼编码方法的不足之处。我们所讲的哈夫曼编码主要是针对的静态哈夫曼编码进行讲解的。静态哈夫曼编码实现的前提是各符号出现的权值一定是事先知道的，只有这样才能对其进行哈夫曼编码。然而现实当中有好多时候各符号的权值也就是所说的概率是事先不知道，那么这种情况下本文所讲解的基础的哈夫曼编码的知识就不一定能得到应用了，通过查看相关资料有一种改进型的哈夫曼编码叫动态哈夫曼编码它能更好的解决概率不知的情况下的编码问题。对于信道编码中的线性分组码编码也是非常基本的一种方法，然而线性分组码也有不足之处，比如线性分组码是把n分成了独立的几块，并且相互之间是没有联系的，这无疑就失去了码字与码字这之间的相关性，进而就大大增加了编码的误码程度。所以针对更好的信道编码相关资料又有提出卷积码的编码方法。但是通过对基本的知识学习能让我能更好的认识这门学科。由于在MATLAB软件中有大量的已经封装好的函数可以更加方便的去实现上面的两种型类的编码，在编码仿真方面MATLAB有很强的作用。本文所采用的实现程序就是大量调用了MATLAB中的相关函数，这样能使程序的代码量大量减少。

参考文献

[1] 王群芳.哈夫曼编码的另一种实现算法.安徽教育学院学报，2006,6(11)

[2] 林寿光.基于MATLAB的哈夫曼编码设计.宁波技术学院学报，2010,10(5)

[3] 王防修,周康.基于二叉树的哈夫曼编码.武汉工业学院学报，2011,12(1)

[4] 康洪波.静态哈夫曼编码的原理及应用.河北建筑工程学院学报，2009,3(11)

[5] 郑瑞瑞.分组纠错编码盲识别的实现技术研究硕士论文.杭州电子科技大学，2013,1

[6] 叶爱华,方芳.基于信息论的编码技术发展与前景综述.南昌航空大学，2009,40(11)

[7] 黄炳,周涛林,刘旭.线性分组码在纠错编码解码的应用.江西应用工程系，2010,12

[8] 文化锋,李斌.线性分组码问题研究[J].宁波大学学报（理工版），2005,18(4)

[9] 李银.基于Simulink的线性分组码的仿真设计与分析.北方自动控制研究所，2012

[10] 邓薇.MA TLAB函数速查手册.人民邮电出版社，2010,5