数据压缩技术分析

数据压缩技术分析

于　翔

(青海民族学院计算机应用系　青海西宁810007)

摘要:主要介绍多媒体数据压缩技术中的无损压缩技术和有损压缩技术,分析和讨论了各自的特点,运用和使用方法。

关键词:数据压缩技术;无损压缩;有损压缩

中图分类号:TP274 文献标识码:B 文章编号:1006-8996(2002)05-0052-03随着人类进入信息时代,人类将更多的依靠电脑,从Interet 中获取信息。而大部分信息却都具有数据的海量性。在这种情况下,信息的传输与存储就成为首要问题。数据压缩就成为解决这一瓶颈问题的重要方法。

数据压缩起源于20世纪40年代的信息论。其主要目的是通过数据压缩手段将信息数据量以压缩形式进行存储和传输。数据压缩的理论极限就是信息熵[1]

。众所周知,数据文件在计算机中是以计算机符号来表示的,每个计算机符号都有一定的出现概率。如果要压缩一条信息,必须首先分析清楚信息中每个符号出现的概率。在压缩程序中,用来处理输入信息并计算符号出现概率和决定输出哪个或哪些代码的模块称之为模型。通过一定的模型与编码进行组合计算就构成压缩技术的主要思路。根据不同的编码对原始文件数据产生不同的损失效果,可把压缩技术分为有损压缩和无损压缩两大类。本文主要对这两种压缩技术进行介绍和分析。1　无损压缩技术

根据不同的模型可分为基于统计概率模型的压缩技术和基于字典模型的压缩技术。

1.1　概率统计模型　分为静态统计模型方式和自适应模型方式。静态统计模型方式需预先扫描文件中的所有字符,以便统计出每个字符出现的概率。但由于扫描文件需花费大量的时间,同时还要保存一份概率表,从而导致压缩效率的下降,通常情况下并不采用这种方式。对于自适应模型方式,这种方式在开始时假定每个字符的出现概率相等,但随着字符的不断输入和编码,统计并记录字符出现的概率,并将此概率应用于后续字符的编码。所以自适应模型方式在压缩开始时不会有明显的压缩效果,但随着压缩的继续其效果会越来越明显,最终达到理想的压缩效果。自适应模型方式不需要保存概率表。基于概率统计模型的压缩技术中最具有代表性的是利用概率分布特性而编码的两种编码:一种是著名的H UFFMAN 编码,而另一种是算术编码。

(1)H UFFMAN 编码　以D.A.H UFFMAN 在1952年发表的《最小冗余代码的构造方法》为基本理论

依据的编码,是一种无损压缩编码[2]。其主要方法是对于出现概率大的符号用较少的位数来表示,而对

于出现概率小的符号用较多的位数来表示。其编码效率主要取决于需编码的符号出现的概率分布,分布越集中则压缩比越高。虽然H UFFMAN 构造出编码并不是唯一的,但是由于其平均码长并不相同,所

以并不会影响其效率和数据压缩性能[3]。H UFFMAN 编码可以利用最简单的静态统计模型方式,即在编

码前需要统计待编码的信息中所有字符的出现概率,然后根据统计信息建立出编码树,进行编码。但是H UFFMAN 编码在利用静态统计模型方式时,不但继承了静态统计模型方式的所有缺点,

收稿日期:2002-09-04

作者简介:于翔(1975—

)男,江苏南通人,助教。第20卷　第5期2002年8月 青海大学学报(自然科学版)Journal of Qinghai University V ol.20N o.5Oct.2002

而且还直接导致使用静态统计模型方式统计出的字符出现频率并不能完全反映字符在文件中不同局部出现的频率变化情况。所以在构造H UFFMAN 编码上,提出了另一种构造H UFFMAN 编码的方式—范式H UFFMAN 编码。范式H UFFMAN 编码的基本思路并不是使用二叉树建立的编码才是H UFFMAN 编码,

只要满足以下两个基本条件[4]:①是前缀编码;②某一字符编码长度和使用二叉树建立的该字符编码相

同的编码,都可称为H UFFMAN 编码。构造范式H UFFMAN 编码大致可分为四步骤:

①统计每个要编码符号的频率;

②根据这些频率信息求出该符号在传统的H UFFMAN 编码树中的深度;

③分别统计出最大编码长度X 到1的每个长度对应多少个符号,根据此信息从X 个0开始以递增的顺序为每个符号进行编码;

④编码输出压缩信息,并保存按频率顺序排列的符号表,保存每组同样长度编码中的最前一个编码以及该组中的编码个数。

由此可以看出如果使用范式H UFFMAN 码就可以完成脱离任何树结构,而进行高速解压缩。在整个压缩过程中比传统H UFFMAN 编码效率高。

H UFFMAN 编码也可以使用自适应模型方式,但必须考虑到编码表的动态特性,在技术上还存在不少难题,所以H UFFMAN 编码很难使用自适应模型方式,同时由于H UFFMAN 编码是不等长编码,其最大缺点就是抗干扰能力差,并且H UFFMAN 编码实际上是用整数个的二进制位对符号进行编码导致编码效率降低,从而无法得出最优的压缩算法。所以提出了一种新的基于概率统计模型的编码—算术编码。

(2)算术编码　将被编码的一条消息或字付串表示成0与1之间的一段间隔,即对一串符号直接编码成[0,1]区间上的一个浮点小数。也就是说算术编码用小数来表示二进制位,并由此接近无损压缩

的熵极限。算术编码还可以较为方便地使用静态统计模型方式和自适应模型方式[5]。使用静态统计模

型方式,可以更好的接近无损压缩的熵极限,但静态统计模型方式却无法适应信息的多样性,同时必须在压缩前对所有字符分布进行统计要耗费大量时间,而且无法表示出字符在整个文件中局部出现的概率。所以通常情况下并不使用静态统计模型方式,而自适应模型方式却能弥补这一缺陷。所以对于算术编码,通常使用自适应模型方式,根据当前接收的数据不断地更改概率模型以达到更好的压缩效率,当信源信号概率较为接近时采用算术编码。

在很长的一段时间内,基于概率统计模型的编码占有很重要的地位,直到1977年由以色列科学家Jacab Z iv 和Abraham Cem pel 撰写的《顺序数据压缩的一个通用算法》和《通过可变比率编码的独立序列

的压缩》两篇论文发表后才出现一种新的数据模型一字典压缩模型[4]。

1.2字典模型　字典模型并不直接计算字符出现的概率,而是使用一本字典。其主要方法是将已经编码过的信息做为原字典,如果需要编码过的信息曾经出现过,就输出该字符串的出现位置及长度,否则就输出一个新的字符串。字典压缩模型通常使用自适应的方式。如果使用静态字典模型方式,首先是适应性不强,其次是必须维护一个信息量并不算小的字典,从而影响了最终的压缩效果。基于字典模型的压缩技术也有两种编码:一种是游程编码(R LC ),另一种是LZ W 编码。以字典压缩模型为主要思路的算法有LZ 77、LZ 78和LZ W 等几种。LZ 77算法的思路是以字典压缩模型的自适应方式为主,其主要步骤如下:

①从当前位置开始,检查未编码的字符,并试图在以前编码中找出最长的匹配字符串,如果找到,则执行第二步,否则执行步骤③。

②输出三元符号(X ,Y,Z ),其中X 为匹配字符串相对窗口边界的编码,Y 为可匹配长度,而Y 则为下一个字符,然后Y 向后滑动Y+1执行步骤①。

③输出三元符号组(0,0,Z ),Z 为一个字符,然后向后滑动Y+1,继续①。

在整个算法中要注意三元组编码的设计,才能获取较好的压缩效果。

2　有损压缩技术

主要是利用人类视觉对图像中的某些频率成份不敏感的特性,允许在不影响整个图像的视觉效果35第4期 于翔:数据压缩技术分析

45 青海大学学报 第20卷

的前提条件下,在压缩过程中损失一定的信息以获得较高的压缩比。有损压缩虽然不能完全恢复原始数据,但损失的数据对理解原始图像的信息影响不大,并由此换取较大的压缩比。所以,有损压缩大部分应用于影音、图像和视频数据的压缩。如图象的存放格式中最卓越的压缩格式J PEG格式就是使用有损失的压缩方案。而GIF格式和PNG文件中则使用无损压缩的方式来减小文件的尺寸[6]。

图像压缩技术都属于有损压缩,主要是利用图像数据的冗余性来减少图像的数据量,在对于原图像进行抽样量化和编码过程去掉冗余信息后,再对其进行存储、传输,最后恢复成不影响视觉效果的图像,其关键技术是抽样量化和编码方法[7]。

抽样量化也称为量化,通常指模拟信号到数字信号的映射,也是模拟量转化到数字量必不可少的关键步骤。量化操作实质上是用有限的离散量代替无限多的模拟量,是一种多对一的映射操作。而在数据压缩中量化则是指经过PC M码作为输入,经过正交变换、差分等处理后,在进行熵编码之前,对正交变换的系数、差值等的量化处理,是一个不可逆的过程。并且在量化过程中会有数据丢失的现象。量化方法可分为标量量化和矢量量化两种。标量量化是指对于PC M数据一个数一个数进行量化两种。而矢量量化则是将PC M数据进行分组,每组数据形成一个K维矢量,然后以该矢量为单元,逐个地进行量化。矢量量化可以成倍地提高压缩化,其关键技术就是要有一个好的编码。有很多种编码可供量化参考,例如小波函数编码,因为小波变换具有很好的时—频局部化特性,在图形压缩方面已经逐渐取代了传统的DCT方法,成为当前研究和应用的主流。有实验表明,对图像进行小波变换后合理利用其变化系数的分布特性,采用适当的编码方法不但可降低数码率,还能获得较高的压缩比[7]。

3　结语

通过上述分析可以得出,做为无损压缩来说,实际上是通过各种不同的模型与编码对文件数据存储方式进行一种优化。它采用不同的算法来表示重复的数据信息,而文件本身数据不会受到任何损失。也就是说,文件本身在被压缩后通过一定的解压程序可以完全还原,文件数据是不会丢失的。而有损压缩是对文件本身进行处理,通过不同的量化方法和编码方式将文件中不重要的数据去除以提高压缩比,在图像压缩中则是在不影响视觉效果的前提条件下,对冗余的图像数据和色彩信息进行处理,达到压缩的目的。所以,有损压缩是对图像数据本身的一种处理,是不能通过某种解压程序将压缩过的数据还原成原始数据的。所以,在打开压缩过的图片后继续进行压缩,图像的质量会进一步的下降,就是因为图像压缩是有损压缩,而有损压缩是不能还原原始信息的。

参考文献:

[1]钟玉琢,冼伟铨,沈洪编著.多媒体技术基础及应用[M],北京:清华大学出版社,2000,98-134.

[2]王庆瑞编著.数据结构教程C语言版[M].北京:希望电子出版社,2002.

[3]文思软件工作室.数据压缩教程[M].http:ΠΠw w https://www.360docs.net/doc/d111956358.html,Πcom press.2002

[4]蔡兴勇,梁斌.多媒体教学软件中图象信息采集方法探讨[I].广州大学学报(自然科学版),2002,1(5):92—95.

[5]刘伟,王红星.图像的无损压缩编码方法及JPEG标准模式[J],http:ΠΠw w https://www.360docs.net/doc/d111956358.html,ΠdxΠliteratureΠdefault.asp.2002.

[6]康建鹏,沈虹.数字图象压缩编码的快速方法[J].沈阳工业大学学报,1998,20(5):58—62.

[7]夏保胜,赵辉.零树算法的改进[J].河南大学学报(自然科学版),2002,32(3):86—89.[8]严蔚敏,吴伟民编著.数据结构[M].北京:清华大学出版社,1992.

(责任编辑　唐宏伟)