第五讲 无损数据压缩
ch数据无损压缩讲课文档
➢ 最早阐述和实现“从上到下”的熵编码方法的人是
Shannon(1948年)和Fano(1949年)，因此称为香农-范诺 (Shannon- Fano)编码法
第13页，共40页。
香农-范诺编码
香农-范诺编码举例
➢ 有一幅40个像素组成的灰度图像，灰度共有5级，分别用 符号A，B，C，D和E表示。40个像素中出现灰度A的像素 数有15个，出现灰度B的像素数有7个，出现灰度C的像 素数有7个，其余情况见表2-1
第6页，共40页。
2.1 数据的冗余
冗余概念 ➢ 人为冗余
在信息处理系统中，使用两台计算机做同样的工作是提高系统可靠 性的一种措施—此种冗余乃有意为之
在数据存储和传输中，为了检测和恢复在数据存储或数据传输过程中出 现的错误，根据使用的算法的要求，在数据存储或数据传输之前把额外
的数据添加到用户数据中，这个额外的数据就是冗余数据—比如数字签
霍夫曼编码— Case Study 1
霍夫曼编码举例1
➢ 现有一个由5个不同符号组成的30个符号的 字符串：BABACACADADABBCBABEBEDDABEEEBB
➢ 计算
(1) 该字符串的霍夫曼码 (2) 该字符串的熵 (3) 该字符串的平均码长 (4) 编码前后的压缩比
第19页，共40页。
＝2.233 位/符号
平均码长：67/30=2.233位
(4) 计算编码前后的压缩比
编码前：5个符号需3位，30个字符，需要90位 编码后：共67位
压缩比: 90/67=1.34:1
第25页，共40页。
霍夫曼编码— Case Study 2
➢ 这个数值表明，每个符号不需要用3位构成的代码表示，
数据压缩原理
数据压缩原理数据压缩是一种常见的数据处理技术，通过对数据进行压缩可以减少存储空间的占用，提高数据传输的效率，以及节省网络带宽。
数据压缩原理是指通过某种算法或编码方式，对原始数据进行处理，使其在占用空间上变得更小，但又能够在解压缩后还原为原始数据。
本文将介绍数据压缩的原理以及常见的压缩算法。
数据压缩的原理主要包括两种方法，有损压缩和无损压缩。
有损压缩是指在压缩数据的过程中，会丢失一部分数据信息，但在实际应用中，这部分信息对整体数据的表达并不会造成明显的影响。
常见的有损压缩算法有JPEG、MP3等。
而无损压缩则是在压缩数据的过程中，不会丢失任何信息，通过一定的编码方式使得数据在解压缩后完全还原为原始数据。
常见的无损压缩算法有Huffman编码、LZW算法等。
在实际应用中，数据压缩算法的选择需要根据具体的需求来进行。
如果对数据的精确性要求较高，那么就需要选择无损压缩算法；如果对数据的精确性要求不高，而对压缩比较看重，那么就可以选择有损压缩算法。
在实际应用中，常常会根据数据的特点和应用的场景来选择合适的压缩算法。
除了有损压缩和无损压缩之外，数据压缩还可以根据压缩的原理来进行分类。
按照压缩原理的不同，数据压缩可以分为字典压缩、算术编码、熵编码等。
字典压缩是指通过建立一个字典，将数据中的重复部分进行替换，从而达到压缩数据的目的。
算术编码是一种将符号串映射到实数区间的编码方式，通过对数据进行编码，可以达到较高的压缩比。
而熵编码是一种基于信息熵的编码方式，通过对数据的统计特性进行编码，可以达到较高的压缩效果。
总的来说，数据压缩是一种非常重要的数据处理技术，它可以在存储和传输数据时起到重要的作用。
通过选择合适的压缩算法和原理，可以达到较高的压缩比，从而节省存储空间和提高数据传输的效率。
在实际应用中，需要根据具体的需求来选择合适的压缩算法和原理，以达到最佳的压缩效果。
无损压缩算法及其应用实现
无损压缩算法及其应用实现随着计算机技术的飞速发展，数据处理已经成为了现代社会的重要组成部分。
随着每天产生的数据量不断增加，传统的存储方法已经显得力不从心。
同时，网络传输的速度也给压缩技术带来了巨大的挑战。
因此，如何实现高效的数据压缩已经成为了一个热门话题。
无损压缩算法因为其不会改变源文件数据，而且解压出来的数据和原文件相同，被广泛应用于数据压缩中。
本文将着重介绍无损压缩算法的原理和应用实现，并探讨它的优缺点。
一、无损压缩算法原理无损压缩算法，通常是为了在保证数据质量不变的情况下实现数据压缩。
它的原理是利用多种技术，对数据的冗余部分进行处理，并通过一系列的算法实现数据的快速压缩和还原。
无损压缩算法的主要处理过程包括：去重、编码和压缩三个环节。
1. 去重在去重环节中，无损压缩算法会利用一些算法来查找源文件中的重复部分，并将其提取出来。
这些重复部分会被记录下来，并在编码和压缩环节中被适当地处理。
这样就能避免对源文件进行重复的压缩操作，从而实现了更加高效的数据压缩。
2. 编码在编码环节中，无损压缩算法使用了一些熵编码技术来提高压缩效率。
这些编码技术旨在利用数据的统计特性来构建一种适当的编码方式，从而实现高效的数据压缩。
在编码过程中，数据会被转换为一个或多个用于描述数据的符号，并通过一个编码表映射到一个最小位数的编码串中。
这些编码串就是用来表示源数据的压缩数据。
3. 压缩在压缩环节中，无损压缩算法会使用一些压缩技术来进一步压缩压缩数据。
这些技术通常包括哈夫曼编码、算术编码和字典压缩，等等。
这些技术的主要目的是使压缩数据尽可能地短，从而实现更加高效的数据压缩。
当需要还原数据时，压缩数据会通过相反的方式进行解压，并还原为源数据。
二、无损压缩算法的应用实现目前，无损压缩算法已成为了数据处理中不可或缺的一部分。
它广泛应用于网络传输、文件存储、图像和音频处理等领域。
下面，我们着重探讨一下无损压缩算法在不同应用场景的实现方法。
无损数据压缩与解压算法的介绍与实现
2016年第1期信息与电脑China Computer&Communication算法语言１ 数据压缩的意义信息时代带来了“信息爆炸”，例如，一幅未经压缩的图片可能高达数十兆，一部一小时的原始视频序列可能需要十几张光盘才能存下。
如果不进行数据压缩，无论多大的内存也不能满足我们生活的需要。
所以数据压缩是十分必要的，数据压缩是一个减少数据和去除过多冗余信息的过程。
通过数据压缩，原来需要十几张光盘才能存储的高品质电影可以存储在一张只读光盘上；传输原始的电视节目，将需要发射多颗通信卫星，而经过压缩的电视只需要一颗就够了。
因此，如果不使用数据压缩技术，则无论对于信息的传输或存储都很难实用化。
而数据压缩的好处就在于：较快地传输各种信源（降低信道占用费用）——时间域的压缩；在现有通信干线上开通更多的并行业务（如电视、传真、电话、可视图文等）——频率域的压缩；降低发射功率（这对于依靠电池供电的移动通信终端尤为重要）——能量域的压缩；紧缩数据存储容量（降低存储费用）——空间域的压缩。
鉴于数据压缩技术的各种优点，研究数据压缩与解压缩技术是很有必要的。
２ 数据压缩算法无损数据压缩算法按照压缩模型主要分为两类：基于统计压缩算法和基于字典压缩算法。
基于统计压缩算法主要包括：游程长度编码、哈夫曼编码、算术编码；基于字典的压缩算法主要包括：LZ77算法、LZ78算法、LZW 算法和LZSS 算法。
2.1 基于统计压缩算法2.1.1 游程长度编码游程长度编码（Run Length Encoding ，即RLE ）的编码思想很简单：就是对于一串字符串，若某些字符重复出现，则对于重复的部分，用重复的次数代替重复的字符存储，从而使整个字符长度减小。
因此，游程编码是一种实现简单，编码、解码速度却很快的编码算法，在二值图中使用广泛。
2.1.2 哈夫曼编码哈夫曼编码首先统计各个字符的出现频率，然后将信源信息符号按出现次数的大小进行排序，将出现次数最少的两个符号进行合并，生成一个新的符号，其概率为两个合并符号的概率之和，然后将合并的两个符号在序列中删除，将新产生的符号放入序列中，不断重复这一过程，直至剩下两个符号，对最后剩下的两个符号分别赋予二进制元0，1，逆向沿着刚才的合成过程，分别找到合成生成符号的对应两个符号，对这两个符号也分别赋予二进制元0，1，重复这一过程直到最后被赋予二进制元的符号下面没有更低级的合成元，这样就可以用较少位数表示出现次数较多的字符，用较多的位数表示出现次数较少的字符，从而有效的对数据进行压缩。
数据压缩 原理
数据压缩原理
数据压缩是将数据转化为更紧凑的形式，以减少存储空间或传输带宽的技术。
数据压缩的原理可以分为无损压缩和有损压缩。
无损压缩是指压缩后的数据可以完全还原为原始数据，不会损失任何信息。
其中常用的方法包括：
1. 字典压缩：建立一个字典，将数据中重复出现的序列映射为较短的编码。
在解压时通过字典进行反映射。
2. 霍夫曼编码：根据数据出现的频率构建一棵二叉树，将出现频率较高的数据编码为较短的码字。
在解压时根据二叉树进行解码。
3. 位图压缩：针对大型二进制数据，使用稀疏矩阵表示，只记录其中非零元素的位置和值。
有损压缩是指在压缩数据时会丢失部分信息，但能够保证整体视觉、听觉或感知上的一致性。
常用的方法包括：
1. 采样压缩：降低音频或视频数据的采样率，减少采样点的数量。
2. 量化压缩：通过减少数据的精度或调整数据的表示范围，从而减小数据占用的位数。
3. 基于模式识别的压缩：通过对数据中的模式进行建模，并仅
存储模型参数，以减小数据的表示大小。
值得注意的是，压缩率可以根据不同的压缩算法和数据类型而有所不同。
一般来说，无损压缩通常适用于文本、程序代码等需要完整保留信息的数据，而有损压缩则适用于音频、视频等在一定程度上容忍信息丢失的数据。
数据压缩与恢复的数值方法
数据压缩与恢复的数值方法1. 引言数据压缩是计算机科学中的一个重要领域，它在数据存储和传输中起着关键作用。
数据压缩的目标是减少数据的存储空间和传输带宽，同时尽可能地保持数据的完整性和准确性。
在这篇文章中，我们将探讨数据压缩与恢复的数值方法。
2. 简介数据压缩是通过使用各种算法和技术来减少数据量的过程。
常见的数据压缩方法有无损压缩和有损压缩两种。
无损压缩方法可以确保压缩后的数据与原始数据完全一致，而有损压缩方法则会牺牲一定的数据准确性以获得更高的压缩率。
3. 无损压缩方法无损压缩方法是在不丢失任何数据信息的情况下，通过利用数据的统计特性来压缩数据。
其中，霍夫曼编码是一种常用的无损压缩方法。
它通过构建可变长度编码表来实现数据的压缩，将出现频率较高的数据用较短的编码表示，出现频率较低的数据用较长的编码表示。
此外，算术编码也是一种常用的无损压缩方法，它通过将数据编码为一个区间来实现数据的压缩。
4. 有损压缩方法有损压缩方法是通过对数据进行近似表示来实现数据的压缩。
在某些应用场景下，我们可以容忍一定的数据失真以获得更高的压缩比率。
常见的有损压缩方法包括离散余弦变换（DCT）和小波变换。
DCT常用于图像和音频数据的压缩，它将数据表示为一组余弦函数的加权和。
小波变换则将数据表示为一组基于小波函数的加权和，可以在时域和频域同时进行数据压缩。
5. 数据恢复方法在数据压缩之后，我们需要对压缩数据进行恢复以还原原始数据。
无损压缩方法的恢复过程相对简单，通过解码压缩数据的编码表示即可还原原始数据。
而有损压缩方法的恢复过程则更为复杂，需要通过反向变换来重构原始数据。
例如，对于DCT压缩后的数据，我们可以使用逆DCT变换来恢复原始数据。
6. 总结数据压缩与恢复的数值方法在计算机科学中扮演着重要的角色。
无损压缩方法通过利用数据的统计特性来减少数据量，在保持数据完整性的同时实现数据压缩。
有损压缩方法则通过近似表示来实现更高的压缩率，但会牺牲一定的数据准确性。
数据压缩的历史原理和常用算法
数据压缩的历史原理和常用算法数据压缩是指通过使用特定的算法和技术，将原始数据转换为更紧凑的形式，从而减少存储空间或传输带宽的占用。
数据压缩在通信、存储和处理大规模数据时非常重要。
下面将介绍数据压缩的历史、原理和常用算法。
一、历史早期的数据压缩算法包括霍夫曼编码和LZW（Lempel-Ziv-Welch）编码。
这些算法基于数据中的统计特性，通过构建编码表将较常见的模式映射为较短的编码，从而实现数据压缩。
随着计算机技术的发展，诸如ZIP 和GZIP等通用的压缩算法被广泛采用。
二、原理压缩过程中，数据通过压缩算法转换为较紧凑的形式，并生成对应的压缩码。
压缩码可以是二进制序列、位图或其他形式。
解压缩过程中，压缩码被还原为原始数据。
1.无损压缩：无损压缩是指压缩和解压缩过程中不会丢失任何数据信息。
常用的无损压缩算法包括：-霍夫曼编码：霍夫曼编码基于字符出现的频率来构建编码表。
出现频率较高的字符使用较短的编码，出现频率较低的字符使用较长的编码。
-LZW编码：LZW编码是一种字典压缩算法，通过构建和更新编码表，将连续出现的字符序列映射为短的编码。
-预测编码：预测编码通过对数据进行预测和差值计算，将预测误差编码为较短的码字。
2.有损压缩：有损压缩是指在压缩和解压缩过程中会丢失一定的数据信息，但这些信息对于最终应用并不重要。
有损压缩广泛应用于音频、图像和视频等多媒体数据的压缩。
常用的有损压缩算法包括：-JPEG：JPEG是一种常用的图像压缩算法，通过采样、DCT变换和量化等步骤将图像转换为频域表示，并对高频信息进行丢弃。
-MP3：MP3是一种常用的音频压缩算法，通过对音频信号进行频域变换、量化和信号掩蔽等步骤，丢弃听觉上不敏感的信号。
三、常用算法数据压缩中常用的算法包括：1.ZIP：ZIP是一种常用的无损压缩算法，基于霍夫曼编码和LZW编码。
ZIP可以压缩多个文件和目录，并生成一个ZIP文件。
2. GZIP：GZIP是基于DEFLATE算法的压缩算法，用于压缩单个文件。
数据压缩 算法
数据压缩算法摘要：一、数据压缩算法概述1.数据压缩的意义和目的2.数据压缩算法的分类二、无损数据压缩算法1.哈夫曼编码2.算术编码3.LZW算法三、有损数据压缩算法1.预测编码2.变换编码3.量化与熵编码四、常见压缩格式与应用领域1.JPEG（图像压缩）2.MPEG（视频压缩）3.ZIP（文件压缩）五、我国在数据压缩领域的进展1.研究成果2.产业应用正文：一、数据压缩算法概述数据压缩是指在传输、存储和处理数据过程中，通过一定的算法减少数据量，提高数据传输和存储效率。
数据压缩的目的主要是降低存储成本、减少传输时间和提高数据处理速度。
根据压缩后数据是否能恢复原始数据，数据压缩算法可分为无损压缩和有损压缩两大类。
无损数据压缩算法是指在压缩过程中，压缩后的数据能够完全恢复成原始数据，通常应用于对数据准确性要求较高的场景。
常见的无损压缩算法包括哈夫曼编码、算术编码和LZW算法等。
哈夫曼编码是一种基于概率的字符编码方法，通过对字符出现的概率进行编码，实现数据的压缩。
算术编码则是利用源数据中字符出现的概率信息进行编码，同样具有较高的压缩比。
LZW算法则是一种基于字典的无损压缩算法，适用于重复模式较多的数据。
二、有损数据压缩算法有损数据压缩算法是指在压缩过程中，部分数据会被丢弃，无法完全恢复原始数据。
此类算法通常应用于对数据视觉效果要求较高的场景，如图像和视频压缩。
有损压缩算法主要包括预测编码、变换编码和量化与熵编码等。
预测编码利用前后帧图像的关联性减少冗余信息，从而实现压缩。
变换编码则是将图像或视频中的空间域数据转换为频域数据，再进行编码。
量化与熵编码则是对变换后的系数进行量化处理，并利用熵编码技术进一步压缩。
三、常见压缩格式与应用领域根据不同的应用场景，有不同的压缩格式。
如JPEG用于图像压缩，MPEG用于视频压缩，ZIP用于文件压缩等。
这些压缩格式在各自领域具有广泛的应用，为数据传输和存储带来了极大的便利。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
等长与不等长编码
• 例如：符号序列x=“aa bb cccc dddd eeeeeeee • 采用ASCII编码： 等长编码：24*8=192bit
– – – – – – a=01100001 b=01100010 c=01100011 d=01100100 e=01100101 空=00100000
技术准备：编码
通过模型，我们可以确定对某一个符号该用多少位二进制数进行编码。 现在的问题是，如何设计一种编码方案，使其尽量精确地用模型计算出 来的位数表示某个符号。
前缀编码规则：任何一个符号的编码都不是另一个符号编码的前缀。 最简单的前缀编码
字符 A B C D E 0 10 110 1110 11110 编码
字典编码时代：LZ77和LZ78压缩算法 字典编码时代：
LZW算法
Terry Welch
1984 年 发表论文：“高性能数据压缩技术” A Technique for High-Performance Data Compression Welch 实现了 LZ78 算法的一个变种 —— LZW算法 LZW算法 UNIX：使用 LZW 算法的 Compress 程序 MS-DOS：ARC 程序，以及PKWare、PKARC 等仿制品。
• 有损压缩
– 指使用压缩后的数据进行重构，重构后的数据与原来 的数据有所不同，但不影响人对原始资料表达的信息 造成误解。 – 图像和声音的压缩就可以采用有损压缩，因为其中包 含的数据往往多于我们的视觉系统和听觉系统所能接 收的信息，丢掉一些数据而不至于对声音或者图像所 表达的意思产生误解，但可大大提高压缩比。
Shannon-Fano编码例１
• 有一幅40个象素组成的灰度图像，灰度共有5级，分别用 符号A、B、C、D和E表示，40个象素中出现灰度A的象素 数有15个，出现灰度B的象素数有7个，出现灰度C的象素 数有7个等等。如果用3个位表示5个等级的灰度值，也就 是每个象素用3位表示，编码这幅图像总共需要120位。 符 号 A 出现的次数 15 H(S) = (15/40)* + (5/40) ∗ B 7 C 7 D 6 E 5
需要空间： 1*8+3*4+3*4 +3*4+2*4+2* 4=60 平均码长=总 平均码长 位数/字符出 现次数 =60/24=2.5
不等长码唯一性问题
– – – – – 字符 A B C D 码1 0 10 110 1110 码2 0 10 11 01 码3 0 01 011 111
对序列010110译码 码1 abc 码2 daca或ddb或abca
彩色图像 RLE编码 RLE编码 JPEG等 JPEG等
矢量图像 PostScript WMF CAD等 CAD等
压缩技术的应用
编译(JAVA)
人工智能(专家系统/知识树) 程序设计(算法/空间和时间效率)
全文索引(倒排索引表) 密码学(消除数据的原始特征) 文件系统(压缩扇区) 音频(MP3) 数据库(B+树) 归档(TAR/ZIP) 图像(GIF/TIFF/JPEG) 存储(压缩池) 电报、传真(CCITT) 通讯(Modem/网络协议) 视频(MPEG/RM)
Lc = ∑ P( x j ) L( x j )
j =1
n
（j=1,2,…,n）
其中：P(xj) 是信源X发出xj的概率，L(xj)为xj的编码长。
熵的计算范例
例：对信息aabbaccbaa，字符串长度为 10，字符a、 b、c分别出现了5、3、2次，则
Ia=-log2(0.5)=1 Ib=-log2(0.3)=1.737 Ic=-log2(0.2)=2.322
H ( S ) = E { I ( x j )} = − ∑ P ( x j ) ⋅ log 2 P ( x j )
j =1 n
• H(X)称为信源X的“熵”，即信源X发出任意一个随机变 量的平均信息量。 • 其中：等概率事件的熵最大，为：H ( S ) = −∑
j =1 N
1 1 log2 = log2 N N N
接近极限——熵
80年代早期，数学家们设计出算术编码方法(Arithmetic Coding) 算术编码是部分匹配预测(Predication by Partial matching, PPM)技术的变体 可以证明，算术编码得到的压缩效果可以最大地减小 信息的冗余度，用最少量的符号精确表达原始信息内容 但是，在同样的计算机系统上，算术编码虽然可以得到 最好的压缩效果，却要消耗也许几十倍的计算时间
压缩技术起源
信息压缩技术的起源…… 比计算机的发明早几千年……
信息论
信息存在冗余 通过采用一定 的模型和编码方法， 的模型和编码方法， 可以降低这种冗余度
贝尔实验室的 Claude Shannon 和 MIT 的 R.M.Fano 几乎同时提出了最早的对符号进行有效编码 从而实现数据压缩的 Shannon-Fano 编码方法。
以色列人
Jacob Ziv 和 Abraham Lempel
1977 年 发表论文：“顺序数据压缩的一个通用算法” A Universal Algorithm for Sequential Data Compression 1978 年 发表论文：“通过可变比率编码的独立序列的压缩” Compression of Individual Sequences via Variable-Rate Coding
(40/15) + (7/40)* (40/5) =2.196
(40/7) + …
这就是说每个符号用2.196位表示，40个象素需用87.84位
D.A.Huffman
1952 年 发表论文：“最小冗余度代码的构造方法” A Method for the Construction of Minimum Redundancy Codes UNIX 系统上一个不太为现代人熟知的压缩程序 COMPACT 就是 Huffman 0 阶自适应编码的具体实现 80 年代初，Huffman 编码又在 CP/M 和 DOS 系统 中实现，其代表程序叫 SQ Huffman时代：60 年代、70 年代乃至 80 年代的早期 时代： 年代、
I ( x j ) = log 2 1 / N = − log 2 N = − log 2 p ( x j ) = I [ p ( x j )]
式中，P(xj)是信源X发出xj的概率。I(xj)的含义是，信源X发出 xj这个消息（随机事件）后，接收端收到信息量的量度。
信息熵
• 熵——来源于40年代由Claude Shannon创立的信息论中的 一条定理，这一定理借用了热力学中的名词 “熵”( Entropy )来表示一条信息中真正需要编码的信息量。 • 信源S发出的xj（j=1,2,…,n）共n个随机事件的自信息统计 平均，即
无损压缩模型
使用模型：得到字符或单词在信息中出现的概率 静态/半静态模型 统计模型 自适应模型 静态字典模型 字典模型 自适应字典模型
信息熵及基本概念
• 1．信息量 • 信息量 信息量是指从N个相等的可能事件中选出一个事件所需要的 信息度量或含量，也就是在辨识N个事件中特定的一个事件 的过程中所需要提问“是或否”的最少次数。 • 设从N个数中选定任一个数xj的概率为p（xj），假定选定任 意一个数的概率都相等，即p（ xj ）＝1/N，因此定义其信 息量为:
1110010101110110111100010 D A B B D C E A A B
技术准备：压缩=模型+编码
符号
概率
代码
输入
模型
编码
输出
Shannon-Fano编码
• 采用从上到下的方法进行编码。 • 仙农-范诺(Shannon- Fano)算法：
– 首先按照符号出现的频度或概率排序， – 使用递归方法分成两个部分，每一部分具有 近似相同的次数（概率） – 当概率和为1，进行编码
通用数据压缩
80年代中期以后，对LZ77算法进行改进
Haruyasu Yoshizaki(Yoshi) 的 LHarc Robert Jung 的 ARJ
从PKZip到WinZip： 通用数据压缩格式标准 —— ZIP
LZ77、LZ78、LZW 一起垄断当今的通用数据压缩领域
多媒体数据压缩
国际电报电话咨询委员会( CCITT ) ：针对二值图像的一系列压缩标 准，如 CCITT Group3、CCITT Group4 等 (此外还包括CCITT与ISO共 同制订的JBIG标准) 。 70 年代末 80 年代初：数学家们提出了损失压缩精度以换取压缩 ( ) 率的崭新思路。国际标准化组织( ISO )和 CCITT 联合组成了两个 委员会：静态图像联合专家小组( JPEG )和动态图像联合专家小组 ( MPEG )。诞生了 JPEG、MPEG-1、MPEG-2、MPEG-4、MPEG-7 等 系列标准。 PostScript矢量图形格式：起源于 1976 年的 Evans & Sutherland 计算机 公司，当时的名字是 Design System。1978 年，John Warnock 和 Martin Newel 将其演变为 JAM 语言。1982 年，John Warnock 和 Chuck Geschke 创建了著名的 Adobe System 公司，第三次设计和实现 了这个语言，并称其为 PostScript。
如采用等长编码，则每个字符需要２位； 总的码长: L=5*２+3* ２+2*２ =２０ 位
对比一下，我们用ASCII编码表示该信息需要80位
H（S）= 0.5Ia +0. 3Ib +0. 2Ic =1.4855
统计编码（熵）
• 统计编码是根据消息出现概率的分布特 性而进行的压缩编码 • 在消息和码字间找到明确的一一对应关 系，以便恢复时能准确无误再现出来