第4章 离散无记忆信源无失真编码 4.6

依次类推，得到所有游程长度的唯一码字。
2014/6/30
2014/6/30
信息理论与编码
9
9
4.6 几种实用的无失真信源编码
游程编码主要用于黑、白二值文件的传真。 游程编码常常和其它编码方法混合使用。 如黑白图文传真，游程编码和huffman结合， 其中背景像素（白色）用码元“0”； 内容像素（黑字）用码元“1”。 彩色静止图像压缩国际标准JPEG，采用游程 编码、DCT和huffman的结合。
2014/6/30
2014/6/30
信息理论与编码
1
1
4.6 几种实用的无失真信源编码
游程编码是一种针对相关信源的有效编 码方法，已在图文传真、图像通信等实际通 信工程中得到应用。 实际工程技术中常常将游程编码与其它 编码方法结合，以获得更好的压缩效果。如 MH编码。 游程（Run Length）：信源输出的符号序列 中，连续重复出现的字符串。
2014/6/30
2014/6/30
信息理论与编码
16
16
4.6 几种实用的无失真信源编码
例：若传真文件某行的扫描像素序列如表所 示,现用MH码进行编码。
白游程 22 10000011 黑游程 66 000000111111 黑游程 6 0010 白游程 1559 0100110010000100 白游程 53 00100100 黑游程 22 0000011
192
256 320 384 448 512 576
010111
0110111 00110110 00110111 01100100 01100101 01101000
000011001001
000001011011 000000110011 000000110100 000000110101 0000001101100 0000001101101
2014/6/30
2014/6/30
信息理论与编码
2
2
4.6 几种实用的无失真信源编码
例：若信源的字符序列为
BBBBBBBBBB XXXXXXXXX AAAAAA UUUUUUUUUU UUU
游程编码需要表示的要素： 符号和游程长度，此外还需要用来区分以 上两者的标识符，如用#作为标识符。 游程编码格式: 符号码 标识码 游程长度
2014/6/30
2014/6/30
信息理论与编码
12
12
4.6 几种实用的无失真信源编码
MH码表（一）结尾码（终端码）
RL长度 0 1 2 白游程码字 00110101 000111 0111 黑游程码字 0000110111 010 11 RL长度 32 33 34 白游程码字 00011011 00010010 00010011 黑游程码字 000001101010 000001101011 000011010010
35
36 37 38 39 40 41 42 43 44 45 46 47
00010100
00010101 00010110 00010111 00101000 00101001 00101010 00101011 00101100 00101101 00000100 00000101 00001010
2014/6/30
2014/6/30
信息理论与编码
6
6
4.6 几种实用的无失真信源编码
截断处理的方法： （1）选取一个适当的n值，将游程长度定为 1,2，…，2n-1，2n 。对于游程大于 2n 的， 都要游程为2n 的码字来处理。 （2）将2n 个游程按概率大小进行huffman编 码，设游程为2n 的码字为C。 （3） 对大于2n 以上的游程编码。
2014/6/30
2014/6/30
信息理论与编码
5
5
4.6 几种实用的无失真信源编码
理论上游程长度从0至无穷大，实际中 建立一个一一对应的码表很困难。 一般来讲，很长的游程出现的概率很 小，当游程趋近于无穷时，出现的概率趋近 于 0。 实际应用中，对长游程不严格按照 huffman编码进行，而采用截断处理。将大 于一定长度的游程统一用定长码编码。
1088
1152 1216 1280 1344 140 1472
011010110
011010111 011011000 011011001 011011010 011011011 010011000
0000001110101
0000001110110 0000001110111 0000001010010 0000001010011 0000001010100 0000001010101
000011010011
000011010100 000011010101 000011010110 000011010111 000001101100 000001101101 000011011010 000011011011 000001010100 000001010101 000001010110 000001010111
B #10 X #9 A#6U #13
字符数量由38个减少为14个。游程编码 可以缩短数据。
2014/6/30
2014/6/30
信息理论与编码
3
3
4.6 几种实用的无失真信源编码
对于二元信源，输出只有“0”和“1” 两个符号。 例：序列00010011111100000001… 由于只有两种信源符号，若规定序列从 “0”游程开始，则可以省掉标识符。 编码后：31267…（自然数） 一般传输信道为二元信道，假设 max[L(0),L(1)]=7，则变换后输出码字序列： 011 001 010 110 111…
4.6 几种实用的无失真信源编码
4.6.1 游程编码 4.5介绍的几种无失真信源编码，主要 适用于多元信源和无记忆信源。 当信源给定时，可以证明霍夫曼码（ huffman）是最佳码。 当信源有记忆时，特别是二元相关信源 ，必须对其N次扩展信源编码才能提高编码 效率。由于扩展信源符号数剧增，使编译码 设备复杂。
2014/6/30
2014/6/30
信息理论与编码
11
11
4.6 几种实用的无失真信源编码
MH码是一维编码，对每行数据独立编码。 MH码使用固定编码表进行编码，即在信源与 信宿两端，利用预先确定的编码表各自独立进行 编码和解码。 黑、白游程的编码表不同。 由于采用固定编码表，对不同的信源，编码 效率各不相同。 1997年，CCITT推荐将MH编码作为文件传 真三类机的一维压缩编码国际标准。 MH码以CCITT确定的8幅标准文件为信源（ 打字文件、打字课文、电路图、手写文稿等）。
3
4 5 6 7 8 9 10 11 12 13 14 15
1000
1011 1100 1110 1111 10011 10100 00111 01000 001000 000011 110100 110101
10
011 0011 0010 00011 00101 000100 0000100 0000101 0000111 00000100 00000111 000011000
2014/6/30
2014/6/30
信息理论与编码
13
13
4.6 几种实用的无失真信源编码
MH码表（一）结尾码（终端码）
RL长度 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 白游程码字 101010 101011 0100111 0001100 0001000 0010111 0000011 0000100 0101000 0101011 0010011 0100100 0011000 00000010 00000011 00011010 黑游程码字 0000010111 0000011000 0000001000 00001100111 00001101000 00001101100 00000110111 00000101000 00000010111 00000011000 000011001010 000011001011 000011001100 000011001101 000001101000 000001101001 RL长度 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 白游程码字 00001011 01010010 01010011 01010100 01010101 00100100 00100101 01011000 01011001 01011010 01011011 01001010 01001011 00110010 00110011 00110100 黑游程码字 000001100100 000001100101 000001010010 000001010011 000000100100 000000110111 000000111000 000000100111 000000101000 000001011000 000001011001 000000101011 000000101100 000001011010 000001100110 000001100111
n位
2014/6/30
2014/6/30
信息理论与编码
8
8
4.6 几种实用的无失真信源编码
游程在2n+1 ~2n+2 之间，用码字CA CA构成编码。 游程为 2n+1，码字
C 00...00 C 00...00
n位 n位
游程为 2n+2-1，码字 C 00...00 C 11...11 …
n位 n位
2014/6/30
2014/6/30
信息理论与编码
14
14
4.6 几种实用的无失真信源编码
MH码表（二）组合基干码
RL长度 64 128 白游程码字 11011 10010 黑游程码字 0000001111 00001100100 RL长度 960 1024 白游程码字 011010100 011010101 黑游程码字 0000001110011 0000001110100
2014/6/30
2014/6/30
信息理论与编码
7
7
4.6 几种实用的无失真信源编码
例：游程在2n ~2n+1 之间，用码字CA构成编码。 A是n位自然码，用于区分不同游程长度。 游程为 2n，码字
C 00...00
n位
游程为 2n+1，码字 C 00...01 n位 … 游程为2n+1-1，码字 C 11...11
2014/6/30
2014/6/30
信息理论与编码
4
4
4.6 几种实用的无失真信源编码
对游程序列还可采用变长编码，如 huffman编码，这样可以进一步压缩信源。 首先测定“0”游程长度和“1”游程 长度的概率分布，以游程长度为元素，构造 一个新的多元信源，然后再对其进行 huffman编码。 “0”游程长度和“1”游程长度应分 别编码，建立各自的码字和码表。（MH编 码）
Βιβλιοθήκη Baidu010011001
010011010 011000 010011011 000000000001
0000001011010
0000001011011 0000001100100 0000001100101 000000000001
2014/6/30
2014/6/30
信息理论与编码
15
15
4.6 几种实用的无失真信源编码
编码规则如下： ①每页文件以同步码EOL（000000000001） 开始, 以6个EOL结束； ②每行必须以白游程开始，以同步码EOL结 束，每行游程总和为1728个像素； ③游程长度在0-63之间时，码字直接由相 应的终止码表示； ④ 游程长度在64-1728之间时，码字由一个组 合码加上一个终止码构成。
640
704 768 832 896
01100111
011001100 011001101 011010010 011010011
0000001001010
0000001001011 0000001001100 0000001001101 0000001110010
1536
1600 1664 1728 EOL
2014/6/30
2014/6/30
信息理论与编码
10
10
4.6 几种实用的无失真信源编码
MH码 MH码是CCITT提出的文件、传真类一维数据 压缩编码的国际标准。 用于文件、图纸、手写稿 、表格、报纸等传真。 MH码由游程编码及霍夫曼编码集合而成的一 种改进型霍夫曼码。 标准规定：A4幅面文件，应该有1188或2376 条扫描线，每条扫描线有1728个像素。 A4文件纸有2.05M像素/页或4.1M/页。 从节省传输时间和存储空间来说，需要进行 数据压缩。