编码理论第5章
合集下载
第5章_无失真信源编码定理
则称码C为奇异码。
si , s j S Wi ,W j C
信源符号
概率
编码1
编码2
编码3
编码4
编码5
p(ai )
a1 a2 a3 a4
1/2
00
0
0
0
1
1/4
01
0
1
10
01
1/8
10
1
00
1100011/8111011
111
0001
如表中的“编码2”是奇异码，其他码是非奇异码。
（6）同价码
P( s ) 1
i 1 i
4
而其依赖关系为：
P(s2 / s1 ) P(s1 / s2 ) P(s4 / s3 ) P(s3 / s4 ) 1, 其余P(s j / si ) 0
s1 s2 s3 s4
s1 0 1 P 0 0
s2 1 0 0 0
s3 0 0 0 1
s4
p (s4)
11
101
(4)非奇异码
若一组码中所有码字都不相同(即所有信源符号
映射到不同的码符号序列)，则称为非奇异码。
si s j Wi W j
则称码C为非奇异码。
si , s j S Wi ,W j C
（5）奇异码 若一组码中有相同的码字，则为奇异码。
si s j Wi W j
P(s2 / s1 ) P(s1 / s2 ) P(s4 / s3 ) P(s3 / s4 ) 1, 其余P(s j / si ) 0
s3 s2 s4 S s1 P( s ) P( s ) P( s ) P( s ) P( s ) 1 2 3 4
si , s j S Wi ,W j C
信源符号
概率
编码1
编码2
编码3
编码4
编码5
p(ai )
a1 a2 a3 a4
1/2
00
0
0
0
1
1/4
01
0
1
10
01
1/8
10
1
00
1100011/8111011
111
0001
如表中的“编码2”是奇异码，其他码是非奇异码。
（6）同价码
P( s ) 1
i 1 i
4
而其依赖关系为：
P(s2 / s1 ) P(s1 / s2 ) P(s4 / s3 ) P(s3 / s4 ) 1, 其余P(s j / si ) 0
s1 s2 s3 s4
s1 0 1 P 0 0
s2 1 0 0 0
s3 0 0 0 1
s4
p (s4)
11
101
(4)非奇异码
若一组码中所有码字都不相同(即所有信源符号
映射到不同的码符号序列)，则称为非奇异码。
si s j Wi W j
则称码C为非奇异码。
si , s j S Wi ,W j C
（5）奇异码 若一组码中有相同的码字，则为奇异码。
si s j Wi W j
P(s2 / s1 ) P(s1 / s2 ) P(s4 / s3 ) P(s3 / s4 ) 1, 其余P(s j / si ) 0
s3 s2 s4 S s1 P( s ) P( s ) P( s ) P( s ) P( s ) 1 2 3 4
第五章 编码与调制
5.1 数字/数字转换
5.1.1 单极性编码
2.同步 但是，在单极性编码中，当出现一串相同 的比特时，例如7个1，不会引起电压的变 化，只是一个不间断的、7倍于单个比特持 续时间的正电压。当无法通过信号变化来 指明下一个比特的开始时，接收方只能依 赖于定时器。例如，一个信号的比特率为 1000b/s，如果接收方检测到一个长度为 0.005的正电压，则每0.001s读入一个1，即 是5个1.。
5.1 数字/数字转换
2. RZ编码
1011010 用 RZ 编码
5.1 数字/数字转换
一种可实现同步的编码方案是RZ编码，它使用
了3个电平：高电平、低电平和零。在RZ编码 中，信号变化不是发生在比特质检而是发生在 比特内。与NRZ-L编码一样，高电平代表比特 0，低电平代表比特1.不同于NRZ-L编码的是， 在每比特间隔的中段，信号将归零。比特1实 际是用高电平到零的跳变表示，而比特0则是 用低电平到零的跳变表示的，而不仅仅是通过 电平的高低来表示。如图5.4所示。 RZ编码的主要缺点是需要两次信号变化来编码 1比特，从而增加了带宽。但是，相对于前面 讨论过的3种编码方法，它是最有效的。
5.1 数字/数字转换
图5.3所示为同一串比特的NRZ-L和NRZ-I编
码。在NRZ-L编码序列中，高低电平分别具 有特定的含义：高电平代表比特0；低电平 代表比特1.在NRZ-I编码序列中，每一间隙 的电压值是没有意义的，接收方以检测到 电平的跳变来作为识别比特1的标志。
振幅 0 1 0 0 1 1 1 0 0 时间 (a) NRZ-L编码 振幅 0 1 0 0 1 1 1 0
5.1 数字/数字转换
5.1 数字/数字转换
5.1.3 双极性编码
第5章无失真信源编码定理
R 0.811比特/二元码符号
通信与信息基础教学部
33
信息论课件
对该信源的二次扩展信源进行编码如下
0 10 110 111 X 2 x1 x1 x1 x2 x2 x1 x2 x2 9 3 3 1 16 16 16 P( x) 16 这个码的平均长度 L2 27 16 得信源中每一个单个符号的平均码长 L L2 2 27 32 编码效率 2 0.961 信道信息传输率为 R 0.961比特/二元码符号 2 同样可得 R 0.985, R 0.991, 3 4
信源编码器的主要任务：完成输入消息
集合与输出代码集合之间的映射。若要 实现无失真编码，则这种映射必须是一 一对应的、可逆的。
通信与信息基础教学部
4
信息论课件
常用码型
1、二元码：若信道码符号集A={0，1
}， 编码输出的码字都是二元码，称为二元 码。 2 、等长码：若一组码中所有码字的码长 都相同，称为等长码。 3 、变长码：若一组码中所有码字的码长 Ki 各不相同，即任意码字由不同长度的 码符号序列组成，则称为变长码。
信息论课件
第5章 无失真信源编码
编码器 5.2 等长码 5.3 渐进等分割性和e典型序列* 5.4 等长信源编码定理 5.5 变长码 5.6 变长信源编码定理
5.1
通信与信息基础教学部
1
信息论课件
5.1 编码器
对整个通信系统来说，要解决两个问题：信源 编码和信道编码。 对信源来说有两个重要问题：一个是信源输出 信息量的定量度量问题。这在前面信源及其信 息熵章中已讨论。本章将要讨论第二个问题： 如何有效地表示信源输出问题。即将重点讨论 对信源进行无失真信源编码的要求、方法及理 论极限，从而得出香农第一定理。
第五章 信源编码
第五章信源编码信息论基础第五章信源编码 本章主要讨论的问题：5.1 离散信源编码5.1.1 编码器5.1.2分组码5.1.3定长码5.1.4 变长码5.2 连续信源编码5.3 相关信源编码简介信源编码：以提高通信有效性为目的的编码。
通常通过压缩信源的冗余度来实现。
采用的方法是压缩每个信源符号的平均比特数或信源的码率。
即同样多的信息用较少的码率传送，使单位时间内传送的平均信息量增加，从而提高通信的有效性。
信源编码理论是信息论的一个重要分支，其理论基础是信源编码的两个定理。
–无失真信源编码定理：是离散信源/数字信号编码的基础；–限失真信源编码定理：是连续信源/模拟信号编码的基础，如语音、图像等信号。
信源编码的分类：离散信源编码、连续信源编码和相关信源编码三类。
–离散信源编码：独立信源编码，可做到无失真编码；–连续信源编码：独立信源编码，只能做到限失真信源编码；–相关信源编码：非独立信源编码。
编码器编码器可以看作这样一个系统，它的输入端为原始信源S ，其符号集为；而信道所能传输的符号集为。
编码器的功能是用符号集X 中的元素，将原始信源的符号变换为相应的码字符号，所以编码器输出端的符号集为称为码字，为码字的码元个数，称为码字的码字长度，简称码长。
码字的集合C 称为码书。
称为码元。
12{,,...,}q S S S S =12{,,...,}r X x x x =12{,,...,}q S s s s =12{,,...,}r X x x x =编码器12:{,,...,}q C W W W 12:{,,...,}q C w w w i S i w i w i L i w i w i x例：二元信道的信源编码器：码符号集X={0,1}，如果要将信源通过二元信道传输，必须将信源编成二元码，这也是最常用的一种码。
等长码非等长码非奇异码非奇异码 等长码与变长码码中各个码字都是由同样多个码元构成的，称为等长码，反之，称为变长码。
第5章 信源编码 第1讲 无失真信源编码 定长编码定理 2016
00 01 10 11
0 01 001 111
12/62
余 映 云南大学
5.1 编码的定义
• 采用分组编码方法，需要分组码具有某些属性， 以保证在接收端能够迅速准确地将码译出。 • 下面讨论分组码的属性：
余 映 云南大学
13/62
5.1 编码的定义
• (1) 奇异码和非奇异码
– 若信源符号和码字是一一对应的，则该码为非奇异码； 反之为奇异码。 – 例如表中码1是奇异码，其他是非奇异码。
信源符号 出现概率 码1 码2 码3 码4
A B C D
1/2 1/4 1/8 1/8
0 11 00 11
余 映 云南大学
0 10 00 01
1 10 100 1000
1 01 001 0001
18/62
5.1 编码的定义
• (3) 即时码和非即时码
– 唯一可译码又分为非即时码和即时码。 – 即时码是一种没有一个码字构成另一码字前缀的码。 在译码时没有延迟，收到一个完整码字后就能立即译 码。 – 如果收到一个完整码字后，不能立即译码，还需等下 一个码字开始接收后才能判断是否可以译码，这样的 码叫做非即时码。
信源符号
出现概率
码1
码2
码3
码4
a1 a2 a3 a4
1/2 1/4 1/8 1/8
0 11 00 11
余 映 云南大学
0 10 00 01
1 10 100 1000
1 01 001 0001
14/62
5.1 编码的定义
• (2) 唯一可译码和非唯一可译码
– 若任意有限长的码元序列，只能被唯一地分割成一个 个的码字，则称为唯一可译码。 – 例如{0, 10, 11}是一种唯一可译码。 – 因为任意一串有限长码序列， – 如100111000
第五章无失真信源编码分析
s jN
C N {w 1 , w 2 , , w q N }
w j w j1 w j2 w jN
s j s j1 s j2
j 1, 2 , , q N
j1 , j 2 , , j N 1, 2 , , q
第五章：无失真信源编码
一、信源编码的相关概念
3. N次扩展码（续1）
2 2.5 3 3
s1= s1 s1 s2= s1 s2 s3= s1 s3 s4= s1 s4 s5= s2 s1 s6= s2 s2 s7= s2 s3 s8= s2 s4
1/4 1/8 1/16 1/16
1/8
1/16 1/32
1.5
2 2.5
1/32
2.5
s9 = s3 s 1 s10= s3 s2 s11= s3 s3 s12= s3 s4 s13= s4 s1 s14= s4 s2 s15= s4 s3 s16= s4 s4
2) 非奇异码
s1 0 s2 10 s3 s4 00 01
译码 0 10 00 01 0 译码
s1 s 2 s 3 s 4 s1
01 00
00 10
s 4 s3 s3 s 2
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续4）
3)
等长码
非奇异码
唯一可译码
s1 s2
00 01
s3 10 s4 11
第五章：无失真信源编码
一、信源编码的相关概念
8. 即时码的构造方法（续4）
非分组码 奇异码 非唯一可译码 码 分组码 非奇异码 即时码 唯一可译码 非即时码
信息论：第5章 无失真信源编码定理
19
(4)非奇异码 若一组码中所有码字都不相同(即所有信源符 号映射到不同的码符号序列)，则称为非奇异码。
si s j Wi W j
则称码C为非奇异码。
si , s j S Wi ,W j C
20
（5）奇异码
若一组码中有相同的码字，则为奇异码。
si s j Wi W j
30
即时码（异前缀码）一定是唯一可译码。因为，如果没 有一个码字是其他码字的前缀，则在译码过程中，当收到一 个完整码字的码符号序列时，无需考虑下一个符号，就能直 接把它译成对应的码字或信源符号。
31
32
33
5.2
等长码
一般说来，若要实现无失真的编码，这不但要求 信源符号与码字是一一对应的，而且要求码符号序 列的反变换也是唯一的。也就是说，所编的码必须 是唯一可译码。否则，所编的码不具有唯一可译码 性，就会引起译码带来的错误与失真。
11
超过信宿的灵敏度和分辨力所传送的信息是毫无 意义的，也是完全没有必要的。 比如话声信源，界别过多的划分，人耳就很难分 辨。图像信源亦是如此，人们看电影，当图片超过每 秒25张以上时，人眼就能将离散的照片在人脑内反映 成连续画面。
此时，就应该引入限定失真条件下的信源编码问题 。
12
5.1
编码器
32272781179同样可以求得信源序列长度增加到3和4时进行变长编码所得的编码效率和信息传输率分别为如果对这一信源采用等长二元码编码要求编码效率达到96允许译码错误概率105则可以算出自信息方差为98580需要的信源序列长度为可以看出使用等长编码时为了使编码效率较高96需要对非常长的信源序列进行编码且总存在译码差错
此式表明，只有当 l长的 S s1 , , sq ，有 q 个符号，那么它的N次扩展信 码符号序列数大于或等于N次 源 S N 1 , , N 共有 q N 个符号。 q 扩展信源的符号数时，才可
(4)非奇异码 若一组码中所有码字都不相同(即所有信源符 号映射到不同的码符号序列)，则称为非奇异码。
si s j Wi W j
则称码C为非奇异码。
si , s j S Wi ,W j C
20
（5）奇异码
若一组码中有相同的码字，则为奇异码。
si s j Wi W j
30
即时码（异前缀码）一定是唯一可译码。因为，如果没 有一个码字是其他码字的前缀，则在译码过程中，当收到一 个完整码字的码符号序列时，无需考虑下一个符号，就能直 接把它译成对应的码字或信源符号。
31
32
33
5.2
等长码
一般说来，若要实现无失真的编码，这不但要求 信源符号与码字是一一对应的，而且要求码符号序 列的反变换也是唯一的。也就是说，所编的码必须 是唯一可译码。否则，所编的码不具有唯一可译码 性，就会引起译码带来的错误与失真。
11
超过信宿的灵敏度和分辨力所传送的信息是毫无 意义的，也是完全没有必要的。 比如话声信源，界别过多的划分，人耳就很难分 辨。图像信源亦是如此，人们看电影，当图片超过每 秒25张以上时，人眼就能将离散的照片在人脑内反映 成连续画面。
此时，就应该引入限定失真条件下的信源编码问题 。
12
5.1
编码器
32272781179同样可以求得信源序列长度增加到3和4时进行变长编码所得的编码效率和信息传输率分别为如果对这一信源采用等长二元码编码要求编码效率达到96允许译码错误概率105则可以算出自信息方差为98580需要的信源序列长度为可以看出使用等长编码时为了使编码效率较高96需要对非常长的信源序列进行编码且总存在译码差错
此式表明，只有当 l长的 S s1 , , sq ，有 q 个符号，那么它的N次扩展信 码符号序列数大于或等于N次 源 S N 1 , , N 共有 q N 个符号。 q 扩展信源的符号数时，才可
第五章 信源编码定理
信源编码定理和方法
• 编码的定义和类型
• 无失真编码定理
• 限失真编码定理 • 最佳变长编码方法
• 常用信源编码方法
离散信源编码
离散信源编码过程
离散信源编码过程
编码码字的码长
平均码长
码长偏差
信源编码过程
假设信源输出符号序列长度L 1，则 信源符号集合为： A (a1 , a2 a2 , , an ) a1 an X a1 信源概率空间为： P p(a1 ) p(a1 ) p(an ) 需要将这样的符号进行传输，常见的一种信道就是二元 信道，它的基本符号集合为{0，，若要将X 通过这样的 1} 二元信道传输，就必须把信源符号ai 变为由0， 1符号组成的 码符号序列，这个过程就是信源编码。
即时码
各类码的隶属关系
唯一可译码：码字集合 0,10,11，序列 10, 0,11,10, 0, 0 非唯一可译码:码字集合 0,10, 00, 01，序列 10, 0, 0, 01, 00 10, 00, 01, 0, 0 非即时码：码字集合 1,10,100,1000，序列 1,100,10,1000,1 即时码：码字集合 1, 01, 001, 0001，序列 1, 001, 0001, 01
Ki n
信源编码定理和方法
• 编码的定义和类型
• 无失真编码定理
• 限失真编码定理 • 最佳变长编码方法
• 常用信源编码方法
信源编码器
信源序列 X ( X 1 , X 2 ,, X L ), X l a1 , a2 ,, an , l 1, 2,, n 编码序列(码字) Y (Y1 , Y2 ,, YK L ), Yk b1 , b2 ,, bm , k 1, 2,, m K L
第五章字典编码
|abracad|abrarr|rarrad |abracad|abrarr|rarrad |abracad|abrarr|rarrad |abracad|abrarr|rarrad
发送 <7, 4, C(r)>
9
LZ77 编码举例 (2)
|cadabrar|rarrad| |cadabrar|rarrad| |cadabrar|rarrad|
自适应字典
有许多场合，开始时不知道要编码数据的统计特性，也不一 定允许事先知道它们的统计特性。 字典编码的思路：根据数据本身包含有重复代码的特性
例：吃葡萄不吐葡萄皮，不吃葡萄倒吐葡萄皮 如果用一些简单的代号代替这些字符串，就可以实现压缩，实际上 就是利用了信源符号之间的相关性。字符串与代号的对应表就是字 典。
11 12 13
wabb aw o
LZ78举例 (15)
输入： --------------------------o woo woo 字典： 索引 1 2 3 4 5 6 7 8 9 10 条目 w a b ba wa bb a wab ba ba
17
LZ78举例 (4)
输入： --bba wabba wabba wabba woo woo woo 字典： 索引 1 2 3 条目 w a b 输出：
<0, C(w)> <0, C(a)> <0, C(b)>
18
LZ78举例 (5)
输入： ---ba wabba wabba wabba woo woo woo 字典： 索引 1 2 3 4 条目 w a b ba 输出：
LZ78举例 (10)
输入： ------------wabba wabba woo woo woo 字典： 索引 1 2 3 4 5 6 7 8 9 条目 w a b ba wa bb a wab
第五章信源编码
三、几种常见的码： 1、定长码和非定长码：Wi=Wj，i,j=1,2….n。则为定长码 2、奇异码和非奇异码：i≠j,则Wi≠Wj；或：ai与Wi一一对应
信源符号 码1 a1 a2 a3 a4 00 01 10 11 码2 00 00 10 11 码3 1 00 01 10 码4 1 10 110 111 码5 1 01 011 111
且惟一可译。 码
{
非分组码 分组码
分组码：将信源符号序列分成 若干组或块，再进行编码
{
奇异码
非奇异码
{
非唯一可译码 非即时码 唯一可译码 即时码
{
四、码树和kraft不等式 1、 即时码可以用码树来构造，如用二进制码树。 •树根A(倒着长） •二进制---两个树枝， 标号0，1；产生两个 一级节点。 •第n级,2n个n级节点 •终端节点----不再长 出分枝的节点。 例如：n=4,共16个终端节点，可以表示符号数为16 的信源的 每一个符号a1,a2,a3 a4 a5 …a16。用树根到每个终端节点的树枝 标号构成的序列作为该节点信源符号的编码输出（即码字）
由L个符号组成的、每个符号的熵为 HL (X) 的无记忆平稳 信源符号序列 X1X2 Xl XL ,可用KL个符号 Y1, Y2 ,, Yk ,, YK L
时，译码差错一定是有限值，而当L足够大时，译码几乎必定 出错（译码错误概率接近于1）。
1、解释： KL/L-----编码时，每个信源符号输出的 码长。即每个信源符 号用KL/L 个码元来表示。
一、定长编码定理：
码长为 K L的m进制定长非奇异码共有 mK L 个，而被编码的符号 序列总数为.n L；显然，只要 mK L n L , 就可以输出惟一可译码 。
_
信源符号 码1 a1 a2 a3 a4 00 01 10 11 码2 00 00 10 11 码3 1 00 01 10 码4 1 10 110 111 码5 1 01 011 111
且惟一可译。 码
{
非分组码 分组码
分组码：将信源符号序列分成 若干组或块，再进行编码
{
奇异码
非奇异码
{
非唯一可译码 非即时码 唯一可译码 即时码
{
四、码树和kraft不等式 1、 即时码可以用码树来构造，如用二进制码树。 •树根A(倒着长） •二进制---两个树枝， 标号0，1；产生两个 一级节点。 •第n级,2n个n级节点 •终端节点----不再长 出分枝的节点。 例如：n=4,共16个终端节点，可以表示符号数为16 的信源的 每一个符号a1,a2,a3 a4 a5 …a16。用树根到每个终端节点的树枝 标号构成的序列作为该节点信源符号的编码输出（即码字）
由L个符号组成的、每个符号的熵为 HL (X) 的无记忆平稳 信源符号序列 X1X2 Xl XL ,可用KL个符号 Y1, Y2 ,, Yk ,, YK L
时，译码差错一定是有限值，而当L足够大时，译码几乎必定 出错（译码错误概率接近于1）。
1、解释： KL/L-----编码时，每个信源符号输出的 码长。即每个信源符 号用KL/L 个码元来表示。
一、定长编码定理：
码长为 K L的m进制定长非奇异码共有 mK L 个，而被编码的符号 序列总数为.n L；显然，只要 mK L n L , 就可以输出惟一可译码 。
_