第四章 无失真信源编码
合集下载
信息论与编码第4章无失真信源编码
0
2
1
w1 0 1 2 0 1 2
01
2w2
w3 w4
0
1
2
w5
w6 w7 w8
w9 w10 w11
0级节点 1级节点 2级节点
3级节点
25
4.3 变长编码
码树编码方法
（1）树根编码的起点； （2）每一个中间节点树枝的个数编码的进制数； （3）树的节点编码或编码的一部分； （4）树的终止节点（端点、树叶）码； （5）树的节数码长； （6）码位于多级节点变长码； （7）码位于同一级节点码等长码；
设离散无记忆信源X的熵为H(X), 若对长为N的信源符号序 列进行等长编码,码长为L , 码元符号个数为m. 则对任意的
>0, >0, 只要
L log m H ( 率小于。
反之，当
L log m H ( X ) 2
N
时, 则译码差错概率一定是有限值(不可能实现无失真编 码), 而当N足够大时, 译码错误概率近似等于1。
概率分布 0.5 0.25 0.125 0.125
码1:C1 码2:C2 码3:C3
00
0
0
码4:C4 1
码5:C5 1
01
11
10
10
01
10
00
00
100
001
11
11
01
1000
0001
等长码 非唯一 非 唯 唯一可译 及时码 可译 一可译
11
4.1 无失真信源编码的概念
关系 即时码一定是唯一可译码 唯一可译码一定是非奇异码 定长的非奇异码一定是唯一可译码 非定长的非奇异码不一定是唯一可译码
一般地，平均码长: L 3.322 (N ) N
无失真信源编码定理
离散信源无失真编码
内容提要 用尽可能少的符号来传输信源消息，目的是提高传输 效率，这是信源编码应考虑的问题，等长编码定理给 出了等长编码条件下，其码长的下限值，变长编码定 理（香农第一定理）给出了信源无失真变长编码时其 码长的上、下限值。
信源编码包括两个功能：
（1） 将信源符号变换成适合信道传输的符号；
15
K =
∑ p ( x )l
i i =1
q
i
它是每个信源符号平均需用的码元数。
2. 平均每个码元携带的信息量---即编码后信道的信息传输速率为
3.
编码后每秒钟信道的信息传输速率为 Rt =
H (S ) (S R= K
∴
比特/码符号
H (S ) tK 比特/秒
K ↓⇒ Rt ↑
对某一信源来说，若有一个唯一可译码，其平均长度小于所有 其它的唯一可译码的平均长度，则该码称为紧致码，或称最佳 码。无失真变长信源编码的基本问题就是要找最佳码。
η=
H L (U ) R
则可实现无失真传输
四、编码效率：
设U=X
最佳编码效率为
HL (X ) η= HL (X ) + ε
无失真信源编码定理从理论上阐明了编码效率接近于1的理想 编码器的存在性，它使输出符号的信息率与信源熵之比接近于1， 但要在实际中实现，则要求信源符号序列的L非常大进行统一编码 才行，这往往是不现实的。
i =1
对信源符号采用定长二元编码，要求编码效率 η = 90% 无记忆信源有 H L ( X ) = H ( X ) 因此
12
H(X ) η= = 90% H (X ) + ε
可以得到
ε = 0.28
如果要求译码错误概率
内容提要 用尽可能少的符号来传输信源消息，目的是提高传输 效率，这是信源编码应考虑的问题，等长编码定理给 出了等长编码条件下，其码长的下限值，变长编码定 理（香农第一定理）给出了信源无失真变长编码时其 码长的上、下限值。
信源编码包括两个功能：
（1） 将信源符号变换成适合信道传输的符号；
15
K =
∑ p ( x )l
i i =1
q
i
它是每个信源符号平均需用的码元数。
2. 平均每个码元携带的信息量---即编码后信道的信息传输速率为
3.
编码后每秒钟信道的信息传输速率为 Rt =
H (S ) (S R= K
∴
比特/码符号
H (S ) tK 比特/秒
K ↓⇒ Rt ↑
对某一信源来说，若有一个唯一可译码，其平均长度小于所有 其它的唯一可译码的平均长度，则该码称为紧致码，或称最佳 码。无失真变长信源编码的基本问题就是要找最佳码。
η=
H L (U ) R
则可实现无失真传输
四、编码效率：
设U=X
最佳编码效率为
HL (X ) η= HL (X ) + ε
无失真信源编码定理从理论上阐明了编码效率接近于1的理想 编码器的存在性，它使输出符号的信息率与信源熵之比接近于1， 但要在实际中实现，则要求信源符号序列的L非常大进行统一编码 才行，这往往是不现实的。
i =1
对信源符号采用定长二元编码，要求编码效率 η = 90% 无记忆信源有 H L ( X ) = H ( X ) 因此
12
H(X ) η= = 90% H (X ) + ε
可以得到
ε = 0.28
如果要求译码错误概率
《 无失真信源编码》课件
为什么需要无失真信源编码？
无失真信源编码在数字通信、音频和视频处理领域扮演着重要角色。它可以 节省存储空间，提高信号传输速率，并保证信息的完整性。
带源编码和无失真信源编码的对比
带源编码会对原始信号进行压缩，但会导致信息丢失和质量下降。无失真信源编码通过使用更复杂的算 法来保持信息的完整性和质量。
常见的无失真信源编码方法
PCM编码
基于脉冲编码调制，是最 常用的无失真音频编码方 法之一。
DPCM编码
差分脉冲编码调制，通过 预测和编码差异来实现无 失真音频压缩。
ADPCM编码
自适应差分脉冲编码调制， 根据信号特征动态地调整 编码参数以提高压缩效率。
区分编码和解码过程
编码过程将原始信源数据转换为压缩表示形式，而解码过程将压缩表示形式 还原为原始数据。
WavPack
一种无损音频编码格式，延 伸了FLAC的功能并具有更高 的压缩比。
对比不同无失真编码方法的性 能
不同的无失真编码方法在压缩比、音频质量和解码复杂性方面表现不同。综 合考虑这些因素才能选择最适合的编码方法。
无失真编码技术的应用领域
无失真编码技术广泛应用于音频和视频处理、通信系统、数据存储和传输领域。它可以提高效率、降低 成本，并保证信息的完整性。
无失真编码的未来发展趋势
随着技术的不断发展，无失真编码方法将更加高效和智能化，能够适应更多领域和应用需求。
国内外的无失真编码标准和应 用情况
世界各地的研究机构和标准化组织都在推动无失真编码标准的发展和应用。 国内也有一些具有自主知识产权的无失真编码方法。
结束语和展望
无失真信源编码是信息处理领域的重要技术，它将继续发展并在更多领域得 到应用。希望本课件能帮助您进一步了解无失真信源编码的原理和应用。
可变长无失真信源编码定理
可变长无失真信源编码定理一、概述可变长无失真信源编码定理是信息论的核心概念之一，它是由美国数学家香农（Claude Shannon）于1948年首次提出。
该定理主要探讨了信源编码的极限性能，为无失真编码提供了理论基础。
可变长无失真信源编码定理不仅在理论上有重要意义，而且在数据压缩、网络传输和存储系统等领域有着广泛的应用价值。
二、定理内容可变长无失真信源编码定理的主要内容是：对于任意给定的离散无记忆信源，存在一种可变长编码方式，使得编码后的平均码长小于或等于信源的熵，从而实现无失真编码。
换句话说，如果信源的熵为H，那么存在一种编码方式，使得编码后的平均码长L满足L ≤ H。
三、证明过程证明可变长无失真信源编码定理的过程较为复杂，涉及到概率论和信息论的基本知识。
以下是证明过程的大致步骤：1.定义信源的熵：信源的熵是信源输出随机变量的不确定性度量，定义为所有可能符号的概率加权和。
如果信源有n个符号，每个符号出现的概率为p1, p2, ..., pn，则信源的熵H定义为H = - Σ (pi * log2(pi))，其中i=1,2,...,n。
2.构造一个可变长度编码表：根据信源的概率分布，构造一个可变长度编码表，使得出现概率较大的符号对应较短的码字，反之亦然。
假设码字长度按照字典序排列，第i个码字的长度为log2(1/pi)，其中i=1,2,...,n。
3.计算平均码长：根据可变长度编码表，计算所有可能符号的平均码长。
平均码长等于所有码字长度的概率加权和，即L = Σ(log2(1/pi) * pi)，其中i=1,2,...,n。
4.证明平均码长小于或等于信源熵：利用不等式性质和概率分布的性质，推导出平均码长L满足L ≤H。
关键在于利用概率分布的不均匀性，通过调整码字长度来最小化平均码长。
5.构造一个解码函数：为了实现无失真解码，需要构造一个解码函数，使得每个码字能够唯一地还原为原始符号。
解码函数可以采用查表法或类似算法实现。
信息论与编码理论-第4章无失真信源编码-习题解答-20071202
信息论与编码理论-第4章无失真信源编码-习题解答-20071202信息论与编码理论第4章无失真信源编码习题及其参考答案4-1 有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A、B、C、D、E和F（1）求这些码中哪些是唯一可译码；（2）求哪些码是及时码；（3）对所有唯一可译码求出其平均码长。
?X??s14-2 设信源????p(s)P(X)???1s6?p(s2)?p(s6)???s2?p(s)?1。
对此次能源进行m元唯一ii?16可译编码，其对应的码长为（l1,l2,…,l6）=(1,1,2,3,2,3)，求m值的最好下限。
（提示：用kraft不等式）?s?X??14-3设信源为??1??p(X)???2?（1）信源的符号熵；（2）这种码的编码效率；s214s3s411816s5132s6s7s8?，编成这样的码：（000，001，111???64128128?010，011，100，101，110，111）。
求（3）相应的仙农码和费诺码。
4-4求概率分布为(,11122信)源的二元霍夫曼编码。
讨论此码对于概率分布为355151511111(,,,,)的信源也是最佳二元码。
555554-5有两个信源X和Y如下：1信息论与编码理论s2s3s4s5s6s7??X??s1??p(X)??0.200.190.180.170.150.100.01?????s2s3s4s5s6s7s8s9??Y??s1??p(Y)??0.490.140.140.070.070.040.020.02 0.01?????（1）用二元霍夫曼编码、仙农编码以及费诺编码对信源X和Y进行编码，并计算其平均码长和编码效率；（2）从X，Y两种不同信源来比较三种编码方法的优缺点。
4-6设二元霍夫曼码为（00，01，10，11）和（0，10，110，111），求出可以编得这样霍夫曼码的信源的所有概率分布。
4-7设信源为?码。
信息论与编码第四章
r li ⒄1
i 1
码长 li ，码符号集中符号个数r，信源符号个数q，称作kraft
不等式。
说明：唯一可译码一定满足不等式，反之，满足不等 式的码不一定是唯一可译码。
• 充分性证明：假定满足不等式的码长为 l1,l2 , ，,lq 在q个码字
中可能有长度相同的码字。设码长为1的有n1个，长度为2
111111
同价码：每个码符号（元）所占的传输时间都相
同
§4.2 等长码和等长信源编码定理
实现无失真编码的条件：
1、信源符号与码字一一对应 2、任意一串有限长的码符号序列与信源s的符号序列也 是一一对应，即N次扩展后仍满足一一对应关系。 同时满足上述条件称为唯一可译码
s : s1 s2 s3 s4 w j c : 0 10 00 01
N
N
I (ai ) log p(ai ) log pik I (sik )
k 1
k 1
E[I (ai )] H (S N ) NH (S )
E(x) xP （x） m H(s)
x
D[I (ai )] ND[I (si )] N{E[I 2 (si )] [H (s)2 ]
q
n
r li
nl m ax
Ajr j
i 1
jn
q
n
r
li
nl max
r j •rj
上界 ⑻
1 (N, ) p(G) MG • max p(ai ) ⑼
max p(ai ) 2 N[H (s) ]
下界 M G [1 (N , )]2 N[H (⑽ s) ]
我们可以只对集G中MG个信源序列进行一一对应的等长编码，
这就要求码字总数不小于MG就行，即
第4章 信源无失真编码
5种不同的码
U u1 u2 u3 u4
P (ui )
1 1 1 1 2 4 8 8
W1 00 01 10 11
W2 00 00 10 11
W3 1 00 01 10
W4 0 10 110 111
W5 0 01 1,00,10,01 u1u 2 u 4 u 3 011 1001001 10,01,00,1 u 4 u 3u 2 u1 1,00,1,00,1 u u u u u 1 2 1 2 1 111
W1：定长码。 非奇异码。 定长非奇异码肯定是UDC。 W2：定长码。 奇异码。 奇异码肯定不是UDC。
W3：变长码。 非奇异码。 续长码。 非即时码。 不是UDC。 即时码。 W4：变长码。 非奇异码。 非续长码。 非续长码肯定是UDC。 W5：变长码。 非奇异码。 续长码。 非即时码。 是UDC。
i 1
q
平均码长是衡量码的 性能的重要参数，“平均 码长小”说明平均一个码 元所携带的信息量大，信 息的冗余就小。
例：编码
设DMS的概率空间为
U u1 u2 u3 u4 P 1 2 1 4 1 8 1 8 U
信 源
U
{u1 ,u2 ,u3 ,u4 }
编码器 f
U
信源 编码
W
信源 译码
ˆ U
信 宿
f
f 1
• f为一一对应的变换只是无失真编码的必要条件，并不充分; • 要保证将码元序列无失真地恢复成信源符号序列，还要求编
出的码自身具有独特的结构。
• 有实用价值的码应该具有唯一可译性，即能从码字序列（也 是码元序列）唯一地恢复成信源符号序列。
1、唯一可译码（UDC，Uniquely Decodable Code） • 唯一可译码（UDC）：该码的码字组成的任意有限长码字序 列都能恢复成唯一的信源序列。否则称为非唯一可译码。 • 码是唯一可译码的充分必要条件是：由码中的码字组成的 任意有限长的码字序列（也是码元序列），都能唯一划分 成一个个的码字，且任一码字只与唯一一个信源符号对应。 • 奇异码：含相同码字的码。否则称为非奇异码。 • 非续长码：码中任一码字都不是另一码字的续长（延长）。 否则为续长码。 • 非即时码：如果接收端收到一个完整的码字后，不能立即 译码，还需等下一个码字开始接收后才能判断是否可以译 码。否则为即时码。
第4章无失真信源编码
是信源编码
码的分类-I
(1) 定长码：码中所有码字的长度都相同， 变长 码：码中的码字长短不一
信源 信源符号出
码表
符号ai 现概率p(ai) 码1 码2
a1
p(a1)
00 0
a2
p(a2)
01 01
a3
p(a3)
10 001
a4
p(a4)
11 111
表4-1 变长码与定长码
码的分类-II
(2)非奇异码:若信源符号和码字一一对应的 奇异码:反之。下表码1是奇异码，码2是非奇异码。
将这两个概率相加作为一个新字母的概率，与未分 配的二进符号的字母重新排队。 3. 对重排后的两个概率最小符号重复(2)的过程。 4. 重复上述过程，直到最后两个符号配以0和1为止。 5. 从最后一级开始，向前返回得到各个信源符号所对 应的码元序列，即相应的码字。
例 对以下信源进行哈夫曼编码
信源符号ai 概率p(ai) 码字Wi
H(S) L H(S) 1
log r
log r
离散平稳无记忆序列变长编码定理：对于平均符号 熵为H(S)的离散平稳无记忆信源，必存在一种无失真 编码方法，使平均信息率满足不等式
H (S) LN H (S) 1 log r N log r N
将定理进行改写：
H (S )
LN N
log r
H(S)
通常可用码树来表示各码字的构成
0
1
0
1
0
1
01
01
01
01
0 1 0 10 10 1 0 10 10 1 0 1
二进制码树(满树)
即时码的码树表示(2)
0
1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
根据能否在解码后完全准确的恢复出原始 消息(信息熵是否变换)，将信源编码分为无失 真信源编码和率失真信源编码.
能：无失真信源编码 能否完全恢复出原始信号？ 否：率失真信源编码
无失真编码：离散信源编码， 文字、数据，不能有差错 率失真编码：连续信源编码，语音、图像， 不可能没有差错，没必要没有差错
信源符号 码1 S1 S2 S3 S4
信息论基础 李富年 武汉科技大学
码2 00 01 00 11
码3 0 1 0 11
码4 1 10 100 1000
00 11 10 11
码的分类
根据码字的情况
非奇异码：所有码字都不相同，信源符号与码字之间唯一对应 奇异码：码字集合中有相同的码字，即存在Si S j但Wi W j
信息论基础 李富年 武汉科技大学
信源编码的概念
对于离散信源，如果信源的统计特性已知， 便可直接进行编码。
对于连续信源，应根据采样定理将连续 信号离散化。连续信号经过采样和量化就 变成了离散信号。将离散信号按一定规律 与一组代码相对应就是编码 。
信息论基础 李富年
武汉科技大学
无失真信源编码的基本概念
信息论基础 李富年 武汉科技大学
非续长码 -树图构造
例：给定编码符号表X={0，1}，码字W={W1， W2，W3，W4},字长分别是n1=1，n2=2 ， n3=n4=3，求非续长码。
信息论基础 李富年
武汉科技大学
非续长码 -树图构造
0 0 0 W4=000 1 1 W2=01 W3=001
W4=111 1
信息论基础 李富年 武汉科技大学
码的分类
信源符号 S1 S2 S3 S4 码4 0 01 011 111 码5 1 01 001 0001
0011101011
结论： 非续长码一定是单义码，而单义码却不 一定是非续长码。
信息论基础 李富年 武汉科技大学
码的分类
非奇异码、唯一可译码、非续长码的关系
非奇异码 唯一可译码 非续长码 非奇异码 唯一可译码 非续长码
信息论基础 李富年 武汉科技大学
树图法
1 对于码 1 01 001 0001 和 10 100 1000 用码树表示如下：
0 0 0 1 1 0 1 0 1 0 1
信息论基础 李富年
武汉科技大学
非续长码 -树图构造
编码：用树图法构造非续长码，只要将信源 符号全部对应于终端节点，而不是中间节 点即可。这样就可以保证任何一个码字都 不是其它码字的前缀 解码：按照码符号的顺序，从根节点依次查 询到终端节点，就得到对应的信源符号。 再从根节点对剩下的码符号序列做相同的 处理，直到处理完码符号序列中所有的码 符号。
例：电报： 1：母亲患癌症，情况危急，请速归。 2：母病危速归
信息论基础 李富年 武汉科技大学
信源编码的概念
具体来说，信源编码就是根据信源的统计 特性，对信源发出的消息进行编码。 一般而言，编码就是用数字形式表示消息 的过程。编码实质上是对要处理的源数据按 一定的规则进行变换。这些数学方法和变换 策略的目的都是力图用尽可能少的符号或位 来表示较多、较长的符号及消息。
武汉科技大学
单义码存在定理
码字不满足克拉夫特不等式，则肯定不是唯 一可译码。码字满足克拉夫特不等式，并不一 定是唯一可译码，只是说存在这样的码长条件 的唯一可译码。
信息论基础 李富年
武汉科技大学
等长编码
• 等长码：各个码字码长都相等的码 • 对于等长码，如果是非奇异码，那么一定 是唯一可译码
是
可以编码成 0 1 00 0 111 0 有效性： 1 更好 可靠性： 0 111 更好，提供纠错功能 00
否
信息论基础 李富年
武汉科技大学
等长编码
等长码码长不能无限制缩短。
信源符号集有2个符号，可以用 0 1 编 码，码长为1； 信源符号有4个，码长为1就不行了，必须 用码长为2的等长码 00 01 10 11 设信源符号集中有符号q个；用二元码进行 编码，码长为 l ，能够提供的最多码字为 l l 2 个，因此要满足 2 q l log q
r
i 1
q
ni
2
i 1
4
ni
1 1 1 1 1 2 4 8 8
如W改为为{0，01，110，011}， 即 n1=1，n2=2 ，n3=3 ，n4=3
r
i 1
信息论基础 李富年
q
ni
2
i 1
4
ni
1 1 1 1 1 2 4 8 8
r ni 1
i 1
其中，q是码字的个数，r是编码符号表的码元 个数，ni 是字长。若上式成立，就一定能构造一 个r进制的唯一可译码。
信息论基础 李富年
武汉科技大学
单义码存在定理
例：给定编码符号表X={0，1}，码字 W={W1，W2，W3，W4 }= {0，01，10，011}, 分别由1，2，2，3个码元构成的码字
信源编码模型
信源空间为：
s2 ...... s q s1 S p ( s1 ) p ( s 2 ) ...... p ( s q )
编码符号表为 X {x1 , x2 ,... xr } ，用 X 的符号对消息 s i 进行编码。
信息论基础 李富年
武汉科技大学
武汉科技大学
信源编码的概念
信源编码的作用 符号变换：用信道能传输的符号来代表信源 发出的消息，使信源适合于信道的传输。
例： 信源发送符号为{ 是，否} 信道中能够传输的符号为{0，1}
信息论基础 李富年
武汉科技大学
信源编码的概念
有效传输(冗余度压缩)——减少信源的剩余度 在不失真的条件下，用尽可能少的符号来传 送信源信息，提高信息传送率。 例： 信源发送符号为{ 是，否} 方案1： { 0，1} 方案2： {000，111}
非唯一可译码
信息论基础 李富年
武汉科技大学
码的分类
例：
X 0, 11, 10
0 1 0 1 0 1 0
例：
S1S3S3S3
01, 10
X 0,
0 1 0 1 0 1 0
S1S3S3S3
S2 S2 S2 S1
要保证无失真编码，必须采用唯一可译码。
信息论基础 李富年 武汉科技大学
码的分类
信息传输系统
第二章:信息量
消息
信源
信源编码器
信道编码器
第三章信道 与信道容量
等 效 信 道
第四章:无失 真信源编码
信宿
消息
信源解码器
信道解码器
信息论基础 李富年
武汉科技大学
第四章 无失真信源编码
信源编码的概念 信源编码的模型 等长编码 变长编码
香农－费诺－艾利斯编码
霍夫曼编码 费诺编码
1 W1=1
1 0
1 0
0 W1=0 W2=10 W3=110
①非续长码不是唯一的。 ②全部终端节点都代表码字，这种情况叫做 用尽的非续长码。
信息论基础 李富年 武汉科技大学
单义码存在定理
设信源S的符号集为 S : {s1 , s 2 ,...s q }，码符号 集 X :{x1, x2 ,... xr } ，又设码字为W1 ,W2 ,...Wq，其码长分 别为 n1 , n 2 ,...n q 。则存在单义码的必要条件是： q, r , ni (i 1 ,2 ,..., q) 满足Kraft不等式，即 q
变长码
信息论基础 李富年 武汉科技大学
等长码
树图法
• 树图法：所有码字用码树描述出来。码树是 一棵倒置的树，最上端是根节点，从根节点 出发不断向下伸出树枝，分支与码符号一一 对应。 • 一个节点继续分支，称为中间节点；一个节 点不再继续分支，称为终端节点。 • 将信源符号对应的节点用实心圆表示，从根 节点到这个节点经过的分支对应的码符号序 列就是码字；没有与信源符号对应的节点用 空心圆表示
按照不等式可知，q=4，r=2，n1=1，n2=2 ， n3=2 ，n4=3 ，代入Kraft不等式左边得
r
i 1
信息论基础 李富年
q
ni
2
i 1
4
ni
1 1 1 1 9 1 2 4 4 8 8
武汉科技大学
单义码存在定理
如W改为为{0，10，110，111}， 即 n1=1，n2=2 ，n3=3 ，n4=3
信息论基础 李富年
武汉科技大学
信源编码的概念
要把信源的信息高速度、高质量地通过信 道传送给信宿，一般要通过信源编码和信道编 码来完成。 研究信源编码：只考虑有效性，不考虑可靠性
等效无噪声信道
消息 信号S
信源
信源编码器
信道编码器
调制器
信 道
噪声
干 扰 源
消息
信宿
信源解码器
信道解码器
解调器
S＋ N
信息论基础 李富年
编码的定义
如果一种编码方案
s1 x1 00 s 2 x 2 01
s3 x 3 10
s4 x 4 11
如果信源连续发送S1S2S3三个符号，则该 信源编码的输出为 000110
信息论基础 李富年 武汉科技大学
编码的定义
如果一种编码方案
s1 x1 0
s3 x 3 110
信源符号 S1 S2 码1 00 01 码2 00 01
S3
S4
10
11
00
11
001110
等长非奇异码一定是唯一可译码。
信息论基础 李富年 武汉科技大学
能：无失真信源编码 能否完全恢复出原始信号？ 否：率失真信源编码
无失真编码：离散信源编码， 文字、数据，不能有差错 率失真编码：连续信源编码，语音、图像， 不可能没有差错，没必要没有差错
信源符号 码1 S1 S2 S3 S4
信息论基础 李富年 武汉科技大学
码2 00 01 00 11
码3 0 1 0 11
码4 1 10 100 1000
00 11 10 11
码的分类
根据码字的情况
非奇异码：所有码字都不相同，信源符号与码字之间唯一对应 奇异码：码字集合中有相同的码字，即存在Si S j但Wi W j
信息论基础 李富年 武汉科技大学
信源编码的概念
对于离散信源，如果信源的统计特性已知， 便可直接进行编码。
对于连续信源，应根据采样定理将连续 信号离散化。连续信号经过采样和量化就 变成了离散信号。将离散信号按一定规律 与一组代码相对应就是编码 。
信息论基础 李富年
武汉科技大学
无失真信源编码的基本概念
信息论基础 李富年 武汉科技大学
非续长码 -树图构造
例：给定编码符号表X={0，1}，码字W={W1， W2，W3，W4},字长分别是n1=1，n2=2 ， n3=n4=3，求非续长码。
信息论基础 李富年
武汉科技大学
非续长码 -树图构造
0 0 0 W4=000 1 1 W2=01 W3=001
W4=111 1
信息论基础 李富年 武汉科技大学
码的分类
信源符号 S1 S2 S3 S4 码4 0 01 011 111 码5 1 01 001 0001
0011101011
结论： 非续长码一定是单义码，而单义码却不 一定是非续长码。
信息论基础 李富年 武汉科技大学
码的分类
非奇异码、唯一可译码、非续长码的关系
非奇异码 唯一可译码 非续长码 非奇异码 唯一可译码 非续长码
信息论基础 李富年 武汉科技大学
树图法
1 对于码 1 01 001 0001 和 10 100 1000 用码树表示如下：
0 0 0 1 1 0 1 0 1 0 1
信息论基础 李富年
武汉科技大学
非续长码 -树图构造
编码：用树图法构造非续长码，只要将信源 符号全部对应于终端节点，而不是中间节 点即可。这样就可以保证任何一个码字都 不是其它码字的前缀 解码：按照码符号的顺序，从根节点依次查 询到终端节点，就得到对应的信源符号。 再从根节点对剩下的码符号序列做相同的 处理，直到处理完码符号序列中所有的码 符号。
例：电报： 1：母亲患癌症，情况危急，请速归。 2：母病危速归
信息论基础 李富年 武汉科技大学
信源编码的概念
具体来说，信源编码就是根据信源的统计 特性，对信源发出的消息进行编码。 一般而言，编码就是用数字形式表示消息 的过程。编码实质上是对要处理的源数据按 一定的规则进行变换。这些数学方法和变换 策略的目的都是力图用尽可能少的符号或位 来表示较多、较长的符号及消息。
武汉科技大学
单义码存在定理
码字不满足克拉夫特不等式，则肯定不是唯 一可译码。码字满足克拉夫特不等式，并不一 定是唯一可译码，只是说存在这样的码长条件 的唯一可译码。
信息论基础 李富年
武汉科技大学
等长编码
• 等长码：各个码字码长都相等的码 • 对于等长码，如果是非奇异码，那么一定 是唯一可译码
是
可以编码成 0 1 00 0 111 0 有效性： 1 更好 可靠性： 0 111 更好，提供纠错功能 00
否
信息论基础 李富年
武汉科技大学
等长编码
等长码码长不能无限制缩短。
信源符号集有2个符号，可以用 0 1 编 码，码长为1； 信源符号有4个，码长为1就不行了，必须 用码长为2的等长码 00 01 10 11 设信源符号集中有符号q个；用二元码进行 编码，码长为 l ，能够提供的最多码字为 l l 2 个，因此要满足 2 q l log q
r
i 1
q
ni
2
i 1
4
ni
1 1 1 1 1 2 4 8 8
如W改为为{0，01，110，011}， 即 n1=1，n2=2 ，n3=3 ，n4=3
r
i 1
信息论基础 李富年
q
ni
2
i 1
4
ni
1 1 1 1 1 2 4 8 8
r ni 1
i 1
其中，q是码字的个数，r是编码符号表的码元 个数，ni 是字长。若上式成立，就一定能构造一 个r进制的唯一可译码。
信息论基础 李富年
武汉科技大学
单义码存在定理
例：给定编码符号表X={0，1}，码字 W={W1，W2，W3，W4 }= {0，01，10，011}, 分别由1，2，2，3个码元构成的码字
信源编码模型
信源空间为：
s2 ...... s q s1 S p ( s1 ) p ( s 2 ) ...... p ( s q )
编码符号表为 X {x1 , x2 ,... xr } ，用 X 的符号对消息 s i 进行编码。
信息论基础 李富年
武汉科技大学
武汉科技大学
信源编码的概念
信源编码的作用 符号变换：用信道能传输的符号来代表信源 发出的消息，使信源适合于信道的传输。
例： 信源发送符号为{ 是，否} 信道中能够传输的符号为{0，1}
信息论基础 李富年
武汉科技大学
信源编码的概念
有效传输(冗余度压缩)——减少信源的剩余度 在不失真的条件下，用尽可能少的符号来传 送信源信息，提高信息传送率。 例： 信源发送符号为{ 是，否} 方案1： { 0，1} 方案2： {000，111}
非唯一可译码
信息论基础 李富年
武汉科技大学
码的分类
例：
X 0, 11, 10
0 1 0 1 0 1 0
例：
S1S3S3S3
01, 10
X 0,
0 1 0 1 0 1 0
S1S3S3S3
S2 S2 S2 S1
要保证无失真编码，必须采用唯一可译码。
信息论基础 李富年 武汉科技大学
码的分类
信息传输系统
第二章:信息量
消息
信源
信源编码器
信道编码器
第三章信道 与信道容量
等 效 信 道
第四章:无失 真信源编码
信宿
消息
信源解码器
信道解码器
信息论基础 李富年
武汉科技大学
第四章 无失真信源编码
信源编码的概念 信源编码的模型 等长编码 变长编码
香农－费诺－艾利斯编码
霍夫曼编码 费诺编码
1 W1=1
1 0
1 0
0 W1=0 W2=10 W3=110
①非续长码不是唯一的。 ②全部终端节点都代表码字，这种情况叫做 用尽的非续长码。
信息论基础 李富年 武汉科技大学
单义码存在定理
设信源S的符号集为 S : {s1 , s 2 ,...s q }，码符号 集 X :{x1, x2 ,... xr } ，又设码字为W1 ,W2 ,...Wq，其码长分 别为 n1 , n 2 ,...n q 。则存在单义码的必要条件是： q, r , ni (i 1 ,2 ,..., q) 满足Kraft不等式，即 q
变长码
信息论基础 李富年 武汉科技大学
等长码
树图法
• 树图法：所有码字用码树描述出来。码树是 一棵倒置的树，最上端是根节点，从根节点 出发不断向下伸出树枝，分支与码符号一一 对应。 • 一个节点继续分支，称为中间节点；一个节 点不再继续分支，称为终端节点。 • 将信源符号对应的节点用实心圆表示，从根 节点到这个节点经过的分支对应的码符号序 列就是码字；没有与信源符号对应的节点用 空心圆表示
按照不等式可知，q=4，r=2，n1=1，n2=2 ， n3=2 ，n4=3 ，代入Kraft不等式左边得
r
i 1
信息论基础 李富年
q
ni
2
i 1
4
ni
1 1 1 1 9 1 2 4 4 8 8
武汉科技大学
单义码存在定理
如W改为为{0，10，110，111}， 即 n1=1，n2=2 ，n3=3 ，n4=3
信息论基础 李富年
武汉科技大学
信源编码的概念
要把信源的信息高速度、高质量地通过信 道传送给信宿，一般要通过信源编码和信道编 码来完成。 研究信源编码：只考虑有效性，不考虑可靠性
等效无噪声信道
消息 信号S
信源
信源编码器
信道编码器
调制器
信 道
噪声
干 扰 源
消息
信宿
信源解码器
信道解码器
解调器
S＋ N
信息论基础 李富年
编码的定义
如果一种编码方案
s1 x1 00 s 2 x 2 01
s3 x 3 10
s4 x 4 11
如果信源连续发送S1S2S3三个符号，则该 信源编码的输出为 000110
信息论基础 李富年 武汉科技大学
编码的定义
如果一种编码方案
s1 x1 0
s3 x 3 110
信源符号 S1 S2 码1 00 01 码2 00 01
S3
S4
10
11
00
11
001110
等长非奇异码一定是唯一可译码。
信息论基础 李富年 武汉科技大学