李梅李亦农《信息论基础教程》-教案-第五章无失真信源编码PPT课件
合集下载
信息论基础与应用-李梅-第五章 无失真信源编码解析
s1 s1s1 s 2 s1s2 s3 s1s3 s16 s4 s4
二次扩展码码字 w j ( j 1, 2,...,16)
w1 w1w1 00 w 2 w1w2 001 w3 w1w3 0001 w16 w4 w4 111111
第五章：无失真信源编码
一、信源编码的相关概念
4. 关于编码的一些术语
编码器输出的码符号序列 wi称为码字；长度 li 称为码 字长度，简称码长；全体码字的集合C称为码。 若码符号集合为X={0,1}，则所得的码字都是二元序 列，称为二元码。
将信源符号集中的每个信源符号
si 固定的映射成某
一个码字 wi ，这样的码称为分组码。
码字与信源符号一一对应
2) 不同的信源符号序列对应不同的码字序列
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续2）
例1：
1) 奇异码
s1 s2 s3 s4
0 11 00 Байду номын сангаас1
译码 11
s2 s4
奇异码一定不是唯一可译码
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续3）
译码 0 0 0 1 1 0 1 1
s1s2 s3 s4
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续5）
4)
唯一可译码 1 1 0 1 0 0 1 0 0 0 0
s1 s2
1 10
1 0
1
s2 / s3 ?
s3 100 s4 1000
为非即时码
第五章：无失真信源编码
一、信源编码的相关概念
二次扩展码码字 w j ( j 1, 2,...,16)
w1 w1w1 00 w 2 w1w2 001 w3 w1w3 0001 w16 w4 w4 111111
第五章：无失真信源编码
一、信源编码的相关概念
4. 关于编码的一些术语
编码器输出的码符号序列 wi称为码字；长度 li 称为码 字长度，简称码长；全体码字的集合C称为码。 若码符号集合为X={0,1}，则所得的码字都是二元序 列，称为二元码。
将信源符号集中的每个信源符号
si 固定的映射成某
一个码字 wi ，这样的码称为分组码。
码字与信源符号一一对应
2) 不同的信源符号序列对应不同的码字序列
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续2）
例1：
1) 奇异码
s1 s2 s3 s4
0 11 00 Байду номын сангаас1
译码 11
s2 s4
奇异码一定不是唯一可译码
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续3）
译码 0 0 0 1 1 0 1 1
s1s2 s3 s4
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续5）
4)
唯一可译码 1 1 0 1 0 0 1 0 0 0 0
s1 s2
1 10
1 0
1
s2 / s3 ?
s3 100 s4 1000
为非即时码
第五章：无失真信源编码
一、信源编码的相关概念
5--第5章信息论课件共47页PPT资料
信 源 编
码字：码符号序列Y=(Y1Y2…Yk…Yki)称为码字。
码长/码字长度： ki称为码字长度或简称码长。
码
编码就是从信源符号到码符号的一种映射。若
要实现无失真编码，这种映射必须是一一对应的，
可逆的。
2020/1/4
14
信息论与 编码
编码的定义
西北大学信息学院
一些码的定义
二元码：码符号集为X={0,1}，所得码字都是一些二元序
西北大学信息学院
第5章
信源编码
2020/1/4
信息论与编码
1
信息论与
编码 CONTENT
西北大学信息学院
第
TEXT
TEXT
五
章
信 源
5.1
5.2
编 编码概念 等长码与
码
等长信源
编码定理
TEXT
TEXT
5.3 变长码
5.4 变长信源 编码定理
2020/1/4
2
信息论与 编码
第 五 章 信 源 编 码
但不能低于符号熵;
第 五
达到这目标的途径就是使概率与码长匹配。
章 统计匹配编码：
信 根据信源的不同概率分布而选用与之匹配的编码,以
源 编
达到在系统中传信速率最小。
码
2020/1/4
12
信息论与
编码 无失真信源编码器
信源
码字
第 五
S:{s1, s2,…, sq}
章
信源编码器
C:{w1, w2,…, wq}
2020/1/4
5
信息论与 编码
(2) 信源编码的概念
西北大学信息学院
第 信源编码定义：指定能够满足信道特性/适合于信道传
信息论与编码课件2011Chapter5
信息论与编码
5-2 译码规则和错误概率
信源 信源编码 信道编码 信道 P(Y/X) 信源信道 译码 0 输入 1 信 宿 1－p=1/10 p p 1－p=1/10 0 输出 1
图示：二进制对称信道 译码规则1 (输入端先验等概条件下) 译码规则1:(输入端先验等概条件下)
输出端“0”，认为输入端输入“0”，译码为“0”
信息论与编码
5-1 引言
干扰源 信号 编码器 消息 信 源 信 道 干扰 信号 解码器 消息 信 宿
(1)对无失真信源编码的码字，用有噪声信道的输 入符号集作为码符号集，再进行一次编码提高 其抗干扰能力 (2)利用和挖掘信道的统计特性，保持一定有效性 的基础上，提高其抗干扰的可靠性（有噪信道 ， 编码定理）
* *
(i, j = 1, 2, 3)
( j = 1, 2, 3; a ∈ {a1 , a2 , a3 })
*
(i)对于信道输出符号b1而言，信道矩阵 而言 信道矩阵P中第 中第一列元素： 列元素
p(b1 / a1 ) = 0.5; p(b1 / a2 ) = 0.2;
*
p(b1 / a3 ) = 0.3
信息论与编码
5-2 译码规则和错误概率 5.2.1 译码规则 定义：
信息论与编码
5-2 译码规则和错误概率 例如：图示BSC信道，输入 符号集X:{0,1}, {0 1} 输出符号集 Y:{0,1},可以组成 r2=4种译码 规则:
F ( 0) = 0 F (1) = 0 F ( 0) = 1 F (1) = 0
ห้องสมุดไป่ตู้
选择合适的译码规则，成为降低平均错误译码概率， 规定译码规则 提高通信有效性的一种可控制的有效手段 F(bj) = ai F(bj) = ai
信息论 基础理论与应用第三版(傅祖芸) 第5章 讲义
l H ( S ) 2 N log r
则不可能实现无失真编码，当N趋向于无穷大时，译码错误 率接近于1。
•分析：定理中的条件式可写成
l log r NH (S )
左边: 长为 l 的码符号（码字）所能载荷的最大信息量； 右边: 长为N的信源符号序列平均携带的信息量。 因此，定理说明了：只要码字传输的最大信息量大于信源序 列携带的信息量，则可以实现无失真编码 。
第5章 无失真信源编码定理
5.1 编码器 5.2 等长码 5.4 等长信源编码定理 5.5 变长码 5.6 变长信源编码定理
引 言
信息通过信道传输到信宿的过程。要做到既不失真又快速地 通信，需要解决两个问题： 信源编码: 在不失真或允许一定失真条件下，提高信息传输率. 信道编码: 在信道受到干扰的情况下，增加信号的抗干扰能力，同时又 使得信息传输率最大.
信源 符号
码字
00: W1W1=B1
001:W1W2=B2 0001:W1W3=B3 0111:W1W4=B4
信源 符号
码字
010:W2W1=B5
信源 符号
码字
α1
α2 α3 α4
α5
： ： ：
：
： ： α16
：
： ：
111111:W4W4=B16
： ： ：
6、唯一可译码(单义可译码）
由码构成的任意一串有限长的码符号序列只能被唯一的 译成所对应的信源符号序列。 否则,就为非惟一可译码或非单义可译码。
最佳编码： 一般来说，抗干扰能与信息传输率二者相互矛盾。而编码 定理理论上证明，至少存在某种最佳的编码能够解决上述矛盾， 做到既可靠又有效地传输信息。 信源编码： 信源虽然多种多样，但无论是哪种类型的信源，信源符号 之间总存在相关性和分布的不均匀性，使得信源存在冗余度。 信源编码的目的就是要减少冗余，提高编码效率。
则不可能实现无失真编码，当N趋向于无穷大时，译码错误 率接近于1。
•分析：定理中的条件式可写成
l log r NH (S )
左边: 长为 l 的码符号（码字）所能载荷的最大信息量； 右边: 长为N的信源符号序列平均携带的信息量。 因此，定理说明了：只要码字传输的最大信息量大于信源序 列携带的信息量，则可以实现无失真编码 。
第5章 无失真信源编码定理
5.1 编码器 5.2 等长码 5.4 等长信源编码定理 5.5 变长码 5.6 变长信源编码定理
引 言
信息通过信道传输到信宿的过程。要做到既不失真又快速地 通信，需要解决两个问题： 信源编码: 在不失真或允许一定失真条件下，提高信息传输率. 信道编码: 在信道受到干扰的情况下，增加信号的抗干扰能力，同时又 使得信息传输率最大.
信源 符号
码字
00: W1W1=B1
001:W1W2=B2 0001:W1W3=B3 0111:W1W4=B4
信源 符号
码字
010:W2W1=B5
信源 符号
码字
α1
α2 α3 α4
α5
： ： ：
：
： ： α16
：
： ：
111111:W4W4=B16
： ： ：
6、唯一可译码(单义可译码）
由码构成的任意一串有限长的码符号序列只能被唯一的 译成所对应的信源符号序列。 否则,就为非惟一可译码或非单义可译码。
最佳编码： 一般来说，抗干扰能与信息传输率二者相互矛盾。而编码 定理理论上证明，至少存在某种最佳的编码能够解决上述矛盾， 做到既可靠又有效地传输信息。 信源编码： 信源虽然多种多样，但无论是哪种类型的信源，信源符号 之间总存在相关性和分布的不均匀性，使得信源存在冗余度。 信源编码的目的就是要减少冗余，提高编码效率。
信息论课件第五章_无失真信源编码
由此可见,当考虑信源符号之间依赖关系后,有 些信源符号序列不会出现,这样信源符号序列 个数会减少,再进行编码时,所需平均码长就可 以缩短. 英文 等长编码定理给出了信源进行等长编码所需 码长的理论极限值.
5.3 渐进等分割性和ε典型序列
渐进等分割性AEP是弱大数定理的直接推论 大数定理：若X1,X2,…，Xn是独立同分布的随机变 1 量，只要n足够大， ∑ X接近于数学期望E(X)。 n
α i (i = 1,..., q N ) 现在需要把这些长为N的信源符号序列
变换成长度为l的码符号序列 Wi = ( xi1 xi2 ...xil ), ( xi1 ,..., xil ∈ X )
根据前面的分析,若要求得编得的等长码是惟一 可译码则必须满足
qN ≤ rl (5.2)
此式表明,只有当l长的码符号序列数(rl)大于或 等于N次扩展信源的符号数(qN)时,才可能存在等 长非奇异码. 对式(5.2)两边取对数,则有
例如，表5.1中码１是惟一可译码，而码２是 非惟一可译码。 因为对于码２，其有限长的码符号序列能译 成不同的信源符号序列。如：0010,可译成 s1s2s1或s3s1,显然不是惟一的。 下面，我们分别讨论等长码和变长码的最佳 编码问题，也就是是否存在一种惟一可译编 码方法，使平均每个信源符号所需的码符号 最短。也就是无失真信源压缩的极限值。
sik ∈ S ( k = 1, 2,..., N ) xik ∈ X ( k = 1, 2,..., li )
这种码符号序列Wi，称为码字。长度li称为码字长 度或简称码长。所有这些码字的集合C称为码（或 称码书）此码为r元码或称r进制码。
编码就是从信源符号到码符号的一种映射 若要实现无失真编码，必须这种映射是一一 对应的、可逆的。
《信息论基础》PPT课件
精选ppt
9
信息论的研究内容
狭义信息论（经典信息论）
研究信息测度，信道容量以及信源和信道编码理论
一般信息论
研究信息传输和处理问题，除经典信息论外还包括噪 声理论，信号滤波和预测，统计检测和估值理论，调 制理论，信息处理理论和保密理论
广义信息论
除上述内容外，还包括自然和社会领域有关信息的内 容，如模式识别，计算机翻译，心理学，遗传学，神 经生理学
精选ppt
10
Shannon理论
Shannon定理的证明是非构造性的，而且也不够严格，但 他的“数学直观出奇地正确”(A. N. Kolmogrov，1963)。 已在数学上严格地证明了Shannon编码定理，而且发现了 各种具体可构造的有效编码理论和方法，可以实现 Shannon指出的极限。
几乎无错地经由Gaussian信道传信 对于非白Gassian信道，Shannon的注水定理和多载波调制(MCM) CDMA、MCM(COFDM)、TCM、BCM、各种均衡、对消技术、
精选ppt
12
I信源编码与数据压缩-关键理论进展 的十个里程碑[Kieffer 1993]
1. 无扰信源编码的诞生(1948, C. E. Shannon)。 2. Huffman算法的发现(1952, D. A. Huffman)。 3. 建立Shannon-McMillan定理(1953, B. McMillan)。 4. 发现Lloyd算法(1957, S. P. Lloyd ,1982年发表,)。 5. 率失真理论系统化(1959, C. E. Shannon,)。 6. Kolmogorov Complexity概念诞生(1964, A. N. Kolmogorov,)。 7. 通用信源编码理论系统化(1973, L. D. Davission)。 8. 多端信源编码理论诞生(1973, D. Slepian和J. K. Wolf)。 9. 第一个实际的算术编码方案(1976, J. Rissannen和R. Pasco
信息论基础课件5.1
克拉夫特（ 克拉夫特（Kraft）不等式 ）
m 元长度为 k i , i = 1,2, L , n 的即时码（异前置码） 的即时码（异前置码） 存在的充要条件是： 存在的充要条件是： m − ki ≤ 1 ∑
i =1 n
设即时码的第i个码字的长度为 设即时码的第 个码字的长度为ki 个码字的长度为 构造一个满树图，在第 级共有m 个节点， 构造一个满树图，在第ki级共有 ki个节点，
H( X） R < H( X ) + ε ≤
1
香农第一编码定理给出了码字的平均长度的下界和 上界。但并不是说大于这上界不能构成唯一可译码， 上界。但并不是说大于这上界不能构成唯一可译码， 尽可能短。 而是因为我们总是希望 k 尽可能短。定理说明当平 均码长小于上界时，唯一可译码也存在。也就是说， 均码长小于上界时，唯一可译码也存在。也就是说， 定理给出的是最佳码的最短平均码长， 定理给出的是最佳码的最短平均码长，并指出这个 最短的平均码长与信源熵是有关的。 最短的平均码长与信源熵是有关的。 编码效率为
4
5.1
离散信源编码
5.1.1 码字唯一可译的条件
若码的任意一串有限长的码符号序列只能唯一地被译 成所对应的信源符号序列，则此码称为唯一可译码， 成所对应的信源符号序列，则此码称为唯一可译码， 否则就称为非唯一可译码。 否则就称为非唯一可译码。 非即时码和即时码： 非即时码和即时码： 如果接收端收到一个完整的码字后，不能立即译码， 如果接收端收到一个完整的码字后，不能立即译码， 还要等下一个码字开始接收后才能判断是否可以译码， 还要等下一个码字开始接收后才能判断是否可以译码， 这样的码叫做非即时码。 这样的码叫做非即时码。
11
例题(5.1)：设 ： 例题 信源共有7个符 信源共有 个符 号组成， 号组成，其概率 如表所示， 如表所示， 求其香农码。 求其香农码。
最新信息论-第五章教学讲义ppt
当d(y,u(0)) min d(y,u)时， u跑遍所有码字
将输出 y译 值为码 u(0字 )。
2021/3/12
14
§5.1 离散信道编码问题
命题 最大似然概率准则等价于最小距离准则。 证明
pN(y|u)=P(Y1=y1|U1=u1)P(Y2=y2|U2=u2)…P(YN=yN|UN=uN) =(p/(D-1))d(1-p)N-d，
其中d是y与u的Hamming距离。 注意到p/(D-1)<(1-p)。所以 pN(y|u)达到最大，当且仅当y与u的Hamming距离达到最小。 得证。
2021/3/12
15
§5.1 离散信道编码问题
命题 如果每个码字是等概出现的，则最大后验概率准则等价 于最大似然概率准则。
证明
max b(u| y) max q(u)pN(y|u)
（4）过程 (Y1Y2…YN)→(U1’U2’…UN’)→(X1’X2’…XL’)
称为纠错译码。当(X1’X2’…XL’)=(X1X2…XL)时称为正 确译码（实际上就是正确接收）。
2021/3/12
8
§5.1 离散信道编码问题
（5）N比L大得越多，1/DN-L份额越小，码字的分布越 稀疏，信道传输错误不在这1/DN-L份额之内的可能 性越大，即信道传输错误越容易被检测到。但N比L 大得越多，信道传输的浪费越大。
简记率b。(u|y)=P((U1U2…UN)=u|(Y1Y2…YN)=y)。称b(u|y)为后验概 最大后验概率准则：
当b(u(0) | y) maxb(u| y)时， u跑遍所有码字
将输出 y译值为码 u(0)。 字
2021/3/12
10
§5.1 离散信道编码问题
将输出 y译 值为码 u(0字 )。
2021/3/12
14
§5.1 离散信道编码问题
命题 最大似然概率准则等价于最小距离准则。 证明
pN(y|u)=P(Y1=y1|U1=u1)P(Y2=y2|U2=u2)…P(YN=yN|UN=uN) =(p/(D-1))d(1-p)N-d，
其中d是y与u的Hamming距离。 注意到p/(D-1)<(1-p)。所以 pN(y|u)达到最大，当且仅当y与u的Hamming距离达到最小。 得证。
2021/3/12
15
§5.1 离散信道编码问题
命题 如果每个码字是等概出现的，则最大后验概率准则等价 于最大似然概率准则。
证明
max b(u| y) max q(u)pN(y|u)
（4）过程 (Y1Y2…YN)→(U1’U2’…UN’)→(X1’X2’…XL’)
称为纠错译码。当(X1’X2’…XL’)=(X1X2…XL)时称为正 确译码（实际上就是正确接收）。
2021/3/12
8
§5.1 离散信道编码问题
（5）N比L大得越多，1/DN-L份额越小，码字的分布越 稀疏，信道传输错误不在这1/DN-L份额之内的可能 性越大，即信道传输错误越容易被检测到。但N比L 大得越多，信道传输的浪费越大。
简记率b。(u|y)=P((U1U2…UN)=u|(Y1Y2…YN)=y)。称b(u|y)为后验概 最大后验概率准则：
当b(u(0) | y) maxb(u| y)时， u跑遍所有码字
将输出 y译值为码 u(0)。 字
2021/3/12
10
§5.1 离散信道编码问题
信息论基础详细ppt课件
1928年，哈特莱(Hartley)首先提出了用对数度量信
息的概念。一个消息所含有的信息量用它的可能值
香农
的个数的对数来表示。
(香农)信息： 信息是事物运动状态或存在方式的不确定性的描述。 可运用研究随机事件的数学工具——概率来测度不确定性大小。 在信息论中，我们把消息用随机事件表示，而发出这些消息的信 源则用随机变量来表示。
2.1 自信息和互信息
2.1.1 自信息
随机事件的自信息量 I (xi ) 是该事件发生概率 p(xi ) 的函数，并且应该满 足以下公理化条件：
1. I (xi )是 p(xi )的严格递减函数。当 p(x1)p(x2) 时，I(x1)I(x2)，概率 越小，事件发生的不确定性越大，事件发生后所包含的自信息量越大
事件 x i 的概率为p(xi ) ，则它的自信息定义为：
I(xi)d eflogp(xi)logp(1xi)
从图2.1种可以看到上述信息量的定义正 是满足上述公理性条件的函数形式。I (xi ) 代表两种含义：当事件发生以前，等于 事件发生的不确定性的大小；当事件发 生以后，表示事件所含有或所能提供的 信息量。
2．极限情况下当 p(xi )=0时，I(xi)；当 p(xi ) =1时，I (xi ) =0。
3．另外，从直观概念上讲，由两个相对独立的不同的消息所提供的 信息量应等于它们分别提供的信息量之和。 可以证明，满足以上公理化条件的函数形式是对数形式。
定义2.1 随机事件的自信息量定义为该事件发生概率的对数的负值。
我们把某个消息 x i 出现的不确定性的大小，定义为自信息，用这
个消息出现的概率的对数的负值来表示：I(xi)lop(g xi)
自信息同时表示这个消息所包含的信息量，也就是最大能够给予 收信者的信息量。如果消息能够正确传送，收信者就能够获得这 么大小的信息量。
第五章 编码定理 PPT课件
第五章 编码定理
注意：若q不满足上式，可虚设t个出现概率为0 的信源符号，使q＋t满足表达式，得到r元霍 夫曼码一定也是最佳码（紧致码）。
例：信源符号概率分布如下，实现四元霍夫曼 编码：
S1 S2 S3 S4 S5 S6 S7 S8
0.22 0.2 0.18 0.15 0.1 0.08 0.05 0.02
第五章 编码定理
若S送出一个信源符号所需的信息率为R，则N长符号 所需的信息率为NR
而每个码元的最大信息量为log r，则 l 长码序列的信 息量为 l log r
编码前后信息量应保持不变，即：
NR＝ l log r
送出一个信源符号所需信息率：R＝（l /N ）log r
为使传送信息率最小，需找到一种编码方式，使R最 小。编码定理所研究的就是最小的R为何值才能得到 无失真的译码，若小于此信息率是否还能无失真地译 码？
对于连续信源，由于信息量趋于无限，不能完成 无失真编码，只可进行限失真编码。
编码定理使输出符号的信息率与信源熵之比接近1，
即：
H (S ) log r
1
N
或：
H(S) 1 H(S)
但必须取无限长的信源符号（N→∞）进行统一编
码才能实现。
第五章 编码定理
例：已知某信源
S
S1 0.4
S2 0.18
S3 0.1
S4 S5 0.1 0.07
S6 0.06
S7 0.05
S8 0.04
可以求得H(S)=2.5524比特/符号及方差
（2 S） 7.82
若 信 可要源见设求符，译编号差码码序错差效列率错率长与N为（ 为度编2：1必码9SH00）H须效%-(26NS2(（(，2S满率7)S.)1S)8H即足要0）2H-(26S2：求(0(S7)S.2.)0并N)88（.72292不.10S8H0）.2高21H0可-(268S20.(79(S2时7).S解8.6))821，可2得001必解.620088.须得792.18N0把021可.820118解H0600.H82-(得26个S28(1(S)0S符)8) 0号.02.8208.792.821可
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续2）
例1：
1) 奇异码
s1 0 s 2 11 s 3 00 s 4 11
译码
s2
11
s4
奇异码一定不是唯一可译码
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续3）
2) 非奇异码
s1 0 s 2 10 s 3 00 s 4 01
二次扩展信源符号
sj(j1,2,...,16)
s1 s1s1 s2 s1s2 s3 s1s3
二次扩展码码字
wj(j1,2,...,16)
w1 w1w1 00 w2w1w2001 w3w1w30001
s16 s4s4
w 16w 4w 4111111
第五章：无失真信源编码
一、信源编码的相关概念
4. 关于编码的一些术语
编码器输出的码符号序列 w i 称为码字；长度 l i 称为码
字长度，简称码长；全体码字的集合C称为码。 若码符号集合为X={0,1}，则所得的码字都是二元序
列，称为二元码。
将信源符号集中的每个信源符号 s i 固定的映射成某
一个码字 w i ，这样的码称为分组码。
若一个码中所有码字的码长都相等，则称为定长码； 否则为变长码。
Ss1 ,s2, ,sq
编码器
C{w1,w2, ,wq}
X:{x1,x2,..x.r,}
码字 wi xi1xi2 xili
将信源符号集中的符号s （i 或者长为N的信源符号序
列）映射成由码符号x i 组成的长度为l i 的一一对应的码
符号序列w i 。
第五章：无失真信源编码
一、信源编码的相关概念
第五章：无失真信源编码
一、信源编码的相关概念
2. 信源编码器模型
信源编码：将信源符号序列按一定的数学规律映射成 码符号序列的过程。
S
信源
X
Y
S’
编码器
信道
译码器
信宿
Ss1 ,s2, ,sq X{x1,x2, ,xr}
图1 信源编码器模型
第五章：无失真信源编码
一、信源编码的相关概念
2. 信源编码器模型（续1）
以提高通信有效性为目的。通常通过压缩信源的冗余 度来实现。采用的一般方法是压缩每个信源符号的平 均码长。
第五章：无失真信源编码
一、信源编码的相关概念
1. 信源编码概述（续1）
信源编码理论是信息论的一个重要分支，其理论基础 是信源编码的两个定理：
➢无失真信源编码定理 ➢限失真信源编码定理
本章主要介绍无失真信源编码，它实质上是一种统 计匹配编码，根据信源的不同概率分布而选用与之相 匹配的码。
信源符号si 码1
s1
0
s2
11
s3
00
s4
11
码2
码3
0
0
10
10
00
110
01
111
第五章：无失真信源编码
6. 唯一可译性（续1）
一、信源编码的相关概念
唯一可译码应当满足的条件
1) w i( i 1 ,2 ,...,q ) s i( i 1 ,2 ,...,q )
码字与信源符号一一对应 2) 不同的信源符号序列对应不同的码字序列
3. N次扩展码
Ss1 ,s2, ,sq
si
C{w1,w2, ,wq} wi
SNs1,s2, ,sqN
CN{w1,w2, ,wqN}
sj sj1sj2 sjN
wj wj1wj2 wjN
j 1,2,,qN
j1,j2, ,jN1,2, ,q
第五章：无失真信源编码
一、信源编码的相关概念
3. N次扩展码（续1）
第五章：无失真信源编码
一、信源编码的相关概念
1. 信源编码概述（续2）
信源的统计剩余度主要决定于以下两个因素 ： 1）无记忆信源中，符号概率分布的非均匀性； 2）有记忆信源中，符号间的相关性及符号概率分布 的非均匀性。
怎样压缩信源的冗余度？ 1) 去除码符号间的相关性。 2) 使码符号等概分布。
第五章：无失真信源编码
一、信源编码的相关概念
7. 即时码（续1）
译码
0 10 00 01 0
s1s2s3s4s1
译码
01 00 00 10
s4s3s3s2
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续4）
3) 等长码 非奇异码 唯一可译码
s 1 00 s 2 01 s 3 10 s 4 11
00011011
译码
s1s2s3s4
第五章：无失真信源编码
第五章：无失真信源编码
一、信源编码的相关概念
5. 奇异性
若一个码中所有码字互不相同，则称为非奇异码； 否则为奇异码。
信源符号si 码1
码2
s1
0
0
s2
11
10
s3
00
00
s4
11
01
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性
若任意一串有限长的码符号序列只能被唯一地译为 对应的信源符号序列，则称此码为唯一可译码。
1010010001
0 1 即时
s2
为即时码
任何一个码字不是其它码字的前缀
第五章：无失真信源编码
一、信源编码的相关概念
7. 即时码
若某个唯一可译码在接收到一个完整的码字时无需参 考后续的码符号就能立即译码，则称此码为即时码。
问题： 1) 判断下面的码是否即时码？ 0 10 110 111 2) 等长码是否即时码？
一、信源编码的相关概念
6. 唯一可译性（续5）
4) 唯一可译码
s1 1 s 2 10 s 3 100 s 4 1000
1101001000
0 10
1
s2 / s3 ?
为非即时码
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续6）
5) 唯一可译码
s1 1 s 2 01 s 3 001 s 4 0001
第五章：无失真信源编码
一、信源编码的相关概念 二、定长码及定长信源编码定理 三、变长码及变长信源编码定理 四、变长码的编码方法 五、实用的无失真信源编码方法
第五章：无失真信源编码
一、信源编码的相关概念
1. 信源编码概述
信源编码的作用：
➢ 使信源适合于信道的传输，用信道能传输的符号来代 表信源发出的消息； ➢ 在不失真或允许一定失真的条件下，用尽可能少的符 号来传递信源消息，提高信息传输率。
2. 信源编码器模型（续2）
例: 5.1
P Sp(s1 s1)
s2 p(s2)
s3 p(s3)
s4 p(s4)
信源符号si
p(si)
码1
码2
s1
p(s1)=1/2 00
0
s2
p(s2)=1/4 01
01
s3
p(s3)=1/8 10
001
s4
p(s4)=1/8 11
111
第五章：无失真信源编码
一、信源编码的相关概念