信息论与编码理论基础(第五章)
2012-5-10
8
(N, L)分组码的纠错译码 分组码的纠错译码 分组码的
译码器根据收到的N 长码段y=(Y1Y2…YN)和编码规则，对发送 的M=2L个可能的信息段｛xm=(X1X2…XL)｝中的哪一个作出判 纠错译码。 决，这样的一个通信过程y→xm’=(X1’X2’…XL’)称为纠错译码 纠错译码 译码是编码的反变换，也是一种映射，若与码段y=(Y1Y2…YN) 对应的信息段是xm，经过通信过程判为xm’，则： 若xm’=xm，则正确译码; 若xm’≠xm，发生译码错误。 译码错误概率（误组率）： 译码错误概率（误组率）： Pe = Pr {m ' ≠ m} 接收y的译码错误概率： 接收 的译码错误概率： Pe ( y ) = Pr {m ' ≠ m | y} 的译码错误概率
2012-5-10
1
2012-5-10
2
信道编码
在传输过程中噪声和干扰在所难免，为了降低差错率， 在传输过程中噪声和干扰在所难免，为了降低差错率， 降低差错率 提高传送的可靠性，在信道编码器中可以引入冗余度， 提高传送的可靠性，在信道编码器中可以引入冗余度， 在信道解码端就可以利用此冗余度来尽可能地重建输 入序列。 入序列。 可靠性： 可靠性：增加冗余
两种典型的译码规则
P((X, Y)=(x1, y1))=1/4 P((X, Y)=(x2, y1))=1/24 P((X, Y)=(x3, y1))=1/12 P((X, Y)=(x1, y2))=1/6 P((X, Y)=(x2, y2))=1/8 P((X, Y)=(x3, y2))=1/24 P((X, Y)=(x1, y3))=1/12 P((X, Y)=(x2, y3))=1/12 P((X, Y)=(x3, y3))=1/8 2012-5-10 P((X=x1|Y=y1)=P((X, Y)=(x1, y1))/W(y1)=2/3 P((X=x2|Y=y1)=P((X, Y)=(x2, y1))/W(y1)=1/9 P((X=x3|Y=y1)=P((X, Y)=(x3, y1))/W(y1)=2/9 P((X=x1|Y=y2)=P((X, Y)=(x1, y2))/W(y2)=1/2 P((X=x2|Y=y2)=P((X, Y)=(x2, y2))/W(y2)=3/8 P((X=x3|Y=y2)=P((X, Y)=(x3, y2))/W(y2)=1/8 P((X=x1|Y=y3)=P((X, Y)=(x1, y3))/W(y3)=2/7 P((X=x2|Y=y3)=P((X, Y)=(x2, y3))/W(y3)=2/7 P((X=x3|Y=y3)=P((X, Y)=(x3, y3))/W(y3)=3/7
2012-5-10 14
两种典型的译码规则
例： （5.1） 设有一 ） 设有一DMC，其转移概率矩阵如下。 ，其转移概率矩阵如下。 若Q(x1)＝l/2，Q(x2)＝Q(x3)＝1/4，试求最佳译码 ＝ ， ＝ ＝ ， 判决。 判决。
x 1 1 / 2 x 2 1 / 6 x 3 1 / 3 y1 1/3 1/2 1/6 y2 1 / 6 1 / 3 1 / 2 y3
∑
若所有可能消息序列的 P( y | xm' ) ≥ P( y | xm ) ∀m ' ≠ m 先验概率相等 最大似然准则 ln P( y | xm' ) ≥ ln P( y | xm ) ∀m ' ≠ m
2012-5-10
19
例 已知信道转移矩阵如下，试确定译码规则。
0.5 [P | X ] = 0.2 Y 0.3 0.3 0.3 0.3 0.2 0.5 0.4
2012-5-10
10
译码规则对错误概率的影响
2 译码规则1： PE = Pe (0) = Pe (1) = 译码规则 3
译码规则2： PE = Pe (0) = Pe (1) = 1 译码规则 因此译码规则 译码规则对系统的错误 译码规则 概率影响很大。 现在我们来定义译码规则 译码规则，制定译码规则就是设计一 译码规则 个函数它对于每一个输出符号确定一个唯一的输入符 号与其对应。
1 / 2 (W ( y 1 ), W ( y 2 ), W ( y 3 )) = ( Q ( x 1 ), Q ( x 2 ), Q ( x 3 )) 1 / 6 1 / 3 1/3 1/2 1/6 1 / 6 1 / 3 1 / 2
1 / 2 1 / 3 1 / 6 = (1 / 2, 1 / 4, 1 / 4)1 / 6 1 / 2 1 / 3 = ( 3 / 8, 1 / 3, 7 / 24) 1 / 3 1 / 6 1 / 2 2012-5-10 16
2012-5-10 13
两种典型的译码规则
最佳译码规则－ 最佳译码规则－使Pe(y)达到最小 达到最小
min{Pe ( y) = P(m' ≠ m | y) = 1 − P(m' = m | y)}
= 1 − max{ P ( m ' = m | y )}
最佳译码规则的确定： 最佳译码规则的确定：
17
Байду номын сангаас
两种典型的译码规则
收到“Y=y1”时，译作 “X=x1”， 误码率（译码错误的概率）为 1/3； 收到“Y=y2”时，译作 “X=x1”，误码率（译码错误的概率）为 1/2； 收到“Y=y3”时，译作 “X=x3”，误码率（译码错误的概率）为 4/7。
2012-5-10 18
两种典型的译码规则
干 扰
信源消息序列经过信源编码后变成了信息随 机变量序列{Xm} ；其中每个随机变量Xm的事 件全体都是D元字母表中的元素。
k0长信息段 信息段 纠错编码器
n0长码段
将信息随机变量序列{X 分成长度为 的段（ 分成长度为k 将信息随机变量序列 m}分成长度为 0的段（每段 称为一个信息段） 称为一个信息段）; 然后依次输入到有L位移位寄存器的编码器中 位移位寄存器的编码器中， 然后依次输入到有 位移位寄存器的编码器中， 编码器根据当前的输入 编码器的状态计算出 当前的输入和 计算出n 编码器根据当前的输入和编码器的状态计算出 0个 编码数字（称为码段）送入信道，其中L称为 称为编码 编码数字（称为码段）送入信道，其中 称为编码 约束长度。 约束长度 编码速率：信息段与码段段长之比。 编码速率 纠错编码： 信息段空间到n 纠错编码： k0长信息段空间到 0长二元码段空间 的映射。 的映射。 映射的任何一种指定方案就是一种编码方案。 映射的任何一种指定方案就是一种编码方案。
噪声/干扰
信道编码器
传输信道
信道解码器
≈
无噪声传输信道
2012-5-10 3
实际信道由于信道噪声的干扰， 实际信道由于信道噪声的干扰，传输错误不 可避免。为了降低平均差错率，可先对消息进行 可避免。为了降低平均差错率， 信道编码， 编码——信道编码，再送入信道传送。 编码 信道编码 再送入信道传送。
2012-5-10 9
译码规则对错误概率的影响
接下来来分析这个错误概率与哪些因素有关。
在第四章里，我们已经知道错误概率 信道统 错误概率与信道统 错误概率 计特性有关。但通信过程一般并不是在信道输 计特性 出端就结束了，还要经过译码过程（或判决过 程）才到达消息的终端（收信者）。因此译码 译码 过程和译码规则对系统的错误概率影响很大。 过程和译码规则
2012-5-10
20
两种典型的译码规则
解 只知转移概率，无法找出最佳译码规则， 只能采用最大似然准则 最大似然准则。 最大似然准则 将转移概率矩阵各列最大的值标出，重写 转移矩阵如下：
b1 b2 b3 0.5 0.3 0.2 a1 [P |X ] = 0.2 0.3 0.5 a2 Y 0.3 0.3 0.4 a3
2012-5-10 7
k0长信息段 信息段 纠错编码器
n0长码段
• (n0, k0)卷积码 (Convolutional codes)：各分组 卷积码 ： 相关，约束长度L为 相关，约束长度 为(m+1) k0
….
n0长码段
(N, L)分组码 (Block codes)：分组之间独立， 分组码 ：分组之间独立， 约束长度L为 约束长度 为k0
计算后验概率是困难的，针对具体信道（ 计算后验概率是困难的，针对具体信道（转移概率 已知），采用最大似然准则 已知），采用最大似然准则 ），采用 m取遍所有可能 取遍所有可能 Q ( m ) P ( y | xm ) 离散序列 取值， 取值，固定接收 P (m | y ) = Ω( y ) 序列y， 序列 ， Ω(y)相 相 M
2012-5-10
15
两种典型的译码规则
[解答 最佳译码判决指的是最大后验概率译码。记(Q(x1), Q(x2), 解答] 最佳译码判决指的是最大后验概率译码。 解答 Q(x3))信道的输入随机变量 的概率向量，又称为先验概率向 信道的输入随机变量X的概率向量 信道的输入随机变量 的概率向量， 为信道的输出随机变量Y的分布概率 量， (W(y1), W(y2), W(y3))为信道的输出随机变量 的分布概率 为信道的输出随机变量 向量。则 向量。 (Q(x1), Q(x2), Q(x3))=(1/2,1/4, 1/4)， ，
信道编码的基本思路是根据一定的规律在待 信道编码的基本思路是根据一定的规律在待 发送的信息码中加入一些多余的码元，以保证受 发送的信息码中加入一些多余的码元，以保证受 损或出错的信息仍能在接收端恢复 。信道编码的 任务就是构造出以最小冗余度代价换取最大抗干 扰性能的“好码” 扰性能的“好码”。
信息码元k 监督码元r 纠正发 现
规则
2012-5-10 4
一般来说，引入监督码元越多，码的检错、纠 错能力越强，但信道的传输效率下降也越多。 人们研究的目标是寻找一种编码方法使所加的 监督码元最少，而检错、纠错能力又高且又便 于实现。
信息论基础 第五章
5.1.2码的分类 分组码和非分组码 分组码:将信源符号集中的每个信源符号si固定地映射成一个码字wi， 这样的码称为分组码。 非分组码:又称树码，编码器输出的码符号通常与编码器的所有信源 符号都有关。 2.奇异码与非奇异码 非奇异码：若一种分组码中的所有码字都不相同，则称此分组码为非 奇异码，否则称为奇异码。 非奇异码是分组码能够正确译码的必要条件，而不是充分条件。
5.2定长码 定长非奇异码一定是唯一可译码。
若对一个有q个信源符号的信源S进行定长编码，那么信源S存在唯 一可译定长码的条件是
qr
N
l
其中，r是码符号集中的码元数，l 是定长码的码长。
q r
l
5.3变长码及变长编码定理
5.3.1 Kraft不等式和McMillan不等式 Kraft不等式
McMillan不等式
r li 1
i 1
q
定理5.3 设信源符号集为S={s1,s2,…sq},码符号集为X={x1,x2,…xr},对信 源进行编码，得到的码为C= {w1,w2,…wq},码长分别为l1，l2，…lq.即 q 时码存在的充要条件是 这称为Kraft不等式。 li
r
i 1
1
5.3.2
定理5.1一个唯一可译码成为即时码的充要条件是其中任何一个码 字都不是其他码字的前缀。
充要性：
如果任何一个码字都不是其他码字的前缀， 则在接收到一个相当于一个完整码字的码符号后便可立即译码，
无需考虑其后的码符号。
必要性： 如果设wi是wj的前缀，则在收到相当于wi的码符号序列后还不能立 即判定它是一个完整的码字，若想正确译码，还必须参考后续的码 符号，这与即时码的定义相矛盾，所以即时码的必要条件是其中任 何一个码字都不是其他码字的前缀。
信息理论与编码课后答案第5章
第5章 有噪信道编码5.1 基本要求通过本章学习，了解信道编码的目的，了解译码规则对错误概率的影响，掌握两种典型的译码规则：最佳译码规则和极大似然译码规则。
掌握信息率与平均差错率的关系，掌握最小汉明距离译码规则，掌握有噪信道编码定理（香农第二定理）的基本思想，了解典型序列的概念，了解定理的证明方法，掌握线性分组码的生成和校验。
5.2 学习要点5.2.1 信道译码函数与平均差错率5.2.1.1 信道译码模型从数学角度讲，信道译码是一个变换或函数，称为译码函数，记为F 。
信道译码模型如图5.1所示。
5.2.1.2 信道译码函数信道译码函数F 是从输出符号集合B 到输入符号集合A 的映射：*()j j F b a A =∈，1,2,...j s =其含义是：将接收符号j b B ∈译为某个输入符号*j a A ∈。
译码函数又称译码规则。
5.2.1.3 平均差错率在信道输出端接收到符号j b 时，按译码规则*()j j F b a A =∈将j b 译为*j a ，若此时信道输入刚好是*j a ，则称为译码正确，否则称为译码错误。
j b 的译码正确概率是后验概率：*(|)()|j j j j P X a Y b P F b b ⎡⎤===⎣⎦ （5.1）j b 的译码错误概率：(|)()|1()|j j j j j P e b P X F b Y b P F b b ⎡⎤⎡⎤=≠==-⎣⎦⎣⎦ （5.2）平均差错率是译码错误概率的统计平均，记为e P ：{}1111()(|)()1()|1(),1()|()s se j j j j j j j ssj j j j j j j P P b P e b P b P F b b P F b b P F b P b F b ====⎡⎤==-⎣⎦⎡⎤⎡⎤⎡⎤=-=-⎣⎦⎣⎦⎣⎦∑∑∑∑ （5.3）5.2.2 两种典型的译码规则两种典型的译码规则是最佳译码规则和极大似然译码规则。
信息论与编码第五章部分PPT课件
符号概率
pi
0.100(1/2)
符号累积概率
Pr
0.000(0)
b 0.010(1/4) 0.100(1/2)
c 0.001(1/8) 0.110(3/4)
d 0.001(1/8) 0.111(7/8)
译码
C(abda)=0.010111<0.1[0,0.1] 第一个符号为a 放大至[0,1](×pa-1)：
可以纠正一位错码 dmin=3
可以纠正一位错码
可纠正一位错码同时 检出二位错码dmin=4
定理（1）能检出e个错码的条件是d0>=e+1;
（2）能纠正t个错码的条件是t=INT[(dmin-1)/2];
（3）能纠正t个错码，同时检出e个错码的条件是d0>=e+t+1。
刚才的发言，如 有不当之处请多指
正。谢谢大家！
2021/3/9
28
信源消息
符号ai
a1 a2 a3 a4 a5 a6 a7
符号概
率(ai)
0.20 0.19 0.18 0.17 0.15 0.10 0.01
累加概 -log p(ai)
率Pi
0 0.2 0.39 0.57 0.74 0.89 0.99
2.32 2.39 2.47 2.56 2.74 3.32 6.64
C ( ) 0, A( ) 1
C ( Sr
A
(
Sr
) )
C (S A(S
) )
pi
A(S
) Pr
L log 1 A(S )
C() 0, A() 1
C(Sr) A(Sr)
C(S) A(S)pi
A(S)Pr
信息论与编码第五章习题参考答案
5.1某离散无记忆信源的概率空间为采用香农码和费诺码对该信源进行二进制变长编码，写出编码输出码字，并且求出平均码长和编码效率。
解：计算相应的自信息量1)()(11=-=a lbp a I 比特 2)()(22=-=a lbp a I 比特 3)()(313=-=a lbp a I 比特 4)()(44=-=a lbp a I 比特 5)()(55=-=a lbp a I 比特 6)()(66=-=a lbp a I 比特 7)()(77=-=a lbp a I 比特 7)()(77=-=a lbp a I 比特根据香农码编码方法确定码长1)()(+<≤i i i a I l a I平均码长984375.164/6317128/17128/1664/1532/1416/138/124/112/1L 1=+=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=由于每个符号的码长等于自信息量，所以编码效率为1。
费罗马编码过程5.2某离散无记忆信源的概率空间为使用费罗码对该信源的扩展信源进行二进制变长编码，(1) 扩展信源长度，写出编码码字，计算平均码长和编码效率。
(2) 扩展信源长度，写出编码码字，计算平均码长和编码效率。
(3) 扩展信源长度，写出编码码字，计算平均码长和编码效率，并且与(1)的结果进行比较。
解：信息熵811.025.025.075.075.0)(=--=lb lb X H 比特/符号 （1）平均码长11=L 比特/符号编码效率为%1.81X)（H 11==L η（2）平均码长为84375.0）3161316321631169（212=⨯+⨯+⨯+⨯=L 比特/符号 编码效率%9684375.0811.0X)（H 22===L η（3）当N=4时，序列码长309.3725617256362563352569442569242562732562732256814=⨯+⨯+⨯⨯+⨯⨯+⨯⨯+⨯+⨯⨯+⨯=L平均码长827.04309.34==L %1.98827.0811.0X)（H 43===L η可见，随着信源扩展长度的增加，平均码长逐渐逼近熵，编码效率也逐渐提高。
信息论与编码第5章
信息论与编码第5章第五章信源编码（第⼗讲）（2课时）主要内容：（1）编码的定义（2）⽆失真信源编码重点：定长编码定理、变长编码定理、最佳变长编码。
难点：定长编码定理、哈夫曼编码⽅法。
作业：5。
2，5。
4，5。
6；说明：本堂课推导内容较多，枯燥平淡，不易激发学⽣兴趣，要注意多讨论⽤途。
另外，注意，解题⽅法。
多加⼀些内容丰富知识和理解。
通信的实质是信息的传输。
⽽⾼速度、⾼质量地传送信息是信息传输的基本问题。
将信源信息通过信道传送给信宿，怎样才能做到尽可能不失真⽽⼜快速呢？这就需要解决两个问题：第⼀，在不失真或允许⼀定失真的条件下，如何⽤尽可能少的符号来传送信源信息；第⼆，在信道受⼲扰的情况下，如何增加信号的抗⼲扰能⼒，同时⼜使得信息传输率最⼤。
为了解决这两个问题，就要引⼊信源编码和信道编码。
⼀般来说，提⾼抗⼲扰能⼒（降低失真或错误概率）往往是以降低信息传输率为代价的；反之，要提⾼信息传输率常常⼜会使抗⼲扰能⼒减弱。
⼆者是有⽭盾的。
然⽽在信息论的编码定理中，已从理论上证明，⾄少存在某种最佳的编码或信息处理⽅法，能够解决上述⽭盾，做到既可靠⼜有效地传输信息。
这些结论对各种通信系统的设计和估价具有重⼤的理论指导意义。
§3.1 编码的定义编码实质上是对信源的原始符号按⼀定的数学规则进⾏的⼀种变换。
讨论⽆失真信源编码，可以不考虑⼲扰问题，所以它的数学描述⽐较简单。
图 3.1是⼀个信源编码器，它的输⼊是信源符号},,, {21q s s s S =，同时存在另⼀符号},,,{21r x x x X =，⼀般来说，元素xj 是适合信道传输的，称为码符号（或者码元）。
编码器的功能就是将信源符号集中的符号s i （或者长为N 的信源符号序列）变换成由x j (j=1,2,3,…r)组成的长度为l i 的⼀⼀对应的序列。
输出的码符号序列称为码字，长度l i 称为码字长度或简称码长。
可见，编码就是从信源符号到码符号的⼀种映射。
信息论与编码chapter5
渐进均分特性
典型序列的概率估计
设 x G 1 ( 满 足 公 式 5 .3 )
log p ( x ) N H (X )
N [ H ( X ) ] log p ( x ) N [ H ( X ) ]
设取2为底 2 N [ H ( X ) ] p ( x ) 2 N [ H ( X ) ]
（适用于离散信源的编码）
限失真信源编码： 信源符号不能通过编码序列无 差错地恢复。
（可以把差错限制在某一个限度内）
信源编码的目的：提高传输有效性，即用尽可能短 的码符号序列来代表信源符号。
§5.1 信源编码的相关概念
本节主要内容
一、信源编码器 二、码的分类 三、分组码
§5.1.1 信源编码器
将信源符号集中的每一个符号固定映 射成一个码字的码 分组码单符号信源编码器
第五章 无失真信源编码
主要内容
本章主要介绍无失真信源编码定理与一 些重要的无失真信源编码方法
一、概述 二、定长码 三、变长码
四、哈夫曼编码
信源编码：将信源符号序列按一定的数学规律映射 成由码符号组成的码序列的过程。 信源译码： 根据码序列恢复信源序列的过程。 无失真信源编码： 即信源符号可以通过编码序列 无差错地恢复。
若不满足上式 =
H (X
N
l N
l l
log r H ( X )
;Y )
N
l
) H (X
N
/ Y ) H (Y ) lH (Y ) l log r
H (X
) NH ( X )
H (X
N
/ Y ) NH ( X ) l log r 0
信息论与编码——第五章
差错控制系统分类
前向纠错(FEC)：发送端信息经纠错编码后再进行传送，接收 端通过纠错译码自动纠正传递过程中的错误；这里的“前向” 指纠错过程在接收端独立进行不存在信息的反馈
译码规则
F2
:
⎧ ⎨ ⎩
F2 F2
(0) (1)
= =
0 1
p F2 we
= 1 − { p[F (0)0] +
p[F (1)1]}
= 1 − p(00) − p(11) = 1 − 0.36 − 0.54 = 0.1
译码规则
F3
:
⎧ ⎨ ⎩
F3 F3
(0) (1)
= =
1 0
p F3 we
= 1 − { p[F (0)0] +
pb
1
pb
1
其中：P{e = 1} = pb , P{e = 0} = pb
c
r
差错图案
e
e = (e1e2 Kei Ke je j+1 Kel Ken )
编码信道
0 pb
pb
pb 1
pb
0
r = c + e mod 2
P{e = 1} = pb
1
P{e = 0} = pb
c
r
e
差错图案（错误图样）：码字 c 的每一码元经过编码信道由于 噪声或干扰引起的差错序列，即：
非系统码：信息位打乱， 与编码前不同
按校验码字对差错的处理能力 按抗干扰模式分
分
纠随机差错码
检错码：仅能检测误码
信息论与编码习题与答案第五章
5-10 设有离散无记忆信源}03.0,07.0,10.0,18.0,25.0,37.0{)(=X P 。
（1）求该信源符号熵H(X)。
（2）用哈夫曼编码编成二元变长码，计算其编码效率。
（3）要求译码错误小于310-，采用定长二元码达到（2）中的哈夫曼编码效率，问需要多少个信源符号连在一起编？ 解：（1）信源符号熵为symbolbit x p x p X H i ii /23.203.0log 03.007.0log 07.010.0log 10.018.0log 18.025.0log 25.037.0log 37.0)(log )()(222222=------=-=∑ （2）1x 3x 2x 6x 5x 4x 0.370.250.180.100.070.030111110.100.200.380.621.0000011110110001001符号概率编码该哈夫曼码的平均码长为符号码元/3.2403.0407.0310.0218.0225.0237.0)(=⨯+⨯+⨯+⨯+⨯+⨯==∑iii K x p K 编码效率为9696.03.223.2)(===KX H η (3)信源序列的自信息方差为2222)(792.0)]([)]()[log ()(bit X H x p x p X i ii =-=∑σ7.00696.90)()(==+=εεη得，由X H X H53222102.6110)7.00(92.70)(⨯=⨯=≥-δεσX L 由切比雪夫不等式可得所以，至少需要1.62×105个信源符号一起编码才能满足要求。
5-12 已知一信源包含8个消息符号，其出现的概率}04.0,07.0,1.0,06.0,05.0,4.0,18.0,1.0{)(=X P ，则求：（1）该信源在每秒内发出1个符号，求该信源的熵及信息传输速率。
（2）对这8个符号作哈夫曼编码，写出相应码字，并求出编码效率。
《信息论与编码》第5章哈夫曼编码
什么是哈夫曼编码方法
1952年由美国计算机科学家戴维· 哈夫曼先生提出 是一种数据压缩技术 该方法依据字符出现的概率进行编码 ，其基本思想为： 出现概率高的字符使用较短的编码 出现概率低的则使用较长的编码 使编码之后的码字的平均长度最短
哈夫曼编码方法
哈夫曼编码方法包含两个过程
哈夫曼编码方法包含两个过程
编码过程和译码过程
编码过程 译码过程
构建哈夫曼树 CreatHT（W，&HT）
输入是字符频度表W
表中记录的是原码报文中出现的不同符号个数和频率
输出是哈夫曼树HT
进行哈夫曼译码 HuffmanDecod（HT，CC，W，&OC）
输入的是哈夫曼树HT、代码报文CC和字符频度表W 输出的是原码报文OC
OC
输出OC 到哈夫曼译码系统之外 返回开头
字母a的编码为110 字母n的编码为111
1
4 n
因此，在电文中出现频率 高的字母的编码相对短， 而出现频率低的字母的编 码相对长
111 字符编码表HC=((d,0),(i,10),(a,110),(n,111))
哈夫曼编码过程演示
编码 A1 A2 A3 0.23 0.21 0.18
1
0 1 0 1 0.10 0
编码过程和译码过程
编码过程
构建哈夫曼树 CreatHT（W，&HT）
输入是字符频度表W
表中记录的是原码报文中出现的不同符号个数和频率
输出是哈夫曼树HT
进行哈夫曼编码 HuffmanCoding（HT，&HC）
输入是哈夫曼树HT 输出是字符编码表HC
(信息论)第5章无失真信源编码
定长编码定理
定长信源编码定理讨论了编码的有关参数对译 码差错的限制关系
sq p s q
定理 5.3.1 设离散无记忆信源
S s1 P p s 1 p s 2 s2
的熵为H S ，其 N 次扩展信源为
S N 1 p 1 P
2 q p 2 p q
N N
现在用码符号集 X x1 , x2 ,, xr 对N次扩展信源 S N 进行长度为 l 的定长编码，对于 0, 0 ，只要满足
l H S N log r
则当 N 足够大时，译码错误概率为任意小，几乎可以实 现无失真编码。 反之，若满足
l H S 2 N log r
则不可能实现无失真编码。而当N足够大时，译码错误概 14 率近似等于1。
以上的定理5.3.1 和定理5.3.2实际上说明的是一个 问题，虽然该定理是在平稳无记忆离散信源的条件下 证明的，但它也同样适合于平稳有记忆信源，只要要 2 求有记忆信源的极限熵 H S 和极限方差 存在 即可。对于平稳有记忆信源，式(5.6)和式(5.7 ) 中 H S 应该为极限熵 H S 。
变长码(可变长度码)
2
奇异码：若码中所有码字都不相同，则称此码为非
奇异码。反之，称为奇异码。
同价码：每个码符号所占的传输时间都相同的码。定
长码中每个码字的传输时间相同。而变长码中的每个码 字的传输时间不一定相等。
表 5.1
信源符号si
信源符号出现概率 si p