第三章-无失真信源编码解析
无失真的信源编码
[例]有一单符号离散无记忆信源
对该信源编二进制香农码。其编码过程如表所示。 二进制香农编码
xi x1 x2 x3 x4 x5 x6 p(xi) 0.25 0.25 0.20 0.15 0.10 0.05 pa(xj) 0.000 0.250 0.500 0.700 0.85 0.95 ki 2 2 3 3 4 5 码字 00 01 100 101 1101 11110 0.000 =(0.000)2 0.250 =(0.010)2 0.500 =(0.100)2 0.700 =(0.101)2 0.85 =(0.1101)2 0.95 =(0.11110)2
7/13/2013 4/31
信源编码概述
信源的原始信号绝大多数是模拟信号，因此，信源编码的 第一个任务是模拟和数字的变换，即：A/D，D/A。 抽样率取决于原始信号的带宽：fc = 2 w，w为信号带宽。 抽样点的比特数取决于经编译码后的信号质量要求： SNR ＝ 6 L(dB)，L为量化位数 但是，由于传输信道带宽的限制，又由于原始信源的信号 具有很强的相关性，则信源编码不是简单的A/D，D/A， 而是要进行压缩。为通信传输而进行信源编码，主要就是 压缩编码。 信源编码要考虑的因素：
只含(n－2)个符号的缩减信源S2。
重复上述步骤，直至缩减信源只剩两个符号为止，此时所剩两个符 号的概率之和必为1。然后从最后一级缩减信源开始，依编码路径向
前返回，就得到各信源符号所对应的码字。
7/13/2013 16/31
[例] 设单符号离散无记忆信源如下，要求对信源编二进制哈夫曼码。
7/13/2013
7/13/2013
2/31
信源编码：提高通信有效性。通常通过压缩信源的
信息论与编码第3版第3章习题解答
第3章 无失真离散信源编码习题3.1 设信源1234567()0.20.190.180.170.150.10.01X a a a a a a a P X(1) 求信源熵H (X )； (2) 编二进制香农码；(3) 计算其平均码长及编码效率。
解： (1)()()log ()(.log ..log ..log ..log ..log ..log ..log .).7212222222=-020201901901801801701701501501010010012609 i i i H X p a p a bit symbol(2)a i p (a i ) p a (a i ) k i 码字 a 1 0.2 0 3 000 a 2 0.19 0.2 3 001 a 3 0.18 0.39 3 011 a 4 0.17 0.57 3 100 a 5 0.15 0.74 3 101 a 6 0.1 0.89 4 1110 a 70.010.9971111110(3)()3(0.2+0.19+0.18+0.17+0.15)+40.1+70.01=3.1471i i i K k p a()() 2.609=83.1%3.14H X H X R K3.2 对习题3.1的信源编二进制费诺码，计算其编码效率。
解：a i p (a i ) 编 码 码字 k i a 1 0.2 000 2 a 2 0.19 1 0 010 3 a 3 0.18 1 011 3 a 4 0.17 110 2 a 5 0.15 10 110 3 a 6 0.1 10 1110 4 a 70.011 11114()2(0.2+0.17)+3(0.19+0.18+0.15)+4(0.1+0.01)=2.7471i i i K k p a()() 2.609=95.2%2.74H X H X R K3.3 对习题3.1的信源分别编二进制和三进制赫夫曼码，计算各自的平均码长及编码效率。
第三章-无失真信源编码（2）
序列 x1x1 x1x2 x2x1 x2x2
序列概率 9/16 3/16 3/16 1/16
即时码 0 10 110 111
这个码的码字平均长度
lN
9 1
3 2
3 3
1 3 27
码元/ 信源序列
16 16 16 16 16
单个符号的平均码长
l
l
N
lN
27
码元 / 符号
N 2 32
编码效率
c
H(X)
例1：设有一简单DMS信源：
U
p
u1 1 2
u2 1 22
u3 1 23
u4 u5 u6 u7
111
1
24 25 26 26
用码元表X＝{0,1}对U的单个符号进行编码(N=1)，即对U
的单个符号进行2进制编码。
解：用X的两个码元对U的7个符号进行编码，单 个对应的定长码长：
l lN log q log 7 2.8 码元 / 符号 N log r log 2
j 1
log r
1 qN
r l j
ln 2
P(a j ) ln
j 1
P(aj )
1 qN
r l j
ln 2 j1 P(a j )( P(a j ) 1)
(ln z z 1)
qN
qN
rlj P(a j )
j 1
j 1
ln 2
11 0 (Kraft不等式和概率完备性质) ln 2
（2）根据信源的自信息量来选取与之对应的码长：
【说明】
霍夫曼编码是真正意义上的最佳编码，对给定的信源，平 均码长达到最小，编码效率最高，费诺编码次之，香农编码 效率最低。
第三章-无失真信源编码(1-1)
p(a2)
p(a3) p(a4)
01
10 11
01
001 111
2 码的类型
码
{
非分组码
分组码
{
奇异码 非奇异码
{
非唯一可译码 非即时码 唯一可译码 即时码（非延长码）
{
2.1 码符号集中符号数r＝2称为二元码，r＝3称为三元码 2.2 若分组码中的码长都相同则称为等长码，否则称为变长码
1 信源编码： 信源消息U=(u1,u2,…, uq) 码符号集X=(x1,x2,…, xr)
将 ui
Wi ＝（ w1,w2,…,wq）其中某一码字 wi∈{x1,x2,…xr}
这种一一对应变换称为信源编码。
若Li为码字Wi中的码元个数，则 Li称为码字Wi的长度， 简称码长。
分组码定义：
将信源消息分成若干组，即符号序列ui， ui=(ui1,ui2,…,uil,…,uiL) 序列中的每个符号取自于同一个符号集A， uil∈(a1,a2,…,an)。 而每个符号序列ui依照固定的码表映射成一个码字Wi，这 样的码称为分组码。只有分组码有对应的码表。
－Ki -1 -2 -3 -3 2 =2 +2 +2 +2 =1 i＝1 4
存在这种Ki的唯一可译码。
0 0 1 1
a1 a2
0
1
a1: 1 a2: 01 a3: 000 a4: 001
a3
a4
注意：克劳夫特（Kraft）不等式只是用来说明唯一可译码是否 存在，并不能作为判断哪些码是唯一可译码的依据。 如码字（0，10，010，111）满足克劳夫特不等式，但它不是 唯一可译码
如果每次只传送一个符号，即序列长度L＝1 ui=ui1∈(a1,a2,…,an) 要将这样 的符号进行传输，常采用二元信道，码符号集X为
信息论与编码习题答案-曹雪虹
3-14
信源 符号 xi x1 x2 x3 x4 x5 x6 x7
符号概 率 pi 1/3 1/3 1/9 1/9 1/27 1/27 1/27 1/3 1/3 1/9 1/9 2/27 1/27 1/3 1/3 1/9 1/9 1/9
编码过程
编码 1/3 1/3 1/3 2/3 1/3 00 01 100 101 111 1100 1101
得p0p1p223当p0或p1时信源熵为0第三章无失真信源编码31321因为abcd四个字母每个字母用两个码每个码为05ms所以每个字母用10ms当信源等概率分布时信源熵为hxlog42平均信息传递速率为2信源熵为hx0198bitms198bitsbitms200bits33与上题相同351hu12log2?14log4?18log8?116log16?132log32?164log64?1128log128?1128log128?1984111111112481632641281282每个信源使用3个二进制符号出现0的次数为出现1的次数为p0p134相应的香农编码信源符号xix1x2x3x4x5x6x7x8符号概率pi12141811613216411281128累加概率pi00507508750938096909840992logpxi12345677码长ki12345677码字010110111011110111110111111011111110相应的费诺码信源符号概符号xi率pix1x2x3x4x5x6x7x812141811613216411281128111第一次分组0第二次分组0第三次分组0第四次分组0第五次分组011第六次分组01第七次分组01二元码0101101110111101111101111110111111105香农码和费诺码相同平均码长为编码效率为
《信息论与编码理论》(王育民李晖梁传甲)课后习题问题详解高等教育出版社
信息论与编码理论习题解第二章-信息量和熵2.1解: 平均每个符号长为:1544.0312.032=⨯+⨯秒 每个符号的熵为9183.03log 3123log 32=⨯+⨯比特/符号所以信息速率为444.34159183.0=⨯比特/秒2.2 解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=⨯比特/秒2.3 解:(a)一对骰子总点数为7的概率是366 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是361 所以得到的信息量为 17.5361log 2= 比特 2.4 解: (a)任一特定排列的概率为!521,所以给出的信息量为 58.225!521log 2=- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为13521313521344!13C A =⨯所以得到的信息量为 21.134log 1313522=C 比特.2.5 解:易证每次出现i 点的概率为21i,所以比特比特比特比特比特比特比特398.221log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21log )(2612=-==============-==∑=i i X H x I x I x I x I x I x I i ii x I i2.6 解: 可能有的排列总数为27720!5!4!3!12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y图中X 表示白杨或白桦，它有⎪⎪⎭⎫⎝⎛37种排法，Y 表示梧桐树可以栽种的位置，它有⎪⎪⎭⎫⎝⎛58种排法，所以共有⎪⎪⎭⎫ ⎝⎛58*⎪⎪⎭⎫⎝⎛37=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-=3.822 比特 2.7 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地；Z=0表示学过英语，Z=1表示未学过英语，由此得比特比特比特)01(log )01()0()00(log )00()0()(8113.04log 4134log 43)()(02698.04110435log 104354310469log 10469)1()01(log )01()0()00(log )00()0;(104352513/41)522121()0(/)1())11()1,10()10()1,00(()01(104692513/43)104109101()0(/)0())01()0,10()00()0,00(()00()(4512.04185log 854383log 83)1()01(log )01()0()00(log )00()0;(8551/4121)0(/)1()10()01(8351/43101)0(/)0()00()00()(,251225131)1(,2513100405451)10()1()00()0()0(,54511)1(,51101432141)10()1()00()0()0(,41)1(,43)0(222222222222+=====+=======+==+======+========⨯⨯+========+=========⨯⨯+========+=========+======+========⨯=========⨯=========-===⨯+====+======-===⨯+⨯====+=========x y p x y p x p x y p x y p x p X Y H X H c x p z x p z x p x p z x p z x p z X I z p x p x y p x y z p x y p x y z p z x p z p x p x y p x y z p x y p x y z p z x p b x p y x p y x p x p y x p y x p y X I y p x p x y p y x p y p x p x y p y x p a z p y z p y p y z p y p z p y p x y p x p x y p x p y p x p x p2.8 解:令{}{}R F T Y B A X ,,,,==，则比特得令同理03645.0)()(5.0,02.03.0)2.05.0(log 2.0)()2.05.0(log )2.05.0()2.03.0(log )2.03.0(5.0log 5.03.0log 3.0)5log )1(2.02log )1(5.0log )1(3.05log 2.0log 3.02log 5.0(2.0log 2.0)2.05.0(log )2.05.0()2.03.0(log )2.03.0()()();()(2.0)(,2.05.0)(2.03.0)1(3.05.0)()()()()(5.0max 2'2222223102231022222==∴==+-=---++-+=-+-+-+++-----++-=-===-=+=-⨯+=+==p p I p I p pp p I p p p p p p p p p p p p p p X Y H Y H Y X I p I R P p F P pp p B P B T P A P A T P T P2.9 & 2.12解:令X=X 1,Y=X 1+X 2,Z=X 1+X 2+X 3, H(X 1)=H(X 2)=H(X 3)= 6log 2 比特 H(X)= H(X 1) = 6log 2 =2.585比特 H(Y)= H(X 2+X 3)=6log 61)536log 365436log 364336log 363236log 36236log 361(2222222+++++ = 3.2744比特 H(Z)= H(X 1+X 2+X 3)=)27216log 2162725216log 2162521216log 2162115216log 2161510216log 216106216log 21663216log 2163216log 2161(222222222++++++= 3.5993比特 所以H(Z/Y)= H(X 3)= 2.585 比特 H(Z/X) = H(X 2+X 3)= 3.2744比特 H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585 =1.8955比特H(Z/XY)=H(Z/Y)= 2.585比特 H(XZ/Y)=H(X/Y)+H(Z/XY) =1.8955+2.585 =4.4805比特 I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X 3)= 3.5993-2.585 =1.0143比特 I(X;Z)=H(Z)-H(Z/X)=3.5993- 3.2744 =0.3249比特 I(XY ;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y)=1.0143比特 I(Y;Z/X)=H(Z/X)-H(Z/XY) = H(X 2+X 3)-H(X 3) =3.2744-2.585 =0.6894比特 I(X;Z/Y)=H(Z/Y)-H(Z/XY) =H(Z/Y)-H(Z/Y) =02.10 解:设系统输出10个数字X 等概,接收数字为Y,显然101)(101)()()(919===∑∑==i j p i j p i Q j w i iH(Y)=log10比特奇奇奇奇偶18log 81101452log 211015)(log)()()(log )()(0)(log ),()(log ),()(22,2222=⨯⨯⨯⨯+⨯⨯⨯=--=--=∑∑∑∑∑∑∑≠====x y p x y p x p x x p x x p x p x y p y x p x y p y x p X Y H x y x i y x y x所以I(X;Y)= 3219.2110log 2=-比特2.11 解:（a ）接收前一个数字为0的概率 2180)0()()0(==∑=i i i u p u q wbits p pw u p u I )1(log 11log )0()0(log )0;(2212121-+=-==（b ）同理 418)00()()00(==∑=ii iu p u q wbits p p w u p u I )1(log 22)1(log )00()00(log )00;(24122121-+=-== （c ）同理 818)000()()000(==∑=ii iu p u q wbits p p w u p u I )1(log 33)1(log )000()000(log )000;(28132121-+=-== （d ）同理 ))1(6)1(()0000()()0000(4226818p p p p u p u q w ii i+-+-==∑=bitsp p p p p p p p p p w u p u I 42264242268142121)1(6)1()1(8log ))1(6)1(()1(log )0000()0000(log )0000;(+-+--=+-+--==2.12 解:见2.9 2.13 解: (b))/()/()/(1log)()/(1log)()/()/(1log)()/(1log)()/(XY Z H X Y H xy z p xyz p x y p xyz p xy z p x y p xyz p x yz p xyz p X YZ H x y z xyzxyzxyz+=+===∑∑∑∑∑∑∑∑∑∑∑∑(c))/()/(1log)/()()/(1log)/()()/(X Z H x z p xy z p xy p xy z p xy z p xy p XY Z H xyzxyz=≤=∑∑∑∑∑∑（由第二基本不等式） 或)1)/()/((log )/()()/()/(log)/()()/(1log)/()()/(1log)/()()/()/(=-⨯≤=-=-∑∑∑∑∑∑∑∑∑∑∑∑xy z p x z p e xy z p xy p xy z p x z p xy z p xy p x z p xy z p xy p xy z p xy z p xy p X Z H XY Z H xyzxyzxyzxyz（由第一基本不等式）所以)/()/(X Z H XY Z H ≤(a))/()/()/()/()/(X YZ H XY Z H X Y H X Z H X Y H =+≥+等号成立的条件为)/()/(x z p xy z p =,对所有Z z Y y X x ∈∈∈,,,即在给定X 条件下Y 与Z 相互独立。
《 无失真信源编码》课件
为什么需要无失真信源编码？
无失真信源编码在数字通信、音频和视频处理领域扮演着重要角色。它可以 节省存储空间，提高信号传输速率，并保证信息的完整性。
带源编码和无失真信源编码的对比
带源编码会对原始信号进行压缩，但会导致信息丢失和质量下降。无失真信源编码通过使用更复杂的算 法来保持信息的完整性和质量。
常见的无失真信源编码方法
PCM编码
基于脉冲编码调制，是最 常用的无失真音频编码方 法之一。
DPCM编码
差分脉冲编码调制，通过 预测和编码差异来实现无 失真音频压缩。
ADPCM编码
自适应差分脉冲编码调制， 根据信号特征动态地调整 编码参数以提高压缩效率。
区分编码和解码过程
编码过程将原始信源数据转换为压缩表示形式，而解码过程将压缩表示形式 还原为原始数据。
WavPack
一种无损音频编码格式，延 伸了FLAC的功能并具有更高 的压缩比。
对比不同无失真编码方法的性 能
不同的无失真编码方法在压缩比、音频质量和解码复杂性方面表现不同。综 合考虑这些因素才能选择最适合的编码方法。
无失真编码技术的应用领域
无失真编码技术广泛应用于音频和视频处理、通信系统、数据存储和传输领域。它可以提高效率、降低 成本，并保证信息的完整性。
无失真编码的未来发展趋势
随着技术的不断发展，无失真编码方法将更加高效和智能化，能够适应更多领域和应用需求。
国内外的无失真编码标准和应 用情况
世界各地的研究机构和标准化组织都在推动无失真编码标准的发展和应用。 国内也有一些具有自主知识产权的无失真编码方法。
结束语和展望
无失真信源编码是信息处理领域的重要技术，它将继续发展并在更多领域得 到应用。希望本课件能帮助您进一步了解无失真信源编码的原理和应用。
信息论与编码理论习题答案全解
第二章 信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6=3.2744 bit)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit)|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1/8
0
0
1
1
11
10
10
01
00
00
100
001
11
01
1000
0001
码1是奇异码，码2，码3和码4是非奇异码， 码4为即时码（非延长码）
唯一可译码
非奇异码中，任意有限长的码元序列，只能被唯一的译成所对
应的信源符号序列，称为唯一可译码。
例如：U: {u1,u2,u3}; X:{0,1}; W: {w1=0, w2=10, w3=11}, 为唯一可译码。 当接收码字序列为：10011001111 时，可以唯一地译为： w2,w1,w3,w1,w1,w3,w3; 如果码字集合为：W:{w1=0,w2=1,w3=01} 则为非唯一可译码。 当接收码字序列为：00111101 时，可以译为：w1,w1(w3)……
将序列进行分割
信源编码的基础是什么?
信源编码的基础是：两个编码定理，即无失真编码定理和限失真 编码定理。
说明：
1）无失真编码是可逆编码，即信源符号转换成代码后，可从代码 无失真的恢复原信源符号。只适用于离散信源。
2）对于连续信源，编成代码后就无法无失真地恢复原来的连续值， 因为后者的取值可有无限多个。此时只能根据率失真编码定理在 失真受限制的情况下进行限失真编码
如果每次只传送一个符号，即序列长度L＝1
ui=ui1∈(a1,a2,…,an)
要将这样 的符号进行传输，常采用二元信道，码符号集X为 {0,1}。若将信源在该信道上传输，需把信源符号变换成0，1 符号组成的码字序列。
例： 信源符号
信源符号出 现概率
码表
码1
码2
a1
p(a1)
00
0
a2
p(a2)
01
（2）实际信源的符号分布概率不是均匀的，这使得实际的 信源熵总是小于最大熵 H0 ( X ) Hmax( X )。
也就是说，实际发送的消息总是包含有无用的信息。信源 包含有冗余。
信源编码的主要任务就是减少冗余，提高编码效率。 具体说，就是针对信源输出符号序列的统计特性， 寻找一定的方法把信源输出符号序列变换为最短的码字序列。
3.1.1 信源编码： 信源消息U=(u1,u2,…, uq) 码符号集X=(x1,x2,…, xr) 将 ui Wi ＝（ w1,w2,…wLi ） wi∈{x1,x2,…xr} 这种一一对应变换称为信源编码。
Li为码字Wi的码元个数，称为码字Wi的长度，简称码长。
分组码定义：
将信源消息分成若干组，即符号序列ui， ui=(ui1,ui2,…,uil,…,uiL) 序列中的每个符号取自于同一个符号集A， uil∈(a1,a2,…,an)。 而每个符号序列ui依照固定的码表映射成一个码字Wi，这 样的码称为分组码。只有分组码有对应的码表。
编码定理证明：
（1）必存在一种编码方法，使代码的平均长度可任意 接近但不能低于极限熵
（2）达到这目标的途径，就是使概率与码长匹配。
3.1信源编码概述 3.2消息的冗余度 3.3定长编码定理和定长编码方法 3.4 变长编码定理 3.5 变长编码方法 3.6游程编码
3.1 信源编码概述
编码器可以看作这样一个系统，它的输入端为原始信源U，其符号集 为U:{u1,u2,…,uq}；而信道所能传输的码符号集为X:{x1,x2,…,xr}；编 码器的功能是用符号集X中的元素，将原始信源的符号ui变换为相应 的码字符号Wi，(i=1,2,…,q)，所以编码器输出端的符号集为 W:{W1,W2,…,Wq}。
00111101 w1,w1,w2,w2,w2,w2,w3 00111101 w1,w3,w2,w2,w2,w3
非即时码和即时码
唯一可译码中，如果接收端收到一个完整的码字后，不能立
即译码，还需等下一个码字开始接收后才能判断是否可以译
码，这样的码叫做非即时码。 例如：W：{1，10，100，111} 不是即时码， 1是 10的前缀， 10 为100的前缀。 没有任何完整的码字是其他码字的前缀，可立即译码的叫
p(a1)
a2
p(a2)
a3
p(a3)ຫໍສະໝຸດ a4p(a4)码表
码1
码2
00
0
01
01
10
001
11
111
码1是等长码，码2是变长码
奇异码和非奇异码 若信源符号和码字是一一对应的，即所有码字都不相同， 则该码为非奇异码；反之为奇异码。
信源符号 符号出现概率 码1
码2
码3
码4
a1
1/2
a2
1/4
a3
1/8
a4
做即时码（非延长码）。
则是某一码组的前面向后面看：比如u1=0，被采用后，则从0 以后的任何延长出去组合，比如00、01、001等均不能再用。
即时码一定是唯一的，唯一可译码却不一定是即时码。 例如：W：{0，01}是唯一的，但不是即时码。
即时码及其树图构造法 －－码树
码树：用码树表示码字的组成 码树构造要点：
01
a3
p(a3)
10
001
a4
p(a4)
11
111
3.1.2 码的类型
{码
非分组码 奇异码
分组码
非唯一可译码
{ 非奇异码
非即时码
{ { 唯一可译码
即时码（非延长码）
码符号集中符号数r＝2称为二元码，r＝3称为三元码
若分组码中的码长都相同则称为等长码，否则称为变长码
信源符号
信源符号出 现概率
a1
信源编码的基本途径 是什么?
信源编码的基本途径有两个，一是使序列中的各个符 号尽可能地互相独立，即解除相关性；二是使编码中 各个符号出现的概率尽可能地相等，即概率均匀化。
信源编码的机理：AEP
是什么导致我们研究渐进等同分割性质？
回想：最大离散熵原理 定理：等概分布时，离散熵最大化 但是：信源输出的一般不是等概分布的 问题：如何将非等概输出的信源变成等概？渐进等同分割性质 信源输出序列
1）最上端为树根，从树根向下延伸出树枝，树枝总数等于 r，树枝的尽头为节点。
2）从每个节点再伸出r个树枝，当某节点被安排为码字 后，就不再伸枝。
第三章 无失真信源编码
信源编码的分类?
无失真信源编码， — 文字、文件信适源用；于离散信源或数字信号 分类
限失真信源编码， — 语音、图像信适源用；于连续信源或模拟信号
为什么要对信源进行编码? 由于信源符号之间存在分布不均匀和相关性，使得信源存
在冗余度。
（1）信源输出符号间的依赖关系使得信源熵减小，这就 是信源的相关性。相关程度越大，信源的实际熵越小，越趋 近于极限熵 H (X )；反之，相关程度减小，信源实际熵增大。