离散信源无失真信源编码
第5章无失真信源编码定理
如果我们要对信源的N次扩展信源进行编码，也必须满足
qN rl ， 两边取对数得： l log q
l
N log r
N 表示平均每个信源符号所需的码符号个数。
5.2 等长码
例：对英文电报得32个符号进行二元编码，根据上述关系：
l log 32 5 log 2
我们继续讨论上面得例子，我们已经知道英文的极限 熵是1.4bit,远小于5bit，也就是说，5个二元码符号只携带 1.4bit的信息量，实际上，5个二元符号最多可以携带5bit 信息量。我们可以做到让平均码长缩短，提高信息传输率
0.8112
0.4715
若采用等长二元编码，要求编码效率 0.96 ，允许错误率
105 ，则： N 4.13107
也就是长度要达到4130万以上。
5.5 变长码
1、唯一可译变长码与及时码
信源符号 出现概率 码1
码2
码3
码4
s1
1/2
0
0
1
1
s2
1/4
11
10
10
01
s3
1/8
00
00
密码：是以提高通信系统的安全性为目的的编码。通常通过加 密和解密来实现。从信息论的观点出发，“加密”可视为增熵 的过程，“解密”可视为减熵的过程。
5.1 编码器
信源编码理论是信息论的一个重要分支，其理论基础是信源编 码的两个定理。 无失真信源编码定理：是离散信源/数字信号编码的基础； 限失真信源编码定理：是连续信源/模拟信号编码的基础。
5.1 编码器
信源编码：以提高通信有效性为目的的编码。通常通过压缩信 源的冗余度来实现。采用的一般方法是压缩每个信源符号的平 均比特数或信源的码率。即同样多的信息用较少的码率传送， 使单位时间内传送的平均信息量增加，从而提高通信的有效性。
信息论：第5章 无失真信源编码定理
（7）码的N次扩展码
假定某码C，它把信源 S {s1 , s2 ,, sq }中的符号
s i 一一变换成码C中的码字 Wi ，则码C的N次扩展 码是所有N个码字组成的码字序列的集合。
24
例如：若码 C {W1 ,W2 ,,Wq } 满足：si Wi ( xi1 , xi 2 ,, xil ), si S , xil X 则码C的N次扩展码集合 B {B1 , B2 , , Bq } ,其中：
为了解决这两个问题，就要引入信源编码和信 道编码。
2
一般来说，抗干扰能力与信息传输率二者相互矛盾。 然而编码定理已从理论上证明，至少存在某种最佳 的编码能够解决上述矛盾，做到既可靠又有效地传 输信息。 信源虽然多种多样，但无论是哪种类型的信源， 信源符号之间总存在相关性和分布的不均匀性，使 得信源存在冗余度。
q r
N
l
（5.2）
36
25
（8）惟一可译码
若任意一串有限长的码符号序列只能被惟一地 译成所对应的信源符号序列，则此码称为惟一可译 码（或称单义可译码）。否则就称为非惟一可译码 或非单义可译码。
若要使某一码为惟一可译码，则对于任意给定 的有限长的码符号序列，只能被惟一地分割成一个 个的码字。
26
例如：对于二元码 C1 {1, 01, 00}，当任意给定一串 码字序列，例如“10001101”，只可唯一地划分为 1,00,01,1,01，因此是惟一可译码； 而对另一个二元码 C 2 {0,10, 01}，当码字序列 为“01001”时，可划分为0,10,01或01,0,01，所以是 非惟一可译的。
i
N
Bi {Wi1 ,Wi2 ,,WiN }; i1 ,, i N 1,, q; i 1,, q N
信息论常用无失真信源编码设计(含MATLAB程序)
《信息论基础》题目：常用无失真信源编码程序设计目录1. 引言 (2)2. 香农编码 (2)2.1 编码步骤 (3)2.2 程序设计 (3)2.3 运行结果 (3)3. 费诺编码 (4)3.1 编码步骤 (5)3.2 程序设计 (5)3.3 运行结果 (5)4. 哈夫曼编码 (6)4.1 编码步骤 (7)4.2 程序设计 (7)4.3 运行结果 (8)5. 结论 (9)6. 参考文献 (10)7. 附录 (11)7.1 香农编码Matlab程序 (11)7.2 费诺编码Matlab程序 (12)7.3 哈夫曼编码Matlab程序 (14)1. 引言信息论（Information Theory）是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。
信息系统就是广义的通信系统，泛指某种信息从一处传送到另一处所需的全部设备所构成的系统。
信息论是关于信息的理论，应有自己明确的研究对象和适用范围[1]。
信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。
信息传输和信息压缩是信息论研究中的两大领域。
这两个方面又由信息传输定理、信源－信道隔离定理相互联系。
信源编码是一种以提高通信有效性为目的而对信源符号进行的变换，或者说为了减少或消除信源冗余度而进行的信源符号变换。
具体说，就是针对信源输出符号序列的统计特性来寻找某种方法，把信源输出符号序列变换为最短的码字序列，使后者的各码元所载荷的平均信息量最大，同时又能保证无失真地恢复原来的符号序列[2]。
在通信中，传送信源信息只需要具有信源极限熵大小的信息率，但在实际的通信系统中用来传送信息的信息率远大于信源极限熵。
为了能够得到或接近信源熵的最小信息率，必须解决编码的问题，而编码分为信源编码和信道编码，其中的信源编码又分为无失真信源编码和限失真信源编码。
由于无失真信源编码只适用于离散信源，所以本次作业讨论无失真离散信源的三种简单编码，即香农（Shannon）编码、费诺(Fano) 编码和哈夫曼(Huffman) 编码[3]。
无失真的信源编码
[例]有一单符号离散无记忆信源
对该信源编二进制香农码。其编码过程如表所示。 二进制香农编码
xi x1 x2 x3 x4 x5 x6 p(xi) 0.25 0.25 0.20 0.15 0.10 0.05 pa(xj) 0.000 0.250 0.500 0.700 0.85 0.95 ki 2 2 3 3 4 5 码字 00 01 100 101 1101 11110 0.000 =(0.000)2 0.250 =(0.010)2 0.500 =(0.100)2 0.700 =(0.101)2 0.85 =(0.1101)2 0.95 =(0.11110)2
7/13/2013 4/31
信源编码概述
信源的原始信号绝大多数是模拟信号，因此，信源编码的 第一个任务是模拟和数字的变换，即：A/D，D/A。 抽样率取决于原始信号的带宽：fc = 2 w，w为信号带宽。 抽样点的比特数取决于经编译码后的信号质量要求： SNR ＝ 6 L(dB)，L为量化位数 但是，由于传输信道带宽的限制，又由于原始信源的信号 具有很强的相关性，则信源编码不是简单的A/D，D/A， 而是要进行压缩。为通信传输而进行信源编码，主要就是 压缩编码。 信源编码要考虑的因素：
只含(n－2)个符号的缩减信源S2。
重复上述步骤，直至缩减信源只剩两个符号为止，此时所剩两个符 号的概率之和必为1。然后从最后一级缩减信源开始，依编码路径向
前返回，就得到各信源符号所对应的码字。
7/13/2013 16/31
[例] 设单符号离散无记忆信源如下，要求对信源编二进制哈夫曼码。
7/13/2013
7/13/2013
2/31
信源编码：提高通信有效性。通常通过压缩信源的
信息论与编码第2
第2章 无失真信源编码原理
某些简单的离散平稳信源先后发出的一个个符号是统计 独立的。也就是说，在信源输出的随机序列X＝X1X2…XN中， 各随机变量Xi(i=1,2,…,N)之间是无依赖的、统计独立的，这 样的信源称为离散无记忆信源。该信源在不同时刻发出的各 符号之间也是无依赖的、统计独立的。离散无记忆信源输出 的随机变量X所描述的信源称为离散无记忆信源的N次扩展 信源。可见，N次扩展信源是由离散无记忆信源输出N长的 随机序列构成的信源。一般情况下，信源在不同时刻发出的 各符号之间是相互依赖的，也就是在信源输出的平稳随机序 列X＝X1X2…XN中,各随机变量Xi之间是相互依赖的。
第2章 无失真信源编码原理
若信源只输出一个消息(符号)，则用一维随机变量来描 述。然而，很多实际信源输出的消息往往是由一系列符号序 列所组成的。例如，将中文自然语言文字作为信源，这时中 文信源的样本空间是所有汉字与标点符号的集合。由这些汉 字和标点符号组成的序列即构成中文句子和文章。因此，从 时间上看，中文信源输出的消息是时间上离散的符号序列， 其中每个符号的出现是不确定的、随机的，由此构成了不同 的中文消息。又例如，对离散化的平面灰度图像信源来说， 从XY平面空间上来看每幅画面是一系列空间离散的灰度值 符号，而空间每一点的符号（灰度值）又都是随机的，由此 形成了不同的图像消息。
第2章 无失真信源编码原理
2.1.2 信源的数学模型 根据信源输出信息所对应的不同的随机过程可以导出不
同的信源模型。例如，根据随机过程具有的随机变量前后独 立与否可分为独立随机信源(或称无记忆信源)和不独立随机 信源(或称有记忆信源)；根据随机过程平稳与否可分为平稳 (稳恒)信源和非平稳(非稳恒)信源。与特殊的随机过程相对 应又有特殊的信源模型，例如，与高斯过程相对应的高斯信 源，与马尔可夫过程相对应的马尔可夫信源等,其中，马尔 可夫信源是有记忆信源中最简单且最具代表性的一种。信源 的类型不同其对应的模型也不同，限于篇幅，这里只介绍基 本离散信源的数学模型及其无记忆扩展信源的数学模型。
第5章限失真信源编码.
第5章 限失真信源编码
例 题：
0 1 1/2 删除信道 X {0 ， 1} ， Y {0 ， 1， 2} ， D ，求 Dmin 1 0 1/2
5.2 信息率失真函数
第5章 限失真信源编码
5.2.1 信息率失真函数的一般概念
如果信源和失真度给定，则根据式（ 5-3） ， D 就只与信道特性有关，把所有满足保真度 准则 D ≤ D 的信道集中起来，构成一个所谓 D 失真允许的试验信道集合，记为 PD ，即：
PD = p( y j | xi ); D ≤ D ; i = 1 , 2 , , m ; j = 1 , 2 , ，n
yn p( y 2 ) p( y n ) y2
对于每一对 ( xi , y j ) ，指定一个非负的函数 d ( xi , y j ) ≥ 0, i 1 , 2 , , m ; j 1 , 2 , , n ， 称 d ( xi , y j ) 为单位符号的失真度或失真函数，用它来表示信源发出一个符号 x i ，而在接收端再 现为 y j 所引起的误差或失真的大小。通常较小的 d 值代表较小的失真，而 d ( xi , y j ) 0 表示没 有失真。由于信源 X 有 m 个符号，信道传输 Y 有 n 个符号，所以 d ( xi , y j ) 有 m n 个，这 m n 个非负的函数可以排列成矩阵形式，即：
第5章 限失真信源编码
汉明失真矩阵 D 通常为方阵，且对角线上的元素为 0。即：
0 1 D 1
D 是 m m 阶方阵。
例 题：
1 1 1 0 1 1 1 1 0
设信道输入 X {0 , 1} ，输出 Y {0 , 1 , 2} ，规定失真函数 d (0 , 0) d (1 , 1) 0 ， d (0 , 1) d (1 , 0) 1 ， d (0 , 2) d (2 , 0) 0.5 ，求 D 。 解：由失真函数和失真矩阵可得出：
信息论与纠错编码题库 (1)
第三章 离散信源无失真编码3.2离散无记忆信源，熵为H[x]，对信源的L 长序列进行等长编码，码字是长为n 的D 进制符号串，问：（1）满足什么条件，可实现无失真编码。
（2）L 增大，编码效率 也会增大吗？ 解：（1）当log ()n D LH X ≥时，可实现无失真编码；（2）等长编码时，从总的趋势来说，增加L 可提高编码效率，且当L →∞时，1η→。
但不一定L 的每次增加都一定会使编码效率提高。
3.3变长编码定理指明，对信源进行变长编码，总可以找到一种惟一可译码，使码长n 满足D X H log )(≤n <D X H log )(+L 1,试问在n >D X H log )(+L1时，能否也找到惟一可译码？ 解：在n >D X H log )(+L1时，不能找到惟一可译码。
证明：假设在n >D X H log )(+L1时，能否也找到惟一可译码，则由变长编码定理当n 满足D X H log )(≤n <D X H log )(+L 1，总可以找到一种惟一可译码知：在n ≥DX H log )( ① 时，总可以找到一种惟一可译码。
由①式有：Ln ≥L X H )(logD ② 对于离散无记忆信源，有H(x)=LX H )( 代入式②得：n L≥ D x H log )(即在nL≥Dx H log )(时，总可以找到一种惟一可译码；而由定理给定熵H （X ）及有D 个元素的码符号集，构成惟一可译码，其平均码长满足D X H log )(≤n L <DX H log )(+1 两者矛盾，故假设不存在。
所以，在n >D X H log )(+L1时，不能找到惟一可译码。
3.7对一信源提供6种不同的编码方案：码1~码6，如表3-10所示信源消息 消息概率 码1 码2 码3 码4 码5 码6 u1 1/4 0 001 1 1 00 000 u2 1/4 10 010 10 01 01 001 U3 1/8 00 011 100 001 100 011 u4 1/8 11 100 1000 0001 101 100 u5 1/8 01 101 10000 00001 110 101 u6 1/16 001 110 100000 000001 1110 1110 u71/161111111000000000000111111111（1） 这些码中哪些是惟一可译码？ （2） 这些码中哪些是即时码？（3） 对所有唯一可译码求出其平均码长。
第5章 信源编码 第1讲 无失真信源编码 定长编码定理 2016
00 01 10 11
0 01 001 111
12/62
余 映 云南大学
5.1 编码的定义
• 采用分组编码方法，需要分组码具有某些属性， 以保证在接收端能够迅速准确地将码译出。 • 下面讨论分组码的属性：
余 映 云南大学
13/62
5.1 编码的定义
• (1) 奇异码和非奇异码
– 若信源符号和码字是一一对应的，则该码为非奇异码； 反之为奇异码。 – 例如表中码1是奇异码，其他是非奇异码。
信源符号 出现概率 码1 码2 码3 码4
A B C D
1/2 1/4 1/8 1/8
0 11 00 11
余 映 云南大学
0 10 00 01
1 10 100 1000
1 01 001 0001
18/62
5.1 编码的定义
• (3) 即时码和非即时码
– 唯一可译码又分为非即时码和即时码。 – 即时码是一种没有一个码字构成另一码字前缀的码。 在译码时没有延迟，收到一个完整码字后就能立即译 码。 – 如果收到一个完整码字后，不能立即译码，还需等下 一个码字开始接收后才能判断是否可以译码，这样的 码叫做非即时码。
信源符号
出现概率
码1
码2
码3
码4
a1 a2 a3 a4
1/2 1/4 1/8 1/8
0 11 00 11
余 映 云南大学
0 10 00 01
1 10 100 1000
1 01 001 0001
14/62
5.1 编码的定义
• (2) 唯一可译码和非唯一可译码
– 若任意有限长的码元序列，只能被唯一地分割成一个 个的码字，则称为唯一可译码。 – 例如{0, 10, 11}是一种唯一可译码。 – 因为任意一串有限长码序列， – 如100111000
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
离散信源无失真信源编码
目的：
熟练掌握无失真信源编码的方法；熟练掌握Huffman 编码的平均码长和编码效率的
Huffman 编码的基本原理及特点：
Huffman 编码是一种可变长编码算法，该方法完全依据字符出现概率来构造异字头的平均长度最短的码字，有时称之为最佳编码。
Huffman 编码一般利用二叉树结构实现，其基本原理是频繁使用的数据用较短的代码代替，较少使用的数据用较长的代码代替，每个数据的代码各不相同。
Huffman 编码在信源符号表示平均所需要的比特数方面是最优的，而且也满足前缀条件（即唯一可译码）。
在编码效率方面，Huffman 编码是基于二叉树算法的特点以及性质。
从书本的例题看出Huffman 编码方法得到的码是不唯一的。
不同的排序准则以及不同的符号分配都会影响到最后的结果，虽然编码的效率相同，但是影响到了编码的质量。
从课本上的例题可以看出，二叉树的层数较少的，编码质量较高（从码方差得出）。
在编码的时候，要尽量避免二叉树的稀疏性给编码质量带来的影响。
要减少二叉树的稀疏性就要提高二叉树的利用率，减少二叉树的层数。
Huffman 编码基本步骤，画出程序流程图：
Huffman 编码步骤： （1）将信源符号按概率递减的次序排序 （2）将两个最小概率的分支分别标记为‘1’和‘0’，他们的结合点为两分支概率之和 （3）将上面的概率和看作一个新符号的概率。
（4）重新排列后，重复上面的步骤。
（5）从最后的节点开始读取，到要找的符号，路径的分支标号就是码字 流程图：
输入数据：
输入编码：
当输入为例题中数据时，输出为：当输入是习题中数据时，输出为：
讨论不同的Huffman 编码的平均码长如何变化，码字长度偏离平均码长对编码性能的影响。
答：不同的Huffman编码方法得到的平均码长是相同的，编码效率也相同。
但是，不同的编码方法对码的质量会产生影响。
通过求码方差可知，码方差越小，编码质量越高。
从树的结构方面来看，就是树的层数较少的编码方法质量较高。