信息论与编码

1.香农编码的方法
在写香农编码之前先简单介绍下信源编码
编码分为信源编码和信道编码，其中信源编码又分为无失真和限失真。由于这些定理都要求符号数很大，以便其值接近所规定的值，因而这些定理被称为极限定理。一般称无失真信源编码定理为第一极限定理；信道编码定理（包括离散和连续信道）称为第二极限定理；限失真信源编码定理称为第三极限定理。完善这些定理是香农信息论的主要内容。
4.香农编码的改善算法
针对上述所说的香农编码的这一缺陷，本文提出了一种改善算法，其原理描述如下：
在编码过程中，忽略每个码字该有的码长限定，只需要根据最小概率计算出最小概率所对应的码长l，将该码长作为参考值计算出所有累加概率所对应的二进制串，所有二进制串的长度均为1，然后从每,个长为1的二进制串中选择最后的码字，其原则是任意一个码字一定不是前后备用码的前缀同时码字的选择必须要从二进制串的最左端开始，从左往右依次选取。根据该优化原理，具体过程可以描述如下:
（1）将信源发出的信源符号按其概率递减顺序进行排列
计算概率最小符号的对数值
，其中：
（3）计算出第i个符号的累加概率
（4）将每个符号所对应的累加概率变换成二进制小数，取小数后面的l位作为备用码。
（5）从概率最大的符号所对应的备用码开始，采用比较方法选取该符号所对应的码字，原则为：码字的选取从备用码的第一个二进制位开始从前往后依次选取，选取的码字不能是前后备用码的前缀，每个码字的选取尽可能短。
信源编码的基础是信息论中的两个编码定理：无失真编码定理和限失真编码地宫里，前者是可逆编码的基础。可逆是指当信源符号转换成代码后，可从代码无失真的恢复原信源符号。当已知信源符号的概率特性时，可计算它的符号熵，这表示每个信源符号所载有的信息量。编码定理不但证明了必定存在一种编码方法，可使代码的平均长度可任意接近但不低于符号熵，而且还阐明达到这目标的途径，就是使概率与码长匹配。无失真编码或可逆编码只适用于离散信源。本节讨论离散信源编码。首先从无失真编码定理出发，重点讨论以香农码为代表的最佳无失真码。
在多媒体数据的传输和存储过程中，为了确保通信的顺利进行，必须要通过信源编码技术必须对多媒体信息进行压缩处理。香农编码技术作为变长信源编码的重要方法之一，具有重要的理论指导意义。但由于在香农编码的过程中先限定每个码字的码长，以至于在码字的选取中是以每个码字的码长作为先决条件而不考虑各个码字之间的相关性，因此编出的码字往往存在较大的冗余，影响了整个通信系统的传输效率。就这一缺陷，本文提出了通过剔除先限定每个码字的码长这一过程，通过判断码字之间是否互为前缀来确定码字的方法对其编码算法进行了改善。
4.改善算法与香农编码算法的比较
例如设信源编码共7个符号消息，其概率分布为
{0.20,0.19,0.18,0.17,0.15,0.10,0.01},以i=4为例，求得：
，
则累加概率P4=0.57，变换成二进制为0.1001…，由于K4=3，所以第4个消息的编码字数为100。其他消息的码字可用同样方法求得，如图1所列。该信源共有5个3位的码字，各码字之间至少有一位数字不相同，故是唯一可译码。同时可看出，这7个码字都不是延长码，都是属于即时码。
（1）将信源消息符号按概率递减的方式进行排列为
（2）确定满足下列不等式的整数码长Ki为
（3）为了编成唯一可译码，计算机第i个消息的累加概率
（4）将累加概率Pi用二进制数表示。
（5）取Pi对应二进制数的小数点后Ki位构成该信源符号的二进制码字。
2.MATLAB实现香农编码实例操作
3.香农编码的不足
通过对香农码的编码算法进行分析研究，可以发现在香农编码过程中，由于先限定每个码字的码长，以至于在码字的选取中是以每个码字的码长作为先决条件而没有考虑各个码字之间的相关性，因此编出的码字往往存在较大的冗余，比如其中某个码字原本可以编为1111 ,但由于根据香农编码规则该码字的先定码长为7，于是该码字的码长必须为7，很显然由于码长先决条件的限制，而使得整个码字的平均码长变大，无形中降低了编码效率，增加了通信过程中的冗余，使得通信系统的有效性这一重要指标的提高得到了很大限制。
无失真信源编码：
若信源输出符号序列的长度L 1，即：
变换成由 个符号组成的码序列：
香农第一定理指出了平均码长与信源之间的关系，同时也指出了可以通过编码使平均码长达到极限值。香农第一定理指出，可以选择每个码字的长度Ki满足关系式
就可以得到这种编码。该式与 对应，这里用的是每个信源符号的自信息量和码长。这种编码称为香农编码，其编码步骤如下：
滨江学院
《信息论与编码》课程论文
题目香农编码及其应用改善
院系电子工程系
专业班级通信班
学生姓名
学号
教师杨玲
成绩
二Ｏ一四年十二月二十二日
香农编码及其应用改善
摘要：香农编码作为变长信源编码的重要方法之一，具有重要的理论指导意义，但其在实际应用中存在效率较低的缺点。本文对香农编码方法进行阐述，及运用MATLAB实现香农编码操作，并找出香农编码的不足，针对其缺陷，通过判断码字之间是否互为前缀来确定码字的方法对其编码算法进行了优化，给出了优化算法的实现步骤。最后，通过具体实例分析得出本文提出的改善算法能有效地提高编码效率。
关键词：香农码方法；MATLAB；编码效率； 优化编码；
引言：1948年，美国工程师香农在贝尔实验室杂志上发表了长文《通讯的数学原理》他用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。香农编码理论揭示了在通信系统中，采用适当的编码后能够实现高效率和高可靠地传输信息的规律，并给出了相应的信源编码定理和信道编码定理。从数学观点看，这些定理是最优编码的存在定理。它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为寻找最佳通信系统提供了重要的理论依据。
这里L=1，m=2,所以信源符号的平均码长为
平均信息传输速率为
表1 香农编码算法与优化算法的编码比较
信源消息符号
符号概率
累加概率
对应的二进制数
码字长度
码字
改善码
0.20
0
0.0000000
2.34
3
000
000
0.19
0.2
0.0011001
2.41
3
001
001
0.18
0.39
0.0110000
2.48
3
011
01
0.17
0.57
0.1001000
2.56
3
100
100
0.15
0.74
0.1011110
2.74
3
101
101
0.10
0.89
0.111001
3.34
4
1110ቤተ መጻሕፍቲ ባይዱ
1110
0.01
0.99
0.1111110
6.66
7
1111110
1111
5.总结
香农第一编码定理(变长无失真信源编码定理)是最优编码的存在性定理，该定理指出了要做到无失真信源编码，每个信源符号平均所需要的最少的码元数，同时，该定理指出了最优码的存在性。本文在分析香农编码定理实质的基础上 , 通过具体实例分析得出本文提出的改善算法能有效地提高编码效率，特别当信源符号概率大小差距较大时，编码效率提高得尤为显著。