信息论

电信1201班梁佳琪 A19120164信息论与编码论文——香农理论与信道编码发展前言近年来，无线通信技术得到了广泛的发展，从移动的G3，到联通的沃3G业务，再到电信的WCDMA业务，再最近研究的4G领域，无不显示了无线通信的蓬勃发展。

而要实现信息的无线传输，满足信息传输的三个特性——有效性、可靠性和保密性，就要对通信技术提出了更高的要求，为了达到这个目的，现在世界各国的通信方面的专家都在积极研究这个领域，以实现更高速、更有效地信源、信道编码及传输要求。

香农理论的诞生说起通信，需要回溯到香农与信息论的关系。

香农在1948年发表了《通信的一个数学理论》完整地解决了通信速度上限的问题。

“信息论”从此诞生。

但是香农也留下了一个巨大挑战：怎样才能达到这个速度上限？这个挑战，就开辟了后来五十年来十分热门的研究领域。

信道编码在数据传送时，我们不是直接把一个一个数码送去调制，而是只传送一些预先选定的序列。

要传送的数据被对应到相应的码字来传送。

在接收方，根据收到的码字就能恢复出原始数据。

这种传送的方法就称为编码。

编码的目的可以有多种。

一个目的是保密，这里不讨论。

另一个目的是加快数据传送速度。

把不常用的数据编成长码，常用的编成短码，就能降低码的平均长度，而传送更多的数据。

上文开始时介绍的摩斯码就是这个原理。

我们现在常用zip程式来压缩文档，也是如此。

在通信中，这种编码叫做源编码，有时也称数据压缩。

香农在这方面也有开创性的工作，按下不表。

第三个目的，就是纠正噪声引起的传送错误。

这在上文中也有简单介绍。

这种编码就叫信道编码,也叫纠错码。

香农在证明他的信道容量定理中，引进了“典型序列”的概念。

典型序列就是指序列中的符号出现的比例与符号的先验概率相同。

对于足够长的序列，所有出现机率不为零的序列都是典型序列。

通过选取一些典型序列作为码字，香农证明了最大传送速率。

但是这个概念实行起来有困难。

很长的序列在编码和解码两方面都会非常困难。

而如果序列不长的话，就无法利用“典型序列”的概念。

所以，香农给出的传输速率，在几十年中都不能达到。

信道编码的类型编码类型在近几十年中经历了几个不同的的阶段。

最早的编码类型是分组码。

这也是最容易理解的一种码。

顾名思义，分组码这种编码方式就是把输入数据分为长度固定的组，对每一组分别编码。

比如，最早的分组码是汉明码，写为（7，4，3）。

它的意思是把数据分成4个比特一组，所以共有2的4次方，也就是16种可能的序列。

每个序列对应了一个7比特的码字。

它的编码率是4/7，也就是说在每7比特传送的数据中，有4比特的有效信息，剩下3比特称为冗余。

当然，一般说来我们并不能说7比特中哪个比特是信息哪个比特是冗余，它们是组合在一起的。

（7，4，3）中最后那个数字3，是码字间的最小距离。

码字间的距离（称为汉明距离）是指它们之间不相同的比特数。

比如，两个码字A（0010110）和B （0110011）的汉明距离是3，因为它们有三个比特不同（从左数起比特2，5，7）。

如果我们收到了（0110110），我们可以知道传送的更可能是A，因为它与A只有一个比特不同（比特2），而与B有两个比特不同（比特5和7）。

换句话说，如果传送的是A而接收时错了一位，我们能纠正这个错误。

如果错了两个比特，那它就可能更接近B而导致我们的判断错误。

但它还是不等于B，所以我们还是知道出了错。

假如错三比特的话，那我们就可能认为发射的是B而无法纠正或检测到错误。

所以如果码字间的最小汉明距离是3的话，这个码就可以纠正1比特的错误，检测2比特的错误。

由此可见，分组码的性能是由编码率和最小距离决定的。

编码率决定了同样调制方式下信息传输的速度。

最小距离决定了纠错的能力。

纠错能力越强，就能在越强的噪声下（也就是越低的信噪比下）保持很低的误码率（也就是每一比特信息出错的几率）。

所以，性能优越的码，就是要在同样的编码率下达到尽可能高的最小距离。

我们还记得，香农定理说，在给定的信噪比下有一个最大传送速率。

只要数据转送速率在此限度以下，就可以做到没有错误。

或者反过来说，给定传送速率时，有一个最小的信噪比，只要信噪比大于这个限度就可以做到没有错误。

而对于现实的编码来说，绝对没有错误是不可能的。

对于一个特定的码，它的传送速率是固定的。

在不同的信噪比下，它有不同的误码率。

我们可以在一个可以接受的误码率下比较它所需要的信噪比与不编码情况下的信噪比。

这两者的差称为编码增益编码增益越大，这个码的性能就越好。

而香农定理给出了编码增益的上限，这个上限同时也是研究者的努力目标。

对实际应用来说，除了纠错性能外，一个码要求的运算复杂度也是很重要的。

我们上面其实已经给出了一个最直接的，也是最优的解码方法（称为最大似然法）把收到的数据序列与所有码字比较，找出汉明距离最短的那个作为解码结果。

这样，运算量就与码长成指数关系。

这对于稍长的码来说就很难实现了。

而实用的分组码是基于种种数学结构而产生的，编码和解码都使用某些数学运算而不是硬性搜寻。

这样运算的复杂度就会低很多。

人们为此发展了种种技术。

目前通用的也只是普遍认为最好的几个系列。

一般来说，码越长，纠错能力就越强，但需要的运算量也就越大。

除了分组码以外，另一类编码是卷积码。

它是基于卷积运算，。

图中输入数据进入移位寄存器。

在每一个时钟点，移位寄存器里储存的比特依次向前移一位，也就是得到一位（比特）新的输入数据，同时丢掉一位最老的数据。

同时，寄存器里的数据与两个系数序列（图上标为码1和码2）逐位相乘，结果相加后成为输出比特。

在输出端，两个码产生的两个输出比特被依次输出。

注意，以上说的加法是以2为模的。

即0+0=0，0+1=1，1+1=0，没有进位。

在这种情况下，每个输入比特产生两个输出比特。

所以编码率是1/2。

对于一个传送序列，开始的一段和最后的一段是收，发双方约定的，用来帮助解码。

我们也可以说卷积码是一种很长的分组码：一个传送序列就是一个码组。

当然，由于卷积结构的限制，卷积码的性能并不是同样长度分组码中的最优。

卷积码没有复杂的代数结构，其解码方法就是上面描述过的最大似然法。

上面说过，这种方法的复杂度与码长成指数关系。

幸运的是，1967年维特比提出了著名的维特比算法。

它遵照最大似然法的原则，但利用了卷积码的结构，而使得解码器的复杂度与序列长度成线性关系。

这个杰出的发明使得卷积码真正成为一种实在的、切实可行的编码方式。

维特比算法的基本原理可以用一个简单的例子来说明。

假如我们要找一条从A 到B费时最短的路。

这就是最大似然法的基本要求。

从A到B要经过一座桥C。

从A到C有5条路，从C到B有4条路。

这样组合一下就有20（5×4）种走法，需要做20次测量来找出费时最小的选择。

但是，维特比指出了另一种方法：我们可以先找出A到C的最好路程，需要做5此测量。

然后再找出从C到B的最好路程，4次测量。

总共测量9次（5+4），就解决问题了。

这个乘法到加法的转变，就把复杂度从指数增长变成了线性增长。

这个问题可以简化的关键在于：我们要优化的参数（时间）是每段路程之值的线性相加。

而卷积码正具有这个特性。

以上谈到的分组码和卷积码有一个共性，就是码字是经过精心设计的，使得码字之间的最小距离尽可能大，来增强纠错能力，降低误码率。

但是人们发现了具有一定结构的码也可以具有这样随机的特性。

而它们的结构可以帮助解码。

首先发现的是turbo码。

它也叫乘积码。

编码方法是把两个短码（分组码或卷积码），一个编码后把次序按一定规律打乱，再编一次码。

这样，最后的码长是两个短码长度的乘积。

解码时，也是对于两个短码分别解，但采用迭代的办法。

第一次解码，只是得到一个“可能”的结果。

把这个结果及其相关的概率再输入解码器一遍，就得到一个更加“可靠”一些的结果。

如此反复，就能提高解码增益。

从理论上讲这种方法不一定是最优的，但实际上最后性能非常接近香农极限。

随机码的发明使得编码增益大大提高，基本达到了香农极限。

到2000年代，这些码已经被现代通信系统采纳了。

当然，它们的实现还是比较复杂，所以常常是作为可选功能。

前景展望香农的信息论提出后的半个多世纪，人们为了实现香农预言的传送速度极限作出了巨大的努力，发展了很多精致有效的数学工具，也进行了很多大海捞针式的搜寻。

当然，性能和复杂性的权衡总是有工作要做的，特别是在硬件性能突飞猛进的今天。

另外，除了香农所研究的基本信道外，还有许多更加复杂有趣的信道。

特别是无线通信的发展，产生了多天线通信，协同通信等新技术，给信道容量和实现信道容量提出了很多新课题。

而对信息论的提出和发展的香农及其信源、信道编码理论的发展还远没有止步。

我们有理由相信，在接下来的几十年里，我们会看到无线通信技术将以更加便捷、高效的形式服务于我们的生活！。