信道编码

前言计算机通信是一种以数据通信形式出现，在计算机与计算机之间或计算机与终端设备之间进行信息传递的方式。

它是现代计算机技术与通信技术相融合的产物，在军队指挥自动化系统、武器控制系统、信息处理系统、决策分析系统、情报检索系统以及办公自动化系统等领域得到了广泛应用。

计算机通信系统是经典的数字通信系统，它是计算机技术和通信技术结合的产物，一方面通信网络为计算机之间的数据传递和交换提供必要的设施和手段；另一方面，数字计算机技术的发展渗透到通信技术中，又提高了通信网络的各种性能，二者相互渗透、互相促进、共同发展。

由于计算机、卫星通信及高速数据网的飞速发展，数据的交换、处理和存储技术得到了广泛的应用，数字信号在传输中往往由于各种原因，使得在传送的数据流中产生误码，从而使接收端产生图象跳跃、不连续、出现马赛克等现象，人们对数据传输和存储系统的可靠性提出来了越来越高的要求，经过长时间的努力，通过编译码来控制差错、提高可靠性的方式在信道传输中得到了大量的使用和发展，并形成了一门新的技术叫做纠错编码技术，纠错编码按其码字结构形式和对信息序列处理方式的不同分为两大类：分组码和卷积码。

第一章 信道编码1.1 信道编码概述1.1.1信道模型信息必须首先转换成能在信道中传输或存储的信息后才能通过信道传送给收信者。

在信息传输过程中，噪声或干扰主要是从信道引入的，它使信息通过信道传输后产生错误和失真。

因此信道的输入和输出之间一般不是确定的函数关系，而是统计依赖的关系。

只要知道信道的输入信号、输出信号以及它们之间的统计依赖关系，就可以确定信道的全部特性。

信道的种类很多，这里只研究无反馈、固定参数的单用户离散信道。

1．离散信道的数学模型离散信道的数学模型一般如图6.1所示。

图中输入和输出信号用随机矢量表示，输入信号为 X = (X 1, X 2,…, X N )，输出信号为Y = (Y 1, Y 2,…, Y N )；每个随机变量X i 和Y i 又分别取值于符号集A ={a 1, a 2, …, a r }和B ={b 1, b 2, …, b s }，其中r 不一定等于s ；条件概率P (y |x ) 描述了输入信号和输出信号之间的统计依赖关系，反映了信道的统计特性。

),...,,(21N X X X X = )|(x y P ),...,,(21N Y Y Y Y =∑=1)|(x y P图1.1 离散信道模型根据信道的统计特性即条件概率P (y |x ) 的不同，离散信道可以分为三种情况：（1）无干扰信道。

信道中没有随机干扰或干扰很小，输出信号Y 与输入信号X 之间有确定的一一对应的关系。

（2）有干扰无记忆信道。

实际信道中常有干扰，即输出符号与输入符号之间没有确定的对应关系。

若信道任一时刻的输出符号只统计依赖于对应时刻的输入符号，而与非对应时刻的输入符号及其他任何时刻的输出符号无关，则这种信道称为无记忆信道。

（3）有干扰有记忆信道。

这是更一般的情况，既有干扰又有记忆，实际信道往往是这种类型。

在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且与此前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。

2．单符号离散信道的数学模型单符号离散信道的输入变量为X ，取值于{a 1, a 2, …, a r }，输出变量为Y ，取值于{b 1, b 2, …, b s }，并有条件概率P (y |x )= P (y=b j |x=a i )= P (b j |a i ) (i =1,2,…,r ；j =1,2,…,s )这一组条件概率称为信道的传递概率或转移概率。

因为信道中有干扰（噪声）存在，信道输入为x =a i 时，输出是哪一个符号y ，事先无法确定。

但信道输出一定是b 1, b 2, …, b s 中的一个，即有∑==sj i ja bP 11)|( (i =1,2,…,r ) (1-1)由于信道的干扰使输入符号x 在传输中发生错误，所以可以用传递概率P (b j |a i );,,2,1(r i = ),,2,1s j =来描述干扰影响的大小。

因此，一般简单的单符号离散信道的数学模型可以用概率空间[Y x y P X ),|(,]加以描述。

另外，也可以用图来描述，如图1.2所示。

⎪⎪⎪⎩⎪⎪⎪⎨⎧a a a X r21Yb b b s ⎪⎪⎪⎭⎪⎪⎪⎬⎫21 图1.2 单符号离散信道定义1.1 已知发送符号为a i ，通过信道传输接收到的符号为b j 的概率P (b j |a i )称为前向概率。

已知信道输出端接收到的符号为b j ，而发送符号为a i 的概率P (a i |b j )，称为后向概率。

有时，也把P (a i )称为输入符号的先验概率（即在接收到一个输出符号以前输入符号的概率），而对应地把P (a i |b j )称为输入符号的后验概率（在接收到一个输出符号以后输入符号的概率）。

为了讨论方便，下面列出本章讨论中常用的一些关于联合概率和条件概率的关系： (1) 设输入和输出符号的联合概率为P (x = a i , y = b j )=P (a i b j )，则有)|()()|()()(j i j i j i j i b a P b P a b P a P b a P ==(2) ∑==ri i jij a bP a P b P 1)|()()( （s j ,,1 =）。

(3) 根据贝叶斯定律，可得后验概率与先验概率之间的关系 )()()|(j j i j i b P b a P b a P =（0)(≠b P j ）＝∑=ri i jii j i a bP a P a b P a P 1)|()()|()( （s j r i ,,2,1;,,2,1 ==）1.1.2 抗干扰信道编码定理及逆定理定理1.1 有噪信道编码定理设离散无记忆信道[X ,P (y |x ),Y ], P (y |x )为信道传递概率，其信道容量为C 。

当信息传输率R <C 时，只要码长n 足够长，总可以在输入的符号集中找到2nR 个码字组成的一组码和相应的译码规则，使译码的错误概率任意小(P E 0→)。

在定理6.1中，信道容量C 是平均互信息量的最大值),(m ax )(Y X I C x p =其单位是“bit/符号”。

定理1.2 有噪信道编码逆定理(定理6.1的逆定理)设离散无记忆信道[X ,P (y |x ),Y ]，其信道容量为C 。

当信息传输率R >C 时，则无论码长n 多长，均找不到一种编码2nR ，使译码错误概率任意小。

定理1.1和定理1.2统称为申农第二定理，它是一个关于有效编码的存在性定理，它具有根本性的重要意义，它说明错误概率趋于零的好码是存在的。

它有助于指导各种通信系统的设计，有助于评价各种通信系统及编码的效率。

申农1948年发表申农第二定理后，科学家就致力于研究信道中的各种易于实现的实际编码方法，赋予码以各种形式的代数结构，出现了各种形式的代数编码、卷积码、循环码等。

1.1.3 检错与纠错的基本原理在申农第二定理发表后，很长一段时间内人们都在探寻能够简单、有效地编码和译码的好码。

由此形成了一整套纠错码理论。

在此只简单地介绍检错和纠错的一些基本概念及基本原理。

在信息处理过程中，为了保持数据的正确性应对信息进行编码使其具有检错纠错能力，这种编码称为语法信息编码。

它的基本思想是引入剩余度，在传输的信息码元后增加一些多余的码元，以使信息损失或错误后仍能在接收端恢复。

通常将要处理的信息称为原信息，将原信息转化为数字信息后再进行存储、传输等处理过程称为传送。

工程上最容易实现的是二元数字信息（或二元码信息）的传送。

所谓二元数字信息就是由二元数域F 2={0,1}中的数字0与1组成的数组或向量。

定义1.3 设X =(x 1, x 2,…, x n )，Y =(y 1, y 2,…, y n )，x i ∈F 2，y i ∈F 2，i =1,…, n ，称X 和Y 对应分量不相等的分量个数为X 和Y 的汉明（Hamming ）距离，记为d (X , Y )。

记ii ii i i y x y x y x d =≠⎩⎨⎧=01),(则d (X , Y )= d (x 1, y 1)+ d (x 2, y 2)+…+ d (x n , y n )容易证明以下定理。

定理1.4 设X 和Y 是长为n 的二元码字，则 （1）n Y X d ≤≤),(0（非负且有界性） （2）d (X , Y )=0当且仅当X =Y （自反性） （3）d (X , Y )= d (Y , X )（对称性）（4）),(),(),(Z Y d Y X d Z X d +≤（三角不等式）1.2 限失真编码定理申农第一定理和申农第二定理指明：无论是无噪声信道还是有噪声信道，只要信道的信息传输率R 小于信道容量C ，总能找到一种编码，在信道上以任意小的错误概率和任意接近信道容量的信息传输率传输信息。

反之，若信道信息传输率R 大于信道容量C ，一定不能使传输错误概率任意小，传输必然失真。

实际上，人们并不需要完全无失真地恢复信息，只是要求在一定保真度下，近似恢复信源输出的信息。

比如，人类主要是通过视觉和听觉获取信息，人的视觉大多数情况下对于25帧以上的图像就认为是连续的，通常人们只需传送每秒25帧的图像就能满足通过视觉感知信息的要求，而不必占用更大的信息传输率。

而大多数人只能听到几千赫兹到十几千赫兹，即便是训练有素的音乐家，一般也不过能听到20千赫兹的声音。

所以，在实际生活中，通常只是要求在保证一定质量的前提下在信宿近似地再现信源输出的信息，或者说在保真度准则下，允许信源输出的信息到达信宿时有一定的失真。

对于给定的信源，在允许的失真条件下，信源熵所能压缩的极限理论值是多少？申农（Shannon ）的重要论文“保真度准则下的离散信源编码定理”论述了在限定范围内的信源编码定理。

限失真信源编码的信息率失真理论是信号量化、模数转换、频带压缩和数据压缩的理论基础，在图像处理、数字通信等领域得到广泛的应用。

所谓信道产生的失真d (x n , y m )是指：当信道输入为x n 时，输出得到的是y m ，其差异或损失，称为译码失真，可描述为⎩⎨⎧≠>==m n m n m n y x a y x y x d 0),(而平均译码失真则是∑∑===N n Mm m n n m n y x d x y p x p d 11),()|()(如果要求平均译码失真小于某个给定值D ，即Dy x d x y p x p d N n Mm m n n m n ≤=∑∑==11),()|()(也就是对P (Y |X )施加一定的限制。