信息论与编码杜玉华第8章
合集下载
信息论与编码 第8讲
信息论与编码（第八讲）第一篇信息论第1章概论（2）第2章信源及其信息量（12）第3章信道及其容量（4）第4章信息率失真函数（4）第二篇编码理论第5章信源编码（4）第6章信道编码的基本概念（2）第7章线性分组码（6）第8章循环码（4）第9章卷积码（4）目录á信道的功能：以信号形式传输和存储信息。
á信道传输信息的速率：与物理信道本身的特性、载荷信息的信号形式和信源输出信号的统计特性有关。
á信道容量研究内容：在什么条件下，通过信道的信息量最大。
á信道定义：传输信息的媒介或通道。
信道也可以看作一种变换，把输入变换成输出。
á信道的随机性：á信道的描述：用条件转移概率表示。
3.1 信道的数学模型和分类3.2 单符号离散信道的信道容量3.3 离散无记忆扩展信道3.4 多用户信道3.5 连续信道3.6 信道编码定理3.7 小结(1) 一般信道的数学模型(2) 信道的分类(3) 实际的信道(1) 一般信道的数学模型①信道的广义性②一般信道的数学模型(1) 一般信道的数学模型①信道的广义性á信息论把任何一个有输入、输出的系统都可以看成是一个信道（物理信道多种多样：简单：滤波器；复杂：国际通信线路）。
á信号在信道中传输会引入噪声或干扰，它使信号通过信道后产生错误和失真。
á信道的输入和输出之间一般不是确定的函数关系，而是统计依赖关系。
á知道了信道的输入信号、输出信号以及它们之间的依赖关系，信道的全部特性就确定了。
(1) 一般信道的数学模型②一般信道的数学模型á信息论对信道的研究：对具体物理信道抽象，建立与各种通信系统相适应的信道模型，研究信息在这些模型信道上传输的普遍规律，指导通信系统的设计。
á信道模型：不研究信号在信道中传输的物理过程，把信道模型看作黑匣子。
(1) 一般信道的数学模型②一般信道的数学模型á一般，输入和输出信号都是广义的时间连续的随机信号，可用随机过程来描述。
最新信息论与编码(第三版)
I(ak)lorP g(1 ak)lorP g(ak)
28
2.1.1 自信息
设离散信源X的概率空间为：
P X (x ) P ( a a 1 1 )
a 2 P (a 2)
a 3 ......a q P (a 3) .....P .(a q)
q
i 1
P(ai )
1
自信息量：事件ai发生所含有的信息量
须使用随机矢量的联合概率分布和条件概率分布来说明它们 之间的关联关系。
例：汉字组成的中文序列中，只有根据中文的语法、习惯用语、 修辞制约和表达实际意义的制约所构成的中文序列才是有意义 的中文句子或文章。所以，在汉字序列中前后文字的出现是有 依赖的，是彼此相关的。
25
5）m阶马尔可夫信源（非平稳信源）
底为2，单位为“比特（bit, binary unit）”； 底为e，单位为“奈特（nat, nature unit）”； 底为10，单位为“哈特（hat, Hartley）”； 根据换底公式得：
loga
X
logb X logb a
1 nat = 1.44bit , 1 hat = 3.32 bit；
1948年香农的权威性长文“通信的数学理论”，讨论了信 源和信道特性，1949年香农“噪声中的通信”，两论文奠 定了现代信息论的理论基础。
此后，在基本理论和实际应用方面，信息论都得到了巨大 的发展。
18
第2章 离散信源及其信息测度
2.1 信源的数学模型及分类 2.2 离散信源的信息熵 2.3 信息熵的基本性质 2.5 离散无记忆的扩展信源 2.6 离散平稳信源 2.7 马尔可夫信源 2.8 信源剩余度与自然语言的熵
a 2 P (a 2)
a 3 P (a 3)
28
2.1.1 自信息
设离散信源X的概率空间为：
P X (x ) P ( a a 1 1 )
a 2 P (a 2)
a 3 ......a q P (a 3) .....P .(a q)
q
i 1
P(ai )
1
自信息量：事件ai发生所含有的信息量
须使用随机矢量的联合概率分布和条件概率分布来说明它们 之间的关联关系。
例：汉字组成的中文序列中，只有根据中文的语法、习惯用语、 修辞制约和表达实际意义的制约所构成的中文序列才是有意义 的中文句子或文章。所以，在汉字序列中前后文字的出现是有 依赖的，是彼此相关的。
25
5）m阶马尔可夫信源（非平稳信源）
底为2，单位为“比特（bit, binary unit）”； 底为e，单位为“奈特（nat, nature unit）”； 底为10，单位为“哈特（hat, Hartley）”； 根据换底公式得：
loga
X
logb X logb a
1 nat = 1.44bit , 1 hat = 3.32 bit；
1948年香农的权威性长文“通信的数学理论”，讨论了信 源和信道特性，1949年香农“噪声中的通信”，两论文奠 定了现代信息论的理论基础。
此后，在基本理论和实际应用方面，信息论都得到了巨大 的发展。
18
第2章 离散信源及其信息测度
2.1 信源的数学模型及分类 2.2 离散信源的信息熵 2.3 信息熵的基本性质 2.5 离散无记忆的扩展信源 2.6 离散平稳信源 2.7 马尔可夫信源 2.8 信源剩余度与自然语言的熵
a 2 P (a 2)
a 3 P (a 3)
信息论与讲义编码8
定义 8.1 域是一些元素的集合，在这些元素中定义了
加法和乘法两种运算，且满足如下11条性质： （1）对加法它是一个交换群
（满足5条性质：封闭性、结合律、交换律、存在幺 元、存在逆元）；
（2）对乘法它也是一个交换群 （满足5条性质：封闭性、结合律、交换律、存在幺
元、存在逆元（除去0元素））； （3）对加法、乘法满足分配律：
的其他所有非零元素都可写成α的方幂 ,2, ,q1e。
以本原元为根的即约多项式称为本原多项式。
【例8.7】 基域GF (2)={0,1}，扩展域G F ( 2 m ) ，生成多项p(x)x3x21 ，
α是p(x)的根，即 p () 3 2 1 0 3 2 1
G F ( 2 m ) 是所有阶次小于3的多项式集合，共有8个元素：
8.1 有限域及其结构
8.1.1 域的定义
1．多项式
几个有关概念： （1）多项式：f( x ) f0 f 1 x f2 x 2 fn x n； （2）系数： fi∈K（集合） i=1, 2, …,n； （3）首一多项式：若多项式最高幂次项的系数 fn = 1，称该多项式为首一多项式； （4）多项式f (x)的阶次n记为f (x) = n； （5）多项式因式分解：将多项式分解为若干个 因式相乘，这种分解是唯一的； （6）即约多项式：阶大于0且在给定集合K上除 了常数和本身的乘积外，不能被其他多项式除尽 的多项式。
2．有关多项式的一些运算
（1）多项式带余除法
若p (x)不能整除a(x)，商Q (x)，余r(x)，记为：
a(x)= Q (x) p (x) +r (x)
r(x) < p (x)
（2）多项式模d(x)运算的剩余类集合
多项式a(x)被p(x)所除，余数记为r (x)，称为a(x)的模p(x)运算， R p ( x ) [a ( x就)]称为对多项式a(x)进行模p(x)运算的剩余类集合。
大学信息论与编码(第2版)-信息论与编码
20XX年复习资料大学复习资料专业：班级：科目老师：日期：第1章绪论1.1信息论的形成与发展⏹信息论的发展过程✓20X X X X24年，H N y q u i s t，信息率与带宽联系✓20X X X X28年，R V H a r t l e y,引入非统计信息量✓20X X X X36年，E H A r m s t r o n g，带宽与抗干扰能力✓20X X X X36年，H D u d l e y,发明声码机✓40年代初，N W i e n e r,“控制论”✓20X X X X48年，S h a n n o n,“信息论”“A m a t h e m a t i c a l t h e o r y o fc o m m u n i c a t i o n s”信息时代的里程碑✓50年代开始，I R E成立信息论组，出版信息论汇刊⏹信息论的形成与发展✓20X X X X59年，S h a n n o n,信源压缩编码理论，“C o d i n g t h e o r e m f o r a d i s c r e t e s o u r c e w i t h a f i d e l i t y c r i t e r i o n”✓20X X X X0X X1年，S h a n n o n,“双路通信信道”，多用户理论✓20X X X X0X X2年，C o v e r,广播信道⏹三大定理⏹无失真信源编码定理（第一极限定理）⏹信道编码定理（第二极限定理）⏹限失真信源编定理（第三极限定理）S h a n n o n信息论：在噪声环境下，可靠地、安全地、有效地传送信息理论----狭义信息论⏹信息✓定义广义定义：信息是物质的普遍属性，所谓物质系统的信息是指它所属的物理系统在同一切其他物质系统全面相互作用（或联系）过程中，以质、能和波动的形式所呈现的结构、状态和历史概率信息：信息表征信源的不定度，但它不等同于不定度，而是为了消除一定的不定度必须获得与此不定度相等的信息量⏹信息✓性质信息是无形的信息是可共享的信息是无限的信息是无所不在的信息是可度量的⏹信息✓信息与消息、信号比较消息是信息的数学载体、信号是信息的物理载体信号：具体的、物理的消息：具体的、非物理的 信息：非具体的、非物理的 信息的定义和性质⏹ 信息、消息、信号u 信号最具体，它是一物理量，可测量、可显示、可描述，同时它又是载荷信息的实体 信息的物理层表达u 消息是具体的、非物理的，可描述为语言文字、符号、数据、图片，能够被感觉到，同时它也是信息的载荷体。
信息理论与编码 答案_姚善化_清华大学出版社汇编
P xi P
yi
xi
0.6* 5 6
0.4* 3 4
0.8
P y2 1 P y1 0.2
所以收到消息 y j 后获得的关于 xi 的信息量即 I xi , y j 为：
（3）
I
x1,
y1
log
P y1 x1 P y1
log
56 0.8
0.059
(比特/符号)
I
x1,
y2
H X Y H X H Y X H Y 0.971 0.715 0.722
0.964 (比特/符号) （5）接收到消息 Y 后所获得的平均互信息量为：
I X ,Y H X H X Y 0.971 0.964 0.007 (比特/符号)
7. 某信源的消息符号集的概率分布和二进制代码如题表 2-5 所示。
答：设事件 A 为女孩是大学生；设事件 B 为女孩身高 1.6 米以上。
根据题意，则知：
P A 0.25
P B 0.50
P B A 0.75
而“身 高 1.6 米 以 上的 某 女 孩 是 大学 生 ”这 消 息表 明 是 在 B 事 件 发生 的 条 件 下，A 事 件 发
生。所以其概率为 PA B
由 P XY1 P X P Y1 X 及 联合 概 率分 布 与边 缘 概 率分 布 的关 系 可得 P XY1
及 P Y1 ，如表 2-1 所示：
表 2-1
3
Y1
Y2
P XY1
X
0 1 2
P Y1
0
1 P XY2
0
1
X
1/4
0
0
1/4
0
0
1/4
信息论与编码作业答案 新 超全
2-2
由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：p(0 | 00) =0.8，p(0 | 11)=0.2，p(1 | 00)=0.2，p(1 | 11) =0.8，
p(0 | 01) =0.5， p(0 | 10) =0.5， p(1 | 01) =0.5， p(1 | 10) =0.5。画出状态图，并计算各状态的稳态概率。
解：（1）状态转移矩阵
p(0 | 00) = p(00 | 00) = 0.8
p(0 | 01) = p(10 | 01) = 0.5
p(0 | 11) = p(10 | 11) = 0.2
p(0 | 10) = p(00 | 10) = 0.5
p(1 | 00) = p(01 | 00) = 0.2 p(1 | 01) = p(11 | 01) = 0.5
合共 15 种，每种出现的概率均为 1/18。
H
(X1, X2)
=
6
´
1 36
´
log
36
+
15
´
1 18
´
log 18
»
4.337bit
/event
（4）两个点数之和（即 2，3，…，12 构成的子集）的概率如下表所示
和2
3
4
5
6
7
8
9
10
11
12
组 1+1 1+2
1+3
1+4
1+5
1+6
2+6
3+6
答：（略）#
2-8
（题目略） Log(2) 1 Log(4) 2 Log(8) 3
2-9
信息论与编码第八章课后习题答案
进行 Huffman 编码，码字如下：
扩展信源的平均码长为：
L3 = 0.729 + 0.081*9 + 0.009*15 + 0.005 = 1.598
L3 = 0.532667 码符号/信源符号 N 四次扩展信源略； 当 N → ∞ 时，根据香农第一定理，平均码长为：
LN = H (S ) = 0.469 码符号/信源符号 N log r
第八章课后习题
【8.1】求概率分布为(1/3,1/5,1/5,2/15,2/15)信源的二元霍夫曼码。讨论此码对于 概率分布为(1/5,1/5,1/5,1/5,1/5)的信源也是最佳二元码。 解：
概率分布为(1/3,1/5,1/5,2/15,2/15)信源二元霍夫曼编码过程如下：
同样，对于概率分布为(1/5,1/5,1/5,1/5,1/5)的信源，编码过程如下：
488 2 少？如何编码？ 解：
平均每个消息携带的信息量为 2 比特，因此发送每个消息最少需要的二元脉 冲数为 2。如果四个消息非等概率分布，采用紧致码编码，可使得所需要的二元 脉冲数最少，编码过程如下：
平均码长为：
∑ L = P(si )li = 1.75 二元码符号/信源符号
即在此情况下消息所需的二元脉冲数为 1.75 个。 【8.6】若某一信源有 N 个符号，并且每个符号等概率出现，对这信源用最佳霍 夫曼码进行二元编码，问当 N = 2i 和 N = 2i +1（ i 是正整数）时，每个码字的长 度等于多少？平均码长是多少？ 解：
码长的方差，并计算平均码长和方差，说明哪一种码更实用些。 解：
进行三元编码，需增补一个概率为 0 的信源符号，两种编码方法如下所示。
图1
图2
ห้องสมุดไป่ตู้
扩展信源的平均码长为：
L3 = 0.729 + 0.081*9 + 0.009*15 + 0.005 = 1.598
L3 = 0.532667 码符号/信源符号 N 四次扩展信源略； 当 N → ∞ 时，根据香农第一定理，平均码长为：
LN = H (S ) = 0.469 码符号/信源符号 N log r
第八章课后习题
【8.1】求概率分布为(1/3,1/5,1/5,2/15,2/15)信源的二元霍夫曼码。讨论此码对于 概率分布为(1/5,1/5,1/5,1/5,1/5)的信源也是最佳二元码。 解：
概率分布为(1/3,1/5,1/5,2/15,2/15)信源二元霍夫曼编码过程如下：
同样，对于概率分布为(1/5,1/5,1/5,1/5,1/5)的信源，编码过程如下：
488 2 少？如何编码？ 解：
平均每个消息携带的信息量为 2 比特，因此发送每个消息最少需要的二元脉 冲数为 2。如果四个消息非等概率分布，采用紧致码编码，可使得所需要的二元 脉冲数最少，编码过程如下：
平均码长为：
∑ L = P(si )li = 1.75 二元码符号/信源符号
即在此情况下消息所需的二元脉冲数为 1.75 个。 【8.6】若某一信源有 N 个符号，并且每个符号等概率出现，对这信源用最佳霍 夫曼码进行二元编码，问当 N = 2i 和 N = 2i +1（ i 是正整数）时，每个码字的长 度等于多少？平均码长是多少？ 解：
码长的方差，并计算平均码长和方差，说明哪一种码更实用些。 解：
进行三元编码，需增补一个概率为 0 的信源符号，两种编码方法如下所示。
图1
图2
ห้องสมุดไป่ตู้
信息论与编码第三版 第8章
由：c u G 得
信息位
0 0 0 0 1 1 1 1 0 0 1 1 0 0 1 1 0 1 0 1 0 1 0 1 0 1 0 1 1 0 1 0
校验位
0 1 1 0 1 0 0 1 0 0 1 1 1 1 0 0 0 1 1 0 0 1 1 0
由两组码字循环构成的循环码。
信息论与编码
【例】（7，4）循环码： g ( x) 1 x x3 , k 4
g ( x) (1101000) xg ( x) (0110100) x 2 g ( x) (0011010) x3 g ( x) (0001101)
1101000 0110100 G 0011010 0001101
码字： c (c0 , c1 ,, cn 1 ) c( x) c0 c1 x cn 1 x n 1 对于线性分组码C，可以表示成码字多项式构成的集合：
字多项式 码字多项式
C C ( x) c0 c1 x cn1 x n1 (c0 , c1 ,, cn1 ) C
当一个循环码的生成矩阵确定后，其编码规则为：
c u G
1101000 0110100 (1110010) 如：u (1010) c (1010) 0011010 0001101
信息论与编码
三．循环码的系统码
由上述方法作出ห้องสมุดไป่ตู้生成矩阵所编出的码不是系统形式，如何得到系统形 式的循环码？
2 3 n k 1 则： xg ( x) g 0 x g1 x g 2 x g n k x
x 2 g ( x) g 0 x 2 g1 x 3 g 2 x 4 g n k x n k 2 x k 1 g ( x) g 0 x k 1 g1 x k g 2 x k 1 g n k x n 1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
错编码，在接收端用译码器对接收到的数据进行
译码后检测有无差错，通过按预定规则的运算，
如检测到差错，则确定差错的具体位置和性质， 自动加以纠正，故称为“前向纠错”。
8.2 纠错编码分类
HEC方式：是检错重发和前向纠错两种方式的
混合。发送端用编码器对发送数据进行便于检错
和纠错的编码，通过正向信道送到接收端，接收
8.3 线性分组码
2. 系统形式的生成矩阵 (n,k)码的任何生成矩阵都可以通过行运算（以 及列置换）简化成“系统形式” 。
1 0 0 | p ( k 1)( n k 1) 0 1 0 | T G [I k P ] | p1( n k 1) 0 0 1 | p 0 ( n k 1) p ( k 1)1 p11 p 01 p ( k 1) 0 p10 p 00
8.2 纠错编码分类
前向纠错方式----用于纠错的纠错码在译码器输 出端总要输出一个码字或是否出错的标志，这种 纠错码的应用方式称为前向纠错方式(FEC， Forward-error control)。
另外用于检错与纠错的方式还有混合纠错(HEC ，Hybrid Error Correction)。 如图所示为上述几种检错与纠错方式示意图， 图中有斜线的方框表示在该端检出错误。
两个序列之间的汉明距离定义为两个序列 之间对应位不同的位数。
8.1 纠错编码的基本概念
例如：α和β为码组X中的两个不同码字， X为一个长度为N的二元码组，其中：
α=[a1,a2,……aN] β=[b1,b2,……bN] 则α与β的汉明距离为： d=0表明为全同码，d=N表明为全异码 ai∈{0,1} bi∈{0,1}
8.3 线性分组码
4. 系统码 若通过行运算和列置换能将两个生成矩阵G互
等，则称这两个G等效。非系统码的G可通过运算
转变为系统码的G。等效的两个G生成的两个(n,k) 线性码也是等效的。因此，每个(n,k)线性码都可 以和一个系统的(n,k)线性码等效。
8.3 线性分组码
5. 空间构成 n维n重空间有相互正交的n个基底，选择k个基 底构成码空间C，选择另外的(n-k)个基底构成空 间H，C和H是对偶的CHT＝0, GHT=0 。
8.3 线性分组码
n维n重空间 Vn
k维k重 信息组 空间m
k维n重 码空间c G
n-k 维 n 重对偶 空间D H
8.3 线性分组码
用gi表示第i个基底并写成矩阵
g i [ gi ( n1) , gi ( n2) ,, gi1 , gi 0 ]
再将k个基底排列成k行n列的G矩阵
g ( k 1)( n 1) g ( k 1)1 T G [ g k 1 , g k , , g1 , g 0 ] g1( n 1) g11 g 01 g 0 ( n 1) g ( k 1) 0 g10 g 00
8.3 线性分组码
为了叙述方便，以下认为码失、码字、码组是
同义词，对n重矢量、1n矩阵、行矢量等的数学
表达式也不作严格区别。
8.3 线性分组码
设有等概出现的M组待传信源消息，每组有k位
，即 。今加上r个多余位，使每组消息变成
n=k+r位。而n位长的二进制序列共有2n个，但由
于信息组只有2k个，故有2n-2k个n位序列不是码字 。 设码字的形式为：
dmin=min{d(α,β)
α,β∈X
α≠β}
码的最小汉明距离是衡量码的纠、检错能力 的重要参数，码的最小距离越大，其纠、检 错能力越强。
8.1 纠错编码的基本概念
对于码C中的某一码字，其非零元素的 个数称为该码字的汉明重量。
8.2 纠错编码分类
8.2 纠错编码分类
对不同的信道需要设计不同类型的信道编码方 案，按照信道特性进行划分，信道编码可分为： 以纠独立随机差错为主的信道编码、以纠突发差 错为主的信道编码和纠混合差错的信道编码。
Ik是k×k单位矩阵，P是k×(n-k)矩阵。
8.3 线性分组码
3. 生成的码字C
前k位由单位矩阵Ik决定，等于把信息组m原封
不动搬到码字的前k位；其余的n-k位叫冗余位或
一致校验位，是前k个信息位的线性组合。这样生
成的（n,k）码叫做系统码。若生成矩阵G不具备 系统形式，则生成的码叫做非系统码。系统化不 改变码集，只是改变了映射规则。
8.2 纠错编码分类
其中分组码又可分循环码和非循环码：对循环
码而言，其码书的特点是，若将其全部码字分成
若干组，则每组中任一码字中码元循环移位后仍
是这组的码字；对非循环码来说，任一码字中的
码元循环移位后不一定再是该码书中的码字。
8.2 纠错编码分类
卷积码----把信息序列以每k0(通常较小)个码元 分段，编码器输出该段的监督码元r=n- k0 不但与本段的k0个信息元有关，而且还与其前面L 段的信息码元有关，故记卷积码为(n, k0,L)。 按照每个码元的取值来分，可有二元码和多元 码。由于目前的传输或存储系统大都采用二进制 的数字系统，所以一般提到的纠错码都是指二元 码。
传输特性不理想以及存在加性噪声,在接收端往
往会产生误码。
8.1 纠错编码的基本概念
目的在于提高通信（或存储）的可靠性， 减低误码率。 假设信源信息是二进制数字序列，将信 源编码其的输出序列构成长度为n的段， 记为C
C=c1,c2,…,cn
8.1 纠错编码的基本概念
设有m个不同的信息序列，每个不同的 序列由k（k<n)位（信息位），它由码元 组成。[C]为编码器的输出，称为码字矢 量，它由n位码元组成，其中有k位信息 元，r=n-k位监督元。
设某(7,3)线性分组码各码字的校验元与信息元
之间的关系由下述方程决定：
8.3 线性分组码
称此方程为该（7,3）线性分组码的校验方程， 由于该码系的所有码字都按同一规则确定与校验 ，故又称为一致校验方程。
8.3 线性分组码
如：信息组为101，即
代入一致校验方程得：
所以由信息组101编出的可送给信道传输的、具 有一定纠错能力的码字为：1010011。同理可求出 与其他7个信息组相对应的码字见下表：
从功能上看，信道编码可分为检错(可以发现 错误)码与纠错(不仅能发现而且能自动纠正)码两 类，纠错码一定能检错，检错码不一定能纠错， 平常所说的纠错码是两者的统称。
Hale Waihona Puke 8.2 纠错编码分类根据信息码元与监督码元之间的关系，纠错码
分为线性码和非线性码。
线性码——信息码元与监督码元之间呈线性关
系，它们的关系可用一组线性代数方程联系起来
8.1 纠错编码的基本概念
对于二元符号表上的分组码C，由表示消 息序列的长度为n的m个二元序列构成的集 合，称为二元分组码。 对于2k个n长码字全体构成的分组码，其 码字中的k位称为信息位，n-k位称为校验 位或监督位。 线性分组码：监督元与信息元之间的关系可 用一组线性方程组来描述的(n, k)分组码。
d min 2t 1
③ 若要求发现e个同时又纠正t个独立差错，则
dmin e t 1(e t )
8.3 线性分组码
消息m m=(mk-1,…,m1,m0)
(n,k) 分组编码器
码字c c=(cn-1,…,c1,c0)
码集 C 能否构成 n 维 n 重矢量空间的一个 k 维 n 重 子空间？如何寻找最佳的码空间？ qk 个信息元组 以什么算法一一对应映射到码空间。 码率－－编码效率：Rc =k/n
8.1 纠错编码的基本概念
• 编码效率：
–一个组中信息所占的比重
k R n
–k：信息码元的数目 –n：编码组码元的总数目 –r：监督码元的数目 n = k+ r
8.1 纠错编码的基本概念
若（n，k）分组码中k个信息位同原始k 个信息位相同，且位于n长码字的前（或后） k位，为校验位位于其后（或前），则称该 分组码为系统码，否则为非系统码。
8.2 纠错编码分类
1.检错与纠错方式
自动请求重发方式----用于检错的纠错码在译
码器输出端给出当前码字传输是否可能出错的指
示，当有错时按某种协议通过一个反向信道请求 发送端重传已发送的全部或部分码字，这种纠错 码的应用方式称为自动请求重发方式(ARQ， Automatic-Repeat-reQuest)。
端对少量的接收差错进行自动前向纠正，而对超 出纠正能力的差错则通过反馈重发方式加以纠正 ，所以是一种纠检结合的混合方式。
定理1 若纠错码的最小距离为dmin，那么如下三个 结论的任何一个结论独立成立： ① 若要发现e个独立差错，则要求最小码距 d min e 1 ② 若要纠正t个独立差错，则要求最小码距
第8章 纠错编码
8.1纠错编码的基本概念
8.2 纠错编码分类 8.3线性分组码 8.4循环码
8.1 纠错编码的基本概念
• 信源编码提高数字信号有效性
• 将信源的模拟信号转变为数字信号
• 降低数码率,压缩传输频带(数据压缩)
• 信道编码提高数字通信可靠性
• 数字信号在信道的传输过程中,由于实际信道的
信息组 000 001 010 011
对应码字 0000000 0011101 0100111 0111010
信息组 100 101 110 111
8.3 线性分组码
线性分组码码空间C是由k个线性无关的基底
g k 1 ,, g 1 , g 0 张成的k维n重子空间，码空间的所有
元素（即码字）都可以写成k个基底的线性组合， 即 c mk 1g m1 m1g1 m0 g 0
这种线性组合特性正是线性分组码名称的来历 。显然，研究线性分组码的关键是研究基底、子 空间和映射规则，如图所示
译码后检测有无差错，通过按预定规则的运算，
如检测到差错，则确定差错的具体位置和性质， 自动加以纠正，故称为“前向纠错”。
8.2 纠错编码分类
HEC方式：是检错重发和前向纠错两种方式的
混合。发送端用编码器对发送数据进行便于检错
和纠错的编码，通过正向信道送到接收端，接收
8.3 线性分组码
2. 系统形式的生成矩阵 (n,k)码的任何生成矩阵都可以通过行运算（以 及列置换）简化成“系统形式” 。
1 0 0 | p ( k 1)( n k 1) 0 1 0 | T G [I k P ] | p1( n k 1) 0 0 1 | p 0 ( n k 1) p ( k 1)1 p11 p 01 p ( k 1) 0 p10 p 00
8.2 纠错编码分类
前向纠错方式----用于纠错的纠错码在译码器输 出端总要输出一个码字或是否出错的标志，这种 纠错码的应用方式称为前向纠错方式(FEC， Forward-error control)。
另外用于检错与纠错的方式还有混合纠错(HEC ，Hybrid Error Correction)。 如图所示为上述几种检错与纠错方式示意图， 图中有斜线的方框表示在该端检出错误。
两个序列之间的汉明距离定义为两个序列 之间对应位不同的位数。
8.1 纠错编码的基本概念
例如：α和β为码组X中的两个不同码字， X为一个长度为N的二元码组，其中：
α=[a1,a2,……aN] β=[b1,b2,……bN] 则α与β的汉明距离为： d=0表明为全同码，d=N表明为全异码 ai∈{0,1} bi∈{0,1}
8.3 线性分组码
4. 系统码 若通过行运算和列置换能将两个生成矩阵G互
等，则称这两个G等效。非系统码的G可通过运算
转变为系统码的G。等效的两个G生成的两个(n,k) 线性码也是等效的。因此，每个(n,k)线性码都可 以和一个系统的(n,k)线性码等效。
8.3 线性分组码
5. 空间构成 n维n重空间有相互正交的n个基底，选择k个基 底构成码空间C，选择另外的(n-k)个基底构成空 间H，C和H是对偶的CHT＝0, GHT=0 。
8.3 线性分组码
n维n重空间 Vn
k维k重 信息组 空间m
k维n重 码空间c G
n-k 维 n 重对偶 空间D H
8.3 线性分组码
用gi表示第i个基底并写成矩阵
g i [ gi ( n1) , gi ( n2) ,, gi1 , gi 0 ]
再将k个基底排列成k行n列的G矩阵
g ( k 1)( n 1) g ( k 1)1 T G [ g k 1 , g k , , g1 , g 0 ] g1( n 1) g11 g 01 g 0 ( n 1) g ( k 1) 0 g10 g 00
8.3 线性分组码
为了叙述方便，以下认为码失、码字、码组是
同义词，对n重矢量、1n矩阵、行矢量等的数学
表达式也不作严格区别。
8.3 线性分组码
设有等概出现的M组待传信源消息，每组有k位
，即 。今加上r个多余位，使每组消息变成
n=k+r位。而n位长的二进制序列共有2n个，但由
于信息组只有2k个，故有2n-2k个n位序列不是码字 。 设码字的形式为：
dmin=min{d(α,β)
α,β∈X
α≠β}
码的最小汉明距离是衡量码的纠、检错能力 的重要参数，码的最小距离越大，其纠、检 错能力越强。
8.1 纠错编码的基本概念
对于码C中的某一码字，其非零元素的 个数称为该码字的汉明重量。
8.2 纠错编码分类
8.2 纠错编码分类
对不同的信道需要设计不同类型的信道编码方 案，按照信道特性进行划分，信道编码可分为： 以纠独立随机差错为主的信道编码、以纠突发差 错为主的信道编码和纠混合差错的信道编码。
Ik是k×k单位矩阵，P是k×(n-k)矩阵。
8.3 线性分组码
3. 生成的码字C
前k位由单位矩阵Ik决定，等于把信息组m原封
不动搬到码字的前k位；其余的n-k位叫冗余位或
一致校验位，是前k个信息位的线性组合。这样生
成的（n,k）码叫做系统码。若生成矩阵G不具备 系统形式，则生成的码叫做非系统码。系统化不 改变码集，只是改变了映射规则。
8.2 纠错编码分类
其中分组码又可分循环码和非循环码：对循环
码而言，其码书的特点是，若将其全部码字分成
若干组，则每组中任一码字中码元循环移位后仍
是这组的码字；对非循环码来说，任一码字中的
码元循环移位后不一定再是该码书中的码字。
8.2 纠错编码分类
卷积码----把信息序列以每k0(通常较小)个码元 分段，编码器输出该段的监督码元r=n- k0 不但与本段的k0个信息元有关，而且还与其前面L 段的信息码元有关，故记卷积码为(n, k0,L)。 按照每个码元的取值来分，可有二元码和多元 码。由于目前的传输或存储系统大都采用二进制 的数字系统，所以一般提到的纠错码都是指二元 码。
传输特性不理想以及存在加性噪声,在接收端往
往会产生误码。
8.1 纠错编码的基本概念
目的在于提高通信（或存储）的可靠性， 减低误码率。 假设信源信息是二进制数字序列，将信 源编码其的输出序列构成长度为n的段， 记为C
C=c1,c2,…,cn
8.1 纠错编码的基本概念
设有m个不同的信息序列，每个不同的 序列由k（k<n)位（信息位），它由码元 组成。[C]为编码器的输出，称为码字矢 量，它由n位码元组成，其中有k位信息 元，r=n-k位监督元。
设某(7,3)线性分组码各码字的校验元与信息元
之间的关系由下述方程决定：
8.3 线性分组码
称此方程为该（7,3）线性分组码的校验方程， 由于该码系的所有码字都按同一规则确定与校验 ，故又称为一致校验方程。
8.3 线性分组码
如：信息组为101，即
代入一致校验方程得：
所以由信息组101编出的可送给信道传输的、具 有一定纠错能力的码字为：1010011。同理可求出 与其他7个信息组相对应的码字见下表：
从功能上看，信道编码可分为检错(可以发现 错误)码与纠错(不仅能发现而且能自动纠正)码两 类，纠错码一定能检错，检错码不一定能纠错， 平常所说的纠错码是两者的统称。
Hale Waihona Puke 8.2 纠错编码分类根据信息码元与监督码元之间的关系，纠错码
分为线性码和非线性码。
线性码——信息码元与监督码元之间呈线性关
系，它们的关系可用一组线性代数方程联系起来
8.1 纠错编码的基本概念
对于二元符号表上的分组码C，由表示消 息序列的长度为n的m个二元序列构成的集 合，称为二元分组码。 对于2k个n长码字全体构成的分组码，其 码字中的k位称为信息位，n-k位称为校验 位或监督位。 线性分组码：监督元与信息元之间的关系可 用一组线性方程组来描述的(n, k)分组码。
d min 2t 1
③ 若要求发现e个同时又纠正t个独立差错，则
dmin e t 1(e t )
8.3 线性分组码
消息m m=(mk-1,…,m1,m0)
(n,k) 分组编码器
码字c c=(cn-1,…,c1,c0)
码集 C 能否构成 n 维 n 重矢量空间的一个 k 维 n 重 子空间？如何寻找最佳的码空间？ qk 个信息元组 以什么算法一一对应映射到码空间。 码率－－编码效率：Rc =k/n
8.1 纠错编码的基本概念
• 编码效率：
–一个组中信息所占的比重
k R n
–k：信息码元的数目 –n：编码组码元的总数目 –r：监督码元的数目 n = k+ r
8.1 纠错编码的基本概念
若（n，k）分组码中k个信息位同原始k 个信息位相同，且位于n长码字的前（或后） k位，为校验位位于其后（或前），则称该 分组码为系统码，否则为非系统码。
8.2 纠错编码分类
1.检错与纠错方式
自动请求重发方式----用于检错的纠错码在译
码器输出端给出当前码字传输是否可能出错的指
示，当有错时按某种协议通过一个反向信道请求 发送端重传已发送的全部或部分码字，这种纠错 码的应用方式称为自动请求重发方式(ARQ， Automatic-Repeat-reQuest)。
端对少量的接收差错进行自动前向纠正，而对超 出纠正能力的差错则通过反馈重发方式加以纠正 ，所以是一种纠检结合的混合方式。
定理1 若纠错码的最小距离为dmin，那么如下三个 结论的任何一个结论独立成立： ① 若要发现e个独立差错，则要求最小码距 d min e 1 ② 若要纠正t个独立差错，则要求最小码距
第8章 纠错编码
8.1纠错编码的基本概念
8.2 纠错编码分类 8.3线性分组码 8.4循环码
8.1 纠错编码的基本概念
• 信源编码提高数字信号有效性
• 将信源的模拟信号转变为数字信号
• 降低数码率,压缩传输频带(数据压缩)
• 信道编码提高数字通信可靠性
• 数字信号在信道的传输过程中,由于实际信道的
信息组 000 001 010 011
对应码字 0000000 0011101 0100111 0111010
信息组 100 101 110 111
8.3 线性分组码
线性分组码码空间C是由k个线性无关的基底
g k 1 ,, g 1 , g 0 张成的k维n重子空间，码空间的所有
元素（即码字）都可以写成k个基底的线性组合， 即 c mk 1g m1 m1g1 m0 g 0
这种线性组合特性正是线性分组码名称的来历 。显然，研究线性分组码的关键是研究基底、子 空间和映射规则，如图所示