信息论与编码(第三版) 第6章 信道编码理论
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第六章 信道编码理论
信息论研 究问题
无失真 编码
限失真 编码 香农第 3定理
可靠性
本章和后续章节
有效性
等长编码 变长编码
无失真编码 限失真编码
第4、5章讨论
信息率受到熵的限制，平均码长 不小于熵
香农第1定理
平均码长受到信息 率失真函数限制
在平均失真一定条 件下，编码输出码 率不小于平均失真 所对应信息率
检测纠正 数据错误
制定规则 引入冗余 提供检错纠 错的可能
线性分组 码还是卷 积码，或 者其组合
差错编码 差错译码
共同完成
根据已知的规则， 利用引入冗余
按照某种原则(译 码方法)进行检错、
纠错
硬判决译码、软判 决译码； 最大似然译码还是 最小错误概率译码 等等
6.1 差错、差错控制系统分类
差错的 本质
根据规则
检测错误
反馈 信道
检测 结果
优点
1编译码设备比较简单
2冗余一定，检错码的检错能力比纠错码的 纠错能力要高的多，所以系统具有极强的 纠错能力
3能获得极低的误码率
不足
1信道质量不好时， 数据不同重发，导 致效率下降
由于检错码的检错能力 与信道干扰的变化基本 无关，因此这种系统的 适应性很强，特别适应 于短波、散射、有线等 干扰情况特别复杂的信 道中
线性码
非线性码
线性码的所有码字的
码元都是原始信息元 的线性组合
非线性码的码元不是 信息元的线性组合
线性码的特点：任意 两个线性码字的线性 组合仍然是一个码字
当前许多好码都是线性码
四、构 造码字 的理论
代数码
近世 代数
几何码
投影 几何
算术码 数论
组合码
排列组 合+数论
五、差 错的类 型
高斯信道
随机纠错码
6.2 纠错码的基本概念
定义6.1 分组码就是对每个k位长的信息组，按照一定规则
增加r=n-k位校验码元，构成长度为n的序列(Cn-1Cn-2….C1C0) 该序列称为码字（或者码组、码矢）。
❖ 差错图样中的1就是符号差错，同时也是比特差错，而差错 的个数就是汉明距离。
C (1010)
R (0011)
E C R (1001)
一、功能
纠错码的分类
检测码
纠错码
只检测信息传输是否出现错 误，本身没有纠错的能力
不仅能够检测信 息传输中的错误，
并且能够自动纠
循环冗余校验码、 奇偶校验码等
2需要反馈信道， 占用额外频率资源
二、前向纠错方式（FEC）
检测 结果
发送端
信道
接收端
发送
纠错码
接收码字
根据编译 码规则
Y 错误
N
译码 规则 纠错
纠错能力足够好，能够纠 正信道引入的数据错误
输出信息
优点 不足
1.不需要反馈信道，能够实现一对多的同 步广播通信 2.译码实时性好，控制电路比ARQ也简 单 由于假设纠错码的纠错能力足够纠正信息序 列传输中的错误，也就是纠错码与信道的干 扰是相匹配的，所以对信道的适应性较差
信号无失真传 输条件：通频 带内系统增益 为常数；相位 为线性(群延时
相等)
❖ 信号差错的指标通常用概率大小表征，符号差错概率 也称为误码元率，是指信号差错的概率；
❖ 误比特率则是表示信息差错概率的一种方法 ；
❖ 对于M进制码元，差错图样E为
E (C R)(mod M )
❖ 二进制码而言 E CR
本章讨论通信中的另外一个问题——通信的可靠性问题：
即如何选择 译码规则和 编码方法
减少信道传 输中的信息 差错
由于信道噪声或者干扰的存在， 会产生数据传输错误。
信道编码定理，也 称为香农第二定理
通信原理告诉我们，信 道一定，数据传递错误 一定
以二进制调幅+高斯白噪声为例， 介绍虚警概率、漏报概率，以及 计算错误概率的过程和方法
正错误，
将信息序列划分为
二、信息
分组码
卷积码
组，但当前码组的编
序列处理 方法
将信息序列划分为位 为一组，然后对各个
信息组分别进行编码，
形成对应的一个码字
译码不仅与当前信息
卷积 组有关，而且与前面
要素 移位、 相加
若干码组的编译码有 关，可以利用码组的
相关性进行译码
三、码元 与原始信 息之间的 关系
❖ 为了获得合适的误码率，往往按照信道最差的情况设计纠错 码，增加的冗余码元比检错码要多，编码效率一般较低。
❖ 随着编码理论的发展和大规模集成技术的发展，复杂算法的 译码设备越来越简单，成本越来越低，所以在实际中这种方 式得到广泛应用
二、混合纠错方式(HEC)
该编码方式是前两种方式的折中 发送的码不仅具有检错功能，而且具有一定的纠错能力。 接收端接收到码序列后，首先检测出现错误 如果序列错误在码的纠错能力内则自动纠正错误； 如果超出码的纠错能力，则接收端通过反馈信道将出错信 息发送给发送端，要求发送端重发码该码字序列。 由于该方式避免了FEC要求的复杂设备和ARQ方式的信息 连贯性差的缺点，并且可以达到较低的误码率，所以在实际 中得到广泛应用
主要适合随机错 误信道，纠正其 中可能产生的随 机错误
纠突发错误码
主要用于纠正 信息传输过程 中的突发错误
码元错误成串 出现，山区运 行的列车，高 速移动的汽车， 城市某些区域
五、码 元取值
二进制码 M进制码
纠错码
线性码
分组码
循环码
非循环码
非线性码 卷积码
纠随机 错误码
纠突发 错误码
纠随机与突 发错误码
差错控制方式
重传反馈方式 (ARQ)
前向纠错方式 (FEC)
混合纠错方式 (HEC)
❖ 一、重传反馈方式（ARQ）
信源
检错码 编码器
存储器
前向信道 噪声源
检错码 解码器
信宿
判决检测器 控制器
反馈信道
反馈 控制器
工作方式描述
发送端 发送检测码
前向 接收端
信道
接收码字
发送 后续 数据
Y N
重新发送
出错
信号传输过程中出现大的 信号波形畸变，导致信号 检错时发生错误，进而出 现 码元错误
叠加强的干扰 或者噪声
信号传输过程 中出现线性或 者非线性失真
线性失真
信号传输过程中不同的频率 分量增益不同，或者由于非
线性相位引起的延时不同
非线性 失真
系统的非线性引起的， 会产生新的频率分量
线性失真可以通过均 衡来解决
原始
数
符号
信息
据
信源
X
信源编码
Y
差错控制 编码
Z
调制
信息错误
数据错 误一定
物理信道
条件：实
信宿
Leabharlann Baidu
重建 符号
Xˆ
信源译码
Yˆ 差错控制 Zˆ
接收 信息
译码
接收 数据
解调
注
际信息传 输速率不 大于信道
容量，
意 1.信道一定，数据出现差错的概率一定，这是无
法改变的，与差错控制编码/译码方式无关
2.数据出现差错的概率不可改变，但是可以通过引 入差错控制编码/译码，降低信息传递中的错误
信息论研 究问题
无失真 编码
限失真 编码 香农第 3定理
可靠性
本章和后续章节
有效性
等长编码 变长编码
无失真编码 限失真编码
第4、5章讨论
信息率受到熵的限制，平均码长 不小于熵
香农第1定理
平均码长受到信息 率失真函数限制
在平均失真一定条 件下，编码输出码 率不小于平均失真 所对应信息率
检测纠正 数据错误
制定规则 引入冗余 提供检错纠 错的可能
线性分组 码还是卷 积码，或 者其组合
差错编码 差错译码
共同完成
根据已知的规则， 利用引入冗余
按照某种原则(译 码方法)进行检错、
纠错
硬判决译码、软判 决译码； 最大似然译码还是 最小错误概率译码 等等
6.1 差错、差错控制系统分类
差错的 本质
根据规则
检测错误
反馈 信道
检测 结果
优点
1编译码设备比较简单
2冗余一定，检错码的检错能力比纠错码的 纠错能力要高的多，所以系统具有极强的 纠错能力
3能获得极低的误码率
不足
1信道质量不好时， 数据不同重发，导 致效率下降
由于检错码的检错能力 与信道干扰的变化基本 无关，因此这种系统的 适应性很强，特别适应 于短波、散射、有线等 干扰情况特别复杂的信 道中
线性码
非线性码
线性码的所有码字的
码元都是原始信息元 的线性组合
非线性码的码元不是 信息元的线性组合
线性码的特点：任意 两个线性码字的线性 组合仍然是一个码字
当前许多好码都是线性码
四、构 造码字 的理论
代数码
近世 代数
几何码
投影 几何
算术码 数论
组合码
排列组 合+数论
五、差 错的类 型
高斯信道
随机纠错码
6.2 纠错码的基本概念
定义6.1 分组码就是对每个k位长的信息组，按照一定规则
增加r=n-k位校验码元，构成长度为n的序列(Cn-1Cn-2….C1C0) 该序列称为码字（或者码组、码矢）。
❖ 差错图样中的1就是符号差错，同时也是比特差错，而差错 的个数就是汉明距离。
C (1010)
R (0011)
E C R (1001)
一、功能
纠错码的分类
检测码
纠错码
只检测信息传输是否出现错 误，本身没有纠错的能力
不仅能够检测信 息传输中的错误，
并且能够自动纠
循环冗余校验码、 奇偶校验码等
2需要反馈信道， 占用额外频率资源
二、前向纠错方式（FEC）
检测 结果
发送端
信道
接收端
发送
纠错码
接收码字
根据编译 码规则
Y 错误
N
译码 规则 纠错
纠错能力足够好，能够纠 正信道引入的数据错误
输出信息
优点 不足
1.不需要反馈信道，能够实现一对多的同 步广播通信 2.译码实时性好，控制电路比ARQ也简 单 由于假设纠错码的纠错能力足够纠正信息序 列传输中的错误，也就是纠错码与信道的干 扰是相匹配的，所以对信道的适应性较差
信号无失真传 输条件：通频 带内系统增益 为常数；相位 为线性(群延时
相等)
❖ 信号差错的指标通常用概率大小表征，符号差错概率 也称为误码元率，是指信号差错的概率；
❖ 误比特率则是表示信息差错概率的一种方法 ；
❖ 对于M进制码元，差错图样E为
E (C R)(mod M )
❖ 二进制码而言 E CR
本章讨论通信中的另外一个问题——通信的可靠性问题：
即如何选择 译码规则和 编码方法
减少信道传 输中的信息 差错
由于信道噪声或者干扰的存在， 会产生数据传输错误。
信道编码定理，也 称为香农第二定理
通信原理告诉我们，信 道一定，数据传递错误 一定
以二进制调幅+高斯白噪声为例， 介绍虚警概率、漏报概率，以及 计算错误概率的过程和方法
正错误，
将信息序列划分为
二、信息
分组码
卷积码
组，但当前码组的编
序列处理 方法
将信息序列划分为位 为一组，然后对各个
信息组分别进行编码，
形成对应的一个码字
译码不仅与当前信息
卷积 组有关，而且与前面
要素 移位、 相加
若干码组的编译码有 关，可以利用码组的
相关性进行译码
三、码元 与原始信 息之间的 关系
❖ 为了获得合适的误码率，往往按照信道最差的情况设计纠错 码，增加的冗余码元比检错码要多，编码效率一般较低。
❖ 随着编码理论的发展和大规模集成技术的发展，复杂算法的 译码设备越来越简单，成本越来越低，所以在实际中这种方 式得到广泛应用
二、混合纠错方式(HEC)
该编码方式是前两种方式的折中 发送的码不仅具有检错功能，而且具有一定的纠错能力。 接收端接收到码序列后，首先检测出现错误 如果序列错误在码的纠错能力内则自动纠正错误； 如果超出码的纠错能力，则接收端通过反馈信道将出错信 息发送给发送端，要求发送端重发码该码字序列。 由于该方式避免了FEC要求的复杂设备和ARQ方式的信息 连贯性差的缺点，并且可以达到较低的误码率，所以在实际 中得到广泛应用
主要适合随机错 误信道，纠正其 中可能产生的随 机错误
纠突发错误码
主要用于纠正 信息传输过程 中的突发错误
码元错误成串 出现，山区运 行的列车，高 速移动的汽车， 城市某些区域
五、码 元取值
二进制码 M进制码
纠错码
线性码
分组码
循环码
非循环码
非线性码 卷积码
纠随机 错误码
纠突发 错误码
纠随机与突 发错误码
差错控制方式
重传反馈方式 (ARQ)
前向纠错方式 (FEC)
混合纠错方式 (HEC)
❖ 一、重传反馈方式（ARQ）
信源
检错码 编码器
存储器
前向信道 噪声源
检错码 解码器
信宿
判决检测器 控制器
反馈信道
反馈 控制器
工作方式描述
发送端 发送检测码
前向 接收端
信道
接收码字
发送 后续 数据
Y N
重新发送
出错
信号传输过程中出现大的 信号波形畸变，导致信号 检错时发生错误，进而出 现 码元错误
叠加强的干扰 或者噪声
信号传输过程 中出现线性或 者非线性失真
线性失真
信号传输过程中不同的频率 分量增益不同，或者由于非
线性相位引起的延时不同
非线性 失真
系统的非线性引起的， 会产生新的频率分量
线性失真可以通过均 衡来解决
原始
数
符号
信息
据
信源
X
信源编码
Y
差错控制 编码
Z
调制
信息错误
数据错 误一定
物理信道
条件：实
信宿
Leabharlann Baidu
重建 符号
Xˆ
信源译码
Yˆ 差错控制 Zˆ
接收 信息
译码
接收 数据
解调
注
际信息传 输速率不 大于信道
容量，
意 1.信道一定，数据出现差错的概率一定，这是无
法改变的，与差错控制编码/译码方式无关
2.数据出现差错的概率不可改变，但是可以通过引 入差错控制编码/译码，降低信息传递中的错误