章_有噪信道编码定理共37页文档
合集下载
ch6-有噪信道编码编码
……
译码规则总数：rs r-信道输入的符号序列总数，即码字总数, s-信道输出的符号序列总数，即接收矢量个数.
平均错误 概率最小！
28
10
6.1.2 译码规则
假设译码规则为：F ( y j )=xi，则
• 译码的条件正确概率： p( F ( y j ) | y j ) = p( xi | y j )
H ( E | Y ) ≤ H ( E ) = H ( pE ),
∴H (EX | Y ) ≤ H ( pE ) + pE log(r −1),
(*)
2. H (EX | Y ) = H (E | Y ) + H ( X | EY ),
H ( X | EY ) = p(E = 0)H ( X | Y , E = 0) + p(E = 1)H ( X | Y , E = 1)
Y Y
定义61.2 选择译码函数 F ( y j ) = x*，使之满足条件 . p( x* | y j ) ≥ p( xi | y j ) （xi ≠ x* , 对∀i） 则称为最大后验概率译码规则。
理想译码器
定义61.3 选择译码函数 F ( y j ) = x*，使之满足条件 . p( y j | x* ) ≥ p( y j | xi ) （xi ≠ x* , 对∀i） 则称为极大似然译码规则。
p(E = 0)H( X | Y, E = 0) = (1− pE ) ×0 = 0 p(E = 1)H ( X | Y , E = 1) ≤ pE log(r −1) ∴H ( X | EY ) ≤ pE log(r −1),
∵ E是XY的函数, ∴ H ( E | XY ) = 0,
∴ H ( EX | Y ) = H ( X | Y ),
有噪信道编码定理
而编码定理要证明的就是：只要信道速率小于信道容量，总存在一种
编码使误码率任意小。
对理想无噪信道，编码定理需要证明 R = LH (U ) < log D 时，误码任
意小；（平均码长与输入熵的关系）
N
对有噪信道情况，编码定理需要证明 R = LH (U ) < C 时，误码任意
小。（信道速率与信道容量的关系）
z 二元编码误差；
z 多元编码误差，信道编码定理。
¾ 基本要求
z 理解信道编码的目的；理解信道速率的概念；
z 理解最小误差和最大似然两个解码准则，会根据最大似然解码准则 划分输出子集；
z 了解二元编码的误码率上界，会计算 gn ( s) ；
z 了解多元编码的误码率上界，理解编码指数的含义及使用方法，掌 握编码指数的曲线变化，掌握有噪信道编码定理。
121316161213131612yx??????????ppx123111244xxxx????????????????pdiagx12121316141611214161213124181121413161211212418xyyx??????????????????????????????pp1diagyxyxy????ppp2012424信息论与编码有噪信道编码定理14xianjiaotonguniversity52解码准则所以
2012-4-24
《信息论与编码》－－有噪信道编码定理
7
《信息论与编码》--有噪信道编码定理
5.1 信道速率
定义：信道每用一次所需要传递的信息量。
XI’AN JIAOTONG UNIVERSITY
设信道编码器的输入是长为 L 的 K 进制序列，输出是N 位长 D进制序 列。可能的输入有 M = K L 种，输出有 T = DN 种，M < T。
信息论基础课件第6章有噪信道编码
0
0
p p
1 p
p 0.01
1
p p 1
01
0p p
[P]
1
p
p
F (0) 0 F (1) 1
PE
PE m in
1 r
s j 1
i*
p(b j
/
ai
)
1 2
(
p
p) 102
➢ 重复发送可以使PE减小 但是：信息传输率降低
传输消息:
重复码
0, 0 00
1 1 11
校验元
若传000, 收到误传为100,010,001中的任一 种, 则认为是传的000，实现了纠错。
6.1 信道编码的概念
第5章结论：在无噪无损信道上，只要对信源 的输出进行恰当的编码，总能以信道容量C 无差错地传输信息。
实际信道都有噪声干扰，本章研究香农第二 定理，即通信的可靠性问题。包括：
1.怎么使有噪信道中消息传输错误达到最少? 2.在有噪信道中无错误传输的可达的最大信息
传输率是什么?
信道编码概述
0.57
2 编码方法
• 上一节结论： 消息通过有噪信道传输时会发生错误 错误概率与译码规则有关
• 噪声干扰：破坏了信号的内部结构－－产生畸变 而造成信息的损失。
• 提高信号抗噪声干扰能力：改造信号使其内部结 构具有更强的规律性或相关性，当信号的部分结 构被破坏时，仍能根据信号原有的内在规律和相 关性来发现甚至纠正错误，恢复原来的信息。
• 通信系统模型
消息集中 一个元素
信道波形 空间中的
一个点
失真后 的波形
恢复的 消息
信源 编码
信道 编码
信道
信道 译码
8-第八讲 有噪声信道编码定理
8－3 联合典型序列 －
定义： 长的序列对 长的序列对（ ， ）满足： 定义：n长的序列对（x，y）满足： 典型序列， （1）x是ε典型序列，即对于任意小的正数 ，存在 使 ） 是 典型序列 即对于任意小的正数ε 存在n使
1 | − log P(x) − H( X ) |< ε n
Y , X −a*
∑P(a b )
i j
求和号中的X－ 表示对符号集中除 以外的所有元素求和。 表示对符号集中除a*以外的所有元素求和 求和号中的 －a*表示对符号集中除 以外的所有元素求和。
P = E
而平均正确率为
Y , X −a*
∑P(b
j
| ai ) p(ai )
以 a 为条件 转移概率
PE =1− P = ∑P[F(bj )bj ] = ∑P(a*bj ) E
第八讲 有噪声信道编码定理
8－1 － 8 －2 8 －3 8 －4 错误概率与译码准则 Fano不等式 Fano不等式 联合典型序列 无失真信道编码定理
8 －1
错误概率与译码准则
1、离散信道编码的概念 、
信 源
信 源 编 码
信 道 编 码
信 道
信 源 译 码
信 源 译 码
信 宿
x∈ X
um ∈U
例：已知信道矩阵 已知信道矩阵
0.5 0.3 0.2 P = 0.2 0.3 0.5 0.3 0.3 0.4
F(bj ) = a1 B : F(bj ) = a3 F(bj ) = a2
根据最大似然译码准则，可选择译码函数为 根据最大似然译码准则，可选择译码函数为B
x1 = (x11, x12,⋯x1n ), x2 = (x21, x22,⋯x2n ),⋯ xm = (xm1, xm2 ,⋯xmn ),⋯xM = (xM1, xM 2 ,⋯xMn ),
信息论基础第6章有噪信道编码定理[103页]
![信息论基础第6章有噪信道编码定理[103页]](https://img.taocdn.com/s3/m/29f089d31ed9ad51f11df279.png)
6.5.2 线性分组码的译码
在二元域中，少 1 个方程导致 2 个解，少 2 个方程导致 22 个解，
以此类推，少 k 个方程导致 2k 个解，即每个伴随式对应的错误图样
有 2k 个解。究竟取哪一个作为错误图样的解呢？根据最小汉明距离
译码规则，应该取重量最小者作为 E 的估值。但是如果每接收一个码 字就要解一次线性方程，太麻烦。当 n-k 不大时，通常预先把不同 S 下的方程组解出来，把各种情况下的最小汉明距离译码输出列成一个 码表，称为标准阵列译码表。在实时译码时就不必解方程组，而只要 查标准阵列译码表就可以了。
《信息论基础》
第6章 有噪信道编码
本章内容
6.1 错误概率
6.7 卷积码
6.2 有噪信道编码定理
6.8 交织码
6.3 联合信源信道编码定理 6.9 级联码
6.4 信道编码的基本概念
6.10 Turbo码
6.5 线性分组码
6.11 LDPC码
6.6 循环码
《信息论基础》
6.1 错误概率
6.1.1 错误概率和译码规则
信道编码的实质就是通过牺牲有效性来换取可靠性的提高。在信
息码元中加入监督码元的多少，可以通过冗余度 来衡量。例如，每
3 个信息码元中加入 1 个监督码元，这时冗余度 1/ 4 。信道编码的
任务就.4.1 信道编码的分类
①
按照信道特性和设计的码字类型进行划分，信道编码可
标准阵列译码表为一个 2nk 行 2k 列的码表，用来存放接收码字
R rn1,rn2 ,,r1,r0 可能的 2n 种组合。
构造标准阵列译码表，一般可以采用以下几个步骤： ① 根据最小汉明距离译码规则，确定各伴随式对应的差错图样。
有噪信道编码
第7章有噪信道编码本章主要内容：√1.概述√2.最佳判决与译码准则3.信道编码与最佳译码√4.费诺（Fano）不等式√5.有噪信道编码定理6.纠错编码技术简介7.信道编码性能界限§7.1 概述信道编码：就是按一定的规则给信源输出序列增加某些冗余符号，使其变成满足一定数学规律的码序列（或码字），再经信道进行传输。
（提高传输的可靠性）信道译码：就是按与编码器同样的数学规律去掉接收序列中的冗余符号, 恢复信源消息序列。
一般地，所加的冗余符号越多，纠错能力就越强，但传输效率降低。
因此在信道编码中明显体现了传输有效性与可靠性的矛盾。
本节主要内容：1. 信道编码的基本概念2. 判决与译码规则3. 译码错误概率7.1.1 信道编码的基本概念简化的通信系统模型如图7.1.1所示。
图7.1.1 简化通信系统模型图信道译码信道编码信道码字（码长为n)等概消息{1,2,……，M}接收序列恢复的消息U Vn Y n X 设信源输出或信道编码器的输入消息集合为U，信道编码器采用分组编码，输出码字为的一个子集，其中每个码符号取自符号集；码字通过离散无记忆信道传输；信道输出或译码器的输入为，其中每个符号取自符号集；译码器输出是被恢复的消息，其集合用V表示。
n X i x X ∈12{,,,}r A a a a = n Y y Y ∈12{,,,}s B b b b =（1）消息产生：由信源发出M 个等概率消息：U ={1，2，…，M}；（2）信道编码：编码器将消息映射成码字，编码函数f ：{1，2，…，M}→C= ，其为码长为n 的码字，码符号集A 的大小为r ；（3）信道传输：为n 维矢量，取自码字集C ，作为n 次扩展信道的输入，，是n 维矢量，为信道输出，；（4）信道译码：译码器根据接收的完成译码功能，译码函数。
12{,,,}M c c c x n C A ∈y n Y ∈y y :{1,2,,}n g Y V M →=⋅⋅⋅信息传送过程衡量信道编码有效性的重要指标就是信息传输速率（也称码率）。
通信原理第十章-有噪信道编码定理
译码准则应为最大后验概率准则。根据（10-12） ，为设计最大后验译码函数，需要先计算联 合概率矩阵。根据（ 10-4 ）中的信道矩阵和输入信号的先验概率，可得联合概率矩阵
P ai b j 为
0.125 0.075 0.05 P ai b j 0.05 0.075 0.125 0.2 0.15 0.15
F b1 0 a1 0
则当信道输入等概分布时，平均错误概率为
F b2 0 a2 0
PE 0.01
对于一般数据传输系统来说 （如数字通信， 数据传输， 等等） ， 这个错误概率相当大了。 一般要求系统的错误概率在 10-6 ~ 10-9 的范围内，有的甚至要求更低的错误概率。 那么， 在上述统计特性的二元信道中， 能否有办法使错误概率降低呢？实际经验告诉我 们：只要在发送端把消息重复发几遍，也就是增加消息的传输时间，就可使接收端接收消息 时错误减少，从而提高了通信的可靠性。 如在上述 p=0.01 的二元对称信道中，当发送消息（符号）0 时，不是只发一个 0 而是 连续发三个 0；同样发送消息（符号）1 时也连续发送三个 1。这是一种最简单的重复编码， 它将长度 n 1 的两个二元序列变成长度 n 3 的二元序列，我们称这两个长度为 3 的二元 序列为码字，于是信道输入端有两个码字 000 和 111。但在输出端，由于信道干扰的作用， 码字中各个码元（二元符号）都可能发生错误，因此，信道的输出序列有 8 种可能 （000,001,010,011,100， 101,110,111） 。 显然， 这样一种信道可以看成是三次无记忆扩展信道。 其输入序列集合中包括 2 个长度为 3 的码字， 输出序列集合中包括 8 个长度为 3 的符号序列。 这时信道矩阵为
P ai b j 为
0.125 0.075 0.05 P ai b j 0.05 0.075 0.125 0.2 0.15 0.15
F b1 0 a1 0
则当信道输入等概分布时，平均错误概率为
F b2 0 a2 0
PE 0.01
对于一般数据传输系统来说 （如数字通信， 数据传输， 等等） ， 这个错误概率相当大了。 一般要求系统的错误概率在 10-6 ~ 10-9 的范围内，有的甚至要求更低的错误概率。 那么， 在上述统计特性的二元信道中， 能否有办法使错误概率降低呢？实际经验告诉我 们：只要在发送端把消息重复发几遍，也就是增加消息的传输时间，就可使接收端接收消息 时错误减少，从而提高了通信的可靠性。 如在上述 p=0.01 的二元对称信道中，当发送消息（符号）0 时，不是只发一个 0 而是 连续发三个 0；同样发送消息（符号）1 时也连续发送三个 1。这是一种最简单的重复编码， 它将长度 n 1 的两个二元序列变成长度 n 3 的二元序列，我们称这两个长度为 3 的二元 序列为码字，于是信道输入端有两个码字 000 和 111。但在输出端，由于信道干扰的作用， 码字中各个码元（二元符号）都可能发生错误，因此，信道的输出序列有 8 种可能 （000,001,010,011,100， 101,110,111） 。 显然， 这样一种信道可以看成是三次无记忆扩展信道。 其输入序列集合中包括 2 个长度为 3 的码字， 输出序列集合中包括 8 个长度为 3 的符号序列。 这时信道矩阵为
第六章有噪信道编码
p( x i / y j ) = p( x i ) p( y j / x i ) p( y j ) p( x * ) p( y j / x )
p( 样，当信道输入符号集X的先验概率为等概时，根 这样，当信道输入符号集X的先验概率为等概时， 据最大后验概率译码准则， 据最大后验概率译码准则， p(x*)p(yj/x*)≥p(xi)p(yj/xi) (i=1,2,……n) 最大后验概率可以用最大信道转移概率来取代。 最大后验概率可以用最大信道转移概率来取代。
使用最大后验概率译码准则必须已知后验概率，一般 使用最大后验概率译码准则必须已知后验概率， 说来，后验概率很难确定， 说来，后验概率很难确定，但信道的统计特性描述总 是给出信道转移概率， 是给出信道转移概率，因此利用信道转移概率的译码 准则。 准则。 由概率中的贝叶斯定理可有： 由概率中的贝叶斯定理可有：
6.1.2译码准则 6.1.2译码准则
定义6.1.1 定义6.1.1 设信道 输入符号集X={x ,i=1,2,…,r}, 输入符号集X={xi,i=1,2, ,r}, 输符号集为Y={y ,j=1,2,…,s}, 输符号集为Y={yj,j=1,2, ,s}, 若对每一个输出符号y 若对每一个输出符号yj都有一个确定的函数 对应于惟一的一个输入符号x F(yj)，使yj对应于惟一的一个输入符号xi，则 这样的函数为译码规则。 这样的函数为译码规则。 F(yj)=xi (i=1,2,…r; j=1,2,…s) 对于有r个输入， 个输出的信道来说， 对于有r个输入，s个输出的信道来说，可以 rs个不同的译码准则 个不同的译码准则。 有rs个不同的译码准则。
消息集中 一个元素
信道波形 空间中的 一个点
失真后 的波形
恢复的 消息
信信 编编
p( 样，当信道输入符号集X的先验概率为等概时，根 这样，当信道输入符号集X的先验概率为等概时， 据最大后验概率译码准则， 据最大后验概率译码准则， p(x*)p(yj/x*)≥p(xi)p(yj/xi) (i=1,2,……n) 最大后验概率可以用最大信道转移概率来取代。 最大后验概率可以用最大信道转移概率来取代。
使用最大后验概率译码准则必须已知后验概率，一般 使用最大后验概率译码准则必须已知后验概率， 说来，后验概率很难确定， 说来，后验概率很难确定，但信道的统计特性描述总 是给出信道转移概率， 是给出信道转移概率，因此利用信道转移概率的译码 准则。 准则。 由概率中的贝叶斯定理可有： 由概率中的贝叶斯定理可有：
6.1.2译码准则 6.1.2译码准则
定义6.1.1 定义6.1.1 设信道 输入符号集X={x ,i=1,2,…,r}, 输入符号集X={xi,i=1,2, ,r}, 输符号集为Y={y ,j=1,2,…,s}, 输符号集为Y={yj,j=1,2, ,s}, 若对每一个输出符号y 若对每一个输出符号yj都有一个确定的函数 对应于惟一的一个输入符号x F(yj)，使yj对应于惟一的一个输入符号xi，则 这样的函数为译码规则。 这样的函数为译码规则。 F(yj)=xi (i=1,2,…r; j=1,2,…s) 对于有r个输入， 个输出的信道来说， 对于有r个输入，s个输出的信道来说，可以 rs个不同的译码准则 个不同的译码准则。 有rs个不同的译码准则。
消息集中 一个元素
信道波形 空间中的 一个点
失真后 的波形
恢复的 消息
信信 编编