第7章 有噪信道编码
合集下载
第七章：信息率失真函数与限失真信源编码
✓ 不同的p(v|u)有不同的 D
R(D)
✓ 对我们有意义的：具有最小的 D 的
p(v|u)
R(D)>0
✓ 利用该p(v|u)求得使R(Dmax)=0时的 Dmax
✓ R=0时，U,V统计独立p(v|u)只是v的 函数,则有： p(v|u)＝P(v)
R(D)=0
D Dmax
§7.3:率失真函数－5
]
• 失真函数：均方误差失真，即： d (u, v) (u v)2
–求解步骤：
• 计算平均失真度 D • 当 D ≤D，求互信息 • 求互信息的下限值得到包含有D和σ2 的R(D)表达式 • 讨论D和σ2 比值不同时R(D)的取值
–验证：找到满足R(D)的试验信道，验证其正确性 –结果分析：R(D)曲线分析
• 允许一定的失真度下，能将信源信息压缩到什么程 度？（最少需要多少比特才能在收端描述信源？）
• 一定的信息传输率R下，可能达到的最小的平均失 真是多少？
– 相关问题
• 失真如何度量？ • 率失真函数如何计算？
§7.1:概述－6
• 方法：
– 抽象：将与讨论重点关系小的部分抽象
• 因为涉及信源编码，对信道进行抽象
最好地利用C
消息 压缩冗余度
信 源
最佳分布 无噪无损信道
编 码
R=C;PE=0,
限：平均码长最小值Hr(S) 每个码符号平均能够携带的最大信息量
§7.1:概述－2
• 有噪信道编码定理回顾：
– 只要R<C，总可以找到一种信道编码方法，使在信道 上能够以尽可能小的PE传输信息。
增加冗余度，最好地匹配信 道特性
• P(u)=[ω，1－ ω]， ω≤1/2
信道编码
前言计算机通信是一种以数据通信形式出现，在计算机与计算机之间或计算机与终端设备之间进行信息传递的方式。
它是现代计算机技术与通信技术相融合的产物，在军队指挥自动化系统、武器控制系统、信息处理系统、决策分析系统、情报检索系统以及办公自动化系统等领域得到了广泛应用。
计算机通信系统是经典的数字通信系统，它是计算机技术和通信技术结合的产物，一方面通信网络为计算机之间的数据传递和交换提供必要的设施和手段；另一方面，数字计算机技术的发展渗透到通信技术中，又提高了通信网络的各种性能，二者相互渗透、互相促进、共同发展。
由于计算机、卫星通信及高速数据网的飞速发展，数据的交换、处理和存储技术得到了广泛的应用，数字信号在传输中往往由于各种原因，使得在传送的数据流中产生误码，从而使接收端产生图象跳跃、不连续、出现马赛克等现象，人们对数据传输和存储系统的可靠性提出来了越来越高的要求，经过长时间的努力，通过编译码来控制差错、提高可靠性的方式在信道传输中得到了大量的使用和发展，并形成了一门新的技术叫做纠错编码技术，纠错编码按其码字结构形式和对信息序列处理方式的不同分为两大类：分组码和卷积码。
第一章 信道编码1.1 信道编码概述1.1.1信道模型信息必须首先转换成能在信道中传输或存储的信息后才能通过信道传送给收信者。
在信息传输过程中，噪声或干扰主要是从信道引入的，它使信息通过信道传输后产生错误和失真。
因此信道的输入和输出之间一般不是确定的函数关系，而是统计依赖的关系。
只要知道信道的输入信号、输出信号以及它们之间的统计依赖关系，就可以确定信道的全部特性。
信道的种类很多，这里只研究无反馈、固定参数的单用户离散信道。
1．离散信道的数学模型离散信道的数学模型一般如图6.1所示。
图中输入和输出信号用随机矢量表示，输入信号为 X = (X 1, X 2,…, X N )，输出信号为Y = (Y 1, Y 2,…, Y N )；每个随机变量X i 和Y i 又分别取值于符号集A ={a 1, a 2, …, a r }和B ={b 1, b 2, …, b s }，其中r 不一定等于s ；条件概率P (y |x ) 描述了输入信号和输出信号之间的统计依赖关系，反映了信道的统计特性。
有噪信道编码
BSC信道，p=0.01
10
错误概率既与信道的统计特性有关，也与译码规则 的选择有关。
有 噪 信 道 编 码 定 理
举例
例如：二元对称信道中，单个符号的错误传递概率是， 正确的传递概率是11 。
1-ε 1 ε
0
0
ε
11
1
ε
1
1-ε
设输入等概，错误传递概率=2/3
有 噪 信 道 编 码 定 理
常用译码准则
解：设判决函数为 F ( y ) a *，得
p E ( A)
[(1/ 6 1/ 3) (1/ 3 1/ 6) (1/ 6 1/ 3)]/ 3
21
a a*
p( y | x a ) / 3
1/ 2
pE/ 3
时，则选择译码函数为F(y)=a*。可见，MAP准则可归结为似然比检验。
有 噪 信 道 编 码 定 理
MAP准则举例
a1 0 0.5 5 0 0.3 3 0 0.2 2 P a2 0.2 0.3 0.5 a3 0.3 0.3 0.4 由MAP准则 b1 b2 b3 a1 1/6 1/10 1/15 [ P (ai b j )] a2 1/15 1/10 1/6 a3 1/10 1/10 2/15 b1 b2
有 噪 信 道 编 码 定 理
ML准则举例
a1 0.5 0.3 0.2 P a2 0.2 0.3 0.5 a3 0.3 0.3 0.4 b1 b2 b3
由ML准则
F (b1 ) a1 F (b2 ) a2
F (b3 ) a2
18
错误率 PE=1-(0 1 (0.5+0.3+0.5)/3 5+0 3+0 5)/3=0 0.5667 5667。
第八讲有噪声信道编码定理
第八讲 有噪声信道编码定理
8－1 8－2 8－3 8－4
错误概率与译码准则 Fano不等式 联合典型序列 无失真信道编码定理
8－1 错误概率与译码准则
1、离散信道编码的概念
信源
信源
信道
编码
编码
信道
信源
信源
译码
译码
信宿
L
um UL
级 移
存
器
xX n
y Y n
纠
纠
错
错
编
解
码
离散信道
码
器
器
干扰
L
级 移
||G n(Y |x)| | 2n[H (Y |X )2]
定理：若 x 与 y 统计独立并与联合典型序列概率P(xy) 有相同的边缘分布，
即 ( x ,y ) P ( x ) P ( y ) P ( x ) y P ( x ) y P ( x ) P ( y );
y
x
（但不一定 P (x)P (y)P (x)y）
的概率约为 2nI(X;Y)
证明：
( x , y ) 为典型序列的概率，等于联合典型序列中任意
一对 X 和 Y 为独立的典型序列的概率。
P [x (,y) G n(X)Y ] P (x)P (y) (xy), G n(X)Y
2n[H (X) Y ]2 n[H (X) ]2 n[H (Y) ]2 n[I(X;Y) 3]
（3）
2n[H(XY)] P(xy)2n[H(XY)];
(1 )2n[H(X)] ||Gn(X)||2n[H(X)]; (1 )2n[H(Y)] ||Gn(Y)||2n[H(Y)]; (1 )2n[H(XY)] ||Gn(XY)||2n[H(XY)];
8－1 8－2 8－3 8－4
错误概率与译码准则 Fano不等式 联合典型序列 无失真信道编码定理
8－1 错误概率与译码准则
1、离散信道编码的概念
信源
信源
信道
编码
编码
信道
信源
信源
译码
译码
信宿
L
um UL
级 移
存
器
xX n
y Y n
纠
纠
错
错
编
解
码
离散信道
码
器
器
干扰
L
级 移
||G n(Y |x)| | 2n[H (Y |X )2]
定理：若 x 与 y 统计独立并与联合典型序列概率P(xy) 有相同的边缘分布，
即 ( x ,y ) P ( x ) P ( y ) P ( x ) y P ( x ) y P ( x ) P ( y );
y
x
（但不一定 P (x)P (y)P (x)y）
的概率约为 2nI(X;Y)
证明：
( x , y ) 为典型序列的概率，等于联合典型序列中任意
一对 X 和 Y 为独立的典型序列的概率。
P [x (,y) G n(X)Y ] P (x)P (y) (xy), G n(X)Y
2n[H (X) Y ]2 n[H (X) ]2 n[H (Y) ]2 n[I(X;Y) 3]
（3）
2n[H(XY)] P(xy)2n[H(XY)];
(1 )2n[H(X)] ||Gn(X)||2n[H(X)]; (1 )2n[H(Y)] ||Gn(Y)||2n[H(Y)]; (1 )2n[H(XY)] ||Gn(XY)||2n[H(XY)];
信道编码原理
的
某一种符号。
p(b1
a) 1
p(0 0)
1
p
p
【例5－1】 二元对称信道简记为
BSC(BinarySpy(mb2mae2t)ricCph(1a1n)nel1)， 其p 输p入/输出符号均取
值于{0，1}，若r=sp=(2b1，a且2 )a1=pb(10=10)，ap2=b2=1，有转移概率
p(b2
（4）选择合适的译码规则可降低平均错误译码的概率 。
5.2.3 费诺不等式
描述了平均错误译码概率Pe与信道疑义度H(X|Y) 的内在联系，即
H(X︱Y) ≤ H(Pe)十Pe1oga(r-1)
注：
（1）不论采用什么准则选择译码规则，费诺不等式都是普 遍成立的。
（2）费诺不等式表明，在收到信道输出随机变量后，对输 入随机变量仍然存在的平均不确定性H(X|Y)由两部分 组成：第一部分是收到输出随机变量后，按选择的译 码规则译码时，是否产生错误译码的平均不确定性 H(Pe)；第二部分是当平均错误译码概率为Pe时，到底 是哪一个信源符号被错误译码的最大平均不确定性 Pe1oga(r-1)。
prj p X F(bj ) ai Y bj
3. 错误译码概率Pej
当信道的输入符号是ai，在信道输出端接收到某符号 bj(j=1,2,…,s)后，错误译码的概率pej为信道输出端出现 bj(j=1,2,…,s)的前提下，推测信道输入的符号是除了ai以外 的其他任何可能的输入符号的后验概率，即
（1）从整个传递作用的效果来看，信道的输入是 X=X1X2…XN，输出是Y=Y1Y2…YN。 （2）与基本离散信道相比，N次扩展信道的输入符号数由r 种扩展为rN种,输出符号数由s种扩展为sN种。
N次扩展信道的传递矩阵
某一种符号。
p(b1
a) 1
p(0 0)
1
p
p
【例5－1】 二元对称信道简记为
BSC(BinarySpy(mb2mae2t)ricCph(1a1n)nel1)， 其p 输p入/输出符号均取
值于{0，1}，若r=sp=(2b1，a且2 )a1=pb(10=10)，ap2=b2=1，有转移概率
p(b2
（4）选择合适的译码规则可降低平均错误译码的概率 。
5.2.3 费诺不等式
描述了平均错误译码概率Pe与信道疑义度H(X|Y) 的内在联系，即
H(X︱Y) ≤ H(Pe)十Pe1oga(r-1)
注：
（1）不论采用什么准则选择译码规则，费诺不等式都是普 遍成立的。
（2）费诺不等式表明，在收到信道输出随机变量后，对输 入随机变量仍然存在的平均不确定性H(X|Y)由两部分 组成：第一部分是收到输出随机变量后，按选择的译 码规则译码时，是否产生错误译码的平均不确定性 H(Pe)；第二部分是当平均错误译码概率为Pe时，到底 是哪一个信源符号被错误译码的最大平均不确定性 Pe1oga(r-1)。
prj p X F(bj ) ai Y bj
3. 错误译码概率Pej
当信道的输入符号是ai，在信道输出端接收到某符号 bj(j=1,2,…,s)后，错误译码的概率pej为信道输出端出现 bj(j=1,2,…,s)的前提下，推测信道输入的符号是除了ai以外 的其他任何可能的输入符号的后验概率，即
（1）从整个传递作用的效果来看，信道的输入是 X=X1X2…XN，输出是Y=Y1Y2…YN。 （2）与基本离散信道相比，N次扩展信道的输入符号数由r 种扩展为rN种,输出符号数由s种扩展为sN种。
N次扩展信道的传递矩阵
信息论与编码第七章 有噪信道编码
(1) 最大后验概率准则 ¾ 定义 选择译码函数 F(bj ) = a*, a* ∈ A, bj ∈ B
并使之满足条件 P(a* | bj ) ≥ P(ai | bj ), ai ∈ A, ai ≠ a* 这种译码准则称为“最大后验概率准则”或“最小错误概，它对于每一个输出符号均译有最
（1）求平均错误概率pe
pe = ∑ ∑ p(xy ) = 0.01+ 0.12 + 0.07 + 0.12 + 0.1+ 0.02 = 0.44 x-xk y
(2)当信源等概分布，按最大似然函数译码准则译码，已给出信道转移
概率矩阵 ⎡0.5 0.3 0.2⎤ 在矩阵的每列中选一最大值(矩阵中带下划
一般简单的单符号离散信道的数学模型可以用概率空间[X,p(y|x),Y] 来描述。
a1
X
ar
P(bj | ai )
b1
Y
bs
77..22 相相关关概概率率定定义义及及关关系系
一些关于联合概率和条件概率的关系： (1) 设输入和输出符号的联合概率为 P(x=ai,y=bj)=P(aibj)，则有
P(aibj ) = P(ai )P(bj | ai ) = P(bj )P(ai | bj )
0
1/3
0
2/3
2/3
1
1
1/3
若收到“0”译作“0”，收到“1”译作“1”，则平均错误概率为：
PE
=
P(0)Pe(0)
+
P(1)
P(1) e
=
2 3
反之，若收到“0”译作“1”，收到“1”译作“0”，则平均错误 概率为1/3，可见错误概率与译码准则有关。
有噪信道编码定理
有噪信道编码定理
噪声信道编码定理（Noise channel coding theorem）是通信理论中的一个重要定理，也被称为香农编码定理（Shannon's coding theorem）。
它说明了在有噪声的信道中，通过适当的编码和解码技术，可以实现任意小的误码率。
具体来说，噪声信道编码定理提供了用于传输信息的信道容量的上限，称为香农容量（Shannon capacity）。
香农容量表示了在给定的信道条件下，所能传输的最大有效数据速率。
根据该定理，如果某个编码方案的数据速率小于香农容量，则可以通过适当的编码和解码技术实现任意小的误码率。
噪声信道编码定理的核心思想是通过错误检测和纠正编码，将原始的输入符号转化为冗余的编码符号，这些编码符号可以对信道中的噪声进行纠正或者检测错误。
通过正确的编码和解码过程，接收端可以恢复出原始的输入符号，并降低误码率。
噪声信道编码定理的应用非常广泛，包括在无线通信、有线通信、光纤通信等各种通信系统中。
它为信道编码提供了理论指导，对于提高通信系统的可靠性和容量具有重要的意义。
信息论-第7章抗干扰信道编码
规定信源符号为0或1时则重复发送三个0或1此时构成的新信道可以看成是二元对称信道的三次扩展信110101100011010001的码字没有使用111000消息的码字发送端用作111110101100011010001000接收序列接收端25731设输入符号为等概分布采用极大似然译码规则即大数逻辑译码pppppppp输入为等概条件下相应的平均错误概率为26731采用简单重复编码方法如果进一步增大重复次数n则会继续降低平均错误概率p1054105108n1151010在这种情况下采用择多译码的译码规则即根据信道输出端接收序列中0多还是1多
设输入符号为等概分布，采用极大似然译码规则 （即大数逻辑译码） F ( 1 ) 1 F ( 4 ) 8
F ( 2 ) 1 F ( 3 ) 1 F ( 5 ) 1 F ( 6 ) 8 F ( 7 ) 8 F ( 8 ) 8
输入为等概条件下，相应的平均错误概率为 1 pE p( j | i ) p( i ) *p( j | i ) M Y ,X x Y , X x*
16
7.2 译码规则的选择准则
(3) 最大后验概率译码规则和极大似然译码规则是等价的 最大后验概率译码规则可以很容易推出极大似然译码 规则。由贝叶斯公式，最大后验概率公式可写为
p( y j | x * ) p( x * ) p( y j ) p( y j | xi ) p( xi ) p( y j ) 对i
第7章
抗干扰信道编码
信道编码是以信息在信道上的正确传输为目 标的编码，可分为两个层次上的问题： • 如何正确接收载有信息的信号 －－线路编码 • 如何避免少量差错信号对信息内容的影响 －－纠错编码
1
纠错码分类
• 从功能角度：检错码 、纠错码 • 对信息序列的处理方法：分组码、卷积码 • 码元与原始信息位的关系：线性码、非线 性码 • 差错类型：纠随机差错码、纠突发差错码、 介于中间的纠随机/突发差错码。 • 构码理论：代数码、几何码、算术码、组 合码等
设输入符号为等概分布，采用极大似然译码规则 （即大数逻辑译码） F ( 1 ) 1 F ( 4 ) 8
F ( 2 ) 1 F ( 3 ) 1 F ( 5 ) 1 F ( 6 ) 8 F ( 7 ) 8 F ( 8 ) 8
输入为等概条件下，相应的平均错误概率为 1 pE p( j | i ) p( i ) *p( j | i ) M Y ,X x Y , X x*
16
7.2 译码规则的选择准则
(3) 最大后验概率译码规则和极大似然译码规则是等价的 最大后验概率译码规则可以很容易推出极大似然译码 规则。由贝叶斯公式，最大后验概率公式可写为
p( y j | x * ) p( x * ) p( y j ) p( y j | xi ) p( xi ) p( y j ) 对i
第7章
抗干扰信道编码
信道编码是以信息在信道上的正确传输为目 标的编码，可分为两个层次上的问题： • 如何正确接收载有信息的信号 －－线路编码 • 如何避免少量差错信号对信息内容的影响 －－纠错编码
1
纠错码分类
• 从功能角度：检错码 、纠错码 • 对信息序列的处理方法：分组码、卷积码 • 码元与原始信息位的关系：线性码、非线 性码 • 差错类型：纠随机差错码、纠突发差错码、 介于中间的纠随机/突发差错码。 • 构码理论：代数码、几何码、算术码、组 合码等
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第7章 有噪信道编码
信道编码是以信息在信道上的正确传输为目标 的编码，可分为两个层次上的问题： 如何正确接收载有信息的信号－－线路编码 如何避免少量差错信号对信息内容的影响－－ 纠错编码 主要介绍：有扰离散信道的编码定理；纠错编 译码的基本原理与分析方法；几个重要的编码 算法(线性分组码;卷积码)
Ik是k×k单位矩阵，P是k×(n-k)矩阵。
生成的码字C
前k位由单位矩阵Ik决定，等于把信息组m原 封不动搬到码字的前k位； 其余的n-k位叫冗余位或一致校验位，是前k 个信息位的线性组合。 这样生成的(n,k)码叫做系统码。若生成矩阵 G不具备系统形式，则生成的码叫做非系统码。 系统化不改变码集，只是改变了映射规则。
汉明码(Hamming Code)
汉明码不是指一个码，而是代表一类码。
汉明码的纠错能力 t = 1，既有二进制的，也有非二 进制的。二进制时，汉明码码长n和信息位k服从以下 规律： (n,k)=(2m-1, 2m-1-m)，其中m= n-k。 当 m ＝3、4、5、6、7、8…时，有汉明码(7,4)、 (15,11) 、 (31,26) 、 (63,57) 、 (127,120) 、 (255,247)…。
相当低，而R保持一定的水准？
错误概率和译码规则
如果输入端有2n个符号序列可以作为消息，如 果选出其中的M个作为消息传递，当M较大时， PE也跟着会大，而R也大。M小时，PE和R也 会降低。
M一定时，选择怎样的序列作为消息发送？
例：n=3，M=4, R=log M/3=2/3; PE1 < PE2 法1: (000,011,101,110) 法2: (000,001,010,100) 例：n=5，M=4，(00000,01101,10111,11010) 得：PE=7.8*10-4
从物理意义上看，伴随式S并不反映发送的码字是什 么，而只是反映信道对码字造成怎样的干扰。
伴随式S的意义
差错图案E是n重矢量，共有2n个可能的组合， 而伴随式S是(n-k)重矢量，只有2n-k个可能的 组合，因此不同的差错图案可能有相同伴随式 接收端收到R后，因为已知HT，可求出 S＝ RHT；如果能知道对应的E，则通过C = R＋E 而求得C。 S=(sn-k-1,…,s1,s0)=EHT,有n个未知数en－ 1,… e1,e0, 却只有n-k个方程，可知方程组有 多解。 概率译码：把所有2k个解的重量(差错图案E中 1的个数)作比较，选择其中最轻者作为E的估 值。ห้องสมุดไป่ตู้方法概念上很简单但计算效率不高。
5.6.2
m
伴随式与标准阵列译码
R=(rn-1,…,r1,r0)
C=(cn-1,…,c1,c0)
(n,k)
定义差错图案E
信道
E＝(en－1,…,e1,e0)＝ R－C ＝(rn-1－cn-1,…,r1－c1,r0－c0) 二进制码中模2加与模2减是等同的，因此有 E=R＋C 及 R=C＋E
错误概率和译码规则
确定F(bj)= ai后，如果发送端发送的就是ai， 则正确译码，否则错误译码。收到bj的译码正 确概率为P(F(bj)/ bj))=P(ai/bj) 令P(e/bj)为条件错误概率，平均错误概率：
PE P(b j ) P(e / b j ) P(b j )(1 P( F (b j / b j )))
成的列矢量总数是2n-k-1, 恰好和校验矩阵的
列数n =2m-1相等。只要排列所有列，通过
列置换将矩阵H转换成系统形式，就可以进
一步得到相应的生成矩阵G。
例 6.4
构造一个m=3的二元(7，4)汉明码。
解：先利用汉明码的特性构造一个(7，4)汉明码的校验
矩阵H，再通过列置换将它变为系统形式： 0 0 0 1 1 1 1 列置换 1 1 1 0 1 0 0 H= 0110011 0 1 1 1 0 1 0 = [PT I3] 1010101 1101001
系统形式的生成矩阵
(n,k)码的任何生成矩阵都可以通过行运算 （以及列置换）简化成“系统形式” 。
1 0 G = [Ik P ] = 0 0 0 1 0 0 0 1 p( k 1)( nk 1) p( k 1)1 p( k 1)0 p1( nk 1) p11 p10 p0( nk 1) p01 p00
5.6.1 生成矩阵和校验矩阵
c＝ m*G
1×n 1×k k×n 码字 消息 生成矩阵 G＝[gk-1…g1g0]T，有k个(1×n)行矢量，如何选择呢？ c = mk-1 gk-1+…+ m1 g1+m0 g0 码字都可以写成k个基底的线性组合 由于k个基底即G的k个行矢量线性无关，矩阵G的秩一定等于 k。 当信息元确定后，码字仅由G矩阵决定，因此我们称这 k×n 矩阵G为该(n,k)线性分组码的生成矩阵。
空间构成
n维n重空间有相互 正交的n个基底 选择k个基底构成码
空间C 选择另外的(n-k)个 基底构成空间H C和H是对偶的 CHT＝0, GHT=0
k维k重 信息组 空间m
n维n重空间V
k维n重 n-k维 码空间 n重H C
校验矩阵
将 H 空间的 n-k 个基底排列起来可构成一个 (n-k)×n矩阵，称为校验矩阵H。用来校验 接收到的码字是否是正确的； G是(n,k)码的生成矩阵，H是它的校验矩阵； 如果(n,k)码是系统码，由GHT=0，得H＝ [－PT In-k ]，二进制时，负号可省略。 P98页的例题
有噪信道编码定理
正定理：只要传信率R小于信道容量C，总存 在一种信道码（及解码器），可以以所要求的 任意小的差错概率实现可靠的通信。 逆定理：信道容量C是可靠通信系统传信率R 的上边界，如果R >C，就不可能有任何一种 编码能使差错概率任意小。 信道编码的途径
增大信道容量C 减少信息传输率R 增加码长n
汉明码是完备码，因为它满足上述等式。 1 n 1 n 1 (2m 1) 2m 2n k i i 0
汉明码校验矩阵的构成
汉明码的校验矩阵H具有特殊的性质，
能使构造方法简化。一个(n,k)码的校验矩阵
有n－k行和n列，二进制时n-k个码元所能组
7.1 错误概率和译码规则
有噪信道的错误和信道统计特性、译码过程有 关 例：在BSC信道中，p=p(0/0)=1/3 规则1：接收到0—>0，接收到1—>1 平均错误PE=P(0)*2/3+P(1)*2/3=2/3 规则2：接收到0—>1，接收到1—>0 平均错误PE=P(0)*1/3+P(1)*1/3=1/3 译码规则：设计一个函数F(bj),对于每一个输出 bj可以唯一确定一个输入符号ai。
7.2 联合信源信道编码定理
例题 7.2
7.3 线性分组码
信息码元、校验元、编码效率 检错码、纠错码 线性码、非线性码
信道的检错和纠错能力
汉明距离：长度为n的两个符号序列ai和bj，对应位 置上不同码元的个数。用D(ai,bj)表示. 码的最小距离dmin：任两个码字汉明距离的最小值。 dmin越大，PE越小。最小距离越大，受干扰后，越 不容易把一个码字错成为另外的一个码字，因而错 误概率小。 最大似然译码准则(最小距离译码准则):
再得生成矩阵G为 1000101 G = [I4 P] = 0 1 0 0 1 1 1 0010110 0001011
当输入符号等概时，上述两个准则等价 例：输入分布P(a3)=P(a2)=0.25, P(a1) =0.5,
1 / 2 1 / 3 1 / 6 P 1 / 6 1 / 2 1 / 3 1 / 3 1 / 6 1 / 2
信道编码的基本思想
添加冗余，重复发送消息。(以BSC信道为例, 取p=0.01): 发送方:0—>000; 1—>111, 接收方8种可能， 利用最大似然的方式选择译码规则。 问题：信息传输率降低。定义编码后的消息传 输率：R=log M/n；M是输入消息的个数， n是码字的长度。 有噪信道编码定理：能否找一种编码，使得PE
伴随式S的定义
因为CHT = 0 所以RHT＝(C＋E)HT＝CHT＋EHT= EHT 如果收码无误：必有 RHT = 0。 如果收码有误：即E 0， 则RHT = EHT 0。 在HT固定的前提下，RHT仅仅与差错图案E有 关，而与发送码C无关。定义伴随式S S = (sn-k-1,…,s1,s0) = RHT = EHT
j j
(最大后验概率准则)为使PE最小，就要使P(F(bj)/ bj))最大。即选择译码函数F(bj)=a*，满足:
p(a * / b j ) p(ai / b j ), ai a *
错误概率和译码规则
(最大似然译码准则)选择译码函数F(bj)=a*，满足:
p(b j / a*) p(b j / ai ), ai a *
D(a*, b j ) D(ai , b j ), ai a *
信道的检错和纠错能力
定理1：线性分组码中，如果要检测e个随机错 误，则要求码字的最小距离dmin至少为e+1;而 如果要纠正e个随机错误，则要求码字的最小 距离dmin至少为2e+1 如果dmin=3，纠错能力是1，检错能力是2
信道编码是以信息在信道上的正确传输为目标 的编码，可分为两个层次上的问题： 如何正确接收载有信息的信号－－线路编码 如何避免少量差错信号对信息内容的影响－－ 纠错编码 主要介绍：有扰离散信道的编码定理；纠错编 译码的基本原理与分析方法；几个重要的编码 算法(线性分组码;卷积码)
Ik是k×k单位矩阵，P是k×(n-k)矩阵。
生成的码字C
前k位由单位矩阵Ik决定，等于把信息组m原 封不动搬到码字的前k位； 其余的n-k位叫冗余位或一致校验位，是前k 个信息位的线性组合。 这样生成的(n,k)码叫做系统码。若生成矩阵 G不具备系统形式，则生成的码叫做非系统码。 系统化不改变码集，只是改变了映射规则。
汉明码(Hamming Code)
汉明码不是指一个码，而是代表一类码。
汉明码的纠错能力 t = 1，既有二进制的，也有非二 进制的。二进制时，汉明码码长n和信息位k服从以下 规律： (n,k)=(2m-1, 2m-1-m)，其中m= n-k。 当 m ＝3、4、5、6、7、8…时，有汉明码(7,4)、 (15,11) 、 (31,26) 、 (63,57) 、 (127,120) 、 (255,247)…。
相当低，而R保持一定的水准？
错误概率和译码规则
如果输入端有2n个符号序列可以作为消息，如 果选出其中的M个作为消息传递，当M较大时， PE也跟着会大，而R也大。M小时，PE和R也 会降低。
M一定时，选择怎样的序列作为消息发送？
例：n=3，M=4, R=log M/3=2/3; PE1 < PE2 法1: (000,011,101,110) 法2: (000,001,010,100) 例：n=5，M=4，(00000,01101,10111,11010) 得：PE=7.8*10-4
从物理意义上看，伴随式S并不反映发送的码字是什 么，而只是反映信道对码字造成怎样的干扰。
伴随式S的意义
差错图案E是n重矢量，共有2n个可能的组合， 而伴随式S是(n-k)重矢量，只有2n-k个可能的 组合，因此不同的差错图案可能有相同伴随式 接收端收到R后，因为已知HT，可求出 S＝ RHT；如果能知道对应的E，则通过C = R＋E 而求得C。 S=(sn-k-1,…,s1,s0)=EHT,有n个未知数en－ 1,… e1,e0, 却只有n-k个方程，可知方程组有 多解。 概率译码：把所有2k个解的重量(差错图案E中 1的个数)作比较，选择其中最轻者作为E的估 值。ห้องสมุดไป่ตู้方法概念上很简单但计算效率不高。
5.6.2
m
伴随式与标准阵列译码
R=(rn-1,…,r1,r0)
C=(cn-1,…,c1,c0)
(n,k)
定义差错图案E
信道
E＝(en－1,…,e1,e0)＝ R－C ＝(rn-1－cn-1,…,r1－c1,r0－c0) 二进制码中模2加与模2减是等同的，因此有 E=R＋C 及 R=C＋E
错误概率和译码规则
确定F(bj)= ai后，如果发送端发送的就是ai， 则正确译码，否则错误译码。收到bj的译码正 确概率为P(F(bj)/ bj))=P(ai/bj) 令P(e/bj)为条件错误概率，平均错误概率：
PE P(b j ) P(e / b j ) P(b j )(1 P( F (b j / b j )))
成的列矢量总数是2n-k-1, 恰好和校验矩阵的
列数n =2m-1相等。只要排列所有列，通过
列置换将矩阵H转换成系统形式，就可以进
一步得到相应的生成矩阵G。
例 6.4
构造一个m=3的二元(7，4)汉明码。
解：先利用汉明码的特性构造一个(7，4)汉明码的校验
矩阵H，再通过列置换将它变为系统形式： 0 0 0 1 1 1 1 列置换 1 1 1 0 1 0 0 H= 0110011 0 1 1 1 0 1 0 = [PT I3] 1010101 1101001
系统形式的生成矩阵
(n,k)码的任何生成矩阵都可以通过行运算 （以及列置换）简化成“系统形式” 。
1 0 G = [Ik P ] = 0 0 0 1 0 0 0 1 p( k 1)( nk 1) p( k 1)1 p( k 1)0 p1( nk 1) p11 p10 p0( nk 1) p01 p00
5.6.1 生成矩阵和校验矩阵
c＝ m*G
1×n 1×k k×n 码字 消息 生成矩阵 G＝[gk-1…g1g0]T，有k个(1×n)行矢量，如何选择呢？ c = mk-1 gk-1+…+ m1 g1+m0 g0 码字都可以写成k个基底的线性组合 由于k个基底即G的k个行矢量线性无关，矩阵G的秩一定等于 k。 当信息元确定后，码字仅由G矩阵决定，因此我们称这 k×n 矩阵G为该(n,k)线性分组码的生成矩阵。
空间构成
n维n重空间有相互 正交的n个基底 选择k个基底构成码
空间C 选择另外的(n-k)个 基底构成空间H C和H是对偶的 CHT＝0, GHT=0
k维k重 信息组 空间m
n维n重空间V
k维n重 n-k维 码空间 n重H C
校验矩阵
将 H 空间的 n-k 个基底排列起来可构成一个 (n-k)×n矩阵，称为校验矩阵H。用来校验 接收到的码字是否是正确的； G是(n,k)码的生成矩阵，H是它的校验矩阵； 如果(n,k)码是系统码，由GHT=0，得H＝ [－PT In-k ]，二进制时，负号可省略。 P98页的例题
有噪信道编码定理
正定理：只要传信率R小于信道容量C，总存 在一种信道码（及解码器），可以以所要求的 任意小的差错概率实现可靠的通信。 逆定理：信道容量C是可靠通信系统传信率R 的上边界，如果R >C，就不可能有任何一种 编码能使差错概率任意小。 信道编码的途径
增大信道容量C 减少信息传输率R 增加码长n
汉明码是完备码，因为它满足上述等式。 1 n 1 n 1 (2m 1) 2m 2n k i i 0
汉明码校验矩阵的构成
汉明码的校验矩阵H具有特殊的性质，
能使构造方法简化。一个(n,k)码的校验矩阵
有n－k行和n列，二进制时n-k个码元所能组
7.1 错误概率和译码规则
有噪信道的错误和信道统计特性、译码过程有 关 例：在BSC信道中，p=p(0/0)=1/3 规则1：接收到0—>0，接收到1—>1 平均错误PE=P(0)*2/3+P(1)*2/3=2/3 规则2：接收到0—>1，接收到1—>0 平均错误PE=P(0)*1/3+P(1)*1/3=1/3 译码规则：设计一个函数F(bj),对于每一个输出 bj可以唯一确定一个输入符号ai。
7.2 联合信源信道编码定理
例题 7.2
7.3 线性分组码
信息码元、校验元、编码效率 检错码、纠错码 线性码、非线性码
信道的检错和纠错能力
汉明距离：长度为n的两个符号序列ai和bj，对应位 置上不同码元的个数。用D(ai,bj)表示. 码的最小距离dmin：任两个码字汉明距离的最小值。 dmin越大，PE越小。最小距离越大，受干扰后，越 不容易把一个码字错成为另外的一个码字，因而错 误概率小。 最大似然译码准则(最小距离译码准则):
再得生成矩阵G为 1000101 G = [I4 P] = 0 1 0 0 1 1 1 0010110 0001011
当输入符号等概时，上述两个准则等价 例：输入分布P(a3)=P(a2)=0.25, P(a1) =0.5,
1 / 2 1 / 3 1 / 6 P 1 / 6 1 / 2 1 / 3 1 / 3 1 / 6 1 / 2
信道编码的基本思想
添加冗余，重复发送消息。(以BSC信道为例, 取p=0.01): 发送方:0—>000; 1—>111, 接收方8种可能， 利用最大似然的方式选择译码规则。 问题：信息传输率降低。定义编码后的消息传 输率：R=log M/n；M是输入消息的个数， n是码字的长度。 有噪信道编码定理：能否找一种编码，使得PE
伴随式S的定义
因为CHT = 0 所以RHT＝(C＋E)HT＝CHT＋EHT= EHT 如果收码无误：必有 RHT = 0。 如果收码有误：即E 0， 则RHT = EHT 0。 在HT固定的前提下，RHT仅仅与差错图案E有 关，而与发送码C无关。定义伴随式S S = (sn-k-1,…,s1,s0) = RHT = EHT
j j
(最大后验概率准则)为使PE最小，就要使P(F(bj)/ bj))最大。即选择译码函数F(bj)=a*，满足:
p(a * / b j ) p(ai / b j ), ai a *
错误概率和译码规则
(最大似然译码准则)选择译码函数F(bj)=a*，满足:
p(b j / a*) p(b j / ai ), ai a *
D(a*, b j ) D(ai , b j ), ai a *
信道的检错和纠错能力
定理1：线性分组码中，如果要检测e个随机错 误，则要求码字的最小距离dmin至少为e+1;而 如果要纠正e个随机错误，则要求码字的最小 距离dmin至少为2e+1 如果dmin=3，纠错能力是1，检错能力是2