信道编码定理
合集下载
10信道编码简介
第二章 信道编码简介2、1信道编码简介一、信道编码理论1948年，信息论的创始人Shannon 从理论上证明了信道编码定理又称为Shannon 第二定理。
它指出每个信道都有一定的信道容量C ，对于任意传输速率R 小于信道容量C ，存在有码率为R 、码长为n 的分组码和),,(00m k n 卷积码，若用最大似然译码，则随码长的增加其译码错误概率e p 可以任意小]1[。
)(R E n b e b e A p -≤ （2.1）)()()1(0R E n c R E n m c e c c c e A e A p -+-=≤ （2.2）式中，b A 和c A 为大于0的系数，)(R E b 和)(R E c 为正实函数，称为误差指数，它与R 、C 的关系]2[如图2.1所示。
由图可以看出：)(R E 随信道容量C 的增大而增加，随码率R 的增加而减小。
这个存在性定理告诉我们可以实现以接近信道容量的传输速率进行通信，但并没有给出逼近信道容量的码的具体编译码方法。
Shannon 在信道编码定理的证明中引用了三个基本条件：1、采用随机编译码方式；2、编译码的码长n 趋于无穷大；3、译码采用最佳的最大后验译码。
在高斯白噪声信道时，信道容量：)/](1[log 02s bit WN P W C S += （2.3）上式为著名的Shannon 公式，式中W 是信道所能提供的带宽，T E P S S /=是信号概率，S E 是信号能量，T 是分组码信号的持续时间即信号宽度，W P S /是单位频带的信号功率，0N 是单位频带的噪声功率，)/(0WN P S 是信噪比。
图2.1 )(R E 与R 的关系由上面几个公式及图2.1可知，为了满足一定误码率的要求，可用以下两类方法实现。
一是增加信道容量C ，从而使)(R E 增加，由式(1.3)可知，增加C 的方法可以采用诸如加大系统带宽或增加信噪比的方法达到。
当噪声功率0N 趋于0时，信道容量趋于无穷，即无干扰信道容量为无穷大；增加信道带宽W 并不能无限制的使信道容量增加。
信道编码定理
7
信道编码和译码
译码是由YN到UL的映射，将YN划分为M个不相交的
子集
Y1
Y2
x2
x1
YN
Y
C m
是Ym的补集
xM
Pem P( y | xm ) yYmC
YM
最大后验概率译码
所有消息等概
q元对称信道
最大似然译码
最小汉明
距离译码
8
信道编码和译码
例5.1.1 两个消息等概，x1=0000，x2=1111，通 过二元对称信道，转移概率p
22
联合典型序列和信道编码定理
23
联合典型序列和信道编码定理
定义5.3.1 x和y是联合典型序列
x ( x 1 ,x 2 , ,x N ) X N ,y ( y 1 ,y 2 , ,y N ) Y N (1) x是典型序列，即对任意小的正数e，存在N使
|1lopg(x)H(X)|e
N
误比特率 Bit error rate
Pb
1 K
K
Pek
k 1
第k位出错的概率
5
信道编码和译码
最小错误概率准则
使 P e ( y ) P r { m ' m |y } 1 P r { m ' m |y } 最小
最大后验概率准则
P r{m '|y}m m axP r{m |y}
计算后验概率是困难的，针对具体信道（转移概率已知），采 用最大似然准则
从XN中独立随机地选择2NR个序列作为码字，每个码字出
现的概率为
Y 3 { 1 1 0 0 ,1 0 0 1 ,1 0 1 0 ,0 0 1 1 ,0 1 0 1 ,0 1 1 0 }
9
信道编码和译码
译码是由YN到UL的映射，将YN划分为M个不相交的
子集
Y1
Y2
x2
x1
YN
Y
C m
是Ym的补集
xM
Pem P( y | xm ) yYmC
YM
最大后验概率译码
所有消息等概
q元对称信道
最大似然译码
最小汉明
距离译码
8
信道编码和译码
例5.1.1 两个消息等概，x1=0000，x2=1111，通 过二元对称信道，转移概率p
22
联合典型序列和信道编码定理
23
联合典型序列和信道编码定理
定义5.3.1 x和y是联合典型序列
x ( x 1 ,x 2 , ,x N ) X N ,y ( y 1 ,y 2 , ,y N ) Y N (1) x是典型序列，即对任意小的正数e，存在N使
|1lopg(x)H(X)|e
N
误比特率 Bit error rate
Pb
1 K
K
Pek
k 1
第k位出错的概率
5
信道编码和译码
最小错误概率准则
使 P e ( y ) P r { m ' m |y } 1 P r { m ' m |y } 最小
最大后验概率准则
P r{m '|y}m m axP r{m |y}
计算后验概率是困难的，针对具体信道（转移概率已知），采 用最大似然准则
从XN中独立随机地选择2NR个序列作为码字，每个码字出
现的概率为
Y 3 { 1 1 0 0 ,1 0 0 1 ,1 0 1 0 ,0 0 1 1 ,0 1 0 1 ,0 1 1 0 }
9
信道编码定理ppt课件
p
(
y
)
2
(
1
)
2
N
[(
H
Y
)
]
|
G
(
Y
)
|
2
N
[(
H
Y
)
]
§6.3:信道编码定理的证明及其物理意义
N
• 结合AEP定理：
p(x,y) p(xn, yn)
n1
• 设随机序列对 ( X , Y ) 的
，那么对恣意小的
数δ >0，我们总能找到足够大的N使全体序列对的集合能
•
•
•
•
•
•
•
•
•
•
•
§6.2:信道编码的作用及本质
匹配信道特性： －信道编码的本质
抗白噪声：
优秀的调制、信道编码方案，
扩频方式等。
抗衰落和多径干扰：
功控抗慢衰落，
空间分集抗平滑瑞利〔空间选择〕衰落，
Rake接纳机及自顺应平衡抗频率选择性，
交错编码抗时间选择性衰落等。
抗多址干扰与远近效应：
正交码型设计，
• 资源指的提供信息传输所付出的代价
• 包括频率、时间、空间、功率等等。但不包括
实现复杂度
• 一个好的编码就是要充分利用资源，传送尽能
够多的信息
§6.2:信道编码的作用及本质
－信道编码的三种情
形
– 给定资源和可靠性要求，经过信道编码尽量提
高传输速率〔例：多电平编码〕
– 给定对信息传输的速率和可靠性要求，经过信
信道编码定理
错误概率与译码准那么、编码方法－1
(
y
)
2
(
1
)
2
N
[(
H
Y
)
]
|
G
(
Y
)
|
2
N
[(
H
Y
)
]
§6.3:信道编码定理的证明及其物理意义
N
• 结合AEP定理：
p(x,y) p(xn, yn)
n1
• 设随机序列对 ( X , Y ) 的
，那么对恣意小的
数δ >0，我们总能找到足够大的N使全体序列对的集合能
•
•
•
•
•
•
•
•
•
•
•
§6.2:信道编码的作用及本质
匹配信道特性： －信道编码的本质
抗白噪声：
优秀的调制、信道编码方案，
扩频方式等。
抗衰落和多径干扰：
功控抗慢衰落，
空间分集抗平滑瑞利〔空间选择〕衰落，
Rake接纳机及自顺应平衡抗频率选择性，
交错编码抗时间选择性衰落等。
抗多址干扰与远近效应：
正交码型设计，
• 资源指的提供信息传输所付出的代价
• 包括频率、时间、空间、功率等等。但不包括
实现复杂度
• 一个好的编码就是要充分利用资源，传送尽能
够多的信息
§6.2:信道编码的作用及本质
－信道编码的三种情
形
– 给定资源和可靠性要求，经过信道编码尽量提
高传输速率〔例：多电平编码〕
– 给定对信息传输的速率和可靠性要求，经过信
信道编码定理
错误概率与译码准那么、编码方法－1
信道编码的基本概念和定理
j 1, 2,..., N
译码规则对译码性能的影响
示例 设发送码字集 C : 0,1, p c1 p c2 0.5 接收码字集 R : 0,1
两不同的二元对称信道分别为
(1)
p
rj / ci
0.8 0.2
0.2 0.8
(2)
p
rj / ci
2
0.2 0.8
0.8 0.2
分析在两种信道下不同译码规则对译码性能的影响。
RS
有信息论的基本知识，有
I X;Y H X log M
定义归一化信道容量为
CN
max R p xi ,i1,2,...,M I RS log M
max
p xi ,i1,2,...,M
I X;Y log M
1
若记发送序列为 接收序列为
对于离散无记忆信道：
xr x1, x2,..., xN yr y1, y2,..., yN
率矩阵
p c1 / r1 p c1 / r2 ... p c1 / rN
P
C
/
R
p
c2 /
...
r1
p c2 / r2
...
p
c2
/
rN
...
...
...
p
cM
/
r1
p cM / r2
...
p cM / rN
及 R 的分布特性
p rj
Mp
i1
ci
p rj / ci
rj / ck
在先验等概的条件下，最大后验概率译码规则可变为
cˆ D rj c arg max p rj / c1 , p rj / c2 ,..., p rj / cM
信道编码原理
的
某一种符号。
p(b1
a) 1
p(0 0)
1
p
p
【例5－1】 二元对称信道简记为
BSC(BinarySpy(mb2mae2t)ricCph(1a1n)nel1)， 其p 输p入/输出符号均取
值于{0，1}，若r=sp=(2b1，a且2 )a1=pb(10=10)，ap2=b2=1，有转移概率
p(b2
（4）选择合适的译码规则可降低平均错误译码的概率 。
5.2.3 费诺不等式
描述了平均错误译码概率Pe与信道疑义度H(X|Y) 的内在联系，即
H(X︱Y) ≤ H(Pe)十Pe1oga(r-1)
注：
（1）不论采用什么准则选择译码规则，费诺不等式都是普 遍成立的。
（2）费诺不等式表明，在收到信道输出随机变量后，对输 入随机变量仍然存在的平均不确定性H(X|Y)由两部分 组成：第一部分是收到输出随机变量后，按选择的译 码规则译码时，是否产生错误译码的平均不确定性 H(Pe)；第二部分是当平均错误译码概率为Pe时，到底 是哪一个信源符号被错误译码的最大平均不确定性 Pe1oga(r-1)。
prj p X F(bj ) ai Y bj
3. 错误译码概率Pej
当信道的输入符号是ai，在信道输出端接收到某符号 bj(j=1,2,…,s)后，错误译码的概率pej为信道输出端出现 bj(j=1,2,…,s)的前提下，推测信道输入的符号是除了ai以外 的其他任何可能的输入符号的后验概率，即
（1）从整个传递作用的效果来看，信道的输入是 X=X1X2…XN，输出是Y=Y1Y2…YN。 （2）与基本离散信道相比，N次扩展信道的输入符号数由r 种扩展为rN种,输出符号数由s种扩展为sN种。
N次扩展信道的传递矩阵
某一种符号。
p(b1
a) 1
p(0 0)
1
p
p
【例5－1】 二元对称信道简记为
BSC(BinarySpy(mb2mae2t)ricCph(1a1n)nel1)， 其p 输p入/输出符号均取
值于{0，1}，若r=sp=(2b1，a且2 )a1=pb(10=10)，ap2=b2=1，有转移概率
p(b2
（4）选择合适的译码规则可降低平均错误译码的概率 。
5.2.3 费诺不等式
描述了平均错误译码概率Pe与信道疑义度H(X|Y) 的内在联系，即
H(X︱Y) ≤ H(Pe)十Pe1oga(r-1)
注：
（1）不论采用什么准则选择译码规则，费诺不等式都是普 遍成立的。
（2）费诺不等式表明，在收到信道输出随机变量后，对输 入随机变量仍然存在的平均不确定性H(X|Y)由两部分 组成：第一部分是收到输出随机变量后，按选择的译 码规则译码时，是否产生错误译码的平均不确定性 H(Pe)；第二部分是当平均错误译码概率为Pe时，到底 是哪一个信源符号被错误译码的最大平均不确定性 Pe1oga(r-1)。
prj p X F(bj ) ai Y bj
3. 错误译码概率Pej
当信道的输入符号是ai，在信道输出端接收到某符号 bj(j=1,2,…,s)后，错误译码的概率pej为信道输出端出现 bj(j=1,2,…,s)的前提下，推测信道输入的符号是除了ai以外 的其他任何可能的输入符号的后验概率，即
（1）从整个传递作用的效果来看，信道的输入是 X=X1X2…XN，输出是Y=Y1Y2…YN。 （2）与基本离散信道相比，N次扩展信道的输入符号数由r 种扩展为rN种,输出符号数由s种扩展为sN种。
N次扩展信道的传递矩阵
信息论基础——联合信源—信道编码定理
定义 非空元素集合F，若在F中定义了加 和乘两种运算， 且满足下述公理：
32
第四章 信道编码定理
(1)F关于加法构成阿贝尔群，其加法单位元 记为 0； (2)F中非零元素全体对乘法构成阿贝尔群. 其乘法单位元记为1； (3) 满足分配律： a(b+c)=ab+ac (b+c)a=ba+ca 则称F是一个域.
10
第四章 信道编码定理
联合信源—信道编码定理
证明：
a
由于信源是无记忆的，它满足渐进等分性，
弱典型序列 的性质
n H U n n 存在典型序列集 W n 使 W 2 ，并且 Pr U n W 1
n H U 仅对属于 W n 的信源序列编码，码字集为 1, 2,, 2 ，
第四章 信道编码定理
例G1：整数全体，按通常加法构成群，这是一个无限群.
例G2：二元集{0,1}，对其上定义的模2加法,构成一个群.
0 0 1 1 0mod 2, 0 1 1 0 1mod 2
31
第四章 信道编码定理
二、 域 域在编码理论中起着关键作用； 域是定义了两种代数运算的系统.
4
第四章 信道编码定理
定理的提出
香农第一定理：要进行无失真数据压缩，必 须 R′>H；
5
第四章 信道编码定理
定理的提出
香农第二定理：要在信道中可靠地传输数 据，必须 C>R；
6
第四章 信道编码定理
定理的提出
香农第一定理：要进行无失真数据压缩，必 须 R′>H； 香农第二定理：要在信道中可靠地传输数 据，必须 C>R； 问题：若信源通过信道传输，要做到有效且 可靠地传输，是否必须有C>H ?
信道编码定理-2011
y
PE 1 PE p ( x * y )
y
有 噪 信 道 编 码 定 理
举例
a1 0.5 0.3 0.2 P a2 0.2 0.3 0.5 a3 0.3 0.3 0.4
b1 b2 b3
b1
b2
b3
F (b1 ) a1 F (b2 ) a2
F (b3 ) a2
15
a1 1/6 1/10 1/15 [ P (ai b j )] a2 1/15 1/10 1/6 a3 1/10 1/10 2/15
25
a a*
p( y | x a ) / 3
1/ 2
pE ( B)
a a*
p( y | x a ) / 3
[(1/ 6 1/ 3) (1/ 3 1/ 2) (1/ 6 1/ 2)]/ 3
2/3
有 噪 信 道 编 码 定 理
§ 3 费诺(Fano)不等式
33
其中， 为模二加运算。例如，码字 x [1101110 ] 和 码字 y [1010001] 的汉明距离为6。
一个码字集合中任意两码的汉明距离最小值，称为码
的最小距离，用dmin 来表示。
有 噪 信 道 编 码 定 理
最小汉明距离准则
接收序列 j
D0 j
0
D01
最近码字
1. 汉明距离 2. 序列最大似然译码
32
有 噪 信 道 编 码 定 理
4. 1 汉明距离
设两码字为 x [ x1 ,..., xn ], y [ y1 ,..., y n ]，定义它们的
汉明距离为
n d ( x , y ) xn y k k 1
08信道编码的概念
p(xr | ys )
s
s
PE min p( y j )[1 p(x* | y j )] p( y j ) p(xi | y j )
j 1
j 1
i*
s
s
p(xi y j ) p(xi ) p( y j | xi )
j 1i *
j 1i *
码序列中的信息序列码元与多余码元之间是相关的； 信道译码器利用这种预知的 编码规则译码。检验接收到
的数字序列 R 是否符合既定的 规则，从而发现 R 中是否 有错，或者纠正其中的差错；
2019/5/20
8/45
几个名词
信息码元：数字序列 M 总是以 k 个码元为一组传 输，称这k 个码元为信息码元。
有一个确定的函数 F( y j )，使其对应于唯一的一个输
入符号 xi，则称这样的一个函数为译码规则，记为
F( y j ) xi
（i 1,2, , r j 1,2, , s）
x1 x2 X
p(yj|xi)
y1 Y y2
xr
ys
2019/5/20
15/45
X x1, x2, , xr
2/45
信道编码的目标：提高通信的可靠性。
信道编码，就是按照一定的规则给信源编码后的码符 号序列增加一些冗余信息，使其变成具有一定数学规 律的码符号序列。
信道译码，就是按与信道编码器相同的数学规律去 掉接收到的码符号序列中的冗余符号。
通常来说，增加的冗余符号越多，检错和纠错能力 就越强。但是，增加的冗余符号越多，传输效率就 越低。
s
平均正确译码概率：PE p( y j ) p[F( y j ) | y j ]
s
s
PE min p( y j )[1 p(x* | y j )] p( y j ) p(xi | y j )
j 1
j 1
i*
s
s
p(xi y j ) p(xi ) p( y j | xi )
j 1i *
j 1i *
码序列中的信息序列码元与多余码元之间是相关的； 信道译码器利用这种预知的 编码规则译码。检验接收到
的数字序列 R 是否符合既定的 规则，从而发现 R 中是否 有错，或者纠正其中的差错；
2019/5/20
8/45
几个名词
信息码元：数字序列 M 总是以 k 个码元为一组传 输，称这k 个码元为信息码元。
有一个确定的函数 F( y j )，使其对应于唯一的一个输
入符号 xi，则称这样的一个函数为译码规则，记为
F( y j ) xi
（i 1,2, , r j 1,2, , s）
x1 x2 X
p(yj|xi)
y1 Y y2
xr
ys
2019/5/20
15/45
X x1, x2, , xr
2/45
信道编码的目标：提高通信的可靠性。
信道编码，就是按照一定的规则给信源编码后的码符 号序列增加一些冗余信息，使其变成具有一定数学规 律的码符号序列。
信道译码，就是按与信道编码器相同的数学规律去 掉接收到的码符号序列中的冗余符号。
通常来说，增加的冗余符号越多，检错和纠错能力 就越强。但是，增加的冗余符号越多，传输效率就 越低。
s
平均正确译码概率：PE p( y j ) p[F( y j ) | y j ]
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
pe Q(m) pem m1
高斯信道
N
max p( y | xm )
n1
1
2
exp{
(
yn
xmn
2 2
)2
}
N
N
N
max ln( y | xm ) min ( yn xmn )2 min xm2n 2 xmn yn
n1
n1
n1
Fano不等式和信道编码逆定理
p K 1
(N
d ( y,
xm ))ln(1
p)
N ln(1 p) d ( y, xm ) ln[(1 p)(K 1) / p]
判决区域
Y m : l n p ( y | x m ) > l n p ( y | x m ’ ) 给定m,错误概率
pem p( y | xm ) yYmC M
Fano不等式
pb log(M 1) H ( pb ) H (U |V )
pb
log(M
1)
H ( pb )
1 L
Байду номын сангаас
H (U
L
|V
L)
1 [H (U L ) I (U L;V L )] L
H
L
(U
)
1 L
I
(
X
N
;Y
N
)
HL
(U
)
N L
C
信道编码逆定理
• 离散平稳源有M个字母熵为HL(U),信道容量为C,当HL(U)>(N/L)C时,误码率为非零值
信道编码定理
• R<C时，R是可达的，即对信息速率R,任意给定的e>0，存在编译码方法，当N足够大，p<e
最小汉明距离译码
汉明距离 d(x,y), x,y中 分量不同的数目
码字先验等概 K元对称信道
p(i | i) 1 p p( j | i) p /(K 1)
最小汉明距离译码
N
ln p( y | xm ) ln p( yi | xmi ) n1
d ( y,
xm ) ln
第五章 信道编码定理
• 1.离散信道编码问题 • 2.信道译码 • 3.Fano不等式和信道编码逆定理
1.离散信道编码问题
k0 K
纠错编码器
• 送给纠错编码器的消息是经过最佳信源编码后，信 息速率为比特/秒的离散二元或q元数字序列。
• 分组码 每K个信息数字为一组，计算出N个编码数字，称 这些数字为一个码字。通常N为整数。
译码准则
最小错误概率译码：是 pe(y)最小
最大后验概率译码：选 最大
pr (m'| y) pr (m | y)
最大似然译码
p(m | y) Q(m) p( y | m) p( y)
p( y | m') p( y | m)
所有Q(m)相同
最大对数似然译码
ln p( y | m') ln p( y | m)
• 卷积码 • 输出的n0长码段不仅依赖于当前的k0位信息数字，
还依赖于前m个信息段的信息数字，即总共与（m ＋1）k0个信息数字有关。
纠错编码器
R＝K/N，码率 误组率 误比特率
p(xm' xm )
1 L
pb L l1 pel
2.信道译码问题
译码错误概率
pe ( y) PN (m' m | y) 1 pN (m' m | y)
高斯信道
N
max p( y | xm )
n1
1
2
exp{
(
yn
xmn
2 2
)2
}
N
N
N
max ln( y | xm ) min ( yn xmn )2 min xm2n 2 xmn yn
n1
n1
n1
Fano不等式和信道编码逆定理
p K 1
(N
d ( y,
xm ))ln(1
p)
N ln(1 p) d ( y, xm ) ln[(1 p)(K 1) / p]
判决区域
Y m : l n p ( y | x m ) > l n p ( y | x m ’ ) 给定m,错误概率
pem p( y | xm ) yYmC M
Fano不等式
pb log(M 1) H ( pb ) H (U |V )
pb
log(M
1)
H ( pb )
1 L
Байду номын сангаас
H (U
L
|V
L)
1 [H (U L ) I (U L;V L )] L
H
L
(U
)
1 L
I
(
X
N
;Y
N
)
HL
(U
)
N L
C
信道编码逆定理
• 离散平稳源有M个字母熵为HL(U),信道容量为C,当HL(U)>(N/L)C时,误码率为非零值
信道编码定理
• R<C时，R是可达的，即对信息速率R,任意给定的e>0，存在编译码方法，当N足够大，p<e
最小汉明距离译码
汉明距离 d(x,y), x,y中 分量不同的数目
码字先验等概 K元对称信道
p(i | i) 1 p p( j | i) p /(K 1)
最小汉明距离译码
N
ln p( y | xm ) ln p( yi | xmi ) n1
d ( y,
xm ) ln
第五章 信道编码定理
• 1.离散信道编码问题 • 2.信道译码 • 3.Fano不等式和信道编码逆定理
1.离散信道编码问题
k0 K
纠错编码器
• 送给纠错编码器的消息是经过最佳信源编码后，信 息速率为比特/秒的离散二元或q元数字序列。
• 分组码 每K个信息数字为一组，计算出N个编码数字，称 这些数字为一个码字。通常N为整数。
译码准则
最小错误概率译码：是 pe(y)最小
最大后验概率译码：选 最大
pr (m'| y) pr (m | y)
最大似然译码
p(m | y) Q(m) p( y | m) p( y)
p( y | m') p( y | m)
所有Q(m)相同
最大对数似然译码
ln p( y | m') ln p( y | m)
• 卷积码 • 输出的n0长码段不仅依赖于当前的k0位信息数字，
还依赖于前m个信息段的信息数字，即总共与（m ＋1）k0个信息数字有关。
纠错编码器
R＝K/N，码率 误组率 误比特率
p(xm' xm )
1 L
pb L l1 pel
2.信道译码问题
译码错误概率
pe ( y) PN (m' m | y) 1 pN (m' m | y)