信息理论与编码_ 有噪信道编码_
合集下载
有噪信道编码定理
而编码定理要证明的就是：只要信道速率小于信道容量，总存在一种
编码使误码率任意小。
对理想无噪信道，编码定理需要证明 R = LH (U ) < log D 时，误码任
意小；（平均码长与输入熵的关系）
N
对有噪信道情况，编码定理需要证明 R = LH (U ) < C 时，误码任意
小。（信道速率与信道容量的关系）
z 二元编码误差；
z 多元编码误差，信道编码定理。
¾ 基本要求
z 理解信道编码的目的；理解信道速率的概念；
z 理解最小误差和最大似然两个解码准则，会根据最大似然解码准则 划分输出子集；
z 了解二元编码的误码率上界，会计算 gn ( s) ；
z 了解多元编码的误码率上界，理解编码指数的含义及使用方法，掌 握编码指数的曲线变化，掌握有噪信道编码定理。
121316161213131612yx??????????ppx123111244xxxx????????????????pdiagx12121316141611214161213124181121413161211212418xyyx??????????????????????????????pp1diagyxyxy????ppp2012424信息论与编码有噪信道编码定理14xianjiaotonguniversity52解码准则所以
2012-4-24
《信息论与编码》－－有噪信道编码定理
7
《信息论与编码》--有噪信道编码定理
5.1 信道速率
定义：信道每用一次所需要传递的信息量。
XI’AN JIAOTONG UNIVERSITY
设信道编码器的输入是长为 L 的 K 进制序列，输出是N 位长 D进制序 列。可能的输入有 M = K L 种，输出有 T = DN 种，M < T。
信息论基础课件第6章有噪信道编码
0
0
p p
1 p
p 0.01
1
p p 1
01
0p p
[P]
1
p
p
F (0) 0 F (1) 1
PE
PE m in
1 r
s j 1
i*
p(b j
/
ai
)
1 2
(
p
p) 102
➢ 重复发送可以使PE减小 但是：信息传输率降低
传输消息:
重复码
0, 0 00
1 1 11
校验元
若传000, 收到误传为100,010,001中的任一 种, 则认为是传的000，实现了纠错。
6.1 信道编码的概念
第5章结论：在无噪无损信道上，只要对信源 的输出进行恰当的编码，总能以信道容量C 无差错地传输信息。
实际信道都有噪声干扰，本章研究香农第二 定理，即通信的可靠性问题。包括：
1.怎么使有噪信道中消息传输错误达到最少? 2.在有噪信道中无错误传输的可达的最大信息
传输率是什么?
信道编码概述
0.57
2 编码方法
• 上一节结论： 消息通过有噪信道传输时会发生错误 错误概率与译码规则有关
• 噪声干扰：破坏了信号的内部结构－－产生畸变 而造成信息的损失。
• 提高信号抗噪声干扰能力：改造信号使其内部结 构具有更强的规律性或相关性，当信号的部分结 构被破坏时，仍能根据信号原有的内在规律和相 关性来发现甚至纠正错误，恢复原来的信息。
• 通信系统模型
消息集中 一个元素
信道波形 空间中的
一个点
失真后 的波形
恢复的 消息
信源 编码
信道 编码
信道
信道 译码
信息论第6章 有噪信道编码
2
6.1噪声信道的编码问1错误概率与译码规则
8
6.1.2译码规则
S个输出符号中的每一个都可以译成r个输入符号中的任何一个。
9
10
11
（X－X*）表示译码规则 之外对应的X
p( y j )
12
13
14
15
16
17
一般来说，后验概率是难以确定的，所有应用起来很不方便，这时引入极大似然译码规则
41
00－
01－
10－
11－
42
43
44
可见，汉明距离用来定量描述符号序列之间的“相似”程度， D越大，码字间相似性越小，反之，D越小，码字间相似性越大。
45
46
47
48
49
50
编码 选用M个消息所对应的码字间最 小距离dmin尽可能大的编码方法； 译码采用将接收序列bj译成与之距离 最近的那个码字ai的译码规则；
35
6.2.2消息符号个数
36
37
38
39
6.2.3（5，2）线性码
Ɩ（5，2）线性码：码长为5，码字的前2个码元是信息位，后3个码元是校验位。 一般来说，如果码长是N，信息位数目为K，那么校验位为（N－K）位， 这种码称为（N，K）分组码。
40
则四个消息分别为00，01，10， 11
51
52
53
54
55
56
关于香农第二定理的说明：
说明1：从上述定理可知，任何信道的信道容量 是一个明确的分界点，当取分界点以下的信息 传输率时，PE以指数趋于零；当取分界点以上 的信息传输率时、PE以指数趋于1。因此，在任 何信道中信道容量是可达的、最大的可靠信息 传输率。 说明2：香农第二定理只是一个存在定理，它只 说明错误概率趋于零的好码是存在的，但没有 给出令人满意的构码方法
信息论与编码-第6章 有噪信道编码
p(e|bj)=1-p(ai|bj)=1-p[F(bj)|bj]
平均错误译码概率:
PE p(b j ) P(e | b j ) p(b j )[1 P(ai | b j )]
j 1 j 1
s
s
最小错误概率准则
问题: 如何选择p(ai|bj)? 使p(e|bj)最小, 就应选 择p[F(bj)|bj]为最大, 即选择译码函数
简单重复编码
根据这个规则计算得译码后的错误概率为
Y , X a
PE
p ( i ) p ( j | i ) p( j | i )
1 = M
Y , X a
1 3 2 2 2 2 2 2 3 ( p pp pp pp pp pp pp p ) 2 p 3 3 pp 2 3*104 ( p 0.01)
X a ,Y
p ( ai ) p (b j | ai ) p (ai ) pe( i )
X X Y
X a ,Y
p (b j | ai ) p (ai ) F (b j ) a
如果先验概率p(ai)相等, 则: 1 PE Pe( i ) r X
第6.1节 错误概率与译码规则
1 [(0.2 0.3) (0.3 0.3) (0.2 0.4)] 0.567 3
第6.1节 错误概率与译码规则
0.5 0.3 0.2 P 0.2 0.3 0.5 for A 0.3 0.3 0.4 若采用前述译码函数A, 则平均错误率为: 1 PE P(b | a ) 3 Y , X a*
p2 p pp 2
4
平均错误译码概率:
PE p(b j ) P(e | b j ) p(b j )[1 P(ai | b j )]
j 1 j 1
s
s
最小错误概率准则
问题: 如何选择p(ai|bj)? 使p(e|bj)最小, 就应选 择p[F(bj)|bj]为最大, 即选择译码函数
简单重复编码
根据这个规则计算得译码后的错误概率为
Y , X a
PE
p ( i ) p ( j | i ) p( j | i )
1 = M
Y , X a
1 3 2 2 2 2 2 2 3 ( p pp pp pp pp pp pp p ) 2 p 3 3 pp 2 3*104 ( p 0.01)
X a ,Y
p ( ai ) p (b j | ai ) p (ai ) pe( i )
X X Y
X a ,Y
p (b j | ai ) p (ai ) F (b j ) a
如果先验概率p(ai)相等, 则: 1 PE Pe( i ) r X
第6.1节 错误概率与译码规则
1 [(0.2 0.3) (0.3 0.3) (0.2 0.4)] 0.567 3
第6.1节 错误概率与译码规则
0.5 0.3 0.2 P 0.2 0.3 0.5 for A 0.3 0.3 0.4 若采用前述译码函数A, 则平均错误率为: 1 PE P(b | a ) 3 Y , X a*
p2 p pp 2
4
数学中的信息论与编码理论
数学中的信息论与编码理论在没有信息论和编码理论的帮助下，我们现代社会的通信系统几乎无法存在。
信息论和编码理论是数学中一个重要的分支，它们的发展不仅深刻影响了通信技术的进步，也在其他领域起到了重要的作用。
本文将探讨数学中的信息论与编码理论的基本概念和应用。
一、信息论信息论是由美国数学家克劳德·香农在20世纪40年代提出的一门学科。
它的研究对象是信息，旨在衡量信息的传输效率和极限。
那么，什么是信息？信息是我们从一个消息中获得的知识或内容。
在信息论中，信息量的单位被称为“比特”（bit），它表示信息的最基本单位。
例如，当我们投掷一枚公平的硬币，出现正面的概率为50%，我们可以用1比特来表示这个消息，因为它提供了一个二进制的选择（正面或反面）。
在信息论中，还有一个重要的概念是“信息熵”。
信息熵用来衡量一个随机变量的不确定性。
一个有序的事件具有较低的信息熵，而一个随机的事件具有较高的信息熵。
例如，当我们已知一个硬币是公平的时候，投掷获得的信息熵最高，因为我们无法预测结果。
二、编码理论编码理论是信息论的一个重要组成部分。
它研究如何将信息转化为机器能够识别和处理的形式。
编码理论可以分为源编码和信道编码两个方面。
1. 源编码源编码是将源数据（比如文本、图像、声音等）进行压缩和表示的过程。
它的目标是将数据表示为更紧凑的形式，以便于存储和传输。
最著名的源编码算法之一是赫夫曼编码，它利用不同符号出现的频率进行编码，将出现频率较高的符号用较短的编码表示，从而实现数据的压缩。
2. 信道编码信道编码是为了在噪声干扰的信道中可靠地传输信息而设计的编码方法。
它通过引入冗余来纠正或检测传输过程中的错误。
最常见的信道编码方法是奇偶校验码和循环冗余检验码（CRC）。
这些编码方法能够检测和校正一定数量的错误，从而提高传输的可靠性。
三、信息论与编码理论的应用信息论和编码理论不仅在通信领域中发挥着重要作用，也在其他领域有广泛的应用。
信息论与编码第七章 有噪信道编码
(1) 最大后验概率准则 ¾ 定义 选择译码函数 F(bj ) = a*, a* ∈ A, bj ∈ B
并使之满足条件 P(a* | bj ) ≥ P(ai | bj ), ai ∈ A, ai ≠ a* 这种译码准则称为“最大后验概率准则”或“最小错误概，它对于每一个输出符号均译有最
（1）求平均错误概率pe
pe = ∑ ∑ p(xy ) = 0.01+ 0.12 + 0.07 + 0.12 + 0.1+ 0.02 = 0.44 x-xk y
(2)当信源等概分布，按最大似然函数译码准则译码，已给出信道转移
概率矩阵 ⎡0.5 0.3 0.2⎤ 在矩阵的每列中选一最大值(矩阵中带下划
一般简单的单符号离散信道的数学模型可以用概率空间[X,p(y|x),Y] 来描述。
a1
X
ar
P(bj | ai )
b1
Y
bs
77..22 相相关关概概率率定定义义及及关关系系
一些关于联合概率和条件概率的关系： (1) 设输入和输出符号的联合概率为 P(x=ai,y=bj)=P(aibj)，则有
P(aibj ) = P(ai )P(bj | ai ) = P(bj )P(ai | bj )
0
1/3
0
2/3
2/3
1
1
1/3
若收到“0”译作“0”，收到“1”译作“1”，则平均错误概率为：
PE
=
P(0)Pe(0)
+
P(1)
P(1) e
=
2 3
反之，若收到“0”译作“1”，收到“1”译作“0”，则平均错误 概率为1/3，可见错误概率与译码准则有关。
第六章有噪信道编码
p( x i / y j ) = p( x i ) p( y j / x i ) p( y j ) p( x * ) p( y j / x )
p( 样，当信道输入符号集X的先验概率为等概时，根 这样，当信道输入符号集X的先验概率为等概时， 据最大后验概率译码准则， 据最大后验概率译码准则， p(x*)p(yj/x*)≥p(xi)p(yj/xi) (i=1,2,……n) 最大后验概率可以用最大信道转移概率来取代。 最大后验概率可以用最大信道转移概率来取代。
使用最大后验概率译码准则必须已知后验概率，一般 使用最大后验概率译码准则必须已知后验概率， 说来，后验概率很难确定， 说来，后验概率很难确定，但信道的统计特性描述总 是给出信道转移概率， 是给出信道转移概率，因此利用信道转移概率的译码 准则。 准则。 由概率中的贝叶斯定理可有： 由概率中的贝叶斯定理可有：
6.1.2译码准则 6.1.2译码准则
定义6.1.1 定义6.1.1 设信道 输入符号集X={x ,i=1,2,…,r}, 输入符号集X={xi,i=1,2, ,r}, 输符号集为Y={y ,j=1,2,…,s}, 输符号集为Y={yj,j=1,2, ,s}, 若对每一个输出符号y 若对每一个输出符号yj都有一个确定的函数 对应于惟一的一个输入符号x F(yj)，使yj对应于惟一的一个输入符号xi，则 这样的函数为译码规则。 这样的函数为译码规则。 F(yj)=xi (i=1,2,…r; j=1,2,…s) 对于有r个输入， 个输出的信道来说， 对于有r个输入，s个输出的信道来说，可以 rs个不同的译码准则 个不同的译码准则。 有rs个不同的译码准则。
消息集中 一个元素
信道波形 空间中的 一个点
失真后 的波形
恢复的 消息
信信 编编
p( 样，当信道输入符号集X的先验概率为等概时，根 这样，当信道输入符号集X的先验概率为等概时， 据最大后验概率译码准则， 据最大后验概率译码准则， p(x*)p(yj/x*)≥p(xi)p(yj/xi) (i=1,2,……n) 最大后验概率可以用最大信道转移概率来取代。 最大后验概率可以用最大信道转移概率来取代。
使用最大后验概率译码准则必须已知后验概率，一般 使用最大后验概率译码准则必须已知后验概率， 说来，后验概率很难确定， 说来，后验概率很难确定，但信道的统计特性描述总 是给出信道转移概率， 是给出信道转移概率，因此利用信道转移概率的译码 准则。 准则。 由概率中的贝叶斯定理可有： 由概率中的贝叶斯定理可有：
6.1.2译码准则 6.1.2译码准则
定义6.1.1 定义6.1.1 设信道 输入符号集X={x ,i=1,2,…,r}, 输入符号集X={xi,i=1,2, ,r}, 输符号集为Y={y ,j=1,2,…,s}, 输符号集为Y={yj,j=1,2, ,s}, 若对每一个输出符号y 若对每一个输出符号yj都有一个确定的函数 对应于惟一的一个输入符号x F(yj)，使yj对应于惟一的一个输入符号xi，则 这样的函数为译码规则。 这样的函数为译码规则。 F(yj)=xi (i=1,2,…r; j=1,2,…s) 对于有r个输入， 个输出的信道来说， 对于有r个输入，s个输出的信道来说，可以 rs个不同的译码准则 个不同的译码准则。 有rs个不同的译码准则。
消息集中 一个元素
信道波形 空间中的 一个点
失真后 的波形
恢复的 消息
信信 编编
第5章 有噪信道编码
F (b1 ) a3
F (b2 ) a3 F (b3 ) a3
有 噪 信 道 编 码 定 理
一般我们知道先验概率和传递概率，故由MAP准则得到：
p (a * b j ) p (a i b j ) p (a * b j )
18
p( b j )
p (a i b j ) p( b j )
译码规则：收“0”译“1”，收“1”译“0”，则
9
译错的概率=1/3 译对的概率=2/3
结论：信道总不可避免会搀杂噪声，所以信息在信道传输过 程中，差错是不可避免的。选择合适的译码规则可以弥补信 道的不足。
有 噪 信 道 编 码 定 理
5.1.3 译码（判决）规则
1.单符号译码规则 设信道的输入与输出分别为X和Y，x X , y Y，分别 取自符号集A和B，且 A {a1 , a2 ,, ar } ，B {b1 , b2 ,, bs } 定义译码（判决）规则为 10
译码规则举例
设信道输入X取值为(a1,a2,a3), 信道输出Y取值为 (b1,b2,b3)，转移概率矩阵如下 .5 .3 .2 .2 .3 .5 .3 .3 .4
设计译码规则A为：F(b1)=a1, F(b2)=a2 , F(b3)=a3
11
也可以设计另一个译码规则B：F(b1)=a1, F(b2)=a3 , F(b3)=a2
26
a a *
p( y | x a ) / 3
1/ 2
pE ( B)
a a*
p( y | x a ) / 3
[(1 / 6 1 / 3) (1 / 3 1 / 2) (1 / 6 1 / 2)] / 3
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
F4最差
j 1
s
Pe (F4 ) 1 P F4 (bj ), bj 1 P(a2, b1) P(a1,b2 ) 1 (0.08 0.06) 0.86
8
j 1
5.3 平均差错率与信道编码
Pe与译码规则有关，即使选择最佳译码规则，也只能使Pe有 限地减小，难以满足信息传递系统的高可靠性要求。
DMC
Y
信道译码 Xˆ
F
A{a1,aBiblioteka ,,ar}B {b1,b2,,bs}
A {a1, a2 ,, ar }
N
译码规则： F (bj ) a*j A , j 1, 2, ..., s
s
s
平均差错率Pe : Pe P(bj )P(e | bj ) P(bj ) 1 P F (bj ) | bj
要进一步降低Pe，必须在传送之前进行信道编码。
例：
DMS
U {u1 , u2}
X {a1, a2}
DMC
Y {b1 , b2 }
U
PU
u1 0
0.5
u1 1
0.5
a1 0
p 0.99
p 0.01 p 0.01
a2 1 p 0.99
b1 0 b2 1
二元信源的消息个数：M=2 熵：H(U)=logM=1 bit/符号
3
5.1 译码规则与错误概率
U
信道 编码器
X 信道 Y
信道 译码器 Uˆ
f
F
N
编码信道
信道编码是一个一一对应的变换或函数，称为编码 函数f ；
信道译码也是一个函数，称为译码函数F。
由于编码f （U X）是一一对应变换，其反变换 f-1 唯一确定。因此，讨论译码函数F时，只考虑从Y中 还原出X就可以了，无需还原出U。
4
1、译码规则
X
DMC
Y
A {a1,a2,,ar}
B {b1,b2,,bs}
信道 译码F
Xˆ A {a1,a2,,ar}
N
信道译码函数F，又称译码规则，是从信道输出符 号集合B到信道输入符号集合A的映射：
F:B A F (bj ) a*j A, j 1, 2, ..., s
译码规则是由人为制订的；
j1
j1
s
s
换一种表达式：Pe 1 P F (bj ), bj 1 P F (bj ) P bj | F (bj )
j1
j1
或者 Pe
P(ai , bj )
P(ai )P(bj | ai )
Y , X a*
Y ,X a*
当输入等概时：Pe
1
1 r
s j 1
P
bj
| F (bj )
香农第二编码定理告诉我们：只要信道编码和译码的方法得 当，就可使平均差错率趋于零。
U
信道 编码器 X 信道 Y
信道 译码器 Uˆ
f
F
N 编码信道
2
各节内容
5.1 译码规则与错误概率 5.2 两种典型的译码规则 5.3 平均差错率与信道编码 5.4 汉明距离 5.5 有噪信道编码定理与逆定理 5.6 线性分组码
对于同一个信道可制订出多种译码规则；
“好”的译码规则：平均差错率小。
5
2、错误概率
X
A {a1, a2,, ar}
DMC
N
Y B {b1,b2,,bs}
信道译码 F
Xˆ A {a1,a2,, ar}
译码规则：F (bj ) a*j A , j 1, 2,..., s
bj的译码正确概率是后验概率：P(X a*j |Y bj ) P F(bj )| bj
P 信道编码 X3
f
{1,2,,8}
Y3
信道译码
Y3|X3
{1, 2 ,, 8}
F
Xˆ 3 {u1,u2}
u1 0 f 1 000 2 001 3 010 4 011 5 100 6 101 7 110
u2 1 f 8 111
1 000
2 3
001 010
5 100
4 011
bj的译码错误概率： P(e | bj ) PX F(bj )|Y bj 1 PF(bj )| bj
s
s
平均差错率Pe : Pe P(bj )P(e | bj ) P(bj ) 1 PF(bj )| bj
j1
j1
平均差错率Pe与译码规则F有关。 6
平均差错率Pe的计算公式
X
1 r Y ,X a*
P(bj
| ai )
7
例：译码规则与平均差错率
0.8
a1
b1
(1)找出所有可能的译码规则；
P(a1) 0.4
0.2 0.1
a2
(2)求出各个译码规则对应的平均差错率。
0.9
b2
4种译码规则：
F1
:
F1 F1
(b1 ) (b2 )
a1 a1
F2
:
F2 F2
(b1 ) (b2 )
由于信道输入等概，这时极 大似然译码规则是最佳的。
无信道编码时：
b1 0.99 [PXY ] 0.01
b2 0.01 a1 0.99 a2
F
:
F
F
(b1 (b2
) )
a1 a2
Pe
1
1 r
s j1
P
bj
|
F (bj )
1
1 (0.99 2
0.99)
102
15
U {u1,u2}
1、“简单重复”编码
a2 a2
F3
:
F3 F3
(b1 ) (b2 )
a1 a2
F4
:
F4
F4
(b1 ) (b2 )
a2 a1
b1 b2
b1
b2
[PX ] 0.4 0.6
0.8 [PY|X ] 0.1
0.2 a1 0.9 a2
0.32 [PXY ] 0.06
0.08 a1 0.54 a2
s
Pe (F1) 1 P F1(bj ), bj 1 P(a1, b1) P(a1, b2 ) 1 (0.32 0.08) 0.6 j 1
第5章 有噪信道编码
——差错控制编码
1
问题的提出
每一个通信系统都会有两方面技术要求：有效性和可靠性 （1）有效性：信息率，信息速率，含量效率 （2）可靠性：差错率Pe 。Pe与信道的统计特性有关。
降低Pe的方法：先对消息进行编码再送入信道传送，这种为降 低平均差错率而进行的编码称为信道编码；在信道输出端加 信道译码器进行信息还原。
6 7
101 110
8 111
F1 000 F8 111
1 2 3 4 5 6 7 8
s
Pe (F2 ) 1 P F2 (bj ),bj 1 P(a2 ,b1) P(a2, b2 ) 1 (0.06 0.54) 0.4 j 1
F3最好
s
Pe (F3) 1 P F3(bj ),bj 1 P(a1,b1) P(a2 ,b2 ) 1 (0.32 0.54) 0.14