2015秋.信息论.第6章有噪信道编码

一般信道总会存在噪声和干扰, 那么在有噪信道中进行无错传输可以达到的最大信息传输率是多少呢？这就是本章所要讨论的问题.

第六章有噪信道编码

第6.1节错误概率与译码规则

有噪信道传输消息是会发生错误的. 为了减少错误, 提高通信可靠性, 就必须

1) 分析错误概率与哪些因素有关？

2) 有没有办法控制, 如何控制？

3) 能控制到什么程度？

错误概率与信道的统计特性有关, 但并不是唯一相关的因素, 译码方法的选择也会影响错误率。

?信道统计特性

信道统计特性用信道传递矩阵来描述, 该矩阵确定了哪些是正确传递概率, 哪些是错误传递概率.

?译码规则

通信过程并非到信道输出端就结束, 还要经过译码过程(或判决过程)才到达消息的终端(收信者).

例: 有一个BSC 信道, 如图

01

1

1/3

1/3

2/3

2/3若收到“0”译作“0”, 收到“1”译作“1”,

则平均错误概率为:

2

(0)(1|0)(1)(0|1)3E P p p p p =+=若收到“0”译作“1”, 收到“1”译作“0”, 则

错误概率与译码准则有关.

1

(0)(0|0)(1)(1|1)3

E P p p p p =+=

译码规则

输入符号集: A={a i}, i=1,2,…,r;

输出符号集: B={b j}, j=1,2,…,s;

设计函数F(b j), 它对每个输出符号b j确定一个唯一的输入符号a i与其对应(单值函数)。这样的函数称为译码规则，即F(b j)=a i

由于任何输出符号b j 都可以译成任何输入符号a i , 所

以有r s 种译码规则。

译码规则的选择依据: 使平均错误概率最小。

译码准则可以为: A: 和B:112233

()()()F b a F b a F b a ===11

2332

()()()F b a F b a F b a ===0.50.30.20.20.30.5?()0.30.30.4j i

P F b a ????==??????

例:

有了译码规则F(b j )=a i 以后,

条件正确概率:

p[F(b j )|b j ]=p(a i |b j )

条件错误概率:

p(e|b j )=1-p(a i |b j )=1-p[F(b j )|b j ]

平均错误译码概率:

1

1

()(|)()[1(|)]

s s

E j j j i j j j P p b P e b p b P a b ====-∑∑

最小错误概率准则

问题: 如何选择p(a i|b j)而使p(e|b j)最小？

应选择p[F(b j)|b j]为最大。

即选择译码函数F(b j)=a*并使之满足条件:

p(a*|b j)≥p(a i|b j)（对所有a i≠a*）

收到符号b

后译成具有最大后验概率的输入符号a*。

j

该译码准则称为“最大后验概率准则”或“最小错误概率准则”。

极大似然译码准则

?一般已知信道传递概率p(b j |a i )与输入符号先验概率

p(a i ), 上式也可以写成

?这样最大后验概率准则就表示为:

–选择译码函数F(b j )=a *,使满足p(b j |a *)p(a *)≥p(b j |a i )p(a i )，–也即p(a *b j )≥p(a i b j )。

(|)()

(|)()

(|)(|)

()

()

j j i i j i j j j P b a P a P b a P a P a b P a b P b P b **

*

=

≥

=该译码规则称为极大似然译码准则。

?

如果输入符号等概发生, 则选择译码函数F(b j )=a *,

并满足p(b j |a *)≥p(b j |a i )即可。

该准则表示收到b j 后, 在信道矩阵的第j 列, 选择最大的值对应输入符号a *作为译码输出。

选择译码函数F(b j )=a *,使满足p(b j |a *)p(a *)≥p(b j |a i )p(a i )

p(a *b j )≥p(a i b j )

{}

()(/)1()/()

1()1/()()E j j j j j Y

Y

j j Y

j j j Y

P p b p e b p F b b p b p F b b p b F b p F b ??==-????=-??

????=-????

∑∑∑∑平均错误概率

11/()()1/()E j j j j j Y Y

P p b F b p F b p b F b r ??????=-=-??????

∑∑当a i 等概率分布时，

例: 信源等概发生，信道转移矩阵0.50.50.30.20.20.30.3.40.30P ????=??????

根据极大似然准则可选择译码函数为1123

32()()()F b a F b a F b a

=??

=??=?

1

1[0.50.30.5]0.567

3

E P =-++=1

1/()E j j Y

P b F b r ??=-??∑

若采用译码函数：1

1(0.50.30.4)0.63

E

P '=-++=E E

P P '>0.30.20.20.50.30.30.50.30.4P ????=??????

11

22

33

()()()F b a F b a F b a ===则平均错误率为:

0.50.50.30.20.20.30.40.0.33P ????=??????

11

2232

()()()F b a F b a F b a =??

=??=?1

1[0.50.30.5]0.567

3

E P =-++=11

2332()()()F b a F b a F b a

=??

=??=?

例: 若a1,a2,a3出现的概率分别为0.3,0.3,0.4，信道转移矩阵

0.50.50.30.20.20.30.3.40.30P ????=??????

根据极大似然准则可选择译码函数为11

23

33

()()()F b a F b a F b a =??

=??=?1[0.150.120.16]0.57

E P =-++=0.090.06()0.060.090.150.1500.0.122611.i j P a b ??

??=??????

§6.2 编码方法与错误概率

1、影响平均错误概率p E的因素

①译码规则

②信道统计特性——信道传递概率

2、选择最佳译码规则只能有限减少平均错误概率p E

3、需要通过改变信道传递概率进一步减少p E

①物理上通过更换信道改变信道传递概率减少p

E

②数学上通过信道编码改变信道传递概率减少p

E

一、简单重复编码

例：要发送两个消息

（1）传1位码

发1误0收端不知道是否有误码0误1无纠检错能力

（2）传2位码

发11误10

00误或01可检错一位

（3）传3位码

发111

000

收、发两端约定：

①当收到两个以上的“1”（即011、101、110、111），认为发端发的是111；

当收到两个以上的“0”（即001、010、100、000），认为发端发的是000。

此时可纠错1位

②发111（或000）误110等可能是111误成110，也可能

是000误成110。此时最多可

检错2位

无编码二元对称信道

99.001.001.099.0??

????=P 二元对称信道矩阵2

1[0.010.01]10

2

E p -=+=输入等概分布条件下，平均错误概率为

2

21

1)()(??

?==a b F a b F 最佳译码规则

三次简单重复编码：

规定信源符号为“0”发送“000”,为“1”发送“111”，此时构成的新信道可以看成是二元对称信道的三次扩展信道。

=======7654321110101100011010001 a a a a a a a 的码字没有使用

000 消息的码字发送端用作110101100011010001

0007654321=======βββββββ接收序列接收端