有噪信道编码
信道编码
前言计算机通信是一种以数据通信形式出现，在计算机与计算机之间或计算机与终端设备之间进行信息传递的方式。
它是现代计算机技术与通信技术相融合的产物，在军队指挥自动化系统、武器控制系统、信息处理系统、决策分析系统、情报检索系统以及办公自动化系统等领域得到了广泛应用。
计算机通信系统是经典的数字通信系统，它是计算机技术和通信技术结合的产物，一方面通信网络为计算机之间的数据传递和交换提供必要的设施和手段；另一方面，数字计算机技术的发展渗透到通信技术中，又提高了通信网络的各种性能，二者相互渗透、互相促进、共同发展。
由于计算机、卫星通信及高速数据网的飞速发展，数据的交换、处理和存储技术得到了广泛的应用，数字信号在传输中往往由于各种原因，使得在传送的数据流中产生误码，从而使接收端产生图象跳跃、不连续、出现马赛克等现象，人们对数据传输和存储系统的可靠性提出来了越来越高的要求，经过长时间的努力，通过编译码来控制差错、提高可靠性的方式在信道传输中得到了大量的使用和发展，并形成了一门新的技术叫做纠错编码技术，纠错编码按其码字结构形式和对信息序列处理方式的不同分为两大类：分组码和卷积码。
第一章 信道编码1.1 信道编码概述1.1.1信道模型信息必须首先转换成能在信道中传输或存储的信息后才能通过信道传送给收信者。
在信息传输过程中，噪声或干扰主要是从信道引入的，它使信息通过信道传输后产生错误和失真。
因此信道的输入和输出之间一般不是确定的函数关系，而是统计依赖的关系。
只要知道信道的输入信号、输出信号以及它们之间的统计依赖关系，就可以确定信道的全部特性。
信道的种类很多，这里只研究无反馈、固定参数的单用户离散信道。
1．离散信道的数学模型离散信道的数学模型一般如图6.1所示。
图中输入和输出信号用随机矢量表示，输入信号为 X = (X 1, X 2,…, X N )，输出信号为Y = (Y 1, Y 2,…, Y N )；每个随机变量X i 和Y i 又分别取值于符号集A ={a 1, a 2, …, a r }和B ={b 1, b 2, …, b s }，其中r 不一定等于s ；条件概率P (y |x ) 描述了输入信号和输出信号之间的统计依赖关系，反映了信道的统计特性。
通信常见问题及答案
一、通信系统组成(尤其是数字系统，各部分作用)数字通信系统的模型：1）信源编码与译码：信源编码有两个基本功能：一是提高信息传输的有效性，即通过某种数据压缩技术设法减少码元数目和降低码元速率。
码元速率决定传输所占的带宽，而传输带宽反映了通信的有效性。
二是完成模/数转换，即当信息源给出的是模拟信号时，信源编码器将其转换成数字信号，以实现模拟信号的数字化传输。
信源译码是信源编码的逆过程。
2）信道编码与译码信道编码的目的是增强数字信号的抗干扰能力。
数字信号在信道传输时受到噪声等的影响后将会引起差错。
为了减小差错，信道编码器对传输的信息码元按一定的规则加入保护成分（监督元），组成所谓“抗干扰编码”。
接收端的信道译码器按相应的逆规则进行解码，从中发现错误或纠正错误，提高通信系统的可靠性。
3）加密与解密在需要实现保密通信的场合，为了保证所传信息的安全，人为地将被传输的数字序列扰乱，即加上密码，这种处理过程叫加密。
在接收端利用与发送端相同的密码复制品对收到的数字序列进行解密，恢复原来信息。
4）数字调制与解调数字调制就是把数字基带信号的频谱搬移到高频出，形成在信道中传输的带通信号。
基本的数字调制有振幅键控（ASK）、频移键控（FSK）、绝对相移键控（PSK）、相对（差分）相移键控（DPSK）。
在接收端可以采用相干解调或非相干解调还原数字基带信号。
对高斯噪声下的信号检测，一般用相关器或匹配滤波器来实现。
5）同步同步是使收发两端的信号在时间上保持步调一致，是保证数字通信系统有序、准确、可靠工作的前提条件。
按照同步的功用不同，分为载波同步、位同步、群同步、和网同步。
二、通信的质量指标（有效性、可靠性两者的相互协调。
模拟、数字通信的有效可靠分别用什么来衡量）通信系统的性能指标涉及其有有效性、可靠性、适应性、经济性、标准性、可维护性等，通信的有效性和可靠性是主要的矛盾所在。
所谓有效性是指传输一定信息量时所占用的信道资源（频带宽度和时间间隔），或者说是传输的“速度”问题，而可靠性则是指接收信息的准确程度，也就是传输的“质量”问题。
第八讲有噪声信道编码定理
8－1 8－2 8－3 8－4
错误概率与译码准则 Fano不等式 联合典型序列 无失真信道编码定理
8－1 错误概率与译码准则
1、离散信道编码的概念
信源
信源
信道
编码
编码
信道
信源
信源
译码
译码
信宿
L
um UL
级 移
存
器
xX n
y Y n
纠
纠
错
错
编
解
码
离散信道
码
器
器
干扰
L
级 移
||G n(Y |x)| | 2n[H (Y |X )2]
定理：若 x 与 y 统计独立并与联合典型序列概率P(xy) 有相同的边缘分布，
即 ( x ,y ) P ( x ) P ( y ) P ( x ) y P ( x ) y P ( x ) P ( y );
y
x
（但不一定 P (x)P (y)P (x)y）
的概率约为 2nI(X;Y)
证明：
( x , y ) 为典型序列的概率，等于联合典型序列中任意
一对 X 和 Y 为独立的典型序列的概率。
P [x (,y) G n(X)Y ] P (x)P (y) (xy), G n(X)Y
2n[H (X) Y ]2 n[H (X) ]2 n[H (Y) ]2 n[I(X;Y) 3]
（3）
2n[H(XY)] P(xy)2n[H(XY)];
(1 )2n[H(X)] ||Gn(X)||2n[H(X)]; (1 )2n[H(Y)] ||Gn(Y)||2n[H(Y)]; (1 )2n[H(XY)] ||Gn(XY)||2n[H(XY)];
第8章 信道编码
G( 7 , 4 )
1
1
1 1
1 0
0 0
1 0
0 1
0
0
0 1 1 0 0 0 1
1 0 0 1 1 1 0
H(7,4)
0
1
0
0
1
1
1
0 0 1 1 1 0 1
经过变换后为
1 0 0 0 1 0 1
G( 7 , 4 )
0
0
1 0
0 1
0 0
1 1
1 1
1
0
0 0 0 1 0 1 1
例：(7,3)码的生成矩阵和监督矩阵为 1 0 1 1 0 0 0
1 0 0 1 1 1 0
G(7,3)
0
1
0
0
1
1
1
0 0 1 1 1 0 1
H (7,3)
1
1
1 1
1 0
0 0
1 0
0 1
0
0
0 1 1 0 0 0 1
则将两个矩阵的作用对换，得到对偶码(7,4)码的生成矩阵和
监督矩阵为 1 0 1 1 0 0 0
即该错误不能被正确纠正过来
因此只能纠1位错
8.1.2 平均错误译码概率
1
例：二进制对称信道传递矩阵 码
P
4
3
如果译码规则为00、11，则 4
3
4
，先不考虑编
1
4
0和1被正确译码的概率均为1/4，即系统的平均正确译码概率为1/4
0和1被错误译码的概率均为3/4，即系统的平均错误译码概率为3/4
HCT 0T CH T 0
则H称为(n, k)线性码的一致监督矩阵(或校验矩阵)
信息论与编码-第6章 有噪信道编码
平均错误译码概率:
PE p(b j ) P(e | b j ) p(b j )[1 P(ai | b j )]
j 1 j 1
s
s
最小错误概率准则
问题: 如何选择p(ai|bj)? 使p(e|bj)最小, 就应选 择p[F(bj)|bj]为最大, 即选择译码函数
简单重复编码
根据这个规则计算得译码后的错误概率为
Y , X a
PE
p ( i ) p ( j | i ) p( j | i )
1 = M
Y , X a
1 3 2 2 2 2 2 2 3 ( p pp pp pp pp pp pp p ) 2 p 3 3 pp 2 3*104 ( p 0.01)
X a ,Y
p ( ai ) p (b j | ai ) p (ai ) pe( i )
X X Y
X a ,Y
p (b j | ai ) p (ai ) F (b j ) a
如果先验概率p(ai)相等, 则: 1 PE Pe( i ) r X
第6.1节 错误概率与译码规则
1 [(0.2 0.3) (0.3 0.3) (0.2 0.4)] 0.567 3
第6.1节 错误概率与译码规则
0.5 0.3 0.2 P 0.2 0.3 0.5 for A 0.3 0.3 0.4 若采用前述译码函数A, 则平均错误率为: 1 PE P(b | a ) 3 Y , X a*
p2 p pp 2
4
信源编码
S {S1, S2 ,..., Sq}
编码器
C :{W1,W2 ,...,Wq}
X {x1, x2,..., xr}
wi 称为码字，Li为码字wi 的码元个数，称为码字wi 的码字 长度，简称码长。
第二节 码的分类
1、二元码： 码符号集X={0,1}，如果要将信源通过二元信道传输，必
须将信源编成二元码，这也是最常用的一种码。 2、等长码：
第八章 信源编码
1 引言 2 等长信源编码定理、变长信源编码定理
3 各种编码 4 有噪信道编码定理
5 联合信源信道编码定理
第五章 有噪信道编码
第一节 错误概率与译码规则 第二节 错误概率与编码方法 第三节 有噪信道编码定理 第四节 联合信源信道编码定理 第六节 纠错编码的基本思想 第七节 常用编码方法
l H (S) 2
N log r
则不可能实现无失真编码，当N趋向于无穷大是，译码错 误率接近于1。
第三节 等长信源编码定理
•定理4.3的条件式可写成： l log r NH (S)
左边表示长为 l 的码符号所能载荷的最大信息量， 而右边代表长为N的序列平均携带的信息量。因此， 只要码字传输的信息量大于信源序列携带的信息量， 总可以实现无失真编码 。
信源编码的分类：离散信源编码、连续信源编码和相关信源编 码三类。 离散信源编码：独立信源编码，可做到无失真编码； 连续信源编码：独立信源编码，只能做到限失真信源编码； 相关信源编码：非独立信源编码。
第二节 码的分类
编码器可以看作这样一个系统，它的输入端为原始信
源S，其符号集为S {S1, S2,..., Sq}；而信道所能传输的符号集 为 X {x1, x2,..., xr} 编码器的功能是用符号集X中的元素，将 原始信源的符号 Si 变换为相应的码字符号wi ，所以编码器 输出端的符号集为 C :{W1,W2,...,Wq}
通信原理第十章-有噪信道编码定理
P ai b j 为
0.125 0.075 0.05 P ai b j 0.05 0.075 0.125 0.2 0.15 0.15
F b1 0 a1 0
则当信道输入等概分布时，平均错误概率为
F b2 0 a2 0
PE 0.01
对于一般数据传输系统来说 （如数字通信， 数据传输， 等等） ， 这个错误概率相当大了。 一般要求系统的错误概率在 10-6 ~ 10-9 的范围内，有的甚至要求更低的错误概率。 那么， 在上述统计特性的二元信道中， 能否有办法使错误概率降低呢？实际经验告诉我 们：只要在发送端把消息重复发几遍，也就是增加消息的传输时间，就可使接收端接收消息 时错误减少，从而提高了通信的可靠性。 如在上述 p=0.01 的二元对称信道中，当发送消息（符号）0 时，不是只发一个 0 而是 连续发三个 0；同样发送消息（符号）1 时也连续发送三个 1。这是一种最简单的重复编码， 它将长度 n 1 的两个二元序列变成长度 n 3 的二元序列，我们称这两个长度为 3 的二元 序列为码字，于是信道输入端有两个码字 000 和 111。但在输出端，由于信道干扰的作用， 码字中各个码元（二元符号）都可能发生错误，因此，信道的输出序列有 8 种可能 （000,001,010,011,100， 101,110,111） 。 显然， 这样一种信道可以看成是三次无记忆扩展信道。 其输入序列集合中包括 2 个长度为 3 的码字， 输出序列集合中包括 8 个长度为 3 的符号序列。 这时信道矩阵为
(完整版)通信常见问题及答案
一、通信系统组成(尤其是数字系统，各部分作用)数字通信系统的模型：1）信源编码与译码：信源编码有两个基本功能：一是提高信息传输的有效性，即通过某种数据压缩技术设法减少码元数目和降低码元速率。
码元速率决定传输所占的带宽，而传输带宽反映了通信的有效性。
二是完成模/数转换，即当信息源给出的是模拟信号时，信源编码器将其转换成数字信号，以实现模拟信号的数字化传输。
信源译码是信源编码的逆过程。
2）信道编码与译码信道编码的目的是增强数字信号的抗干扰能力。
数字信号在信道传输时受到噪声等的影响后将会引起差错。
为了减小差错，信道编码器对传输的信息码元按一定的规则加入保护成分（监督元），组成所谓“抗干扰编码”。
接收端的信道译码器按相应的逆规则进行解码，从中发现错误或纠正错误，提高通信系统的可靠性。
3）加密与解密在需要实现保密通信的场合，为了保证所传信息的安全，人为地将被传输的数字序列扰乱，即加上密码，这种处理过程叫加密。
在接收端利用与发送端相同的密码复制品对收到的数字序列进行解密，恢复原来信息。
4）数字调制与解调数字调制就是把数字基带信号的频谱搬移到高频出，形成在信道中传输的带通信号。
基本的数字调制有振幅键控（ASK）、频移键控（FSK）、绝对相移键控（PSK）、相对（差分）相移键控（DPSK）。
在接收端可以采用相干解调或非相干解调还原数字基带信号。
对高斯噪声下的信号检测，一般用相关器或匹配滤波器来实现。
5）同步同步是使收发两端的信号在时间上保持步调一致，是保证数字通信系统有序、准确、可靠工作的前提条件。
按照同步的功用不同，分为载波同步、位同步、群同步、和网同步。
二、通信的质量指标（有效性、可靠性两者的相互协调。
模拟、数字通信的有效可靠分别用什么来衡量）通信系统的性能指标涉及其有有效性、可靠性、适应性、经济性、标准性、可维护性等，通信的有效性和可靠性是主要的矛盾所在。
所谓有效性是指传输一定信息量时所占用的信道资源（频带宽度和时间间隔），或者说是传输的“速度”问题，而可靠性则是指接收信息的准确程度，也就是传输的“质量”问题。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
6.1 设有一离散无记忆信道，其信道矩阵为
⎥⎥⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎢⎢⎣⎡=216131312161613121P 若4
1)()(,21)(321===x p x p x p 。
试求最佳译码时的平均错误概率。
解：
[]24
1112112124181121241)()(;)(;)(81241121121812411216181)()
()*()
/()()/*()()
/()/*(*,3
31211=+++++==
===⎥⎥⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎢⎢⎣⎡=≥≥≥∑-x X Y j i E j i j i j j i j j j j i j y x p P x y F x y F x y F y x p y x p y x p y x p y p y x p y p y x p y x p 6.2 设一离散无记忆信道的输入符号集为
2
1，输出符号集为，信道转移概率为，若译码器以概率对收到的判决为。
试证明对给定的输入分布，任何随机判决方法得到的错误概率不低于最大后验概率译码时的错误概率。
解：
6.3 将个消息编成长度为的二元数字序列，对特定的个二元序列从个可供选择的序列中独立、等概地选出。
设采用极大似然译码规则译码。
试求题图6.1中三种信道下的平均译码错误概率。
解：
6.4 某一信道，其输入的符号集为，输出的符号集为，信道矩阵为
⎭⎬⎫⎩
⎨⎧=⎥⎦⎤⎢⎣⎡02.005.008.010.015.018.020.022.087654321s s s s s s s s P S 现有4个消息的信源通过这信道传输（消息等概率出现）。
若对信源进行编码，我们选择这样一种码
其码长为。
并选取这样的译码规则。
(1) 这样编码后信息传输率等于多少？
(2) 证明在选用的译码规则下，对所有码字有。
解：
6.5 设有一离散无记忆信道，其信道矩阵为
⎭⎬⎫⎩
⎨⎧=⎥⎦⎤⎢⎣⎡04.008.016.018.022.032.0654321s s s s s s P S (1) 计算信道容量；
(2) 找出一个码长为2的重复码，其信息传输率为。
当输入码字为等概分布时，如果按照最大似然译码规则设计译码器，求译码器输出端的平均错误概率。
解：
6.6 设一离散无记忆信道的输入符号集为，输出符号集为，信道转移概率为，若译码器以概率对收到的判决为。
试证明对于给定的输入分布，任何随机判决方法得到的错误概率不低于最大后验概率译码时的错误概率。
解：
6.7 考虑一个码字长为4的二元码，其码字为，若将码字送入一个二元对称信道，该信道的但符号错误概率为，且，输入码字的概率分布为。
试找出一种译码规则使平均错误概率最小。
解：
6.8 证明线性分组码的最小码间距离不能超过。
解：。