信道及信道容量
合集下载
第三章离散信道及其信道容量
0
0 1
不是一一对应,无扰有信息损失
1
(2)有扰信道 例3:
a1
0.9
X
0.1
a2
0.2 0.8
b1
Y
b2
0.9 0.1 [P] 0.2 0.8 有扰有信息损失,干扰严重
例4:
a1
X
a2
1/2 1/2 1/2 1/2
b1
Y
b2
1/ 2 1 / 2 [P] 1/ 2 1 / 2
P yi xi P xi yi
即E{log x} ≤log{E(X)}
即E{log x} ≤log{E(X)}
I(X
;Y
)
X
Y
P(x,
y)
log
P( x)P( y) P(x, y)
log
XY
P(x,
y)
P( x)P( y) P(x, y)
log1
0
∴ I(X;Y) ≥ 0
∵ logx为∩ 型凸函数,只有当且仅当 p(x.y)=P(x)P(y),即x和Y统计独立时I(X;Y)=0
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都 有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都 是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相 应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上 连续的随机信号。即信道输入和输出的随机变量的 取值是连续的，并且还随时间连续变化。一般用随 机过程来描述其输入和输出。
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1
第三章 信道与信道容量 习题解答
，
，求
，
，
和
；
（2） 求该信道的信道容量及其达到信道容量时的输入概率分布。
解：
（1）先写出
：
根据公式
计算联合概率：
信宿端符号分布概率：
根据公式
计算：
3
求各熵： 信源熵：
比特/消息
信宿熵：
比特/消息
可疑度：
平均互信息量： 噪声熵： （2）二元对称离散信道的信道容量：
比特/消息 比特/消息
比特/秒
信源等概分布时（
解：设下标 1为原状况，下标 2为改变后状况。由
可得：
，
倍
如果功率节省一半则
倍 ，为 了 使 功 率 节 省 一 半 又 不 损 失 信 息 量 I，根 据
，可以： （1） 加大信道带宽 W，用带宽换取信噪比
，
，
7
缺点是对设备要求高。 （2） 加大传输时间 T，用传输时间换取信噪比，同理可得：
缺点是传输速度降低了。
噪声熵：
（5）平均互信息量：
2．有一个生产 A、B、C、D四种消息的信源其出现的概率相等，通过某一通信系统传输时，B和 C无误，A 以 1/4概率传为 A，以 1/4概率误传为 B、C、D，而 D以 1/2概率正确传输，以 1/2概率误传为 C，
（1）试求其可疑度？（2）收到的信号中哪一个最可靠？（3）散布度为多少？ 解：（1）
，
将各数据代入： 解得：
如果
则
将各数据代入： 解得：
14.在理想系统中，若信道带宽与消息带宽的比为 10，当接收机输入端功率信噪比分别为 0.1和 10时，试
比较输出端功率信噪比的改善程度，并说明
与
之间是否存在阀值效应。
几种特殊信道的信道容量
0 0
0 1
在信道中传递一个符号需要t秒，求信道每秒钟最大的信 息传输率。
解：
信道容量: C = logs=log2=1, 最佳分布为输出符号等概率 分布。
信道每秒钟最大的C信t 息C传t 输 率1t 为( b:it / s )
5
5
4. 有噪打字机信道
A
0.5
A
0.5
B
0.5
B
C
1 py|x
1
1
1-α
x
px
y
py|x
log
1 py|x
pxH ( )
x
H ( )
10
6. 二元删除信道（BEC）（续）
0
1-α
(1 )(1 )
0
而
PY
PY |X PX
(1 )
α
故 H (Y )
e
py log
pi
log
1 pi
信道容量为：
C max[H (Y ) H (Y | X )] p(x)
max p(x)
H (Y )
H ( p1,
p2, ,
pn )
最佳分布为输出符号等概率分布。
13
7. 对称离散信道
信道传递概率矩阵P中，每行都是同一个集合{p1, p2, …, ps}中的诸元素的不同排列组成，而且每列也都是另 一个集合{q1, q2, …, qr}中的诸元素的不同排列组成。
P
1/ 1/
3 6
1/ 3 1/ 6
1/ 6 1/ 3
1/ 6 1/ 3
P
第三章 信道模型和信道容量
这是可知疑义度H(X/Y)=0，平均交互信息量达到最大值 I(X,Y)=H(X)，C=logr。从平均意义上讲，这种信道可以把信源 的信息全部传递道信宿。这种每列只有一个非0元素的信道也 是一种无噪声信道，称为无噪声信道。
确定信道
这类信道的转移概率等于1或者等于0， 每一列的元素可有一个或多个1，可知其 噪声熵H(Y/X)=0，此时的平均交互信息 量达到最大值。
离散信道
X
P(Y/X)
Y
离散信道分类： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道
离散信道三种表达方式
概率空间描述 X={a1,a2,……ar} P(Y/X)={p(bj/ai)}
j=1,2,……s) Y={b1,b2,……bs} 0≤p(bj/ai)≤1
(i=1,2,……r;
转移矩阵描述
信道组合
串联信道 并联信道
4.4 时间离散的无记忆连续 信道
可加噪声信道
P(y|x)=p(y-x)=p(z)
Hc (Y | X ) Hc (Z ) I (X ;Y ) Hc (Y ) Hc (Z )
可加噪声信道
高斯噪声信道
I
(X
;Y
)
H
(Y
)
Hc
(X
)
1 2
log(1
2 x 2 z
)
例已知一个二元信源连接一个二元信道， 如图给出。X={x1,x2}, [p(xi)]={1/2,1/2}
求I(X；Y)，H(X,Y)，H(X/Y)，和H(Y/X)。
信道容量
C max R max I (X ;Y )bit / 符号
PX
PX
1
Ct
max PX
Rt
第三章信道与信道容量
3.1信道的基本概念 信道的基本概念
• 2. 信道模型及信道参数
• • • • • •
信道的三要素:输入 输出 信道的三要素 输入,输出 输入 输出,p(y/x) 根据信道是否存在干扰及有无记忆,可分为 可分为: 根据信道是否存在干扰及有无记忆 可分为 1)无干扰 无干扰 2)有干扰无记忆 有干扰无记忆 3)有干扰有记忆 有干扰有记忆 对于有干扰无记忆信道进一步分为: 对于有干扰无记忆信道进一步分为
这里I ( xI ; Y ) = ∑ p( yj / xi ) log p( yj / xi )
j =0
Q −1
p( yj )
• 2 离散时间无记忆信道的容量
这类信道中最重要的一种是加性高斯白噪 信道,对它而言 声(AWGN)信道 对它而言，离散输入 ＝{ 信道 对它而言，离散输入X＝ x0,x1,…，xq-1}和模拟输出 ＝｛ 和模拟输出Y＝｛ ， 和模拟输出 ＝｛-∞,∞｝ ｝ 之间的最大平均互信息即信道容量由下式 给出(单位是比特 符号)： 单位是比特/符号 给出 单位是比特 −符号 ： q 1
1 ∞ p ( y / A) 1 ∞ p ( y / − A) C = ∫ p ( y / A) log 2 dy + ∫ p ( y / − A) log 2 dy −∞ −∞ 2 2 p( y) p( y )
•
3.带限波形信道的容量 带限波形信道的容量
一个受加性高斯白噪声干扰的带限波形信道的容量
1 C = lim max I ( X ; Y ) T →∞ Px T
香农公式
C = W log(1 +
1.
Pav ) = W log(1 + SNR) WN 0
带宽一定时，信道容量随 的增加而单调增加， 带宽一定时，信道容量随SNR的增加而单调增加，因此增大 的增加而单调增加 信号功率、减小信道噪声可以增加信道容量。 信号功率、减小信道噪声可以增加信道容量。 2. 如果 如果SNR固定，信道容量随着带宽的增加而增加。 固定， 固定 信道容量随着带宽的增加而增加。
信道、信道容量、数据传输速率
信道、信道容量、数据传输速率简介：信道、信道容量、数据传输速率（比特率）、电脑装置带宽列表一、信道的概念信道，是信号在通信系统中传输的通道，是信号从发射端传输到接收端所经过的传输媒质，这是狭义信道的定义。
广义信道的定义除了包括传输媒质，还包括信号传输的相关设备。
信道容量是在通信信道上可靠地传输信息时能够达到的最大速率。
根据有噪信道编码定理，给定信道的信道容量是其以任意小的差错概率传输信息的极限速率。
信道容量的单位为比特每秒、奈特每秒等等。
香农在第二次世界大战期间发展出信息论，并给出了信道容量的定义和计算信道容量的数学模型。
他指出，信道容量是信道的输入与输出的互信息量的最大值，这一最大取值由输入信号的概率分布决定。
二、信道的分类（一）狭义信道的分类狭义信道，按照传输媒质来划分，可以分为有线信道、无线信道和存储信道三类。
1. 有线信道有线信道以导线为传输媒质，信号沿导线进行传输，信号的能量集中在导线附近，因此传输效率高，但是部署不够灵活。
这一类信道使用的传输媒质包括用电线传输电信号的架空明线、电话线、双绞线、对称电缆和同轴电缆等等，还有传输经过调制的光脉冲信号的光导纤维。
2. 无线信道无线信道主要有以辐射无线电波为传输方式的无线电信道和在水下传播声波的水声信道等。
无线电信号由发射机的天线辐射到整个自由空间上进行传播。
不同频段的无线电波有不同的传播方式，主要有：地波传输：地球和电离层构成波导，中长波、长波和甚长波可以在这天然波导内沿着地面传播并绕过地面的障碍物。
长波可以应用于海事通信，中波调幅广播也利用了地波传输。
天波传输：短波、超短波可以通过电离层形成的反射信道和对流层形成的散射信道进行传播。
短波电台就利用了天波传输方式。
天波传输的距离最大可以达到400千米左右。
电离层和对流层的反射与散射，形成了从发射机到接收机的多条随时间变化的传播路径，电波信号经过这些路径在接收端形成相长或相消的叠加，使得接收信号的幅度和相位呈随机变化，这就是多径信道的衰落，这种信道被称作衰落信道。
第7讲——信道与信道容量(21)
可以通过更经常采用这个输入k（即加大Qk）来增大。但这样做 会改变每个输入与所有输出之间的平均互信息量（由概率归一 性约束）。通过足够多次的调整输入概率分布，就可使每个概 率不为零的输入与所有输出之间的平均互信息量任意接近。
信道容量计算
• 对于一般信道,信道容量计算相当复杂,我们只讨论 某些特殊类型的信道 • 几种特殊类型的信道 －无噪无损信道 －有噪无损信道 －无噪有损信道 －对称、 Y ) H ( X ) H (Y )
C max I ( X ; Y )
p ( ai )
max H ( X ) log n
1 3 P 0
1 3 0
1 3 0
0 1 4
0 3 4
对称信道
对称性: – 若P的任一行是第一行的置换，则称信道是关于输 入为对称的。 – 若P的任一列是第一列的置换，则称信道是关于输 出为对称的。 – 若信道是关于输入为对称的，又是关于输出为对称 的，则称信道为对称信道。 1 1 1 2 3 6 1 1 1 1 3 3 6 6 1 1 1 P P 6 2 3 1 1 1 1 1 1 1 6 6 3 3 3 6 2
第 3章 信道与信道容量
信道容量
• 我们研究信道的目的是要讨论信道中平均每个符号所能 传送的信息量，即信道的信息传输率 • 平均互信息I (X;Y) – 接收到符号Y后平均每个符号获得的关于X的信息量。 – 每传递一个符号流经信道的信息量，即信息传输率 K 1 J 1 p( x | y ) K 1 J 1 p( y | x) I ( X ; Y ) P( xy) log P( xy) log p ( x) p( y ) x 0 y 0 x 0 y 0
信道容量的概念和特点
信道容量的概念和特点信道容量是指在一定的信道条件下，信道所能够传输的最大信息速率。
在通信系统中，信道容量是一个重要的性能指标，它直接影响着通信系统的传输速率和可靠性。
了解信道容量的概念和特点对于设计和优化通信系统具有重要意义。
首先，信道容量的概念是建立在信息论基础上的。
信息论是研究信息传输和处理的数学理论，其中信道容量是信息论中的一个重要概念。
在信息论中，信道容量被定义为在给定的信道条件下，能够传输的最大平均信息速率。
这意味着在理想的情况下，通信系统可以以信道容量的速率传输信息，而不会出现错误。
其次，信道容量的特点包括以下几个方面。
首先，信道容量与信道条件密切相关。
不同的信道条件会导致不同的信道容量，例如在高信噪比条件下，信道容量会更大。
其次，信道容量受到带宽和信噪比的影响。
带宽越大、信噪比越高，信道容量也会越大。
此外，信道编解码技术和调制技术也会影响信道容量，通过优化编解码和调制方案可以提高信道容量。
另外，信道容量还具有一些实际应用中的特点。
首先，对于无线通信系统来说，由于受到无线传播环境的影响，信道容量往往是动态变化的。
因此，在设计无线通信系统时需要考虑动态的信道容量。
其次，对于有线通信系统来说，由于受到线路衰减和干扰的影响，信道容量也会受到限制。
因此，在设计有线通信系统时需要考虑如何克服这些限制。
总之，了解信道容量的概念和特点对于通信系统的设计和优化具有重要意义。
通过合理地利用信道容量，可以提高通信系统的传输速率和可靠性，从而满足不同应用场景的需求。
因此，在通信系统的研究和实践中，对于信道容量的理解和应用至关重要。
串联信道及其信道容量
P( z x) P( y x) P( z xy)
Y
x X , y Y , z Z
则总信道的传递矩阵
P ( z x ) P ( y x ) P ( z xy ) rt rs st
若X，Y，Z满足马尔可夫链，得总信道的传递概率
电子信息工程学院
信息论
3.8串联信道及其信道容量
由信息不增原理
H ( X ) I ( X ; Y ) I ( X ; Z ) I ( X ;W ) C (1,2) max I ( X ; Z ) C (1,2,3) max I ( X ;W )
X
可以看出,串接的信道越多,其信道容量可能会越 小,当串接信道数无限大时,信道容量可能会趋于0 信道1
对于串联信道，若其输入输出变量之间组成一个马尔可夫链 ，则存在下述定理。该定理对于串联的单符号离散信道或是输 入、输出都是随机序列的一般信道都成立。
电子信息工程学院
信息论
3.8串联信道及其信道容量
两个定理
定理3.7 当且仅当
I ( XY ; Z ) I (Y ; Z ) P( Z / XY ) P( Z / Y )
时等式成立。
电子信息工程学院
信息论
3.8串联信道及其信道容量
两个定理
定理3.8 若X、Y、Z组成一个马尔可夫链，则有
I ( X ; Z ) I ( X ;Y )
I ( X ; Z ) I (Y ; Z )
定理3.8表明通过数据处理后，一般只会增加信息的损失，最 多保持原来获得的信息，不可能比原来获得的信息有所增加 。也就是说，对接收到的数据 Y进行处理后，无论变量 Z是Y 的确定对应关系还是概率关系，决不会减少关于 X 的不确定 性。故定理3.8称为数据处理定理。
Y
x X , y Y , z Z
则总信道的传递矩阵
P ( z x ) P ( y x ) P ( z xy ) rt rs st
若X，Y，Z满足马尔可夫链，得总信道的传递概率
电子信息工程学院
信息论
3.8串联信道及其信道容量
由信息不增原理
H ( X ) I ( X ; Y ) I ( X ; Z ) I ( X ;W ) C (1,2) max I ( X ; Z ) C (1,2,3) max I ( X ;W )
X
可以看出,串接的信道越多,其信道容量可能会越 小,当串接信道数无限大时,信道容量可能会趋于0 信道1
对于串联信道，若其输入输出变量之间组成一个马尔可夫链 ，则存在下述定理。该定理对于串联的单符号离散信道或是输 入、输出都是随机序列的一般信道都成立。
电子信息工程学院
信息论
3.8串联信道及其信道容量
两个定理
定理3.7 当且仅当
I ( XY ; Z ) I (Y ; Z ) P( Z / XY ) P( Z / Y )
时等式成立。
电子信息工程学院
信息论
3.8串联信道及其信道容量
两个定理
定理3.8 若X、Y、Z组成一个马尔可夫链，则有
I ( X ; Z ) I ( X ;Y )
I ( X ; Z ) I (Y ; Z )
定理3.8表明通过数据处理后，一般只会增加信息的损失，最 多保持原来获得的信息，不可能比原来获得的信息有所增加 。也就是说，对接收到的数据 Y进行处理后，无论变量 Z是Y 的确定对应关系还是概率关系，决不会减少关于 X 的不确定 性。故定理3.8称为数据处理定理。
通信原理第八章-离散信道及信道容量
第八章 离散信道及信道容量
信道，顾名思义就是信号的通道。图 8.1 中位于调制器和解调器之间的信道指用来传 输电信号的传输介质，如电缆，光缆，自由空间等，我们把这样的信道称为狭义信道。狭 义信道的输入为波形信号，输出为连续信号。还有一种定义即凡是信号经过的路径都称为 信道，这就是广义信道的概念。如图 8.1 所示，由调制器，信道和解调器构成了一个广义 编码信道。编码信道的输入和输出均为数字信号，因此，我们也将这类信道称为离散信道。
P(a������b������) = P(a������)������(b������|a������) = P(b������)P(a������|b������)
（8.5）
其中 ������(b������|a������)是信道传递概率，即发送为a������，通过信道传输接收到为b������的概率。通常称为前向
(������ = 1,2, … , ������ ������ = 1,2, … ������) （8.7）
8.2 平均互信息及平均条件互信息 在阐明了离散单符号信道的数学模型，即给出了信道输入与输出的统计依赖关
系以后，我们将深入研究在此信道中信息传输的问题。
8.2.1 损失熵和噪声熵
信道输入信号 x 的熵为
I(X, Y) = ������(������) − H(������|������)
（8.12）
I(X, Y)称为 X 和 Y 之间的平均互信息。它代表接收到输出符号后平均每个符号获得的关于 X
的信息量。根据式（8.8）和式（8.11）得
I(X; Y)
=
∑������,������
������(������������)
H (Y
X)
信道，顾名思义就是信号的通道。图 8.1 中位于调制器和解调器之间的信道指用来传 输电信号的传输介质，如电缆，光缆，自由空间等，我们把这样的信道称为狭义信道。狭 义信道的输入为波形信号，输出为连续信号。还有一种定义即凡是信号经过的路径都称为 信道，这就是广义信道的概念。如图 8.1 所示，由调制器，信道和解调器构成了一个广义 编码信道。编码信道的输入和输出均为数字信号，因此，我们也将这类信道称为离散信道。
P(a������b������) = P(a������)������(b������|a������) = P(b������)P(a������|b������)
（8.5）
其中 ������(b������|a������)是信道传递概率，即发送为a������，通过信道传输接收到为b������的概率。通常称为前向
(������ = 1,2, … , ������ ������ = 1,2, … ������) （8.7）
8.2 平均互信息及平均条件互信息 在阐明了离散单符号信道的数学模型，即给出了信道输入与输出的统计依赖关
系以后，我们将深入研究在此信道中信息传输的问题。
8.2.1 损失熵和噪声熵
信道输入信号 x 的熵为
I(X, Y) = ������(������) − H(������|������)
（8.12）
I(X, Y)称为 X 和 Y 之间的平均互信息。它代表接收到输出符号后平均每个符号获得的关于 X
的信息量。根据式（8.8）和式（8.11）得
I(X; Y)
=
∑������,������
������(������������)
H (Y
X)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
P 1
信道1 p( j | k )
P2
信道2 P p( j | k )
若信道1和信道2级联，则要求信道1的输出集和信道2的输入集 相同。给定信道1和信道2的转移概率 p( j | k ) 和 p( j | k ) ， 则 级联信道的转移概率为 p ( j | k ) j p( j | k ) p( j | k j ) 这样就得到了一个新的离散信道，输入集为 X1 ，输出集为 Y2 ， 转移概率矩阵为 {P( j | k )}。
信息工程学院通信工程系
3.2 离散信道及数学模型
多符号离散信道数学模型 X=X1X2… Xk ….XN
P(Y|X)
Y=Y1Y2…Yk ….YN
{p(yj|xi)}
Xk取值: {x1, x2, …, xn}， 则X共有nN 种 i , i=1～nN Yk取值: {y1, y2, …, ym}， 则Y共有mN种 j , j=1～mN
在物理信道一定的情况下，总是希望传输的信息越 多越好。这不仅仅与物理信道本身特性有关，还与载荷
信息的信号形式和信源输出信号的统计特性有关。
本章讨论“什么条件下，通过信道的信息量最大”。
信息工程学院通信工程系
3.1 信道分类和描述
信道分类
1、根据信道两端输入和输出集合的个数，分为： 两端信道(单用户信道)--输入、输出均只有一个 多端信道(多用户信道)--输入、输出有多个 2、根据输入、输出随机变量的个数，分为： 单符号信道--输入、输出用随机变量表示 多符号信道--输入、输出用随机矢量表示 3、根据信道上有无噪声(干扰)，分为： 有噪(扰)信道 无噪(扰)信道
[ （1） 信道输入统计概率空间：X , p( X )] [ （2） 信道输出统计概率空间：Y , p (Y )] （3） 信道的统计特性，即信道转移概率矩阵：p( y | x)
信息工程学院通信工程系
3.2 离散信道及数学模型
离散信道数学模型
设离散信道的输入空间为 X {x1 , x2 , , xn } 概率分布为 { pi }, i 1, 2, , n 输出空间为 Y { y , y , , y } 1 2 m 概率分布为 {q j }, j 1, 2, , m 条件概率为 P(Y | X ) p( y j | xi ),(i 1,2,, n; j 1,2,, m) 该条件概率称为信道的传递概率或转移概率。
其中 p( xi | y j ) 0,
p( x | y ) 1
i 1 i j
n
信息工程学院通信工程系
3.2 离散信道及数学模型
离散信道中的概率关系
（1）联合概率
p( xi y j ) p( xi ) p( y j | xi ) p( y j ) p( xi | y j )
其中 p( y j | xi ) 称为前向概率，描述信道的噪声特性。 p( xi | y j ) 称为后向概率，后验概率。 p( xi ) 称为先验概率。 （2）输出符号的概率 p( y j ) i 1 p( xi ) p( y j | xi )
条件概率为
P(Y | X ) p(Y y j | X xi ) p( y j | xi ) (i 1, 2, , n; j 1, 2, , m)
满足
m j 1
p( y j | xi ) 1, (i 1, 2, , n)
p( y j | xi ) 0 (i 1, 2, , n; j 1, 2, , m)
信息工程学院通信工程系
3.3 信道容量
x1
X
p( y j | xi )
y1
Y
xn
ym
信息工程学院通信工程系
3.2 离散信道及数学模型
将所有转移概率以矩阵方式列出，得：
p( y1 | x1 ) p( y | x ) 1 2 P(Y | X ) ... p( y1 | xn ) p( y2 | x1 ) p( y2 | x2 ) ... p( y2 | xn )
p( jj | kk ) p( j | k ) p( j | k )
称这样组合成的信道为信道1和信道2的独立并行信道或积信道。 以 P P P来表示，信道1和信道2称为积信道的分信道。
信道1 p( j | k ) 信道 2 p ( j ' | k ')
易推广到N个独立信道构成并行信道。
信息工程学院通信工程系
3.2 离散信道及数学模型
2. 和信道 若任一单位时间可随机的选用信道1或信道2中的一个（两 者不能同时选用）。选用信道1的概率为 P1 ，选用信道 2 的概 率为 P2 ，且 P P2 1 。 1 组合信道的输入空间 X X1 X 2 ，输出空间 Y Y1 Y2 转移概率分布为：
信息工程学院通信工程系
3.2 离散信道及数学模型
典型的单符号离散信道
1. 二进制对称信道
二进制对称信道也称二元对称信道或BSC信道，它的输入 为 X {0,1} ，输出为 Y {0,1} ，其转移概率矩阵为
p p 1 p P(Y | X ) p 1 p p
信道组合
假设信道1和信道2如下：
X 2 {ak }
X1 { ak }
信道1 p( j | k )
1 j
Y {b }
信道2 Y2 {bj } p( j | k )
下面介绍三种基本的信道组合方式。
信息工程学院通信工程系
3.2 离散信道及数学模型
i ( xi xi xi ), xi , xi , , xi {x1 , x2 , , xn }
1 2 N 1 2 N
j ( y j y j y j ), y j , y j , , y j { y1 , y2 , , yn }
1 2 N 1 2 N
1. 并行信道（积信道） 若信道1和信道2同时分别传送消息，并且两个信道相互独 立，则组合信道的输入集由所有有序对 (k X1 , k X 2 ) 组成， 即组合信道输入集 X X1 X 2 ，输出集由 ( j Y1 , j Y2 ) 组 成，即输出集 Y Y1 *Y2 。由 kk 到 jj 的转移概率为：
且有
p( y
1
3
p 1 p P (Y | X ) 0 1 q
X 0 p 1-p 1-q
0 q
Y 0
j
| xi ) 1, (i 1, 2)
二进制删除信道线图
1
?
q
1
信息工程学院通信工程系
3.2 离散信道及数学模型
多符号离散信道(N次扩展信道)
如果在不同时刻有多个来自于同一信源的随机变量（多符 号信源）通过离散信道传输，则称该信道为多符号离散信道。 多符号离散信源 X X1 X 2 X N 在N个不同时刻分别通过单 符号离散信道 {X P(Y/X) Y}，在输出端出现 Y YY2 YN ，形成 1 一个新的信道，此即多符号离散信道。 由于新信道相当于单符号离散信道在N个不同的时刻连续 运用了N次，也称为单符号离散信道的N次扩展信道。
3.2 离散信道及数学模型
反信道矩阵(m行n列)
p( x1 | y1 ) p( x | y ) 1 2 P( X | Y ) ... p( x1 | ym ) p( x2 | y1 ) p( x2 | y2 ) ... p( x2 | ym ) ... p( xn | y1 ) ... p( xn | y2 ) ... ... ... p( xn | ym )
n
（3）后验概率 p( xi | y j ) p( xi y j ) / p( y j )
n i 1
p ( xi | y j ) 1
表明输出端收到任一符号，必定是输入端某一符号输入所致。
信息工程学院通信工程系
3.2 离散信道及数学模型
单符号离散信道
单符号离散信道是最简单的离散信道，即信道的输入 输出都只是单个随机变量的，单符号离散信道的输入变量 为 X {x1 , x2 , , xn } ，输出为 Y { y1, y2 , , ym}。
信息工程学院通信工程系
3.1 信道分类和描述
4、根据信道有无记忆特性，分为： 无记忆信道--输出仅与当前输入有关，与先前输入 无关 有记忆信道--输出不仅与当前输入有关，还与先前 输入有关 5、根据输入输出信号的特点，分为： 离散信道(数字信道)--输入、输出随机变量均为离散 取值，取值可有限或无限。 连续信道(模拟信道)--输入、输出随机变量均为连续 取值 半离散(连续)信道-- 一个为离散，一个为连续
{ p( j | k ), p( j | k ), k X1, k X 2 , j Y1, j Y2}
称此组合信道为和信道，以 P P P2 表示。 1
信道2 p( j | k ) p( j | k )
信息工程学院通信工程系
信道1
3.2 离散信道及数学模型
3. 级联信道 若将信道1的输出作为信道2的输入，信道1的输入集就是组 合信道的输入集，信道2的输出集就是组合信道的输出集，称这 样组成的信道为级联信道又称为串行信道。
信息工程学院通信工程系
3.1 信道分类和描述
信道描述
所有信道都有输入集和输出集，当输入集的信号经过信 道输出为输出集时，噪声或干扰会从信道引入，它们使信号 在通过信道后产生错误和失真。信道的输入和输出信号之间 不是确定的函数关系，而是统计依赖的关系，因此只要知道 信道的输入信号，输出信号以及它们之间统计关系，则能够 确定信道的全部特性。 由于实际信道的带宽总是有限的，所以输入信号和输出 信号总可以分解成随机序列来研究，信道整体描述包含以下 三要素：
信道1 p( j | k )
P2
信道2 P p( j | k )
若信道1和信道2级联，则要求信道1的输出集和信道2的输入集 相同。给定信道1和信道2的转移概率 p( j | k ) 和 p( j | k ) ， 则 级联信道的转移概率为 p ( j | k ) j p( j | k ) p( j | k j ) 这样就得到了一个新的离散信道，输入集为 X1 ，输出集为 Y2 ， 转移概率矩阵为 {P( j | k )}。
信息工程学院通信工程系
3.2 离散信道及数学模型
多符号离散信道数学模型 X=X1X2… Xk ….XN
P(Y|X)
Y=Y1Y2…Yk ….YN
{p(yj|xi)}
Xk取值: {x1, x2, …, xn}， 则X共有nN 种 i , i=1～nN Yk取值: {y1, y2, …, ym}， 则Y共有mN种 j , j=1～mN
在物理信道一定的情况下，总是希望传输的信息越 多越好。这不仅仅与物理信道本身特性有关，还与载荷
信息的信号形式和信源输出信号的统计特性有关。
本章讨论“什么条件下，通过信道的信息量最大”。
信息工程学院通信工程系
3.1 信道分类和描述
信道分类
1、根据信道两端输入和输出集合的个数，分为： 两端信道(单用户信道)--输入、输出均只有一个 多端信道(多用户信道)--输入、输出有多个 2、根据输入、输出随机变量的个数，分为： 单符号信道--输入、输出用随机变量表示 多符号信道--输入、输出用随机矢量表示 3、根据信道上有无噪声(干扰)，分为： 有噪(扰)信道 无噪(扰)信道
[ （1） 信道输入统计概率空间：X , p( X )] [ （2） 信道输出统计概率空间：Y , p (Y )] （3） 信道的统计特性，即信道转移概率矩阵：p( y | x)
信息工程学院通信工程系
3.2 离散信道及数学模型
离散信道数学模型
设离散信道的输入空间为 X {x1 , x2 , , xn } 概率分布为 { pi }, i 1, 2, , n 输出空间为 Y { y , y , , y } 1 2 m 概率分布为 {q j }, j 1, 2, , m 条件概率为 P(Y | X ) p( y j | xi ),(i 1,2,, n; j 1,2,, m) 该条件概率称为信道的传递概率或转移概率。
其中 p( xi | y j ) 0,
p( x | y ) 1
i 1 i j
n
信息工程学院通信工程系
3.2 离散信道及数学模型
离散信道中的概率关系
（1）联合概率
p( xi y j ) p( xi ) p( y j | xi ) p( y j ) p( xi | y j )
其中 p( y j | xi ) 称为前向概率，描述信道的噪声特性。 p( xi | y j ) 称为后向概率，后验概率。 p( xi ) 称为先验概率。 （2）输出符号的概率 p( y j ) i 1 p( xi ) p( y j | xi )
条件概率为
P(Y | X ) p(Y y j | X xi ) p( y j | xi ) (i 1, 2, , n; j 1, 2, , m)
满足
m j 1
p( y j | xi ) 1, (i 1, 2, , n)
p( y j | xi ) 0 (i 1, 2, , n; j 1, 2, , m)
信息工程学院通信工程系
3.3 信道容量
x1
X
p( y j | xi )
y1
Y
xn
ym
信息工程学院通信工程系
3.2 离散信道及数学模型
将所有转移概率以矩阵方式列出，得：
p( y1 | x1 ) p( y | x ) 1 2 P(Y | X ) ... p( y1 | xn ) p( y2 | x1 ) p( y2 | x2 ) ... p( y2 | xn )
p( jj | kk ) p( j | k ) p( j | k )
称这样组合成的信道为信道1和信道2的独立并行信道或积信道。 以 P P P来表示，信道1和信道2称为积信道的分信道。
信道1 p( j | k ) 信道 2 p ( j ' | k ')
易推广到N个独立信道构成并行信道。
信息工程学院通信工程系
3.2 离散信道及数学模型
2. 和信道 若任一单位时间可随机的选用信道1或信道2中的一个（两 者不能同时选用）。选用信道1的概率为 P1 ，选用信道 2 的概 率为 P2 ，且 P P2 1 。 1 组合信道的输入空间 X X1 X 2 ，输出空间 Y Y1 Y2 转移概率分布为：
信息工程学院通信工程系
3.2 离散信道及数学模型
典型的单符号离散信道
1. 二进制对称信道
二进制对称信道也称二元对称信道或BSC信道，它的输入 为 X {0,1} ，输出为 Y {0,1} ，其转移概率矩阵为
p p 1 p P(Y | X ) p 1 p p
信道组合
假设信道1和信道2如下：
X 2 {ak }
X1 { ak }
信道1 p( j | k )
1 j
Y {b }
信道2 Y2 {bj } p( j | k )
下面介绍三种基本的信道组合方式。
信息工程学院通信工程系
3.2 离散信道及数学模型
i ( xi xi xi ), xi , xi , , xi {x1 , x2 , , xn }
1 2 N 1 2 N
j ( y j y j y j ), y j , y j , , y j { y1 , y2 , , yn }
1 2 N 1 2 N
1. 并行信道（积信道） 若信道1和信道2同时分别传送消息，并且两个信道相互独 立，则组合信道的输入集由所有有序对 (k X1 , k X 2 ) 组成， 即组合信道输入集 X X1 X 2 ，输出集由 ( j Y1 , j Y2 ) 组 成，即输出集 Y Y1 *Y2 。由 kk 到 jj 的转移概率为：
且有
p( y
1
3
p 1 p P (Y | X ) 0 1 q
X 0 p 1-p 1-q
0 q
Y 0
j
| xi ) 1, (i 1, 2)
二进制删除信道线图
1
?
q
1
信息工程学院通信工程系
3.2 离散信道及数学模型
多符号离散信道(N次扩展信道)
如果在不同时刻有多个来自于同一信源的随机变量（多符 号信源）通过离散信道传输，则称该信道为多符号离散信道。 多符号离散信源 X X1 X 2 X N 在N个不同时刻分别通过单 符号离散信道 {X P(Y/X) Y}，在输出端出现 Y YY2 YN ，形成 1 一个新的信道，此即多符号离散信道。 由于新信道相当于单符号离散信道在N个不同的时刻连续 运用了N次，也称为单符号离散信道的N次扩展信道。
3.2 离散信道及数学模型
反信道矩阵(m行n列)
p( x1 | y1 ) p( x | y ) 1 2 P( X | Y ) ... p( x1 | ym ) p( x2 | y1 ) p( x2 | y2 ) ... p( x2 | ym ) ... p( xn | y1 ) ... p( xn | y2 ) ... ... ... p( xn | ym )
n
（3）后验概率 p( xi | y j ) p( xi y j ) / p( y j )
n i 1
p ( xi | y j ) 1
表明输出端收到任一符号，必定是输入端某一符号输入所致。
信息工程学院通信工程系
3.2 离散信道及数学模型
单符号离散信道
单符号离散信道是最简单的离散信道，即信道的输入 输出都只是单个随机变量的，单符号离散信道的输入变量 为 X {x1 , x2 , , xn } ，输出为 Y { y1, y2 , , ym}。
信息工程学院通信工程系
3.1 信道分类和描述
4、根据信道有无记忆特性，分为： 无记忆信道--输出仅与当前输入有关，与先前输入 无关 有记忆信道--输出不仅与当前输入有关，还与先前 输入有关 5、根据输入输出信号的特点，分为： 离散信道(数字信道)--输入、输出随机变量均为离散 取值，取值可有限或无限。 连续信道(模拟信道)--输入、输出随机变量均为连续 取值 半离散(连续)信道-- 一个为离散，一个为连续
{ p( j | k ), p( j | k ), k X1, k X 2 , j Y1, j Y2}
称此组合信道为和信道，以 P P P2 表示。 1
信道2 p( j | k ) p( j | k )
信息工程学院通信工程系
信道1
3.2 离散信道及数学模型
3. 级联信道 若将信道1的输出作为信道2的输入，信道1的输入集就是组 合信道的输入集，信道2的输出集就是组合信道的输出集，称这 样组成的信道为级联信道又称为串行信道。
信息工程学院通信工程系
3.1 信道分类和描述
信道描述
所有信道都有输入集和输出集，当输入集的信号经过信 道输出为输出集时，噪声或干扰会从信道引入，它们使信号 在通过信道后产生错误和失真。信道的输入和输出信号之间 不是确定的函数关系，而是统计依赖的关系，因此只要知道 信道的输入信号，输出信号以及它们之间统计关系，则能够 确定信道的全部特性。 由于实际信道的带宽总是有限的，所以输入信号和输出 信号总可以分解成随机序列来研究，信道整体描述包含以下 三要素：