串联信道及其信道容量
课件：第三章信道及其容量
1
研究信道的目的是研究信道能传输的最大信息量， 即信道的最大传输能力。 1、如何描述在信道中传输的消息的信息量大小—— 平均互信息/信息传输率 2、信道的最大信息传输率是多少？——信道容量/ 传信能力
2
第三章 信道及其容量
3.1 信道的数学模型与分类 3.2 信道疑义度与平均互信息 3.3 离散无记忆的扩展信道 3.4 离散信道的信道容量 3.5 连续信道的信道容量 3.6 信源与信道的匹配 3.7 信道编码定理
效地折合成信道干扰，看成是由一个噪声源产生的，它将作用 于所传输的信号上。 a) 加性干扰：它是由外界原因产生的随机干扰，它与信道的
输入信号统计无关，因而信道的输出是输入和干扰的叠加。 【主要研究的干扰】 b) 乘性干扰：信道的输出信号可看成输入信号和某些随机参 量相乘的结果。
16
(6)根据信道有无记忆特性将信道分为： 无记忆信道 输出仅与当前输入有关，而与过去的输入和输 出无关。 有记忆信道 输出不仅与当前输入有关，而且与过去的输入 和输出有关。 本章的讨论基于无记忆、恒参、单用户离散信道，它是
|
x)
1 0
y f (x) y f (x)
其典型信道如下图所示：
22
(2)有干扰无记忆信道
该信道为实际常用信道，信道中存在干扰。 信道输入和输出符号之间不存在确定的对应关系，接收到Y后 不能完全消除对X的不确定性。信道输入和输出间的条件概率是一 般的概率分布。 信道任一时刻的输出符号只统计依赖于对应时刻的输入符号， 则这种信道称为无记忆信道，其条件概率满N 足
p(y | x) p(Y1, ,YN | X1, , XN )
条件概率p( y | x) 称为信道的传递概率或转移概率。 信道的数学模型可以用数学符号表示为：
(最新整理)信道容量的计算
(完整)信道容量的计算编辑整理：尊敬的读者朋友们：这里是精品文档编辑中心，本文档内容是由我和我的同事精心编辑整理后发布的，发布之前我们对文中内容进行仔细校对，但是难免会有疏漏的地方，但是任然希望（(完整)信道容量的计算）的内容能够给您的工作和学习带来便利。
同时也真诚的希望收到您的建议和反馈，这将是我们进步的源泉，前进的动力。
本文可编辑可修改，如果觉得对您有帮助请收藏以便随时查阅，最后祝您生活愉快业绩进步，以下为(完整)信道容量的计算的全部内容。
§4.2信道容量的计算这里,我们介绍一般离散信道的信道容量计算方法,根据信道容量的定义，就是在固定信道的条件下，对所有可能的输入概率分布)(x P 求平均互信息的极大值。
前面已知()Y X I ;是输入概率分布的上凸函数，所以极大值一定存在。
而);(Y X I 是r 个变量)}(),(),({21r x p x p x p 的多元函数。
并且满足1)(1=∑=ri i x p 。
所以可用拉格朗日乘子法来计算这个条件极值。
引入一个函数：∑-=ii x p Y X I )();(λφ解方程组0)(])();([)(=∑∂-∂∂∂i ii i x p x p Y X I x p λφ1)(=∑iix p （4.2。
1）可以先解出达到极值的概率分布和拉格朗日乘子λ的值，然后在解出信道容量C .因为 )()(log)()();(11i i i i i ri sj i y p x y Q x y Q x p Y X I ∑∑===而)()()(1i i ri i i x y Q x p y p ∑==，所以e e y p y p i i i i i x y Q i x p i x p log log ))(ln ()(log )()()(==∂∂∂∂。
解（4.2。
1）式有0log )()()()()()(log )(111=--∑∑∑===λe y p x y Q x y Q x p y p x y Q x y Q ii i ii r i s j i i i i sj i i (对r i ,,2,1 =都成立） 又因为)()()(1j k k rk k y p x y Q x p =∑=ri x y Q sj i j,,2,1,1)(1==∑=所以（4.2.1）式方程组可以转化为 ),,2,1(log )()(log)(1r i e y p x y Q x y Q j i j sj i j =+=∑=λ1)(1=∑=ri i x p假设使得平均互信息);(Y X I 达到极值的输入概率分布},,{21r p p p 这样有 e y p x y Q x y Q x p j i j i j ri sj i log )()(log)()(11+=∑∑==λ从而上式左边即为信道容量，得 e C log +=λ 现在令)()(log)();(1j i j sj i j i y p x y Q x y Q Y x I ∑==式中，);(Y x I i 是输出端接收到Y 后获得关于i x X =的信息量，即是信源符号i x X =对输出端Y 平均提供的互信息。
信道与信道容量2
信道无噪声
C
信道强噪声
• 当p =1/2,
C1H(1,1)0 22
p
20
信道容量
• 定理：
• 给定转移概率矩阵P后,平均互信息I (X;Y)是输 入信源的概率分布p(ai)的 型上凸函数。
• 定理：
• 平均互信息I (X;Y)是信道传递概率p(bj|ai)的 型凸函数。
• 信能道 够容 传量 输是 的完最全大描信I(述息X;信量Y)道。 特i 性j p的(a参i)p量(bj,是|ai信)lo道gp(pb(jb|ja)i)
34
由 I (X ;Y ) 0 解得 1/2
• 将信道矩阵P的列划分成若干个互不相交的子 集mk,由mk为列组成的矩阵[P]k是对称矩阵。
1 1 1 1 1 1 1 1
P131
3 1
6 1
6113
16
13
16
6 3 6 3 6 3 3 6
• 它们满足对称性,所以P1所对应的信道为准对称
信道。
30
准对称信道的信道容量
• 准对称信道
0.70.20.1 0.70.2 0.1 P 20.20.10.7 0.20.7 0.1
• 离散信道可分成： • 无干扰(无噪)信道
– 无嗓无损信道 – 有噪无损信道 – 无噪有损信道
• 有干扰无记忆信道 • 有干扰有记忆信道
10
无干扰离散信道
• 无噪无损信道 C m p ( a i)I ( X ; a Y ) x m H ( X a ) m xH ( Y a ) lx 2 o n • 有噪无损信道(一对多)
– 信道矩阵中各列之和也等于1
14
对称DMC信道
• 对称离散信道的平均互信息为
信道与信道容量
强对称信道 (均匀信道) 输入符号和输出符号个数相同 ( 都等于 n ) ，且正确传 输概率为1-ε，错误概率ε被对称地均分给 n -1 个输出 符号，信道矩阵为
各列之和 也等于 1
强对称信道的信道容量
信道与信道容量
二进制对称信道（ BSC ） 二进制对称信道的信道容量
C=1-H(p)
信道与信道容量
信道容量
2
1.1 信道的分类
用户数量：单用户、多用户
输入端和输出端关系：无反馈、有反馈
信道参数与时间的关系：固定参数、时变参数
噪声种类： 随机差错、突发差错 输入输出信号特点：离散、连续、半离散半连续、
波形信道等
信道与信道容量
3
信道与信道容量
ห้องสมุดไป่ตู้
1.2 信道参数
信道输入矢量为 输出矢量为
信道与信道容量
14
3.2 离散单个符号信道及其容量
信息传输率 R
信道中平均每个符号所能传送的信息量 复习 平均互信息 I (X ;Y) ：接收到 Y 后平均每个符
号获得的关于 X 的信息量。
信道的信息传输率就是平均互信息
信道与信道容量
15
信息传输速率 Rt
信道在单位时间内平均传输的信息量
Rt = R/t = I ( X ; Y )/t bit / s
信道与信道容量
1 信道的基本概念 2 离散单个符号信道及其容量 3 离散序列信道及其容量 4 连续信道及其容量
信道与信道容量
1
1 信道的基本概念
信道：信息传输的通道
广义：信源与信宿之间 狭义：中间远距离传输部分 定义：传输信息的载体 任务：以信号方式传输信息、存储信息
信息理论基础 第四章 信道及信道容量
则存在：I ( X ; Y ) I ( X i ; Yi )
i 1
N
由定理1和定理2
当信源和信道都是无记忆时有：
N
I ( X ; Y ) I ( X i ; Yi )
i 1
当每个序列中的分量Xi取值于同一信源符号集， 且具有同一种概率分布，则输出Y的分量Yi也取值同一 符号集，则各I(Xi；Yi)是相等的。即：
a1 0
1 p
p p
0 b1
X
a2 1
Y
1 p
1 b2
其中：p表示传输中发生错误的概率
0 0 1 p 1 p 1 p 1 p
P
二元对称信道(BSC)(二进制对称信道)
a1 0
p
1 p 1 q
0 b1
? b2
1 b3
2.传输概率
p( y | x) p(Y b j | X ai ) p(b j | ai )
p(y|x)——描述信道中干扰影响的大小
3.信道矩阵P
——完全反映信道的特性
p11 p12 p1s p21 p22 p2 s P pr1 pr 2 prs
2.按其输入/输出之间关系的记忆性划分
无记忆信道：在某一时刻信道的输出消息仅与当前
信道的输入消息有关，而与之前时刻 的信道输入无关
在任一时刻信道的输出不仅与当前输 有记忆信道： 入有关，而且还与以前时刻输入有关
3.按其输入/输出信号之间是否是确定关系来分
有噪信道： 存在噪声，不存在确定关系
——实用价 值大，研究的理想对象
如果有 p( yn j | xn i) p( ym j | xm i) ，则信道为平
第3章 信道与信道容量-2
• 定理：若信道的输入和输出分别是L长序列X
和Y,且信源是无记忆的,亦即
L
p(X ) p(Xl )
• 则存在
l 1
L
I (Χ ;Υ ) I (Xl ;Yl )
l 1
13
离散序列信道及容量
• 若信源与信道都是无记忆的
L
I (Χ ;Υ ) I (Xl ;Yl ) l 1
• L次扩展信道的信道容量
10
3.3 离散序列信道及容量
11
离散序列信道及容量
• 设信道的输入X=(X1, X2 … Xi,… ), Xi ∈{a1 … an}
输出Y= (Y1, Y2 … Yj,…), Yj ∈{b1 … bm}
p(Y|X)
X
Y
信道
• 对于无记忆离散序列信道,其信道转移概率为
L
p(Y | X ) p(Y1, YL | X1, X L ) p(Yl | Xl )
Y1
道的输入、输出都无关。 X 2
• 独立并联信道的信道容量
p(Y2|X2) 信道
Y2
…
C1,2, L max I ( X ;Y )
XL
L
C1 C2 CL Cl
l 1
p(YL|XL) 信道
YL
16
3.3 连续信道及其容量
17
连续信道及其容量
• 连续信道的容量不容易计算。 • 当信道为加性连续信道时,情况简单一些。 • 设信道的输入和输出信号是随机过程x(t) 和y(t)
0.7 0.1 0.2 0.7 0.2 0.1 P2 0.2 0.1 0.7 0.2 0.7 0.1
• 准对称信道容量 C log m H ( p1, p2 pm )
第三章 信道模型和信道容量
这是可知疑义度H(X/Y)=0，平均交互信息量达到最大值 I(X,Y)=H(X)，C=logr。从平均意义上讲，这种信道可以把信源 的信息全部传递道信宿。这种每列只有一个非0元素的信道也 是一种无噪声信道，称为无噪声信道。
确定信道
这类信道的转移概率等于1或者等于0， 每一列的元素可有一个或多个1，可知其 噪声熵H(Y/X)=0，此时的平均交互信息 量达到最大值。
离散信道
X
P(Y/X)
Y
离散信道分类： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道
离散信道三种表达方式
概率空间描述 X={a1,a2,……ar} P(Y/X)={p(bj/ai)}
j=1,2,……s) Y={b1,b2,……bs} 0≤p(bj/ai)≤1
(i=1,2,……r;
转移矩阵描述
信道组合
串联信道 并联信道
4.4 时间离散的无记忆连续 信道
可加噪声信道
P(y|x)=p(y-x)=p(z)
Hc (Y | X ) Hc (Z ) I (X ;Y ) Hc (Y ) Hc (Z )
可加噪声信道
高斯噪声信道
I
(X
;Y
)
H
(Y
)
Hc
(X
)
1 2
log(1
2 x 2 z
)
例已知一个二元信源连接一个二元信道， 如图给出。X={x1,x2}, [p(xi)]={1/2,1/2}
求I(X；Y)，H(X,Y)，H(X/Y)，和H(Y/X)。
信道容量
C max R max I (X ;Y )bit / 符号
PX
PX
1
Ct
max PX
Rt
连续信道的信道容量公式
连续信道的信道容量公式
连续信道容量是指由若干连续频道组成的信道容量，其计算公式为：C=B log2 (1+SNR)，其中B为信号带宽，SNR即信噪比。
连续信道信号容量的估计与信号带宽、信噪比等参数密切相关。
在信道带宽固定的情况下，信号容量随信噪比的增大而增大。
即当信噪比增大时，信号容量也会相应增大。
因此，为了提高信号容量，在设计信号量化之前，应充分考虑信噪比，以最大限度提高信号容量。
由于连续信道容量紧密联系信号带宽与信噪比，为计算连续信道容量，应确定信号带宽及相应的信噪比。
以确定连续信道容量时，不同系统或应用场合，信号带宽及信噪比也不尽相同，选取参数则会有所差异。
考虑到防止信噪比损失过大的情况，在参与系统的比特率及频带带宽都有限的情况下，连续信道容量高信道容量可以通过改善信噪比来提升。
另外，改善系统的外部条件也会促进信号容量的增长，例如改善环境噪声及其他外部干扰因素。
如此可以使连续信道带宽进一步扩大，可产生更大的信号容量。
总之，带宽与信噪比是影响信号容量的两个重要因素，考虑到这两个参数，可以准确地估计连续信道容量。
改善信噪比及相应的外部条件是提高连续信道容量的主要手段，此外还要正确合理的选择信号带宽，以较大程度提升连续信道容量。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Y
x X , y Y , z Z
则总信道的传递矩阵
P ( z x ) P ( y x ) P ( z xy ) rt rs st
若X，Y，Z满足马尔可夫链，得总信道的传递概率
电子信息工程学院
信息论
3.8串联信道及其信道容量
由信息不增原理
H ( X ) I ( X ; Y ) I ( X ; Z ) I ( X ;W ) C (1,2) max I ( X ; Z ) C (1,2,3) max I ( X ;W )
X
可以看出,串接的信道越多,其信道容量可能会越 小,当串接信道数无限大时,信道容量可能会趋于0 信道1
对于串联信道，若其输入输出变量之间组成一个马尔可夫链 ，则存在下述定理。该定理对于串联的单符号离散信道或是输 入、输出都是随机序列的一般信道都成立。
电子信息工程学院
信息论
3.8串联信道及其信道容量
两个定理
定理3.7 当且仅当
I ( XY ; Z ) I (Y ; Z ) P( Z / XY ) P( Z / Y )
时等式成立。
电子信息工程学院
信息论
3.8串联信道及其信道容量
两个定理
定理3.8 若X、Y、Z组成一个马尔可夫链，则有
I ( X ; Z ) I ( X ;Y )
I ( X ; Z ) I (Y ; Z )
定理3.8表明通过数据处理后，一般只会增加信息的损失，最 多保持原来获得的信息，不可能比原来获得的信息有所增加 。也就是说，对接收到的数据 Y进行处理后，无论变量 Z是Y 的确定对应关系还是概率关系，决不会减少关于 X 的不确定 性。故定理3.8称为数据处理定理。
电子信息工程学院
信息论
3.8串联信道及其信道容量
证： 串联信道总的信道矩阵为
1 1 3 3 P( z | x) 0 1 2 1 1 0 2 3 0 1 3 1 2 0 3 0 1 1 1 3 3 1 3 0 2 2 3 1 3 1 2
电子信息工程学院
信息论
3.8串联信道及其信道容量
例：有二个信道的信道矩阵分别为
1 1 3 3 0 1 2 1 3 1 2
和
1 0 0
0 2 3 1 3
0 1 3 2 3
它们的串联信道如下图所示。 求证：
I ( X ; Z ) I ( X ;Y )
信息论
3.6串联信道及其信道容量
若信道II的传递概率使其输出只与输入Y有关，与前面的输 入X无关，即满足 P( z x ) P ( y x ) ( z y )
Y
称这两信道的输入和输出X，Y，Z序列构成马尔可夫链。
电子信息工程学院
信息论
3.8串联信道及其信道容量
这两个串联信道可以等价成一个总的离散信道，其输入 为X，输出为Z，此信道的转移概率为
电子信息工程学院
信息论
3.8串联信道及其信道容量
P( z x) P( y x) P( z y)
Y
x X , y Y , z Z
信道矩阵为
P ( z x ) P ( s st
串联信道的转移矩阵为:
求得:
I ( X ; Y ) 1 H ( p)
p 1 p P P 1 2 p 1 p
I ( X ; Z ) 1 H [2 p(1 p)]
在实际通信系统中,信号往往要通过几个环节的传输,或 多步的处理,这些传输或处理都可看成是信道,它们串接 成一个串联信道。
可见该串联信道满足 根据概率关系和上式得
P( y | x) P( z | x) ,(对所有x, y, z) P( x | z) P( x | y) ,(对所有x, y, z)
所以
I ( X ; Z ) I ( X ;Y )
电子信息工程学院
信息论
3.8串联信道及其信道容量
举例：设有两个离散二元对称信道，其组成的串联信道如 图所示，求该串联信道的信道容量。
电子信息工程学院
信息论
3.8串联信道及其信道容量
两个BSC信道的转移矩阵为:
p 1 p p (1 p) 2 p 2 1 p PP 1P 2 p 1 p p 1 p 2 p(1 p) 2 p(1 p) (1 p) 2 p 2
Y
信道2
Z
…
信道m
电子信息工程学院