信息论信道容量总结
合集下载
北工大信息论第四章 信道及信道容量
数学模型：{X , p( yn | xn ),Y}
如果有 p(yn j | xn i) p(ym j | xm i) ，则信道为平稳
的离散无记忆信道DMC。
二.单符号离散无记忆信道
1.定义:
输入符号X，x取值于A {a1, a2 ,, ar } 输出符号Y，y取值于B {b1, b2 ,, bs} {X , p(bj | ai ),Y}
输出扩展为：00，01，10，11
传递矩阵扩展为： p2 pp pp p2
P2
pp
p2
p2
pp
pp p2 p2 pp
p
2
pp
pp
p
2
请问： I (X N ;Y N ) 与I（X；Y）之间 的关系？
用两个定理回答这个问题
定理1:若信道的输入、输出分别为N长序列X和Y，且信
道是无记忆的，即： N
N
p( h | k ) p(bhi | aki ) i 1
I(X N ;Y N )
XN
YN
p(k h ) log
p(hk ) p(h ) p(k )
例4-4: 求二元无记忆对称信道的二次扩展信
道。
a1 0
1 p p
0 b1
X
p
Y
a2 1
1 p
1 b2
解：
输入扩展为：00，01，10，11
当ω=1/2 时，I (X ห้องสมุดไป่ตู้Y ) 1 H ( p)
1
即取极大值.
H ()
0 0.5 1
当信源固定, 即 ω是一个常数时,可 得到I(X;Y)是信道传递概率p的下凸 函数。
当p=0.5时, I(X;Y)=0, 在接收端未 获得信息量。
信息论3章 信道及信道容量
全损信道： H(X|Y) = H(X) H(Y|X) = H(Y) I(X;Y) = 0 全损信道：完全独立
23
2.2 平均互信息
• 例：设信源通过一干扰信道，接收符号为Y=[y1,y2],信道传 递概率如图所示，求：
(1)信源X中事件x1和x2分别含有的自信息。 I(x1)= - logp(x1)=-log0.6≈0.737比特
y = f (x) y ≠ f (x)
¾ 信道的输入和输出一一对应，信息无损失地传输，称 为无损信道。
¾ H(X|Y) = H(Y|X) = 0 [损失熵和噪声熵都为“0” ]
¾由于噪声熵等于零，因此，输出端接收的信息就等于平 均互信息：
I(X;Y) = H(X) = H(Y)
21
（2）输入输出独立信道 ( 全损信道 )
i=1 j=1
i=1 j=1
= H(X) − H(X|Y)
17
2.2 平均互信息
平均互信息：I(X;Y)=H(X)-H(X/Y) 平均互信息=X的先验不确定度-收到Y后关于X的后验不确定度
=平均不确定性消除的程度 =收到Y后获得的关于X的平均信息量 =信道传递的信息量
18
2.2 平均互信息
∑ ∑ ∑ ∑ n m
• 根据输入、输出的个数： – 单用户信道：只有一个输入端和一个输出端 – 多用户信道：至少有一端有两个以上的用户，双向通信
• 根据输入端和输出端的关联：
– 无反馈信道：输出信号对输入信号无影响、无作用
– 有反馈信道：输出信号对输入信号起作用，影响输入端
信号发生变化
4
1.1 信道的分类
•根据信道有无干扰： –有干扰信道：存在干扰或噪声（实际信道一般都有干扰） –无干扰信道：不存在干扰或噪声，或可以忽略（例，计算机和外存设 备之间的信道）
23
2.2 平均互信息
• 例：设信源通过一干扰信道，接收符号为Y=[y1,y2],信道传 递概率如图所示，求：
(1)信源X中事件x1和x2分别含有的自信息。 I(x1)= - logp(x1)=-log0.6≈0.737比特
y = f (x) y ≠ f (x)
¾ 信道的输入和输出一一对应，信息无损失地传输，称 为无损信道。
¾ H(X|Y) = H(Y|X) = 0 [损失熵和噪声熵都为“0” ]
¾由于噪声熵等于零，因此，输出端接收的信息就等于平 均互信息：
I(X;Y) = H(X) = H(Y)
21
（2）输入输出独立信道 ( 全损信道 )
i=1 j=1
i=1 j=1
= H(X) − H(X|Y)
17
2.2 平均互信息
平均互信息：I(X;Y)=H(X)-H(X/Y) 平均互信息=X的先验不确定度-收到Y后关于X的后验不确定度
=平均不确定性消除的程度 =收到Y后获得的关于X的平均信息量 =信道传递的信息量
18
2.2 平均互信息
∑ ∑ ∑ ∑ n m
• 根据输入、输出的个数： – 单用户信道：只有一个输入端和一个输出端 – 多用户信道：至少有一端有两个以上的用户，双向通信
• 根据输入端和输出端的关联：
– 无反馈信道：输出信号对输入信号无影响、无作用
– 有反馈信道：输出信号对输入信号起作用，影响输入端
信号发生变化
4
1.1 信道的分类
•根据信道有无干扰： –有干扰信道：存在干扰或噪声（实际信道一般都有干扰） –无干扰信道：不存在干扰或噪声，或可以忽略（例，计算机和外存设 备之间的信道）
信息论基础——信道容量的计算
离散无记忆信道和信道容量
0
[P]=
0
1－p
1
0
2.2.二进删除
信道—M信道
X={0,1}; Y={0,2,1}
0
1-p p
p
0
2
1 1-p
1
2
1
p 0
p
1-p
C=1-p 最佳入口分布为等概分布
1
离散无记忆信道和信道容量
对称离散信道的信道容量
I(X;Y)=H(Y)-H(Y/X) 而
H (Y
/
X ) P(x) P( y / x) log
p(y) C t
15
信道容量的计算
③常见信道的信道容量C：
——无噪信道
I(X;Y) H(X )
C log || ||
16
11
移动通讯技术的分类 移动通信系统有多种分类方法。例如按信号性质分，可分为模拟、数
字；按调制方式分，可分为调频、调相、调幅；按多址连接方式分， 可分为 频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)。 目前中国联通、中国移动所使用的GSM移动电话网采用的便是FDMA 和TDMA两种方式的结合。GSM比模拟移动电话有很大的优势，但是， 在频谱效率上仅是模拟系统的3倍，容量有限；在话音质量上也很难 达到有线电话水平；TDMA终端接入速率最高也只能达到9.6kbit/s； TDMA系统无软切换功能，因而容易掉话，影响服务质量。因此， TDMA并不是现代蜂窝移动通信的最佳无线接入，而CDMA多址技术 完全适合现代移动通信网所要求的大容量、高质量、综合业务、软切 换等，正受到越来越多的运营商和用户的青睐。
C log s H ( p1' , p2' ... ps' ) 3
0
[P]=
0
1－p
1
0
2.2.二进删除
信道—M信道
X={0,1}; Y={0,2,1}
0
1-p p
p
0
2
1 1-p
1
2
1
p 0
p
1-p
C=1-p 最佳入口分布为等概分布
1
离散无记忆信道和信道容量
对称离散信道的信道容量
I(X;Y)=H(Y)-H(Y/X) 而
H (Y
/
X ) P(x) P( y / x) log
p(y) C t
15
信道容量的计算
③常见信道的信道容量C：
——无噪信道
I(X;Y) H(X )
C log || ||
16
11
移动通讯技术的分类 移动通信系统有多种分类方法。例如按信号性质分，可分为模拟、数
字；按调制方式分，可分为调频、调相、调幅；按多址连接方式分， 可分为 频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)。 目前中国联通、中国移动所使用的GSM移动电话网采用的便是FDMA 和TDMA两种方式的结合。GSM比模拟移动电话有很大的优势，但是， 在频谱效率上仅是模拟系统的3倍，容量有限；在话音质量上也很难 达到有线电话水平；TDMA终端接入速率最高也只能达到9.6kbit/s； TDMA系统无软切换功能，因而容易掉话，影响服务质量。因此， TDMA并不是现代蜂窝移动通信的最佳无线接入，而CDMA多址技术 完全适合现代移动通信网所要求的大容量、高质量、综合业务、软切 换等，正受到越来越多的运营商和用户的青睐。
C log s H ( p1' , p2' ... ps' ) 3
信息论 信道容量总结(1)
设信道的频带限于(0,W)； 根据采样定理，如果每秒传送2W个采样点，在接收端可无 失真地恢复出原始信号； 香农公式：把信道的一次传输看成是一次采样，由于信道 每秒传输2W个样点，所以单位时间的信道容量为
PX )(比特 / 秒) Ct W log 2 (1+ PN
(Ct：最大的信息传输速率/单位时间内)
p( x ) 1 ，并没有限制
i 1 i
n
p(xi)≥0 ，所以求出的p(xi)有可能为负值，此时C就不存 在，必须对p(xi)进行调整，再重新求解C。 近年来人们一般采用计算机，运用迭代算法求解。
第三章 信道容量
香农公式
Review of the last lecture
3.5 连 续 信 道
第三章 信道容量
香农公式
Review of the last lecture
3.5 连 续 信 道
香农公式的意义： 是否可以用无限制地加大信号有效带宽的方法来减小发射功率，或 在任意低的信噪比情况下仍能实现可靠的通信呢？尽管从香农公式 不能直接看出，但它隐含着否定的回答；
设N0 PN 是加性高斯噪声的单边谱密度, 则PN＝N0W W 当W 时，
第三章 信道容量
香农公式
Review of the last lecture
3.5 连 续 信 道
香农公式推出的条件： 连续消息是平均功率受限的高斯随机过程，平均功率为 PX。被取样后的样值同样呈高斯分布，样值之间彼此独 立； 噪声为加性WGN（高斯白噪声），平均功率为PN； 信号的有效带宽为W。
信道与信息传输要求的匹配
3.5 连 续 信 道
j C
，求p( y j )；
④由p( y j ) p( xi ) p( y j / xi ), 求p( xi )。
第二章基本信息论7_熵速率和信道容量
R = n[ H ( X ) − H ( X / Y )] = 10000 × (1 − 0.0808) = 9192 比特/秒 < 9900 比特/秒
五、离散有噪信道的信道容量
♦ 离散有噪对称信道的信道容量
p p 信道矩阵为： N − 1 ⋮ p N −1 其中： p = 1 − p
p( y / x )：p(收 / 发) = p(1/ 0) = p(0 /1) = p = 0.01 p (收 / 发) = p(1/1) = p (0 / 0) = 1 − p = 0.99
p ( xy ) = p ( x ) p ( y / x )
1 p (01) = p (0) p (1/ 0) = p = 0.005 = p(10) 2 1 p (00) = p (0) p(0 / 0) = (1 − p ) = 0.495 = p (11) 2 H ( X / Y ) = − ∑∑ p ( xy )log p ( x / y ) p (0) = p (1) = 0.5 x y 且对称信道，则 1 1 = − p log p − (1 − p )log(1 − p ) p ( x / y ) = p ( y / x ) 2 2 1 1 − p log p − (1 − p )log(1 − p ) 2 2 = − p log p − (1 − p )log(1 − p ) = 0.0808 比特/符号
R = n ⋅ I ( X ;Y ) = I ' ( X ;Y )
= n [ H ( X ) − H ( X / Y )] = H ' ( X ) − H ' ( X / Y ) = n [ H (Y ) − H (Y / X ) ] = H (Y ) − H (Y / X )
信道容量知识总结
信道容量是信道的一个参数，反映了信道所能传输的最大信息量，其大小与信源无关。
对不同的输入概率分布，互信息一定存在最大值。
我们将这个最大值定义为信道的容量。
一但转移概率矩阵确定以后，信道容量也完全确定了。
尽管信道容量的定义涉及到输入概率分布，但信道容量的数值与输入概率分布无关。
我们将不同的输入概率分布称为试验信源，对不同的试验信源，互信息也不同。
其中必有一个试验信源使互信息达到最大。
这个最大值就是信道容量。
信道容量有时也表示为单位时间内可传输的二进制位的位数（称信道的数据传输速率，位速率），以位/秒（b/s）形式予以表示，简记为bps。
通信的目的是为了获得信息，为度量信息的多少（信息量），我们用到了熵这个概念。
在信号通过信道传输的过程中，我们涉及到了两个熵，发射端处信源熵——即发端信源的不确定度，接收端处在接收信号条件下的发端信源熵——即在接收信号条件下发端信源的不确定度。
接收到了信号，不确定度小了，我们也就在一定程度上消除了发端信源的不确定性，也就是在一定程度上获得了发端信源的信息，这部分信息的获取是通过信道传输信号带来的。
如果在通信的过程中熵不能够减小（不确定度减小）的话，也就没有通信的必要了。
最理想的情况就是在接收信号条件下信源熵变为0（不确定度完全消失），这时，发端信息完全得到。
通信信道，发端X，收端Y。
从信息传输的角度看，通过信道传输了I(X;Y)=H(X)-H(X|Y) ,( 接收Y前后对于X的不确定度的变化)。
I该值与两个概率有关，p(x),p(y|x)，特定信道转移概率一定，那么在所有p(x) 分布中，max I(X;Y)就是该信道的信道容量C(互信息的上凸性）。
入与输出的互信息量的最大值，这一最大取值由输入信号的概率分布决定。
[3]X代表已传送信号的随机变量空间，Y代表已收到信号的随机变量空间。
代表已知X的情况下Y的条件机率。
我们先把通道的统计特性当作已知，p Y | X(y | x)就是通道的统计特性。
信息论基础——信道容量的计算
p
p p1 p 1
将p=3/5代入（2），得到信道容为:C=0.32bit/sym.
20
信道容量的计算
2 达到信道容量输入分布的充要条件
令
I (xi ;Y )
s j 1
p( y j
|
xi ) log
p( y j | xi ) p( yj )
def
D(Q( y |
x) ||
p( y))
定理4.2.2 一般离散信道的互信息I(X；Y)达到极大值
1 信道容量的计算原理
C是选择不同的输入概率分布p(x),在满足
∑p(x)=1条件下，求互信息的极大值：
I(X ;Y )
r i 1
s j 1
p(xi ) p( y j | xi ) log
p( y j | xi ) p(yj )
Lagrange乘子
法
17
信道容量的计算
例1、设某二进制数字传输系统接收判决器
6
数据可靠传输和信道编码
4.1 离散无记忆信道和信道容量 4.2 信道容量的计算
4.3 信道编码理论 4.4 带反馈的信道模型 4.5 联合信源-信道编码定理 4.6 线性分组码 习题四
7
8
接入信道容量的分析与寻呼信道不一样，寻呼信道用于前 向链路，容量的分析主要在于对寻呼信道占用率的计算， 而接入信道用于反向链路，对 CDMA 系统来说，反向链 路容量主要用于干扰的分析。即使采用时隙化的随机接入 协议，接入信道也可能有较高的通过量，大量的接入业务 会在反向链路中产生无法接受的干扰。如前所述，第一个 接入试探失败后，下一个接入试探将增加一定量的功率， 最终的结果将导致小区接收功率的增加以及反向链路容量 的减少。
p p1 p 1
将p=3/5代入（2），得到信道容为:C=0.32bit/sym.
20
信道容量的计算
2 达到信道容量输入分布的充要条件
令
I (xi ;Y )
s j 1
p( y j
|
xi ) log
p( y j | xi ) p( yj )
def
D(Q( y |
x) ||
p( y))
定理4.2.2 一般离散信道的互信息I(X；Y)达到极大值
1 信道容量的计算原理
C是选择不同的输入概率分布p(x),在满足
∑p(x)=1条件下，求互信息的极大值：
I(X ;Y )
r i 1
s j 1
p(xi ) p( y j | xi ) log
p( y j | xi ) p(yj )
Lagrange乘子
法
17
信道容量的计算
例1、设某二进制数字传输系统接收判决器
6
数据可靠传输和信道编码
4.1 离散无记忆信道和信道容量 4.2 信道容量的计算
4.3 信道编码理论 4.4 带反馈的信道模型 4.5 联合信源-信道编码定理 4.6 线性分组码 习题四
7
8
接入信道容量的分析与寻呼信道不一样，寻呼信道用于前 向链路，容量的分析主要在于对寻呼信道占用率的计算， 而接入信道用于反向链路，对 CDMA 系统来说，反向链 路容量主要用于干扰的分析。即使采用时隙化的随机接入 协议，接入信道也可能有较高的通过量，大量的接入业务 会在反向链路中产生无法接受的干扰。如前所述，第一个 接入试探失败后，下一个接入试探将增加一定量的功率， 最终的结果将导致小区接收功率的增加以及反向链路容量 的减少。
信息论与编码第3章 信道与信道容量
几点讨论： 1、对于给定信道最佳分布总是存在的。 如果信道输入满足最佳分布，信息传输率 最大，即达到信息容量C； 如果信道输入的先验分布不是最佳分布， 那么信息传输率不能够达到信息容量。 2、信道传输的信息量R必须小于信道容量C，否 则传输过程中会造成信息损失，出现错误； 如果R<C成立，可以通过信道编码方法保证 信息能够几乎无失真地传送到接收端。
p( y | x)
X
Y
信道
随机变量 随机变量
离散无记忆信道模型
输入符号集合X、输出符号集合Y内部不存在 关联性，集合X和集合Y之间有关联 。
条件转移概率
用来描述信道特性。 输入x=ai，输出y=bj对应的条件转移概率为
p( y | x) p( y bj | x ai ) p(bj | ai )
p( x)
上述的极值问题实际是有约束条件的，先验概率分布 p( x) 应当满足下列条件
p( x ai ) 0
p(a ) 1
i 1 i
r
对于给定信道，前向概率p(x)是一定的，所以信道容 量就是在信道前向概率一定的情况下，寻找某种先 验概率分布，从而使得平均互信息量最大，这种先 验分布概率称为最佳分布。
0 0 1 1
（3）有噪无损信道
信道输出符号Y集合的数量大于信道输入符号X集合 的数量，即r<s，形成一对多的映射关系，可得：
H (Y | X ) 0 H(X | Y) 0
p( x) p( x)
X
0.4 0.6 0.7 0.3
Y
信道容量 C max{I ( X ; Y )} max{H ( X )} lbr 输入符号分布等概时，即 p(ai ) 1/ r I(X;Y)最大，达到信道容量
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
续 信
噪声为加性WGN（高斯白噪声），平均功率为PN；
道
信号的有效带宽为W。
香农公式说明：
➢ 当信道容量一定时，增大信道带宽，可以降低对信噪功率 比的要求；反之，当信道频带较窄时，可以通过提高信噪 功率比来补偿。
➢ 当信道频带无限宽时，其信道容量与信号功率成正比。
PX 1 PN
lo2gxlnxlo2ge
增大信道容量的各种极限：
3.5
II.在增加信号的平均功率Ps而不改变信道通带的宽度W
连
的情况下增大信道容量的极限
续
信
道
第三章 信道容量
限带加性白色高斯噪声信道的性能及其极限
增大信道容量的各种极限：
3.5
II.在增加信号的平均功率Ps而不改变信道通带的宽度W
连
的情况下增大信道容量的极限
续
信
道
第三章 信道容量
第三章 信道容量
当一个人感到有一种 力量推动他去翱翔时， 他是决不应该爬行的。
－（美）海伦·凯勒
2006-10-31
1
第三章 信道容量
Review of the last lecture
• 提问（上次课的回顾）
• 在计算一般信道的信道容量时要注意什么问
题？
• 香农公式及其意义？
2006-10-31
限带加性白色高斯噪声信道的性能及其极限
有效利用信号功率的极限：
3.5 连 续 信 道
第三章 信道容量
n
④由p(yj ) p(xi ) p(yj / xi ),求p(xi )。 i1
一般离散信道容量的计算
• 注意：
➢ 在第②步信道容量C被求出后，计算并没有结束，必须 解出相应的p(xi) ，并确认所有的p(xi)≥0时，所求的C才 存在。
n
➢ 在对I(X;Y)求偏导时，仅限制 p(xi ) 1 ，并没有限制 i 1 p(xi)≥0 ，所以求出的p(xi)有可能为负值，此时C就不存 在，必须对p(xi)进行调整，再重新求解C。
Ct W log 2 (1+ PX )(比特 / 秒) PN
(Ct：最大的信息传输速率/单位时间内)
第三章 信道容量
香农公式
Байду номын сангаас
Review of the last lecture
香农公式推出的条件：
连续消息是平均功率受限的高斯随机过程，平均功率为
3.5 连
PX。被取样后的样值同样呈高斯分布，样值之间彼此独 立；
深空通信等具有特别重要的意义。
第三章 信道容量
香农公式
Review of the last lecture
香农公式的意义：
是否可以用无限制地加大信号有效带宽的方法来减小发射功率，或
3.5
在任意低的信噪比情况下仍能实现可靠的通信呢？尽管从香农公式
连
不能直接看出，但它隐含着否定的回答；
续
信
设N0
PN W
香农公式
Review of the last lecture
香农公式的意义：
3.5
信道容量与所传输信号的有效带宽成正比，信号的有效
连
带宽越宽，信道容量越大；
续
信道容量与信道上的信号噪声比有关，信噪比越大，信
信
道容量也越大，但其制约规律呈对数关系 ；
道
信道容量C,有限带宽W和信噪比可以相互起补偿作用，
➢ 近年来人们一般采用计算机，运用迭代算法求解。
第三章 信道容量
香农公式
Review of the last lecture
设信道的频带限于(0,W)；
3.5 根据采样定理，如果每秒传送2W个采样点，在接收端可无 连 失真地恢复出原始信号；
续 信
道
香农公式：把信道的一次传输看成是一次采样，由于信道 每秒传输2W个样点，所以单位时间的信道容量为
信
以根据信道特性来权衡发射功率和信号有效带宽的互
道
换，使系统的设计趋于最佳。
香农公式是在噪声为加性WGN情况下推得的，由于白
色高斯噪声是危害最大的信道干扰，因此对那些不是白
色高斯噪声的信道干扰而言，其信道容量应该大于按香
农公式计算的结果。
第三章 信道容量
限带加性白色高斯噪声信道的性能及其极限
增大信道容量的各种极限：
是加性高斯噪声的单边谱密度,
则PN＝N0W
道
当W 时，
w li m Ct N PX 0log2e1.44N PX 0
这说明此时的信道容量C趋于有限值，取决于发射功率和信道白色高 斯噪声的功率谱密度之比。尽管此时的C仍大于0，尚可进行通信，但 由于信道容量与发射功率成正比，已与加大信号有效带宽的初衷相
ln1(+x)x(x1)
lo2g(1+x)xlo2ge
Ct Wlo2g(1+P PN X)Wln1(+P PN X)lo2ge
WPX PN
lo2gePNP/XWlo2geN PX0
lo2ge1.44N PX0
(比特 /秒)
式中 N0 W PN是加性高斯噪谱 声密 的度 单边
第三章 信道容量
即可以互换。应用极为广泛的扩展频谱通信，多相位调
制等都是以此为理论基础。当信道上的信噪比小于1时
（低于0db），信道的信道容量 并 不 等 于0， 这 说 明 此
时 信 道 仍 具 有 传 输 消 息 的 能 力 。也 就 是 说 信 噪
比 小 于1时 仍 能 进 行 可 靠 的 通 信 ， 这 对 于卫星通信、
2
一般离散信道容量的计算步骤
• 一般离散信道容量的计算步骤（傅祖芸第二版p107）
m
m
①由
p( yj / xi ) j
p( y j
/
xi ) log2
p( y j
/
xi
)，求
；
j
j1
j 1
②由C log2 m 2 j ，求C； j1 ③由p( y j ) 2 j C，求p( y j )；
3.5
I.在增加信道通带的宽度W而不改变信号的平均功率Ps
连
的情况下增大信道容量的极限
续
信
道
第三章 信道容量
限带加性白色高斯噪声信道的性能及其极限
增大信道容量的各种极限：
3.5
I.在增加信道通带的宽度W而不改变信号的平均功率Ps
连
的情况下增大信道容量的极限
续
信
道
第三章 信道容量
限带加性白色高斯噪声信道的性能及其极限
悖，因此用无限的带宽换取信道容量是否合算，值得推敲，况且物理
上不可能提供无限带宽进行通信。
第三章 信道容量
香农公式
Review of the last lecture
香农公式的意义：
3.5
该结论实际上指出了信号有效带宽与发射功率互换的有
连
效性问题。信道容量是通信系统的最大信息传输速率，
续
通常是系统的设计指标，因此C往往是给定的。这时可