北工大信息论第四章 信道及信道容量

果结果是5、6，则抛两次硬币。试计算从抛硬币的结果可以得到 多少掷色子的信息量。
解：设掷色子结果是1，2，3，4为事件X=0，结果是5、6为
事件X=1； Y=0表示抛硬币出现0次正面, Y=1表示抛硬币出现 1次正面, Y=2表示抛硬币出现2次正面。
信源概率空间为
X 0
P
2
/
3
1 1/ 3
信道矩阵为
二元对称信道(BSC)(二进制对称信道)
a1 0
X
a2 1
p 1 p 1 q
q
0 b1
Y ? b2
1 b3
其中：p、q表示正确传输的概率
0 ? 1
P
0 1
p
1 p
0
0 1 q q
二元删除信道 (二进制删除信道)
三.信道疑义度和平均互信息
1.信道疑义度(损失熵) X 信道 Y
H(X | Y)
模拟信道(analog channel)，也称波形信道 (waveform channel) 理论、实用价值很小
2.按其输入/输出之间关系的记忆性划分：
无记忆信道： 在某一时刻信道的输出消息仅与当前
信道的输入消息有关，而与之前时刻 的信道输入无关
有记忆信道： 在任一时刻信道的输出不仅与当前输
入有关，而且还与以前时刻输入有关
C max I (X ;Y )bit / signal
2.信道的信息传输率R ：信道中平均每符号所能传送的信息量
R I (X ;Y ) H (X ) H (X | Y )bit / signal
3.信道的信息传输速率：信道在单位时间内平均传输信息量
p(y|x) 信道
干扰
输出信号y
Y (Y1Y2 YN ) 其取值y ( y1 y2 yN ) yi B (b1, b2 , , bs )
p( y | x) p( y1y2 yN | x1x2 xN )
p(y|x)：
反映信道的统计特性，即输入输出的依赖关系，又称信 道的传递概率、转移概率或传输概率。
3.按其输入/输出信号之间是否是确定关系来分：
有噪信道： 存在噪声，不存在确定关系
——实用价 值大，研究的理想对象
无噪信道： 不存在噪声，存在确定关系
——实用价 值小
4.按其输入/输出信号个数来分：
•两端信道(两用户信道):只有一个输入端和一个输出端的 单向通信的信道,又称为单路信道.
•多端信道(多用户信道):信道的输入输出至少有一个具有两个或
且 pij 1 j 1
4.信道输出与输入之间的关系
p(b1)
p(a1)
p(b2 )
PT
p(a2
)
p(bs )
p(ar
)
PT 为P的转置矩阵
例4-1：
a1 0
1 p p
0 b1
X
p
Y
a2 1
1 p
1 b2
其中：p表示传输中发生错误的概率
0 1
P
0 1
1
p
p
p 1 p
a1 0
X
1 p p
p
0 b1
Y
a2 1
1 p
1 b2
解：
输入扩展为：00，01，10，11
输出扩展为：00，01，10，11
传递矩阵扩展为： p2 pp pp p2
P2
pp
p2
p2
pp
pp p2 p2 pp
p
2
pp
pp
p
2
请问： I (X N ;Y N ) 与I（X；Y）之间 的关系？
信道的数学模型：
{X，p(y|x)，Y}
二.分类
1.按其输入/输出信号在幅度和时间上的取值是离散或 连续来分：
幅度 时间
信道名称
离散 连续 连续 离散
离散 离散 连续 连续
离散信道(discrete channel)，也称数字信道 (digital channel)
连续信道(continuous channel)
23 00
2/3 1/ 3
1/
3
2 / 3
1/ 1/
3 2
1/ 3 1/ 6
1/ 3 1/ 3
二.并联信道
——多个信道联合起来使用
X1 1 Y1
X X 2 2 Y2 Y
X N N YN
并用信道
当待发送的消息比较多时， 可用多个信道并行传送，香
农称之为平行信道
有各自的输入和输出，最 后总和。
p p
求其平均互信息 I (X ;Y )
解:
I(X ;Y) H(Y) H(Y | X )
H (Y )
p(xi ) p( y j | xi ) log p( y j | xi )
ij
H (Y ) p(xi ) p( y j | xi ) log p( y j | xi )
H(Y)
用两个定理回答这个问题
定理1:若信道的输入、输出分别为N长序列X和Y，且信
道是无记忆的，即： N
N
p( y | x) p( yi | xi ) 或 p(h | k ) p(bhi | aki )
i1
i1
N
则存在I ( X ;Y ) I ( X i ;Yi )
i 1
定理2：若信道的输入、输出分别为N长序列X和Y，且信源
则I(X;Z|Y)=0,这意味着X,Y,Z构成一个一阶马尔可夫链.
定理2:若随机变量X,Y,Z构成一个马尔可夫链,则有
I(X;Z) I(X;Y) I(X ; Z) I(Y; Z)
定理2表明：通过串联信道的传输只会丢失信息，至多
保持原来的信息量。
可得：在任何信息传输系统中，最后获得的信息至多是信
C {c1,c2, ,cl}
A {a1, a2 , , ar } B {b1,b2 , ,bs }
级联信道的平均互信息存在两个定理:
定理1:级联信道中的平均互信息满足以下关系
I (XY; Z ) I (Y; Z ) I(XY; Z) I (X ; Z)
Y确定后,Z不再与X有关,只取决于信道2的转移概率矩阵,
1/ 2 1/ 2 0 P 1/ 4 1/ 2 1/ 4
输出符号的概率空间为
Y P
5
0 /12
1 1/ 2
2 1/12
则有：
3
H (Y ) p( y j ) log p( y j ) 1.325
j 1
23
H (Y | X )
p(xi ) p( y j | xi ) log p( y j | xi ) 1.166
p(aibj ) log p(ai | bj )
表示：由于信道的干扰，导致信道输出端收到Y
后，对输入X仍然存在的平均不确定度。
也可表示：由于信道干扰导致信息量的损失。
2.平均互信息 I(X;Y)=H(X)-H(X|Y)
X H(X)
Y
信道
I(X;Y)
H(X|Y)
表示：接收端收到Y后获得的关于X的信息量(即
两个以上的信号.
多元接入信道
广播信道
5.按信道的统计特性分：
•恒参信道 •变参信道wenku.baidu.com
第二节 离散无记忆信道 一.定义 DMC
1.定义——输入/输出在幅度和时间上都是离散的，并且在某一时刻信道的
输出消息只与当前信道的输入有关，而与之前时刻的信道输入无关。
2.数学模型：
离散信道对任意N长的输入、输出序列有
a2
bY1 1
1/3 1/3
b2
2/3
1/3 b3 1/3 1/3
1/2
2/3
c1 Z c2 c3
解： 由图可知 1/ 3 1/ 3 1/ 3 P1 1/ 2 0 1/ 2
1 0 0 P2 0 2 / 3 1/ 3
0 1/ 3 2 / 3
1 0 0
1/ 3 P总 1/ 2
1/ 3 0
1/ 1/
i i
p(xi )[
j j
p( y j | xi ) log
1 ]
p( y j | xi )
H (Y )
i
p(xi )(
p log
1 p
p log
1) p
H (Y ) H ( p)
应用全概率公式
p(Y 0) p(ai ) p(0 | ai ) p (1 ) p
i
p(Y 1) p(ai ) p(1 | ai ) p (1 ) p
第四章 离散信道及其信道容量
信道 ——信息传输的通道
信息论中与信源并列的另一个主要研究对象
研究的主要内容:
★信道的建模 ★信道容量 ★不同条件下充分利用信道容量的方法
第一节 信道模型及其分类
一.数学模型
输入信号x
X (X1X2 XN ) 其取值x (x1x2 xN ) xi A (a1, a2, , ar )
2.传输概率
p( y | x) p(Y bj | X ai ) p(bj | ai )
p(y|x)——可描述信道中干扰影响的大小，干扰存在，
传输时可能发生错误。
3.信道矩阵P
——完全反映信道的特性
p11 p12 p1s
P
p21
p22
p2
s
pr1 pr 2 prs
s
接收到的信息量)
•定理1：
对于固定信道，I(X;Y)是信源概率分布p(x) 的上凸函数。
定理2:
对于固定的信源分布，I(X;Y)是信道传递概率 P(y|x)的下凸函数。
例4-2：
X
信道 Y
（0，1）
（0，1）
考虑二元对称信道，其信源概率空间为
X
P
0
1
1
信道矩阵P
p
p
p 1 p表示信道错误传递概率
i1 j1
I ( X ;Y ) H (Y ) H (Y | X ) 0.159
四.离散无记忆信道的N次扩展信道
X
X取值为xi
xi A (a1, a2, , ar )
Y
信道
p(bj | ai )
Y取值为yi
yi B (b1, b2 , , bs )
XN
X N (1,2, ,rN ) k ak1ak2 akN , k 1,2, , r N
N次扩展信道
p(h |k )
YN
Y N (1, 2, , sN ) h bh1bh2 bhN , h 1,2, , s N
N
p( h | k ) p(bhi | aki ) i 1
I(X N ;Y N )
XN
YN
p(k h ) log
p(hk ) p(h ) p(k )
例4-4：求二元无记忆对称信道的二次扩展信道。
则有：H (Y )
i
p( y) log
p( y)
[ p (1 ) p]log
1
[p (1 ) p]log
1
p (1 ) p
p (1 ) p
H[ p (1 ) p]
则平均互信息：I (X ;Y ) H[ p (1) p] H ( p)
1 H ( p) 0
当信道固定，即p为一个固定常数
X 信道1 Y1
一个输入多个输出，且为
X X 信道2 Y2 Y 相同的输入。
X 信道N YN
缺点是信道的利用率低，但
可提高信息传输的可靠性。
输入并接信道
X
信道1
信道2
信道N
和信道
传输信息时，每次只使用其
中一个信道，它的信道矩阵： Y
P1
P
P2
PN
第四节 信道容量
一. 基本概念： 1.信道容量C：信道能无错误地传送的最大信息率
时，可得到I(X;Y)是信源输出分 布ω的上凸函数。
当ω=1/2 时，I (X ;Y ) 1 H ( p)
1
即取极大值.
H ()
0 0.5 1
当信源固定，即 ω是一个常数时, 可得到I(X;Y)是信道传递概率p的下 凸函数。
当p=0.5时，I(X;Y)=0，在接收端 未获得信息量。
例4-3：掷色子，如果结果是1，2，3，4，则抛一次硬币；如
N
p( y | x) p( yn | xn ) n1
数学模型：{X , p( yn | xn ),Y}
如果有 p(yn j | xn i) p(ym j | xm i) ，则信道为平稳
的离散无记忆信道DMC。
二.单符号离散无记忆信道
1.定义：
输入符号X，x取值于A {a1, a2 , , ar } 输出符号Y，y取值于B {b1, b2 , , bs} {X , p(bj | ai ),Y}
源所提供的信息。如果一旦丢失信息，以后系统不管如何处 理，如果不涉及到该信道过程的输入端，都不能恢复已丢失
的信息——信息不增性原理。
当信道不断级联时，信道的最终传输信息量趋于0
串联信道的总信道矩阵
N
P
P1P2
PN
i1
Pi
例4-5：下图中的X、Y、Z满足马氏链，求该串联信道的总信
道矩阵。
X
a1
1/2
是无记忆的，即： N
N
p(x) p(xi ) 或 p(k ) p(ki )
i1
N
i1
则存在：I (X ;Y ) I (X i ;Yi )
i 1
由定理1和定理2 当信源和信道都是无记忆时有：
N
I ( X ;Y ) I ( X i;Yi ) i 1
当每个序列中的分量Xi取值于同一信源符号集，且具 有同一种概率分布，则输出Y的分量Yi也取值同一符号集， 则各I（Xi；Yi）是相等的。即：
N
I ( X i ;Yi ) N I ( X i ;Yi )
i 1
则：I (X ;Y ) N I (X i ;Yi )
对于N次扩展，则有 I (X N ;Y N ) N I (X ;Y )
第三节 信道组合
一.级联信道（串联信道）
消息依次通过几个信道串行传输：
X
Y
信道1
Z
信道2
p(y|x)
p(z|xy)