北工大信息论第四章 信道及信道容量
合集下载
信道容量
信道容量研究通信的科研人员总是逃不过信道容量的计算。
而且会经常使用到C=B\mathrm{Log(1+SNR)}这个公式。
所以这个信道容量到底是什么意思呢，到底是怎么来的？所以信道容量的定义是什么，怎么推导、计算，实际意义又是什么？信道容量有两种:香农容量(遍历容量)和中断容量。
香农容量信道容量是在不考虑编解码延时和复杂度的情况下，误码率趋近于零的最高传输速率。
通道容量是一个上限。
如果要以高于这个的速率传输，就要付出误码率的代价。
香农是这样描述信道容量的:存在一个输入分布，可以最大化传输信息时的互信息。
这个最大互信息就是信道容量。
至于香农为什么可以这样定义，已经严格证明了，这是信息论的内容，后面再说。
互信息那么什么是互信息(这里默认理解为信息熵)？首先互信息是描述一个信息传递过程的一个量，用来刻画这个传输过程传输了多少有价值的信息。
比如说，你暗恋一个姑娘，你想去告白但是你很忐忑，成功了就很棒，失败了可能连朋友都做不成，所以H(X)就表示这种不确定性。
有一天你终于鼓起勇气给他发告白了，正常情况下对方会回复你，可能是“你是个好人”或者“那我们明天一起去看电影吧”或者给你一个尼克杨表情包，所以互信息就是用来刻画这条携带了多少信息量。
显然“好人”和“电影”这两个信息终究是给了你一个答案，解除了你心中的不确定性，携带的信息量就是你心中本来的不确定性。
但是如果他把你当备胎，回复你一个表情包，当然表情包也是可以看出来一点点她对你的态度，所以你心中的不确定性可能减小了一点，你能感受到对方的态度是有机会的还是没有机会的，所以这个表情包的携带的信息量可能就很小，因为虽然知道了一点对方的态度，但是你还是搞不清楚对方怎么想的。
X,Y分别表示两个随机变量，因为信源发送什么信息是一个随机事件，信息熵H(X)量化了信源的平均不确定性，而接收的信息经过信道的污染，也是随机的，所以H(Y)也量化了接收信息的平均不确定性。
虽然X,Y是两个变量，但是接收到的Y 肯定和X有点关系，并不是完全独立的，那么我们就可以根据Y猜X，能缩小一些X范围，能减小一些不确定性（互信息），这个互信息用I(X,Y)表示。
信息理论与编码第4章分析
信道的输入序列为 X=(X1 , X2 , … , XN )，其取值为 x = ( x1 , x2 , … , xN ) ，其中 xi A ；
相应的输出序列为 Y=(Y1 , Y2 , … , YN )，其取值为 y = ( y1 , y2 , … , yN ) ，其中 yi B 。
信道的特性可用转移概率
p( y|x )＝ p( Y= bj |X = ai )＝ p( bj | ai ) i = 1,2 , … , r， j = 1,2 , … , s
且满足
p( bj | ai ) 0
s
p(bj | ai ) 1
j 1
2.转移概率矩阵.
信道的输入-输出特性用r×s个条件概率p(bj | ai)来描 述。用r×s个条件概率p(bj |ai)组成的矩阵称为信道的转移 概率矩阵P ，也称为信道矩阵P。
p(b1 | a1 )
P
p(b1 | a2
)
p(b2 | a1 ) p(b2 | a2 )
p(bs | a1 ) p(bs | a2 )
其中
s
p(bj | ai ) 1
p(b1
|
ar
)
p(b2 | ar )
p(bs | ar )
j 1
p11 p12 p1s
令 p(bj |ai)＝ pij ，则
P
p21
p22
p2
s
pr1
pr 2
prs
如果信道的转移概率矩阵每一行只有一个“1” , 其余 元素为“0” , 则该信道无扰离散信道。
反之 , 转移概率矩阵一行中有一个以上的元素不为 “0” , 则该信道有扰离散信道。
3.离散信道中的概率关系
相应的输出序列为 Y=(Y1 , Y2 , … , YN )，其取值为 y = ( y1 , y2 , … , yN ) ，其中 yi B 。
信道的特性可用转移概率
p( y|x )＝ p( Y= bj |X = ai )＝ p( bj | ai ) i = 1,2 , … , r， j = 1,2 , … , s
且满足
p( bj | ai ) 0
s
p(bj | ai ) 1
j 1
2.转移概率矩阵.
信道的输入-输出特性用r×s个条件概率p(bj | ai)来描 述。用r×s个条件概率p(bj |ai)组成的矩阵称为信道的转移 概率矩阵P ，也称为信道矩阵P。
p(b1 | a1 )
P
p(b1 | a2
)
p(b2 | a1 ) p(b2 | a2 )
p(bs | a1 ) p(bs | a2 )
其中
s
p(bj | ai ) 1
p(b1
|
ar
)
p(b2 | ar )
p(bs | ar )
j 1
p11 p12 p1s
令 p(bj |ai)＝ pij ，则
P
p21
p22
p2
s
pr1
pr 2
prs
如果信道的转移概率矩阵每一行只有一个“1” , 其余 元素为“0” , 则该信道无扰离散信道。
反之 , 转移概率矩阵一行中有一个以上的元素不为 “0” , 则该信道有扰离散信道。
3.离散信道中的概率关系
2012.信息论.第4章离散信道及其容量
传递概率为
N N
1 b1b1 ...b1 2 b1b1 ...b2 ... h bh bh ...bh 1 2 N ... b b ...b s s s sN
N
p( y | x ) p( h | k ) p(bh1 bh2 ...bhN | ak1 ak2 ...ak N ) p(bhi | aki )
X 1 X 2 X N
并联信道
Y1Y2 YN
28
2、级联信道：两个或两个以上信道串联传送信息 X Y Z 信道1 信道2
级联信道是最常见的信道组合形式
29
二、级联信道：信道Ⅰ，信道Ⅱ满足:
4、平均互信息量
定义：原始信源熵与信道疑义度之差
I ( X ;Y ) H ( X ) H ( X Y ) ① H(X)是先验的不确定性；
② H(X | Y)是尚存在的不确定性； ③ I(X ; Y)是消除的不确定性； ④ I(X ; Y)是信源分布p(x)和信道传递概率p(y|x)的函数
p( y | x ) I ( X ;Y ) p( y | x ) p( x ) log XY p( y | x ) p( x )
I[p(y|x)]≤αI[p1(y|x)]+ (1-α)I[p2(y|x)] 意义：对于给定的信源，存在一个信道，当这个信源 通过时，获得最小的平均互信息。
22
I(X;Y) H(w) 当p=1/2时,I(X;Y)=0, 信道输出端获得的信 息量最小。
0
0.5
1.0
23
p
§4.3、离散无记忆扩展信道 1、离散N次无记忆扩展信道定义： 假设离散信道为［X, p(y|x), Y］, 输入符号集合：A={a1,a2,……,ar} Ｘ 输出符号集合：B={b1,b2, ……,bs} X取值集合为Ａ，Ｙ取值集合为Ｂ。 将输入，输出Ｎ次扩展得
北工大信息论第四章 信道及信道容量
数学模型：{X , p( yn | xn ),Y}
如果有 p(yn j | xn i) p(ym j | xm i) ，则信道为平稳
的离散无记忆信道DMC。
二.单符号离散无记忆信道
1.定义:
输入符号X，x取值于A {a1, a2 ,, ar } 输出符号Y，y取值于B {b1, b2 ,, bs} {X , p(bj | ai ),Y}
输出扩展为：00，01，10，11
传递矩阵扩展为： p2 pp pp p2
P2
pp
p2
p2
pp
pp p2 p2 pp
p
2
pp
pp
p
2
请问： I (X N ;Y N ) 与I（X；Y）之间 的关系？
用两个定理回答这个问题
定理1:若信道的输入、输出分别为N长序列X和Y，且信
道是无记忆的，即： N
N
p( h | k ) p(bhi | aki ) i 1
I(X N ;Y N )
XN
YN
p(k h ) log
p(hk ) p(h ) p(k )
例4-4: 求二元无记忆对称信道的二次扩展信
道。
a1 0
1 p p
0 b1
X
p
Y
a2 1
1 p
1 b2
解：
输入扩展为：00，01，10，11
当ω=1/2 时，I (X ห้องสมุดไป่ตู้Y ) 1 H ( p)
1
即取极大值.
H ()
0 0.5 1
当信源固定, 即 ω是一个常数时,可 得到I(X;Y)是信道传递概率p的下凸 函数。
当p=0.5时, I(X;Y)=0, 在接收端未 获得信息量。
信息论第4章离散信道及其容量
①
有线信道
② 无线信道
6、根据信道是否有噪声进行划分：
① 无噪信道 ① 无损信道
② 有噪信道 ② 有损信道
7、根据信道发送信息是否有丢失进行划分：
无噪信道既是无损信道又是确定信道。也就是说
当一个信道既满足无损信道的条件，又满足确定信道
的条件时，它才是无噪信道。
无用信道：从输入不能得到有关输出的任何信息
信道特性可用如下转移概率来描述
py | x p y1 y2 y N | x1 x2 x N
信道的数学模型可表示为
(4.1)
X, py | x, Y
6
定义 4.2.1 序列有
若离散信道对任意 N 长的输入、输出
py | x p y n | xn
n 1
信道传递概率实际上是一个传递概率矩阵，称为信道矩 阵 P。
P pb j | ai ,
或
i 1,2,, r; j 1,2,, s
p12 p 22 p1s p2s p rs
12
p11 p P 21 p r1
pr 2
其中，p 表示单个符号无错误传输的概率，而 p 表示单 个符号传输中发生错误的概率。 二元对称信道简记为BSC。BSC的信道矩阵为
p P p
p p
13
2、二元删除信道
对于二元删除信道， r 2, s 3 。输入集 X 取值 于 A 0, 1 ，输出集取值于 B 0, 2, 1 。 信道矩阵为
j
5
信道输入序列为 其取值为 其中 相应的输出序列为 其取值为 其中
X X 1 , X 2 ,, X N x x1 , x2 ,, x N xn A, 1 n N
现代数字通信-第4章-信道容量与信道编码
n
2009-09-24
k =1
8
离散无记忆信道
离散输入、连续输出信道
X = x0 , x1 ,… , xq −1 , Y = { −∞ , ∞}
{
}
条件概率密度： p ( y X = xk ) , k = 0,1,… , q − 1 例AWGN信道： Y = X + G
where X = xk , , k = 0,1,… , q − 1
可能的输出序列总数： 2nH (Y ) 最高信息传输速率：
2009-09-24
2 ( ) R = log 2 nH ( ε ) n 2 b = H (Y ) − H b ( ε )
nH Y
13
噪声信道编码定理
二进制对称信道的信道容量
C = H (Y ) − H b ( ε )
P ( X = 1) = P ( X = 0 ) = 1 2
编码器输出
调 制 器
发 转 换 器
媒 质
调制信道
编码信道
收 转 换 器
解 调 器
解调器输出
2009-09-24
4
波形信道
传输已调信号，关心的是信号的失真情况及噪声对信 号的影响。已调信号的瞬时值是连续变化的，故也称 为连续信道，甚至称为信道 具有一对(或多对)输入和输出端 绝大多数信道是线性的 有时延、损耗 输入信号为0时，信道输出端仍有一定功率输出
■
⎧ 2exp ⎡ − k 2 ( Eb N 0 − 2 ln 2 ) ⎤ , 0 ≤ ln M ≤ E s 4 N 0 ⎣ ⎦ ⎪ PM < ⎨ ⎡ ⎤ ⎪ 2exp ⎣ − k Eb N 0 − 2 ln 2 ⎦ , E s 4 N 0 ≤ ln M ≤ E s N 0 ⎩
2009-09-24
k =1
8
离散无记忆信道
离散输入、连续输出信道
X = x0 , x1 ,… , xq −1 , Y = { −∞ , ∞}
{
}
条件概率密度： p ( y X = xk ) , k = 0,1,… , q − 1 例AWGN信道： Y = X + G
where X = xk , , k = 0,1,… , q − 1
可能的输出序列总数： 2nH (Y ) 最高信息传输速率：
2009-09-24
2 ( ) R = log 2 nH ( ε ) n 2 b = H (Y ) − H b ( ε )
nH Y
13
噪声信道编码定理
二进制对称信道的信道容量
C = H (Y ) − H b ( ε )
P ( X = 1) = P ( X = 0 ) = 1 2
编码器输出
调 制 器
发 转 换 器
媒 质
调制信道
编码信道
收 转 换 器
解 调 器
解调器输出
2009-09-24
4
波形信道
传输已调信号，关心的是信号的失真情况及噪声对信 号的影响。已调信号的瞬时值是连续变化的，故也称 为连续信道，甚至称为信道 具有一对(或多对)输入和输出端 绝大多数信道是线性的 有时延、损耗 输入信号为0时，信道输出端仍有一定功率输出
■
⎧ 2exp ⎡ − k 2 ( Eb N 0 − 2 ln 2 ) ⎤ , 0 ≤ ln M ≤ E s 4 N 0 ⎣ ⎦ ⎪ PM < ⎨ ⎡ ⎤ ⎪ 2exp ⎣ − k Eb N 0 − 2 ln 2 ⎦ , E s 4 N 0 ≤ ln M ≤ E s N 0 ⎩
信息论讲义-第四章(10讲)
信息理论基础第10讲北京航空航天大学201教研室陈杰2006-11-274.3离散无记忆扩展信道一、无记忆Ｎ次扩展信道定义：假设离散信道［X, p (y|x ), Y ］,输入符号集合:A ={a 1,a 2,……,a r }输出符号集合:B ={b 1,b 2, ……,b s } X 取值于Ａ，Ｙ取值于Ｂ．将输入，输出Ｎ次扩展得其中,Ｘi 取值于Ａ，Ｙi 取值于Ｂ，i =1,2,……Ｎ12()N X X X =X "12()N YY Y =Y "信道ＸＹp (y|x )2006-11-274.３离散无记忆扩展信道二、无记忆Ｎ次扩展信道其数学模型如下：若则称为Ｎ次无记忆扩展信道。
信道NX X X ……21NY Y Y ……211212(|)N N p y y y x x x ……12121(|)(|)(|)NN N i i i p p y y y x x x p y x ===∏y x ""[,(|),]N N N N X p y x Y2006-11-27三、离散无记忆信道数学模型信道输入序列取值信道输出序列取值信道转移概率信道X YNX X X X (21)Y Y Y Y ……=2112,N x x x x =……A x i ∈12,N y y y y =……B y i ∈1(|)(|)Ni i i p y x p y x ==∏{,(|),}i ip y x X Y 离散无记忆信道2006-11-27离散信道的数学模型可表示为定义若离散信道对任意N 长的输入、输出序列有称为离散无记忆信道，简记为DMC 。
数学模型为{,(|),}p y x X Y 1(|)(|)Ni i i p y x p y x ==∏{,(|),}i i p y x X Y2006-11-27(1) 对于DMC 信道，每个输出符号仅与当时的输入符号有关，与前后输入符号无关。
(2) 对任意n 和m ，，，若离散无记忆信道还满足则称此信道为平稳信道的或恒参信道。
第4章：连续信号与连续信道容量
(b / s)
式中 S － 信号平均功率 （W）；
N － 噪声功率（W）；
B － 带宽（Hz）。
设噪声单边功率谱密度为n0，则N = n0B；
故上式可以改写成：
Ct
B log 2 1
S n0 B
(b / s)
由上式可见，连续信道的容量Ct和信道带宽B、信号功 率S及噪声功率谱密度n0三个因素有关。
2 2 )dx
p( x)(log2
e)
( xm)2 2 2
dx
因为： p( x)dx 1, ( x m)2 p( x)dx 2
所以：Hc ( X ) 2
log 2
e
1 2
log 2
2e
2
说明
高斯连续信源的熵与数学期望 m 无关，只与方差σ2 有
N
dx1
(bi ai )
dxN
N
log2 (bi i 1
ai )
i 1
i 1
N
log2 (bi ai ) Hc ( X1 ) Hc ( X 2 ) Hc ( X N ) i 1
(2) 高斯分布的连续信源的熵
一维随机变量 X 的取值范围是整个实数轴 R，概率密
高斯加性信道 非高斯加性信道
加性信道 [X,p] 入
x∈R1
x
加加加加
N
p( y / x) p(n)
出
[Y,q]
y∈R1
Y
y=x+n(迭加性）
Y=x+n
加性信道的重要性质：信道的传递概率密度函数就等于噪声的概率密度函数
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
源所提供的信息。如果一旦丢失信息，以后系统不管如何处 理，如果不涉及到该信道过程的输入端，都不能恢复已丢失
的信息——信息不增性原理。
当信道不断级联时，信道的最终传输信息量趋于0
串联信道的总信道矩阵
N
P
P1P2
PN
i1
Pi
例4-5：下图中的X、Y、Z满足马氏链，求该串联信道的总信
道矩阵。
X
a1
1/2
p(aibj ) log p(ai | bj )
表示：由于信道的干扰，导致信道输出端收到Y
后，对输入X仍然存在的平均不确定度。
也可表示：由于信道干扰导致信息量的损失。
2.平均互信息 I(X;Y)=H(X)-H(X|Y)
X H(X)
Y
信道
I(X;Y)
H(X|Y)
表示：接收端收到Y后获得的关于X的信息量(即
p(y|x) 信道
干扰
输出信号y
Y (Y1Y2 YN ) 其取值y ( y1 y2 yN ) yi B (b1, b2 , , bs )
p( y | x) p( y1y2 yN | x1x2 xN )
p(y|x)：
反映信道的统计特性，即输入输出的依赖关系，又称信 道的传递概率、转移概率或传输概率。
时，可得到I(X;Y)是信源输出分 布ω的上凸函数。
当ω=1/2 时，I (X ;Y ) 1 H ( p)
1
即取极大值.
H ()
0 0.5 1
当信源固定，即 ω是一个常数时, 可得到I(X;Y)是信道传递概率p的下 凸函数。
当p=0.5时，I(X;Y)=0，在接收端 未获得信息量。
例4-3：掷色子，如果结果是1，2，3，4，则抛一次硬币；如
二元对称信道(BSC)(二进制对称信道)
a1 0
X
a2 1
p 1 p 1 q
q
0 b1
Y ? b2
1 b3
其中：p、q表示正确传输的概率
0 ? 1
P
0 1
p
1 p
0
0 1 q q
二元删除信道 (二进制删除信道)
三.信道疑义度和平均互信息
1.信道疑义度(损失熵) X 信道 Y
H(X | Y)
a1 0
X
1 p p
p
0 b1
Y
a2 1
1 p
1 b2
解：
输入扩展为：00，01，10，11
输出扩展为：00，01，10，11
传递矩阵扩展为： p2 pp pp p2
P2
pp
p2
p2
pp
pp p2 p2 pp
p
2
pp
pp
p
2
请问： I (X N ;Y N ) 与I（X；Y）之间 的关系？
i1 j1
I ( X ;Y ) H (Y ) H (Y | X ) 0.159
四.离散无记忆信道的N次扩展信道
X
X取值为xi
xi A (a1, a2, , ar )
Y
信道
p(bj | ai )
Y取值为yi
yi B (b1, b2 , , bs )
XN
X N (1,2, ,rN ) k ak1ak2 akN , k 1,2, , r N
用两个定理回答这个问题
定理1:若信道的输入、输出分别为N长序列X和Y，且信
道是无记忆的，即： N
N
p( y | x) p( yi | xi ) 或 p(h | k ) p(bhi | aki )
i1
i1
N
则存在I ( X ;Y ) I ( X i ;Yi )
i 1
定理2：若信道的输入、输出分别为N长序列X和Y，且信源
C {c1,c2, ,cl}
A {a1, a2 , , ar } B {b1,b2 , ,bs }
级联信道的平均互信息存在两个定理:
定理1:级联信道中的平均互信息满足以下关系
I (XY; Z ) I (Y; Z ) I(XY; Z) I (X ; Z)
Y确定后,Z不再与X有关,只取决于信道2的转移概率矩阵,
1/ 2 1/ 2 0 P 1/ 4 1/ 2 1/ 4
输出符号的概率空间为
Y P
5
0 /12
1 1/ 2
2 1/12
则有：
3
H (Y ) p( y j ) log p( y j ) 1.325
j 1
23
H (Y | X )
p(xi ) p( y j | xi ) log p( y j | xi ) 1.166
且 pij 1 j 1
4.信道输出与输入之间的关系
p(b1)
p(a1)
p(b2 )
PT
p(a2
)
p(bs )
p(ar
)
PT 为P的转置矩阵
例4-1：
a1 0
1 p p
0 b1
X
p
Y
a2 1
1 p
1 b2
其中：p表示传输中发生错误的概率
0 1
P
0 1
1
p
p
p 1 p
N次扩展信道
p(h |k )
YN
Y N (1, 2, , sN ) h bh1bh2 bhN , h 1,2, , s N
N
p( h | k ) p(bhi | aki ) i 1
I(X N ;Y N )
XN
YN
p(k h ) log
p(hk ) p(h ) p(k )
例4-4：求二元无记忆对称信道的二次扩展信道。
则I(X;Z|Y)=0,这意味着X,Y,Z构成一个一阶马尔可夫链.
定理2:若随机变量X,Y,Z构成一个马尔可夫链,则有
I(X;Z) I(X;Y) I(X ; Z) I(Y; Z)
定理2表明：通过串联信道的传输只会丢失信息，至多
保持原来的信息量。
可得：在任何信息传输系统中，最后获得的信息至多是信
i i
p(xi )[
j j
p( y j | xi ) log
1 ]
p( y j | xi )
H (Y )
i
p(xi )(
p log
1 p
p log
1) p
H (Y ) H ( p)
应用全概率公式
p(Y 0) p(ai ) p(0 | ai ) p (1 ) p
i
p(Y 1) p(ai ) p(1 | ai ) p (1 ) p
C max I (X ;Y )bit / signal
2.信道) H (X ) H (X | Y )bit / signal
3.信道的信息传输速率：信道在单位时间内平均传输信息量
接收到的信息量)
•定理1：
对于固定信道，I(X;Y)是信源概率分布p(x) 的上凸函数。
定理2:
对于固定的信源分布，I(X;Y)是信道传递概率 P(y|x)的下凸函数。
例4-2：
X
信道 Y
（0，1）
（0，1）
考虑二元对称信道，其信源概率空间为
X
P
0
1
1
信道矩阵P
p
p
p 1 p表示信道错误传递概率
23 00
2/3 1/ 3
1/
3
2 / 3
1/ 1/
3 2
1/ 3 1/ 6
1/ 3 1/ 3
二.并联信道
——多个信道联合起来使用
X1 1 Y1
X X 2 2 Y2 Y
X N N YN
并用信道
当待发送的消息比较多时， 可用多个信道并行传送，香
农称之为平行信道
有各自的输入和输出，最 后总和。
模拟信道(analog channel)，也称波形信道 (waveform channel) 理论、实用价值很小
2.按其输入/输出之间关系的记忆性划分：
无记忆信道： 在某一时刻信道的输出消息仅与当前
信道的输入消息有关，而与之前时刻 的信道输入无关
有记忆信道： 在任一时刻信道的输出不仅与当前输
入有关，而且还与以前时刻输入有关
N
I ( X i ;Yi ) N I ( X i ;Yi )
i 1
则：I (X ;Y ) N I (X i ;Yi )
对于N次扩展，则有 I (X N ;Y N ) N I (X ;Y )
第三节 信道组合
一.级联信道（串联信道）
消息依次通过几个信道串行传输：
X
Y
信道1
Z
信道2
p(y|x)
p(z|xy)
是无记忆的，即： N
N
p(x) p(xi ) 或 p(k ) p(ki )
i1
N
i1
则存在：I (X ;Y ) I (X i ;Yi )
i 1
由定理1和定理2 当信源和信道都是无记忆时有：
N
I ( X ;Y ) I ( X i;Yi ) i 1
当每个序列中的分量Xi取值于同一信源符号集，且具 有同一种概率分布，则输出Y的分量Yi也取值同一符号集， 则各I（Xi；Yi）是相等的。即：
两个以上的信号.
多元接入信道
广播信道
5.按信道的统计特性分：
•恒参信道 •变参信道
第二节 离散无记忆信道 一.定义 DMC
1.定义——输入/输出在幅度和时间上都是离散的，并且在某一时刻信道的
输出消息只与当前信道的输入有关，而与之前时刻的信道输入无关。
2.数学模型：
离散信道对任意N长的输入、输出序列有
果结果是5、6，则抛两次硬币。试计算从抛硬币的结果可以得到 多少掷色子的信息量。
解：设掷色子结果是1，2，3，4为事件X=0，结果是5、6为
的信息——信息不增性原理。
当信道不断级联时，信道的最终传输信息量趋于0
串联信道的总信道矩阵
N
P
P1P2
PN
i1
Pi
例4-5：下图中的X、Y、Z满足马氏链，求该串联信道的总信
道矩阵。
X
a1
1/2
p(aibj ) log p(ai | bj )
表示：由于信道的干扰，导致信道输出端收到Y
后，对输入X仍然存在的平均不确定度。
也可表示：由于信道干扰导致信息量的损失。
2.平均互信息 I(X;Y)=H(X)-H(X|Y)
X H(X)
Y
信道
I(X;Y)
H(X|Y)
表示：接收端收到Y后获得的关于X的信息量(即
p(y|x) 信道
干扰
输出信号y
Y (Y1Y2 YN ) 其取值y ( y1 y2 yN ) yi B (b1, b2 , , bs )
p( y | x) p( y1y2 yN | x1x2 xN )
p(y|x)：
反映信道的统计特性，即输入输出的依赖关系，又称信 道的传递概率、转移概率或传输概率。
时，可得到I(X;Y)是信源输出分 布ω的上凸函数。
当ω=1/2 时，I (X ;Y ) 1 H ( p)
1
即取极大值.
H ()
0 0.5 1
当信源固定，即 ω是一个常数时, 可得到I(X;Y)是信道传递概率p的下 凸函数。
当p=0.5时，I(X;Y)=0，在接收端 未获得信息量。
例4-3：掷色子，如果结果是1，2，3，4，则抛一次硬币；如
二元对称信道(BSC)(二进制对称信道)
a1 0
X
a2 1
p 1 p 1 q
q
0 b1
Y ? b2
1 b3
其中：p、q表示正确传输的概率
0 ? 1
P
0 1
p
1 p
0
0 1 q q
二元删除信道 (二进制删除信道)
三.信道疑义度和平均互信息
1.信道疑义度(损失熵) X 信道 Y
H(X | Y)
a1 0
X
1 p p
p
0 b1
Y
a2 1
1 p
1 b2
解：
输入扩展为：00，01，10，11
输出扩展为：00，01，10，11
传递矩阵扩展为： p2 pp pp p2
P2
pp
p2
p2
pp
pp p2 p2 pp
p
2
pp
pp
p
2
请问： I (X N ;Y N ) 与I（X；Y）之间 的关系？
i1 j1
I ( X ;Y ) H (Y ) H (Y | X ) 0.159
四.离散无记忆信道的N次扩展信道
X
X取值为xi
xi A (a1, a2, , ar )
Y
信道
p(bj | ai )
Y取值为yi
yi B (b1, b2 , , bs )
XN
X N (1,2, ,rN ) k ak1ak2 akN , k 1,2, , r N
用两个定理回答这个问题
定理1:若信道的输入、输出分别为N长序列X和Y，且信
道是无记忆的，即： N
N
p( y | x) p( yi | xi ) 或 p(h | k ) p(bhi | aki )
i1
i1
N
则存在I ( X ;Y ) I ( X i ;Yi )
i 1
定理2：若信道的输入、输出分别为N长序列X和Y，且信源
C {c1,c2, ,cl}
A {a1, a2 , , ar } B {b1,b2 , ,bs }
级联信道的平均互信息存在两个定理:
定理1:级联信道中的平均互信息满足以下关系
I (XY; Z ) I (Y; Z ) I(XY; Z) I (X ; Z)
Y确定后,Z不再与X有关,只取决于信道2的转移概率矩阵,
1/ 2 1/ 2 0 P 1/ 4 1/ 2 1/ 4
输出符号的概率空间为
Y P
5
0 /12
1 1/ 2
2 1/12
则有：
3
H (Y ) p( y j ) log p( y j ) 1.325
j 1
23
H (Y | X )
p(xi ) p( y j | xi ) log p( y j | xi ) 1.166
且 pij 1 j 1
4.信道输出与输入之间的关系
p(b1)
p(a1)
p(b2 )
PT
p(a2
)
p(bs )
p(ar
)
PT 为P的转置矩阵
例4-1：
a1 0
1 p p
0 b1
X
p
Y
a2 1
1 p
1 b2
其中：p表示传输中发生错误的概率
0 1
P
0 1
1
p
p
p 1 p
N次扩展信道
p(h |k )
YN
Y N (1, 2, , sN ) h bh1bh2 bhN , h 1,2, , s N
N
p( h | k ) p(bhi | aki ) i 1
I(X N ;Y N )
XN
YN
p(k h ) log
p(hk ) p(h ) p(k )
例4-4：求二元无记忆对称信道的二次扩展信道。
则I(X;Z|Y)=0,这意味着X,Y,Z构成一个一阶马尔可夫链.
定理2:若随机变量X,Y,Z构成一个马尔可夫链,则有
I(X;Z) I(X;Y) I(X ; Z) I(Y; Z)
定理2表明：通过串联信道的传输只会丢失信息，至多
保持原来的信息量。
可得：在任何信息传输系统中，最后获得的信息至多是信
i i
p(xi )[
j j
p( y j | xi ) log
1 ]
p( y j | xi )
H (Y )
i
p(xi )(
p log
1 p
p log
1) p
H (Y ) H ( p)
应用全概率公式
p(Y 0) p(ai ) p(0 | ai ) p (1 ) p
i
p(Y 1) p(ai ) p(1 | ai ) p (1 ) p
C max I (X ;Y )bit / signal
2.信道) H (X ) H (X | Y )bit / signal
3.信道的信息传输速率：信道在单位时间内平均传输信息量
接收到的信息量)
•定理1：
对于固定信道，I(X;Y)是信源概率分布p(x) 的上凸函数。
定理2:
对于固定的信源分布，I(X;Y)是信道传递概率 P(y|x)的下凸函数。
例4-2：
X
信道 Y
（0，1）
（0，1）
考虑二元对称信道，其信源概率空间为
X
P
0
1
1
信道矩阵P
p
p
p 1 p表示信道错误传递概率
23 00
2/3 1/ 3
1/
3
2 / 3
1/ 1/
3 2
1/ 3 1/ 6
1/ 3 1/ 3
二.并联信道
——多个信道联合起来使用
X1 1 Y1
X X 2 2 Y2 Y
X N N YN
并用信道
当待发送的消息比较多时， 可用多个信道并行传送，香
农称之为平行信道
有各自的输入和输出，最 后总和。
模拟信道(analog channel)，也称波形信道 (waveform channel) 理论、实用价值很小
2.按其输入/输出之间关系的记忆性划分：
无记忆信道： 在某一时刻信道的输出消息仅与当前
信道的输入消息有关，而与之前时刻 的信道输入无关
有记忆信道： 在任一时刻信道的输出不仅与当前输
入有关，而且还与以前时刻输入有关
N
I ( X i ;Yi ) N I ( X i ;Yi )
i 1
则：I (X ;Y ) N I (X i ;Yi )
对于N次扩展，则有 I (X N ;Y N ) N I (X ;Y )
第三节 信道组合
一.级联信道（串联信道）
消息依次通过几个信道串行传输：
X
Y
信道1
Z
信道2
p(y|x)
p(z|xy)
是无记忆的，即： N
N
p(x) p(xi ) 或 p(k ) p(ki )
i1
N
i1
则存在：I (X ;Y ) I (X i ;Yi )
i 1
由定理1和定理2 当信源和信道都是无记忆时有：
N
I ( X ;Y ) I ( X i;Yi ) i 1
当每个序列中的分量Xi取值于同一信源符号集，且具 有同一种概率分布，则输出Y的分量Yi也取值同一符号集， 则各I（Xi；Yi）是相等的。即：
两个以上的信号.
多元接入信道
广播信道
5.按信道的统计特性分：
•恒参信道 •变参信道
第二节 离散无记忆信道 一.定义 DMC
1.定义——输入/输出在幅度和时间上都是离散的，并且在某一时刻信道的
输出消息只与当前信道的输入有关，而与之前时刻的信道输入无关。
2.数学模型：
离散信道对任意N长的输入、输出序列有
果结果是5、6，则抛两次硬币。试计算从抛硬币的结果可以得到 多少掷色子的信息量。
解：设掷色子结果是1，2，3，4为事件X=0，结果是5、6为