第3章 离散信道概述
第3章_离散信道及其信道容量1
10
DUT
3.2 平均互信息及平均条件互信息
互信息量的性质
（2）P(ai) < P(ai|bj ) < 1，这时I(ai) > I(ai/bj)，I(ai；bj) > 0。
后验概率大于先验概率，说明收到bj后对信源是否发ai所进行判断 的正确程度，要大于ai在信源集合中的概率. 或者说收到bj后多少还能消除一些对信源是否发ai的不确定度，因 此bj获取了关于ai的信息量。 I(ai；bj) 越大，这种获取就越多。 这正是实际通信时遇到的大多数情况，它对应着信道存在干扰， 但信宿仍能从信源中获取信息量。 从这里隐约可以看到，只要I(ai；bj) > 0，就存在着能够通信的可 能性，在后面的章节将会进一步讨论进行可靠通信的极限条件。
log
P( x | yz ) P( y | xz ) P( xy | z ) log log P( x | z ) P( y | z ) P( x | z ) P( y | z )
P ( x | yz ) P( x | y ) P( x | yz ) log P( x) P( x) P( x | y )
这一性质清楚地说明了互信息量是描述信息流通特性
的物理量，流通量的数值当然不能大于被流通量的数 值。
某一事件的自信息量是任何其他事件所能提供的关于
该事件的最大信息量。
DUT
信息论基础
14
3.2 平均互信息及平均条件互信息
平均条件互信息
I ( x; y | z ) log
I ( x; yz ) log
互信息量的性质
1. 对称性
如果考虑信息的反向流通问题，即考虑事件ai的出现 给出关于事件bj的信息量，或者从ai中获取关于bj的信
第3章离散信道及其信道容量12
第3章离散信道及其信道容量3.1信道的数学模型及分类●在一般广义的通信系统中，信道是很重要的一部份。
信道的任务是以信号方式传输信息和存储信息的。
●研究信道就是研究信道中能够传送或存储的最大信息量，即信道容量问题。
3.1.1信道的分类●实际的通信系统中，物理信道种类很多，包涵的设备也很多。
●信息论是将各种不同的物理信道抽象成统一的数学模型，集中研究信息的传输和存储问题。
●从信息传输的角度来考虑，信道可以根据输入和输出信号的统计性质、信道的统计特性以及信道的用户多少等方法来进行分类。
●根据信道的用户多少，可分为：两端（单用户）信道：一个输入端一个输出端的单向通信的信道。
多端（多用户）信道：在输入端或输出端中至少有一端有两个以上的用户，并且可以双向通信的信道。
●根据信道输出端和输入端的关联，可以分为： 无反馈信道：信道输出端无信号反馈到输入端，输出端信号对输入端信号无影响、无作用。
反馈信道：信道输出端的信号反馈到输入端，对输入端信号起作用、影响输入端信号发生变化。
●根据信道的参数（统计特性）与时间的关系，信道可以分为：固定参数信道：信道的参数（统计特性）不随时间变化而改变。
时变参数信道：信道的参数（统计特性）随时间变化而变化。
●据输入和输出信号的统计特性，可以分为：离散信道：输入和输出的随机序列的取值都是离散的信道，也称数字信道。
连续信道：输入和输出的随机序列的取值都是连续的信道。
半离散半连续信道：输入序列是离散性的但相应的输出序列是连续的信道，或者相反。
波形信道：信道输入和输出的随机变量的取值是连续的，并且还随时间连续变化。
又称为模拟信道。
波形信道可分解成离散信道、连续信道或半离散半连续信道研究。
3.1.2离散信道的数学模型离散信道的数学模型可用图表示为X YX=（X 1,X 2,…X i ,…X N ）X ：[a 1,a 2,…a r ]P(y|x)Y=（Y 1,Y 2,…Y i ,…Y N ）Y ：[b 1,b 2,…b s ]P(y|x) =1 除用图表示外，离散信道的数学模型还可用概率空间[X, P(y|x),Y]加以描述。
第3章 离散信道及其信道容量
对称离散信道及其容量
对称信道的信道容量容量
C＝max I ( X ; Y ) max[ H ( X ) H ( X | Y )] max[ H (Y ) H (Y | X )] max H (Y ) H (Y / X )
3.2 单符号离散信道
二进制对称信道（BSC）
1-p 0 p p 0
p 1 p P p 1 p
1
1 1-p
如果信道转移概率矩阵的每一行/每一列只包 含一个1，其余都为0，则信道是无干扰离散 息道，否则是有干扰信道
3.3 平均互信息及其特性
平均互信息量
I ( X ; Y ) p( xy) log
p ( ai )
几个特殊信道的信道容量
无干扰离散信道的信道容量
Y 1 1 1 1 1 1 1 (b) 无噪有损信道 部分理想化的无干扰离散信道 1 1 (c) 有噪无损信道 X 1 Y X 1 1 1 Y
aX
(a) 无噪无损信道
几个特殊信道的信道容量
X、Y一一对应 ( I(X;Y)=H(X)=H(Y) ) C＝maxI(X;Y)＝log n
如果上述方程组存在解{pi}:
P(a ) P(b
i i j
j
/ ai ) log
也就是说：C loge
一般离散信道的信道容量
特别的，当信道转移矩阵非奇异时，对n个i：
p(b
j
j
/ ai ) log
p (b j / ai ) p (b j )
第三章离散信道及其信信道容量
离散信道及其信道容量离散信道的统计特性和数学模型信道传输的平均互信息及其性质信道容量及其计算方法信道的任务是以信号方式传输信息和存储信息。
研究信道中能够传送或存储的最大信息量，即信道容量问题。
只限于研究一个输入端和一个输出端的信道，即单用户信道，其中以无记忆、无反馈、固定参数的离散信道为重点。
3.1 信道的数学模型及分类几个前提：信源输出的消息必须首先转换成能在信道中传输或存储的信号噪声或干扰主要从信道中引入，它使信号通过信道后产生错误和失真输入和输出信号之间一般不是确定的函数关系，而是统计依赖的关系3.1.1 信道的分类根据信道的用户多少（１）两端（单用户）信道只有一个输入端和一个输出端的单向通信的信道（２）多端（多用户）信道输入端或输出端中有一端有两个以上的用户，且可以双向通信的信道根据信道输入端和输出端的关联（１）无反馈信道信道输出端无信号反馈到输入端（２）反馈信道信道输出端的信号反馈到输入端，对输入端的信号起作用，影响输入端信号发生变化。
根据信道的参数与时间的关系（１）固定参数信道信道的参数（统计特性）不随时间变化而改变（２）时变参数信道信道的参数（统计特性）随时间变化而变化根据输入和输出信号的特点（１）离散信道输入和输出的随机序列的取值都是离散的信道（２）连续信道输入和输出的随机序列的取值都是连续的信道（３）半离散或半连续信道输入序列是离散型的但相应的输出序列是连续的信道，或者相反（４）波形信道信道输入和输出的随机变量的取值是连续的，并且还随时间连续变化只限于研究无反馈、固定参数的单用户离散信道。
充分性：若满足此式则离散信道为无记忆信道。
P 证明：根据概率关系，得条件概率(1P y ==......(1P y =((1 P y P =因为所以(P ((1 P y y P y =又因为(y NP y ∑所以∑【例3.2】二元删除信道BEC0 2 10p 1-p 0 101qq ⎡⎤⎢⎥−⎣⎦输入符号X取值于{0,1}；输出符号Y取值于{0,2,1} 。
第三章离散信道及其信道容量
p(ym/x1)
p(ym/x2) … p(ym/xn)
第一节 信道的数学模型及分类 为了表述简便，可以写成 P(bj / ai ) pij
p11 p P 21 ... pr1 p12 ... p22 ... pr 2 ... p1s p2 s ... prs
i 1 r
P(aibj ) P(ai )P(bj / ai ) P(bj )P(ai / bj )
（3）后验概率
P(ai / b j )
P(aib j ) P(b j )
P(a / b ) 1
i 1 i j
r
表明输出端收到任一符号，必定是输入端某一符号 输入所致
第二节 平均互信息
第三节 平均互信息的特性
1、平均互信息的非负性 I(X;Y)>=0 该性质表明，通过一个信道总能传递一些信息，最 差的条件下，输入输出完全独立，不传递任何信息，互 信息等于0，但决不会失去已知的信息。
2、平均互信息的极值性
I(X;Y)<=H(X) 一般来说，信到疑义度总是大于0，所以互信息总是 小于信源的熵，只有当信道是无损信道时，信道疑义度 等于0，互信息等于信源的熵。
C max{I ( X , Y )} max{H ( X ) H ( X / Y )}
P( X ) P( X )
信道容量与与信源无关，它是信道的特征参数，反 应的是信道的最大的信息传输能力。 对于二元对称信道，由图可以看出信道容量等于 1-H(P)
第四节 信道容量及其一般计算方法
1、离散无噪信道的信道容量 （1）具有一一对应关系的无噪声信道 x1 x2 x3 I(X;Y)=H(X)=H(Y) y1 y2 y3
2015秋.信息论.第3章离散信道及平均互信息量
log2
1 1/ 2
1(bit)
22
X 信源 X 信道 Y 信宿
X 信道故障（设备故障，人员问题）Y=安全X=安全；
信道错误，X,Y取值相反
I ( x安全;y安全 )
log
p( x安全 / y安全 ) p( x安全 )
23
3.2.2平均互信息量
– 互信息量 I(xi; y j ) 是定量地研究信息流通问题 的重要基础。
求出各联合概率：
p(x1 y2 ) p(x1) p( y2 / x1) 0.5 0.02 0.01 p(x1 y1) p(x1) p(y1 / x1) 0.5 0.98 0.49 p(x2 y1) p(x2 ) p(y1 / x2 ) 0.5 0.20 0.10 p(x2 y2 ) p(x2 ) p(y2 / x2 ) 0.5 0.80 0.40
• 但只能描述信源发出某个具体消息 xi ，信宿收
到某具体消息 y j 时流经信道的信息量，是随 xi 和 y j 变化的随机变量。 • 不能从整体上作为信道中信息流通的测度。
– 平均互信息量 I(X;Y )
• 从整体的角度出发，在平均意义上度量每通过一 个符号流经信道的平均信息量。
24
• 互信息量I(xi;yj) 在集XY上的概率加权平均 值称为集合Y与集合X间的平均互信息量。
的信息量，也是任何其他事件所能提供的最大信
息量。
I ( xi ;
yj)
log
p( xi / y p( xi )
j
)
log 1 log 1
p( xi )
p( xi / y j )
xi
yj
I ( xi ) I ( xi / y j )
第3章_离散信道及其信道容量2
信息论与编码
第三章 离散信道及其信道容量
1
本章内容提要 3.1 信道的数学模型及分类
信息论与编码
3.2 平均互信息及平均条件互信息 3.3 平均互信息特性 3.4 信道容量及其一般计算 3.6 离散无记忆扩展信道及其信道容量 3.9 信源与信道的匹配
2
信息论与编码
1 1-p 1 0 1-p
数字信道
0
信 息 源
信源 编码器
加 密 器
信道 编码器
调 制 器
信 道 噪声
解 调 器
信道 译码器
解 密 器
信源 译码器
受 信 者
n(t)
模拟信道
S(t)
+
r(t)
3
信息论与编码
3.4 信道容量及其一般计算
Ｘ
P(b j / ai )
Ｙ
I ( X ;Y ) H ( X ) H ( X / Y )
C maxI X；Y maxH X log r
px px
比特/符号
12
信息论与编码 （2）有噪无损信道
1 2 P 0 0 1 2 0 0 0 3 5 0 0 3 10 0 0 1 10 0 0 0 1
第三章离散信道及其信道容量
P2( y)
X
P(x, y)log
Y
P( y)
P(y)
P( y)
t
X
Y
P1(x, y)log P1( y) (1 t) X
Y
P2(x, y)log P2( y)
因为y=logx是∩ 函数,根据Jensen不等式
X
Y
P1( x,
y) log
P( y) P1( y)
log
X
Y
P1
(
x,
y)
数,也就是说在某一种概率分布条件下: C=max I(X;Y)比特/符号 C=max I(X;Y)/t 比特/秒 信道容量C(或)是信道的核心指标。P(Y/X)给定
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1
0 0
0 0 1 1
H ( X ) log42 2bits
P a1 b1
p(a1 ) p b1 a1 p(b1 )
1 1 4 11
1 2
44
P(a2/b1)=1/2, P(a3/b1)=P(a4/b1)=0 H(X/b1)=1bits H(X/b2)= 1bits H(X/Y)=H(X/bi)=1bits
3.3 平均互信息的特性
1. 非负性 I(X;Y) ≥ 0 即接收到的平均互信息量大于等于0,也就是说,从 总体而言,多多少少总可以收到一些信息量。 证明：方法一
∵ H(X) ≥H(X/Y) ∴ I(X;Y)=H(X)-H(X/Y) ≥ 0 方法二 ∵ logx为∩ 型凸函数 Jensen不等式E{f(x)} ≤f{E(X)}
I( X;Y ) H ( X ) H ( )
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
16
2. 输出符号概率: p( y j ) p( xi y j ) p( xi ) p( y j | xi )
i 1 i 1
1.离散单符号信道的数学模型 r r
问题：在什么条件下，通过信道的信息量最大，即
信道容量的问题。
3
信道的主要研究内容： 信道的分类和建模（信道的统计特性描述） √
信道传输信息的能力（信道容量） √
在有噪信道中能否实现可靠传输？怎样实现可靠 传输？
4
信道分类
按输入/输出信号的幅度和时间特性划分：
幅度 时间
信道分类名称
离散 离散 离散信道/数字信道（例如：数字电话） 连续 离散 连续信道 连续 连续 模拟信道/波形信道（例如：普通电话） 离散 连续 （理论和实用价值均很小）
5
信道分类
根据输入、输出信号的时间特性和取值特性，可以 将信号划分为：
◦
◦
离散信道：指输入输出随机变量均为离散的信道 连续信道：指输入输出随机变量均为离散的信道
Y y2
ys
i 1, 2,..., r ; j 1, 2,..., s
满足： （1）0≤ p(yj|xi) ≤ 1 (i=1,2,…,r；j=1,2,…,s) （2）
p( y
j 1
s
j
| xi ) 1
(i=1,2,…,r)
11
1.离散单符号信道的数学模型
信道传递概率可以用信道矩阵来表示：
PY PX PY | X
17
1.离散单符号信道的数学模型
3. 后验概率（后向概率）: 贝叶斯公式
p ( xi | y j ) p ( xi y j ) p( y j ) p ( xi ) p ( y j | xi )
p( x ) p( y
i 1 i
r
j
| xi )
（i =1，2，…，r;j =1，2，…，s）
信道特性可以用转移概率矩阵来表示：
P=[p(yj|xi)]r×s
• 信道的数学模型为{X, P(Y|X),Y}
13
1.离散单符号信道的数学模型
例1：二元对称信道 （BSC：binary symmetric channel）
输入符号集A={0,1}, 输出符号集B={0,1}，r＝s＝2． 传递概率：
j=1,2,…,s
矩阵表示：
p( y1 )
p ( y 2 ) p ( y s ) p ( x1 ) p ( x 2 ) p ( x r ) P
p ( y1 ) p ( x1 ) p( y ) p( x ) 2 2 PT p( xr ) p( y s )
一. 信道模型
信源 信道 信宿
噪声 通信系统的简化模型
信源每发一个符号平均提供的信息量： H(X) 无噪信道→信宿可确切无误的接收信息
9
3.1 信道疑义度与平均互信息量
一. 信道模型
信道
P(Y|X)
输入 X
输出 Y
干扰、噪声
10
1.离散单符号信道的数学模型
x1
x2 X xr
y1
P (Y|X)
p ( y j | xi )
12
rs
1.离散单符号信道的数学模型
• 对于离散单符号信道来说，信道的输入输出均为单个 符号的消息：设信道的输入随机变量X的取值集合为 X={x1,x2,…,xr}， 相应的概率分布为p(xi ) ， i=1,2,…,r ； 输出随机变量Y的取值集合为Y={y1,y2,…,ys}， 相应的概 率分布为p (yj )， j=1,2,…,s
信道矩阵为：
p P 0 1 p 1 q 0 q
0
p
1 p 1 q
q
0 ? 1
1
信道转移概率图
15
1.离散单符号信道的数学模型
离散信道常用的概率关系:
已知：先验概率: p(xi) ， i=1,2,…,r
前向概率(信道传递概率）: p(yj| xi)，i=1,2,…,r， j=1,2,…,s
且
p ( xi | y j ) 1
i 1
r
j =1，2，…，s
18
2.信道疑义度H(X|Y)
根据信道的统计特性是否随时间改变可分为 :
◦
平稳信道（恒参信道、时不变信道，如卫星通信） 非平稳信道（变参信道、时变信道，如移动通信）
6
信道分类
向通信。
多用户信道：双向通信或三个或更多个用户之间相 互通信的情况 ，例如多元接 入信道、广播信道、网 络通信信道等。
第 3章 离散信道
1
信道是指信息传输的通道。包括空间传输和时间传输。
空间传输：电缆、光纤、电波传输的空间、载波线路。
时间传输：磁带、光盘。
信息论中的信道划分是人为的。
2
信道是通信系统最重要的组成部分 通信的本质含义就是信息通过信道得以传送，实现
异地间的信息交流
信道的主要任务：以信号的形式传输和存储信息。
p (0 | 0) p p (0 | 1) p
0
p P p p p
p
p p
0
p(1 | 0) p p(1 |1) p
1
p
1
信道转移概率图
14
1.离散单符号信道的数学模型
例2：二元删除信道
输入符号集A={0,1}，符号输出集B={0,?,1}，r=2, s=3
x1 x2 P xr
y1 p ( y1 | x1 ) p( y | x ) 1 2 p ( y1 | xr )
y2 p ( y2 | x1 )
p ( y 2 | x2 ) p ( y 2 | xr )
ys p ( ys | x1 ) 1 p ( y s | x2 ) p ( y s | xr )
7
信道分类
按输入/输出之间的记忆性来划分： 无记忆信道：信道在某时刻的输出只与信道该时刻 的输入有关而与信道其他时刻的输入、输出无关。 有记忆信道：信道在某时刻的输出与其他时刻的输 入、输出有关。
根据信道的输入/输出是否是确定关系可分为: 有噪声信道 无噪声信道
8
3.1 信道疑义度与平均互信息量