第3章 离散信道及其信道容量共32页
合集下载
第3章_离散信道及其信道容量1
信息论基础
10
DUT
3.2 平均互信息及平均条件互信息
互信息量的性质
（2）P(ai) < P(ai|bj ) < 1，这时I(ai) > I(ai/bj)，I(ai；bj) > 0。
后验概率大于先验概率，说明收到bj后对信源是否发ai所进行判断 的正确程度，要大于ai在信源集合中的概率. 或者说收到bj后多少还能消除一些对信源是否发ai的不确定度，因 此bj获取了关于ai的信息量。 I(ai；bj) 越大，这种获取就越多。 这正是实际通信时遇到的大多数情况，它对应着信道存在干扰， 但信宿仍能从信源中获取信息量。 从这里隐约可以看到，只要I(ai；bj) > 0，就存在着能够通信的可 能性，在后面的章节将会进一步讨论进行可靠通信的极限条件。
log
P( x | yz ) P( y | xz ) P( xy | z ) log log P( x | z ) P( y | z ) P( x | z ) P( y | z )
P ( x | yz ) P( x | y ) P( x | yz ) log P( x) P( x) P( x | y )
这一性质清楚地说明了互信息量是描述信息流通特性
的物理量，流通量的数值当然不能大于被流通量的数 值。
某一事件的自信息量是任何其他事件所能提供的关于
该事件的最大信息量。
DUT
信息论基础
14
3.2 平均互信息及平均条件互信息
平均条件互信息
I ( x; y | z ) log
I ( x; yz ) log
互信息量的性质
1. 对称性
如果考虑信息的反向流通问题，即考虑事件ai的出现 给出关于事件bj的信息量，或者从ai中获取关于bj的信
10
DUT
3.2 平均互信息及平均条件互信息
互信息量的性质
（2）P(ai) < P(ai|bj ) < 1，这时I(ai) > I(ai/bj)，I(ai；bj) > 0。
后验概率大于先验概率，说明收到bj后对信源是否发ai所进行判断 的正确程度，要大于ai在信源集合中的概率. 或者说收到bj后多少还能消除一些对信源是否发ai的不确定度，因 此bj获取了关于ai的信息量。 I(ai；bj) 越大，这种获取就越多。 这正是实际通信时遇到的大多数情况，它对应着信道存在干扰， 但信宿仍能从信源中获取信息量。 从这里隐约可以看到，只要I(ai；bj) > 0，就存在着能够通信的可 能性，在后面的章节将会进一步讨论进行可靠通信的极限条件。
log
P( x | yz ) P( y | xz ) P( xy | z ) log log P( x | z ) P( y | z ) P( x | z ) P( y | z )
P ( x | yz ) P( x | y ) P( x | yz ) log P( x) P( x) P( x | y )
这一性质清楚地说明了互信息量是描述信息流通特性
的物理量，流通量的数值当然不能大于被流通量的数 值。
某一事件的自信息量是任何其他事件所能提供的关于
该事件的最大信息量。
DUT
信息论基础
14
3.2 平均互信息及平均条件互信息
平均条件互信息
I ( x; y | z ) log
I ( x; yz ) log
互信息量的性质
1. 对称性
如果考虑信息的反向流通问题，即考虑事件ai的出现 给出关于事件bj的信息量，或者从ai中获取关于bj的信
第三章离散信道及其信道容量
0
0 1
不是一一对应,无扰有信息损失
1
(2)有扰信道 例3:
a1
0.9
X
0.1
a2
0.2 0.8
b1
Y
b2
0.9 0.1 [P] 0.2 0.8 有扰有信息损失,干扰严重
例4:
a1
X
a2
1/2 1/2 1/2 1/2
b1
Y
b2
1/ 2 1 / 2 [P] 1/ 2 1 / 2
P yi xi P xi yi
即E{log x} ≤log{E(X)}
即E{log x} ≤log{E(X)}
I(X
;Y
)
X
Y
P(x,
y)
log
P( x)P( y) P(x, y)
log
XY
P(x,
y)
P( x)P( y) P(x, y)
log1
0
∴ I(X;Y) ≥ 0
∵ logx为∩ 型凸函数,只有当且仅当 p(x.y)=P(x)P(y),即x和Y统计独立时I(X;Y)=0
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都 有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都 是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相 应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上 连续的随机信号。即信道输入和输出的随机变量的 取值是连续的，并且还随时间连续变化。一般用随 机过程来描述其输入和输出。
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1
第3章 离散信道及其信道容量
1 p(b j ) p(ai ) p(b j / ai ) p(b j / ai ) n i i
对称离散信道及其容量
对称信道的信道容量容量
C＝max I ( X ; Y ) max[ H ( X ) H ( X | Y )] max[ H (Y ) H (Y | X )] max H (Y ) H (Y / X )
3.2 单符号离散信道
二进制对称信道（BSC）
1-p 0 p p 0
p 1 p P p 1 p
1
1 1-p
如果信道转移概率矩阵的每一行/每一列只包 含一个1，其余都为0，则信道是无干扰离散 息道，否则是有干扰信道
3.3 平均互信息及其特性
平均互信息量
I ( X ; Y ) p( xy) log
p ( ai )
几个特殊信道的信道容量
无干扰离散信道的信道容量
Y 1 1 1 1 1 1 1 (b) 无噪有损信道 部分理想化的无干扰离散信道 1 1 (c) 有噪无损信道 X 1 Y X 1 1 1 Y
aX
(a) 无噪无损信道
几个特殊信道的信道容量
X、Y一一对应 ( I(X;Y)=H(X)=H(Y) ) C＝maxI(X;Y)＝log n
如果上述方程组存在解{pi}:
P(a ) P(b
i i j
j
/ ai ) log
也就是说：C loge
一般离散信道的信道容量
特别的，当信道转移矩阵非奇异时，对n个i：
p(b
j
j
/ ai ) log
p (b j / ai ) p (b j )
对称离散信道及其容量
对称信道的信道容量容量
C＝max I ( X ; Y ) max[ H ( X ) H ( X | Y )] max[ H (Y ) H (Y | X )] max H (Y ) H (Y / X )
3.2 单符号离散信道
二进制对称信道（BSC）
1-p 0 p p 0
p 1 p P p 1 p
1
1 1-p
如果信道转移概率矩阵的每一行/每一列只包 含一个1，其余都为0，则信道是无干扰离散 息道，否则是有干扰信道
3.3 平均互信息及其特性
平均互信息量
I ( X ; Y ) p( xy) log
p ( ai )
几个特殊信道的信道容量
无干扰离散信道的信道容量
Y 1 1 1 1 1 1 1 (b) 无噪有损信道 部分理想化的无干扰离散信道 1 1 (c) 有噪无损信道 X 1 Y X 1 1 1 Y
aX
(a) 无噪无损信道
几个特殊信道的信道容量
X、Y一一对应 ( I(X;Y)=H(X)=H(Y) ) C＝maxI(X;Y)＝log n
如果上述方程组存在解{pi}:
P(a ) P(b
i i j
j
/ ai ) log
也就是说：C loge
一般离散信道的信道容量
特别的，当信道转移矩阵非奇异时，对n个i：
p(b
j
j
/ ai ) log
p (b j / ai ) p (b j )
第三章离散信道及其信信道容量
离散信道及其信道容量离散信道的统计特性和数学模型信道传输的平均互信息及其性质信道容量及其计算方法信道的任务是以信号方式传输信息和存储信息。
研究信道中能够传送或存储的最大信息量，即信道容量问题。
只限于研究一个输入端和一个输出端的信道，即单用户信道，其中以无记忆、无反馈、固定参数的离散信道为重点。
3.1 信道的数学模型及分类几个前提：信源输出的消息必须首先转换成能在信道中传输或存储的信号噪声或干扰主要从信道中引入，它使信号通过信道后产生错误和失真输入和输出信号之间一般不是确定的函数关系，而是统计依赖的关系3.1.1 信道的分类根据信道的用户多少（１）两端（单用户）信道只有一个输入端和一个输出端的单向通信的信道（２）多端（多用户）信道输入端或输出端中有一端有两个以上的用户，且可以双向通信的信道根据信道输入端和输出端的关联（１）无反馈信道信道输出端无信号反馈到输入端（２）反馈信道信道输出端的信号反馈到输入端，对输入端的信号起作用，影响输入端信号发生变化。
根据信道的参数与时间的关系（１）固定参数信道信道的参数（统计特性）不随时间变化而改变（２）时变参数信道信道的参数（统计特性）随时间变化而变化根据输入和输出信号的特点（１）离散信道输入和输出的随机序列的取值都是离散的信道（２）连续信道输入和输出的随机序列的取值都是连续的信道（３）半离散或半连续信道输入序列是离散型的但相应的输出序列是连续的信道，或者相反（４）波形信道信道输入和输出的随机变量的取值是连续的，并且还随时间连续变化只限于研究无反馈、固定参数的单用户离散信道。
充分性：若满足此式则离散信道为无记忆信道。
P 证明：根据概率关系，得条件概率(1P y ==......(1P y =((1 P y P =因为所以(P ((1 P y y P y =又因为(y NP y ∑所以∑【例3.2】二元删除信道BEC0 2 10p 1-p 0 101qq ⎡⎤⎢⎥−⎣⎦输入符号X取值于{0,1}；输出符号Y取值于{0,2,1} 。
第3章信道及信道容量
X P(Y/X) Y
2019/11/27
信道及信道容量
x1
P(y1/x1)
y1
x2
P(y2/x2)
y2
…
…
…
P(ym/xn)
xn
ym
P(y1 / x1) P(y2 / x1) P(ym / x1)
P(Y / X) P(y1 / x2) P(y2 / x2) P(ym / x2 )
信道及信道容量
例5
信源P(XX)
0 p
1
1
p
信道P(Y
/
X)
1
q
q
1 q
q
平均互信息量及p-I(X;Y)和q-I(X;Y)曲线
P(y1 0) pq (1 p)(1 q) pq pq P(y2 1) p(1 q) (1 p)q pq pq H(Y) (pq pq) log( pq pq) (pq pq) log( pq pq) H(pq pq)
I(X;Y) H(Y) H(Y / X) H(pq pq) H(q) 信道固定时q为常数，作p-I(X;Y)曲线 当p 0时，I(X; Y) H(q) H(q) 0
p 0.5时，I(X; Y) H(0.5) H(q) 1 H(q)
2019/11/27
I(X; Y)
i1
m
P(x i y j ) log
j1
P(y j ) P(y j / xi )
n
i1
m
P(x i y j ) log
j1
P(xi ) P(xi / y j )
nm
2019/11/27
信道及信道容量
x1
P(y1/x1)
y1
x2
P(y2/x2)
y2
…
…
…
P(ym/xn)
xn
ym
P(y1 / x1) P(y2 / x1) P(ym / x1)
P(Y / X) P(y1 / x2) P(y2 / x2) P(ym / x2 )
信道及信道容量
例5
信源P(XX)
0 p
1
1
p
信道P(Y
/
X)
1
q
q
1 q
q
平均互信息量及p-I(X;Y)和q-I(X;Y)曲线
P(y1 0) pq (1 p)(1 q) pq pq P(y2 1) p(1 q) (1 p)q pq pq H(Y) (pq pq) log( pq pq) (pq pq) log( pq pq) H(pq pq)
I(X;Y) H(Y) H(Y / X) H(pq pq) H(q) 信道固定时q为常数，作p-I(X;Y)曲线 当p 0时，I(X; Y) H(q) H(q) 0
p 0.5时，I(X; Y) H(0.5) H(q) 1 H(q)
2019/11/27
I(X; Y)
i1
m
P(x i y j ) log
j1
P(y j ) P(y j / xi )
n
i1
m
P(x i y j ) log
j1
P(xi ) P(xi / y j )
nm
信息论基础第3章离散信道及其信道容量
也就是说，通过信息处理后，一般只会增加信息的 损失，最多保持原来获得的信息，不可能比原来获得的 信息有所增加。一旦失掉了信息，用任何处理手段也不 可能再恢复丢失的信息，因此也称为信息不增性原理。
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
第三章离散信道及其信道容量
p(ym/x1)
p(ym/x2) … p(ym/xn)
第一节 信道的数学模型及分类 为了表述简便，可以写成 P(bj / ai ) pij
p11 p P 21 ... pr1 p12 ... p22 ... pr 2 ... p1s p2 s ... prs
i 1 r
P(aibj ) P(ai )P(bj / ai ) P(bj )P(ai / bj )
（3）后验概率
P(ai / b j )
P(aib j ) P(b j )
P(a / b ) 1
i 1 i j
r
表明输出端收到任一符号，必定是输入端某一符号 输入所致
第二节 平均互信息
第三节 平均互信息的特性
1、平均互信息的非负性 I(X;Y)>=0 该性质表明，通过一个信道总能传递一些信息，最 差的条件下，输入输出完全独立，不传递任何信息，互 信息等于0，但决不会失去已知的信息。
2、平均互信息的极值性
I(X;Y)<=H(X) 一般来说，信到疑义度总是大于0，所以互信息总是 小于信源的熵，只有当信道是无损信道时，信道疑义度 等于0，互信息等于信源的熵。
C max{I ( X , Y )} max{H ( X ) H ( X / Y )}
P( X ) P( X )
信道容量与与信源无关，它是信道的特征参数，反 应的是信道的最大的信息传输能力。 对于二元对称信道，由图可以看出信道容量等于 1-H(P)
第四节 信道容量及其一般计算方法
1、离散无噪信道的信道容量 （1）具有一一对应关系的无噪声信道 x1 x2 x3 I(X;Y)=H(X)=H(Y) y1 y2 y3
信息论基础离散信道及其信道容量
量X的条件下，对随机变量Y尚存在 的不确定性。噪声熵完全是由于信 道中噪声引起的，也称为散布度， 它反映了信道中噪声源的不确定性。
通信与信息基础教学部
30
信息论课件
平均互信息
互信息：信道输出端接收到某消息y（或
某消息序列y）后获得关于输入端某消息x （或某消息序列x）的信息量
I (x; y) log P(x / y) log P(xy) log P( y / x)
通信与信息基础教学部
16
信息论课件
几个重要的单符号离散信道
对称离散信道：信道矩阵中的行元素集 合相同，列元素集合也相同的信道，称 为对称信道。
通信与信息基础教学部
17
信息论课件
例：二元对称信道Binary Symmetric Channel (BSC)
1 p
0
0
p
p
1 1 p 1
通信与信息基础教学部
既不作“1”，也不作“0”
通信与信息基础教学部
21
信息论课件
例：二元删除信道Binary Erasure Channel (BEC)
p
0
0
1 p
1 q
e
1
q
1
通信与信息基础教学部
22
信息论课件
单符号离散信道的一些概率关系
对于信道[ X, P, Y ]，
先
后
输入和输出符号的联合概率
验 概
验 概
通信与信息基础教学部
4
信道分类
信息论课件
根据信道的用户多少：
两端(单用户)信道 ■ 多端(多用户)信道
根据信道输入端和输出端的关联：
无反馈信道
■ 反馈信道
通信与信息基础教学部
30
信息论课件
平均互信息
互信息：信道输出端接收到某消息y（或
某消息序列y）后获得关于输入端某消息x （或某消息序列x）的信息量
I (x; y) log P(x / y) log P(xy) log P( y / x)
通信与信息基础教学部
16
信息论课件
几个重要的单符号离散信道
对称离散信道：信道矩阵中的行元素集 合相同，列元素集合也相同的信道，称 为对称信道。
通信与信息基础教学部
17
信息论课件
例：二元对称信道Binary Symmetric Channel (BSC)
1 p
0
0
p
p
1 1 p 1
通信与信息基础教学部
既不作“1”，也不作“0”
通信与信息基础教学部
21
信息论课件
例：二元删除信道Binary Erasure Channel (BEC)
p
0
0
1 p
1 q
e
1
q
1
通信与信息基础教学部
22
信息论课件
单符号离散信道的一些概率关系
对于信道[ X, P, Y ]，
先
后
输入和输出符号的联合概率
验 概
验 概
通信与信息基础教学部
4
信道分类
信息论课件
根据信道的用户多少：
两端(单用户)信道 ■ 多端(多用户)信道
根据信道输入端和输出端的关联：
无反馈信道
■ 反馈信道
第三章离散信道及其信道容量-数学与统计学院
下面来推导一般单符号离散信道的一些概率关系。
设信道的输入概率空间为：
X
P（x）
a1，
P（a1），
a2，
P（a
），
2
， ，
ar P（a
r）、并
r i 1
P（ai）
1、
0 P（ai） 1、（i 1，，r）
又设输出Y的符号集为B {b1，b2，，bs }。给定信道矩阵为
1.信道的分类
根据输入和输出信号的特点，信道可以为： (1)离散信道。它是指输入和输出的随机序列的取值 都是离散的信道 (2) 连续信道。它是指输入和输出的随机序列的取 值都是连续的信道。 (3) 半离散或半连续信道。输入序列是离散型的但 相应的输出序列是连续的信道，或者相反。
1.信道的分类
(4)波形信道。信道的输入和输出都是一些时间
《信息论基础》
第3章
主讲人：刘昌红
第3章离散信道及其信道容量
3.1 信道的数学模型及分类 1. 信道的分类 2. 离散信道的数学模型 3. 单符号离散信道的数学模型
3.2 信道容量及其一般计算方法 1. 离散无噪信道的信道容量 2. 对称离散信道的信道容量 3. 准对称信道的信道容量 4. 一般离散信道的信道容量
1.信道的分类
1.信道的分类 实际的通信系统中，信道的种类很多，包含的
设备也各式各样。实际的通信系统中，根据载荷消 息的媒体不同，可有邮递信道、电信道、光信道、 声信道等等。从信息传输的角度来考虑，信道输入 和输出信号的形式、信道的统计特性以及信道的用 户多少等方法来进行分类。
根据信道的用户 多少分类
P（ai / b j） PP（（abibj）j）、（P（b j） 0）
第3章_离散信道及其信道容量2
由于 I ( X；Y ) 是输入概率分布p( x) 的∩型凸函数，所以极大值一定存在。 r p(a i ) 1 而 I ( X；Y )是r个变量 p(a1 ), p(a 2 ), , p(a r )的多元函数，并满足 i 1 所以这是一个多元函数求条件极值的问题。于是，可以运用拉格朗日乘 子法来计算这个条件极值，其求解步骤如下： I ( X；Y ) p(a i ) ①引进一个新函数
信息论与编码
第三章 离散信道及其信道容量
1
本章内容提要 3.1 信道的数学模型及分类
信息论与编码
3.2 平均互信息及平均条件互信息 3.3 平均互信息特性 3.4 信道容量及其一般计算 3.6 离散无记忆扩展信道及其信道容量 3.9 信源与信道的匹配
2
信息论与编码
1 1-p 1 0 1-p
数字信道
0
信 息 源
信源 编码器
加 密 器
信道 编码器
调 制 器
信 道 噪声
解 调 器
信道 译码器
解 密 器
信源 译码器
受 信 者
n(t)
模拟信道
S(t)
+
r(t)
3
信息论与编码
3.4 信道容量及其一般计算
Ｘ
P(b j / ai )
Ｙ
I ( X ;Y ) H ( X ) H ( X / Y )
C maxI X；Y maxH X log r
px px
比特/符号
12
信息论与编码 （2）有噪无损信道
1 2 P 0 0 1 2 0 0 0 3 5 0 0 3 10 0 0 1 10 0 0 0 1
信息论与编码
第三章 离散信道及其信道容量
1
本章内容提要 3.1 信道的数学模型及分类
信息论与编码
3.2 平均互信息及平均条件互信息 3.3 平均互信息特性 3.4 信道容量及其一般计算 3.6 离散无记忆扩展信道及其信道容量 3.9 信源与信道的匹配
2
信息论与编码
1 1-p 1 0 1-p
数字信道
0
信 息 源
信源 编码器
加 密 器
信道 编码器
调 制 器
信 道 噪声
解 调 器
信道 译码器
解 密 器
信源 译码器
受 信 者
n(t)
模拟信道
S(t)
+
r(t)
3
信息论与编码
3.4 信道容量及其一般计算
Ｘ
P(b j / ai )
Ｙ
I ( X ;Y ) H ( X ) H ( X / Y )
C maxI X；Y maxH X log r
px px
比特/符号
12
信息论与编码 （2）有噪无损信道
1 2 P 0 0 1 2 0 0 0 3 5 0 0 3 10 0 0 1 10 0 0 0 1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
当条件概率分布给定时，平均互信息量是输入概 率分布的上凸函数 当集合X的概率分布保持不变时，平均互信息量 是条件概率分布的下凸函数
3.4 信道容量
信息传输率就是互信息
信道中平均每个符号所能传送的信息量，即 信道的信息传输速率
R=I(X;Y)=H(X)－H(X/Y) 比特/符号
Rt=I(X;Y)/t
p(xy)logp(px()xp(y)y) p(xy)logpp(y(y/)x)
x,y
x,y
I(X ;Y )I(Y ;X )H (X )H (X/Y )
H (Y )H (Y/X )H (X )H (Y )H (X)Y
其中
H(XY ) p(xy)log1
x,y
p(xy)
损失熵和噪声熵
信道疑义度（损失熵）
P111//63
1/3 1/3
1/6 1/6
1/6 1/3
P2 00..72
0.1 0.1
0.2 0.7
对于准对称DMC信道，当输入分布为等概
分布时，互信息达到最大值，即为信道容量
准对称离散信道及其容量
Eg. 求信道容量
P00..53
0.3 0.5
0.2 0.2
信道的输入符号有两个，可设p(a1)＝，p(a2)＝1 －，信道的输出符号有三个，用b1、b2、b3表示
j1
对称离散信道及其容量
1 1 1 1
Eg. 求信道容量
P
3 1
3 1
6 1
6 1
6 6 3 3
Clo24 g H (1 3,1 3,1 6,1 6)0.08 b/2 i符 t 号
强对称信道(均匀信道)
1
P
n
1
n 1 1
n
1
n 1
n 1
n 1
1
C lon gH (1,
3.1 信道的分类及其描述
信道分类
– 用户数量：单用户、多用户 – 有记忆/无记忆信道 – 信道参数与时间的关系：固参、时变参 – 有噪/无声种类： 随机差错、突发差错 – 输入输出特点：离散、连续、半离散半连续、
波形信道
3.2 单符号离散信道
信道参数
， 输入信号 X ( X 1 ,X 2 , X i , ) X i, a 1 , , a n
X
Y
1
1
1
1
1 (c) 有噪无损信道
部分理想化的无干扰离散信道
几个特殊信道的信道容量
X、Y一一对应 ( I(X;Y)=H(X)=H(Y) ) C＝maxI(X;Y)＝log n
多个输入变成一个输出( I(X;Y)=H(Y)<H(X) )
C＝maxI(X;Y)＝maxH(Y) = log m
一个输入对应多个输出( I(X;Y)=H(X)<H(Y) )
3.C）
1-p 0
p
0 p
1p p
P
p
1p
1
1
1-p
如果信道转移概率矩阵的每一行/每一列只包 含一个1，其余都为0，则信道是无干扰离散 息道，否则是有干扰信道
3.3 平均互信息及其特性
平均互信息量
I(X;Y) p(xy)logpp(x(x/)y)
x,y
,, )
n1 n1
对称离散信道及其容量
二进制对称信道容量 C＝1+plog p +(1-p)log (1-p)
1
0 .8
0 .6
0 .4
0 .2
0
0
0 .2
0 .4
0 .6
0 .8
1
准对称离散信道及其容量
准对称DMC信道: 转移概率矩阵P的每一行
都包含同样的元素而各列的元素可以不同， 则称该信道是准对称DMC信道
• 前向概率 • 后向概率 • 先验概率 • 后验概率
p(bj / ai ) p(ai / bj )
p(ai ) p(ai / bj )
3.2 单符号离散信道
• 信道种类
1.无干扰信道 2.有干扰无记忆信道 3.有干扰有记忆信道
如果信道转移概率矩阵的每一行/每一列只 包含一个1，其余都为0，则信道是无干扰 离散息道，否则是有干扰信道
比特/秒
信道容量: I(X;Y)是p(x)、p(y/x)的函数，
并且是p(x)的凹函数。对固定的信道，存在
某个分布p(x)，使得I(X;Y)达到最大值，称
为信道容量 CmaIx(X;Y)
p(ai)
几个特殊信道的信道容量
无干扰离散信道的信道容量
aX
Y
1
1
1 (a) 无噪无损信道
X
Y
1
1
1
1
1 (b) 无噪有损信道
1 1 1
2 1
3 1
6 1
6 2 3
1 1 1
3 6 2
对称离散信道及其容量
• 两个性质：
• H(Y/X)与信道输入符号的分布无关
H(Y/X)p(ai)p(bj/ai)lopg(bj/ai)
i
j
p(bj/ai)lopg(bj/ai)H(Y/xi)
j
• 当输入等概分布时，输出符号也等概分布
p p p(((b b b1 3 2))) 0 0 0...5 2 3 0 0 0...3 2 5(((11 1 ))) 00 0...35 2 00..22
1
p (bj)
i
p (a i)p (bj/a i)ni
p (bj/a i)
对称离散信道及其容量
对称信道的信道容量容量
C＝maIx(X;Y)ma[H x(X)H(X|Y)]
p(ai)
p(ai)
ma[H x(Y)H(Y| X)]
p(ai)
maHx(Y)H(Y/X)
p(ai)
m
Clom gH (Y|ai)lom g pijlopg ij
输出信号 Y ( Y 1 ,Y 2 , Y j, )X j , b 1 , ,b m
条件概率 p(Y/X)来描述信道输入输出信号之间统 计的依赖关系。P称为转移概率矩阵
a1 a2
b1 b2
p11
P
p21
p12 p22
p1m
p2
m
an
bm
pn1
pn2
pnm
3.2 单符号离散信道
H (X /Y ) H (X ) I(X ;Y )
共熵
H ( X ) Y I ( X ;Y ) H ( X ) H ( Y )
噪声熵
H(Y / X) H(Y)I(X;Y)
平均互信息的特性
非负性：当且仅当X和Y统计独立时，取值0
对称性 I(X ;Y )I(Y ;X )
极值性
I ( X ; Y ) H ( X )I ( ; Y ; X ) H ( Y ) 凸性函数
C＝maxI(X;Y)＝maxH(X) = log n
对称离散信道及其容量
对称的DMC信道:如果转移概率矩阵P的每一行 都是第一行的置换(包含同样元素)，并且每一列 都是第一列的置换(包含同样元素)，称该信道为 对称的DMC信道
对称DMC信道例子
1 1 1 1
3 1
3 1
6 1
6 1
6 6 3 3
3.4 信道容量
信息传输率就是互信息
信道中平均每个符号所能传送的信息量，即 信道的信息传输速率
R=I(X;Y)=H(X)－H(X/Y) 比特/符号
Rt=I(X;Y)/t
p(xy)logp(px()xp(y)y) p(xy)logpp(y(y/)x)
x,y
x,y
I(X ;Y )I(Y ;X )H (X )H (X/Y )
H (Y )H (Y/X )H (X )H (Y )H (X)Y
其中
H(XY ) p(xy)log1
x,y
p(xy)
损失熵和噪声熵
信道疑义度（损失熵）
P111//63
1/3 1/3
1/6 1/6
1/6 1/3
P2 00..72
0.1 0.1
0.2 0.7
对于准对称DMC信道，当输入分布为等概
分布时，互信息达到最大值，即为信道容量
准对称离散信道及其容量
Eg. 求信道容量
P00..53
0.3 0.5
0.2 0.2
信道的输入符号有两个，可设p(a1)＝，p(a2)＝1 －，信道的输出符号有三个，用b1、b2、b3表示
j1
对称离散信道及其容量
1 1 1 1
Eg. 求信道容量
P
3 1
3 1
6 1
6 1
6 6 3 3
Clo24 g H (1 3,1 3,1 6,1 6)0.08 b/2 i符 t 号
强对称信道(均匀信道)
1
P
n
1
n 1 1
n
1
n 1
n 1
n 1
1
C lon gH (1,
3.1 信道的分类及其描述
信道分类
– 用户数量：单用户、多用户 – 有记忆/无记忆信道 – 信道参数与时间的关系：固参、时变参 – 有噪/无声种类： 随机差错、突发差错 – 输入输出特点：离散、连续、半离散半连续、
波形信道
3.2 单符号离散信道
信道参数
， 输入信号 X ( X 1 ,X 2 , X i , ) X i, a 1 , , a n
X
Y
1
1
1
1
1 (c) 有噪无损信道
部分理想化的无干扰离散信道
几个特殊信道的信道容量
X、Y一一对应 ( I(X;Y)=H(X)=H(Y) ) C＝maxI(X;Y)＝log n
多个输入变成一个输出( I(X;Y)=H(Y)<H(X) )
C＝maxI(X;Y)＝maxH(Y) = log m
一个输入对应多个输出( I(X;Y)=H(X)<H(Y) )
3.C）
1-p 0
p
0 p
1p p
P
p
1p
1
1
1-p
如果信道转移概率矩阵的每一行/每一列只包 含一个1，其余都为0，则信道是无干扰离散 息道，否则是有干扰信道
3.3 平均互信息及其特性
平均互信息量
I(X;Y) p(xy)logpp(x(x/)y)
x,y
,, )
n1 n1
对称离散信道及其容量
二进制对称信道容量 C＝1+plog p +(1-p)log (1-p)
1
0 .8
0 .6
0 .4
0 .2
0
0
0 .2
0 .4
0 .6
0 .8
1
准对称离散信道及其容量
准对称DMC信道: 转移概率矩阵P的每一行
都包含同样的元素而各列的元素可以不同， 则称该信道是准对称DMC信道
• 前向概率 • 后向概率 • 先验概率 • 后验概率
p(bj / ai ) p(ai / bj )
p(ai ) p(ai / bj )
3.2 单符号离散信道
• 信道种类
1.无干扰信道 2.有干扰无记忆信道 3.有干扰有记忆信道
如果信道转移概率矩阵的每一行/每一列只 包含一个1，其余都为0，则信道是无干扰 离散息道，否则是有干扰信道
比特/秒
信道容量: I(X;Y)是p(x)、p(y/x)的函数，
并且是p(x)的凹函数。对固定的信道，存在
某个分布p(x)，使得I(X;Y)达到最大值，称
为信道容量 CmaIx(X;Y)
p(ai)
几个特殊信道的信道容量
无干扰离散信道的信道容量
aX
Y
1
1
1 (a) 无噪无损信道
X
Y
1
1
1
1
1 (b) 无噪有损信道
1 1 1
2 1
3 1
6 1
6 2 3
1 1 1
3 6 2
对称离散信道及其容量
• 两个性质：
• H(Y/X)与信道输入符号的分布无关
H(Y/X)p(ai)p(bj/ai)lopg(bj/ai)
i
j
p(bj/ai)lopg(bj/ai)H(Y/xi)
j
• 当输入等概分布时，输出符号也等概分布
p p p(((b b b1 3 2))) 0 0 0...5 2 3 0 0 0...3 2 5(((11 1 ))) 00 0...35 2 00..22
1
p (bj)
i
p (a i)p (bj/a i)ni
p (bj/a i)
对称离散信道及其容量
对称信道的信道容量容量
C＝maIx(X;Y)ma[H x(X)H(X|Y)]
p(ai)
p(ai)
ma[H x(Y)H(Y| X)]
p(ai)
maHx(Y)H(Y/X)
p(ai)
m
Clom gH (Y|ai)lom g pijlopg ij
输出信号 Y ( Y 1 ,Y 2 , Y j, )X j , b 1 , ,b m
条件概率 p(Y/X)来描述信道输入输出信号之间统 计的依赖关系。P称为转移概率矩阵
a1 a2
b1 b2
p11
P
p21
p12 p22
p1m
p2
m
an
bm
pn1
pn2
pnm
3.2 单符号离散信道
H (X /Y ) H (X ) I(X ;Y )
共熵
H ( X ) Y I ( X ;Y ) H ( X ) H ( Y )
噪声熵
H(Y / X) H(Y)I(X;Y)
平均互信息的特性
非负性：当且仅当X和Y统计独立时，取值0
对称性 I(X ;Y )I(Y ;X )
极值性
I ( X ; Y ) H ( X )I ( ; Y ; X ) H ( Y ) 凸性函数
C＝maxI(X;Y)＝maxH(X) = log n
对称离散信道及其容量
对称的DMC信道:如果转移概率矩阵P的每一行 都是第一行的置换(包含同样元素)，并且每一列 都是第一列的置换(包含同样元素)，称该信道为 对称的DMC信道
对称DMC信道例子
1 1 1 1
3 1
3 1
6 1
6 1
6 6 3 3