第3章_离散信道及其信道容量1
合集下载
第三章离散信道及其信道容量
0
0 1
不是一一对应,无扰有信息损失
1
(2)有扰信道 例3:
a1
0.9
X
0.1
a2
0.2 0.8
b1
Y
b2
0.9 0.1 [P] 0.2 0.8 有扰有信息损失,干扰严重
例4:
a1
X
a2
1/2 1/2 1/2 1/2
b1
Y
b2
1/ 2 1 / 2 [P] 1/ 2 1 / 2
P yi xi P xi yi
即E{log x} ≤log{E(X)}
即E{log x} ≤log{E(X)}
I(X
;Y
)
X
Y
P(x,
y)
log
P( x)P( y) P(x, y)
log
XY
P(x,
y)
P( x)P( y) P(x, y)
log1
0
∴ I(X;Y) ≥ 0
∵ logx为∩ 型凸函数,只有当且仅当 p(x.y)=P(x)P(y),即x和Y统计独立时I(X;Y)=0
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都 有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都 是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相 应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上 连续的随机信号。即信道输入和输出的随机变量的 取值是连续的，并且还随时间连续变化。一般用随 机过程来描述其输入和输出。
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1
第三章 信道与信道容量 习题解答
6
由于二元信源，等概率分布，信道对称，满足山农的理想观察者原理的三个假设条件，因此计算疑义度： 比特/消息
接收熵速率：
比特/秒
而系统要求的传信率为：
比特/秒，大于 1289比特/秒，故 10秒内无法无失真传递完。
11.已知一个平均功率受限的连续信号，通过带宽
的高斯白噪声信道，试求
（1） 若信噪比为 10，信道容量为多少？
（2） 若要保持信道容量不变，信噪比降为 5，信道带宽应为多少？
（3） 若要保持信道容量不变，信道带宽降为 0.5MHz，信号的功率信噪比应为多少？
（4） 其中有什么规律可总结？
解：根据香农公式：
（1） 信噪比为 10倍，信道容量： （2） 信噪比为 5倍，信道带宽：
比特/秒
（3） 信道带宽为 0.5MHz，信号的功率信噪比：
（2）信源熵速率： 接收熵速率： （3）一消息共有 4000个二元符号，该消息的信息量： 无失真地传递完该消息所需的时间：
10.有一个二元对称信道，其信道矩阵为
，设该信源以 1500符号/秒的速度传输输入符号。现
有一消息序列共有 14000个二元符号，并设其符号等概分布，问从信息传输的角度来考虑，10秒钟内能否 将这消息序列无失真地传递完？ 解：根据信道转移矩阵画出下图：
当
时，根据
，
得：
作业：1、3(2)、6、7(1)、8、9或 10、11、13、15、16(1)
mW/Hz、限频 、限输入
9
解：设将电阻按阻值分类看成概率空间 X：
，
按功耗分类看成概率空间 Y：
已知：
，
通过计算
， ，
，
得
通过测量阻值获得的关于瓦数的平均信息量：
第三章 信道模型和信道容量
这是可知疑义度H(X/Y)=0，平均交互信息量达到最大值 I(X,Y)=H(X)，C=logr。从平均意义上讲，这种信道可以把信源 的信息全部传递道信宿。这种每列只有一个非0元素的信道也 是一种无噪声信道，称为无噪声信道。
确定信道
这类信道的转移概率等于1或者等于0， 每一列的元素可有一个或多个1，可知其 噪声熵H(Y/X)=0，此时的平均交互信息 量达到最大值。
离散信道
X
P(Y/X)
Y
离散信道分类： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道
离散信道三种表达方式
概率空间描述 X={a1,a2,……ar} P(Y/X)={p(bj/ai)}
j=1,2,……s) Y={b1,b2,……bs} 0≤p(bj/ai)≤1
(i=1,2,……r;
转移矩阵描述
信道组合
串联信道 并联信道
4.4 时间离散的无记忆连续 信道
可加噪声信道
P(y|x)=p(y-x)=p(z)
Hc (Y | X ) Hc (Z ) I (X ;Y ) Hc (Y ) Hc (Z )
可加噪声信道
高斯噪声信道
I
(X
;Y
)
H
(Y
)
Hc
(X
)
1 2
log(1
2 x 2 z
)
例已知一个二元信源连接一个二元信道， 如图给出。X={x1,x2}, [p(xi)]={1/2,1/2}
求I(X；Y)，H(X,Y)，H(X/Y)，和H(Y/X)。
信道容量
C max R max I (X ;Y )bit / 符号
PX
PX
1
Ct
max PX
Rt
信息论-第3章+信道的数学数学模型及分类
给定信源概率分布 P( x)
信道传递概率不同，平均互信息量不同 一定存在一种信道，使平均互信息量最小(0)
第3章 离散信道 及其信息容量
3.1 信道的数学模型及分类 3.2 平均互信息及平均条件互信息 3.3 平均互信息的特性
3.4 信道容量及其一般计算方法 3.5 离散无记忆扩展信道及其信道容量 3.6 独立并联信道及其信道容量 3.7 串联信道的互信息和数据处理定理 3.8 信源与信道的匹配
单用户（两端）信道
一个输入端、一个输出端 必须是单向通信 例：对讲机
多用户（多端）信道
输入输出至少有一端有两个以上用户 可以是双向通信 例：计算机网络
3.1.1 信道的分类 —— 按输入输出的关联分
无反馈信道
输出端无信号反馈到输入端 例：无线电广播
反馈信道
3.4.1 离散无噪信道的信道容量 —— 无损（有噪）信道
H(X)
H(X Y)：损失熵
信道
I ( X ;Y )
H (Y )
H(Y X ) ：噪声熵
H (X Y ) 0 ,H (YX ) 0
I(X ;Y ) H (X ) H ( Y )
C m { I ( X a ;Y )x } m { H ( X a ) x } lo r g
传递矩阵：
b1
b2
bs
a1 P(b1 a1) P(b2 a1) P(bs a1)
a2 P(b1 a2) P(b2 a2) P(bs a2)
ar P(b1 ar ) P(b2 ar ) P(bs ar )
3.2.1 信道疑义度 —— 先验熵
信源
X
信道
信道传递概率不同，平均互信息量不同 一定存在一种信道，使平均互信息量最小(0)
第3章 离散信道 及其信息容量
3.1 信道的数学模型及分类 3.2 平均互信息及平均条件互信息 3.3 平均互信息的特性
3.4 信道容量及其一般计算方法 3.5 离散无记忆扩展信道及其信道容量 3.6 独立并联信道及其信道容量 3.7 串联信道的互信息和数据处理定理 3.8 信源与信道的匹配
单用户（两端）信道
一个输入端、一个输出端 必须是单向通信 例：对讲机
多用户（多端）信道
输入输出至少有一端有两个以上用户 可以是双向通信 例：计算机网络
3.1.1 信道的分类 —— 按输入输出的关联分
无反馈信道
输出端无信号反馈到输入端 例：无线电广播
反馈信道
3.4.1 离散无噪信道的信道容量 —— 无损（有噪）信道
H(X)
H(X Y)：损失熵
信道
I ( X ;Y )
H (Y )
H(Y X ) ：噪声熵
H (X Y ) 0 ,H (YX ) 0
I(X ;Y ) H (X ) H ( Y )
C m { I ( X a ;Y )x } m { H ( X a ) x } lo r g
传递矩阵：
b1
b2
bs
a1 P(b1 a1) P(b2 a1) P(bs a1)
a2 P(b1 a2) P(b2 a2) P(bs a2)
ar P(b1 ar ) P(b2 ar ) P(bs ar )
3.2.1 信道疑义度 —— 先验熵
信源
X
信道
信息论基础第3章离散信道及其信道容量
也就是说，通过信息处理后，一般只会增加信息的 损失，最多保持原来获得的信息，不可能比原来获得的 信息有所增加。一旦失掉了信息，用任何处理手段也不 可能再恢复丢失的信息，因此也称为信息不增性原理。
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
第三章 信道
d ( ) ( ) d
（3-1）
) 群延迟频率特性； ( ) ——相频特性。 式中 (—— 理想的相频特性和群延迟特性为线性关系，如图3-2所 示。
( ) K
0
( )
K
0
图 3－2
理想的相频特性和群延迟-频率特性
但实际的信道特性总是偏离线性关系，例如典型 的音频电话信道的群延迟特性如图3-3所示，可以看出， 当不同的音频信号通过该信道时，不同的频率分量将 有不同的群延迟，即它们到达受信端的时间不一致， 从而引起信号的畸变， ( ) / ms 其过程可以由图 3-4 说明。 1.0 2 通过信道后，原信号的基 波相移为，三次谐波的相 移为，则其合成波形与原 信号的波形出现了明显的 f / KHz 0 1.6 差异，这个差异就是由于 群延迟- 频率特性不理想而 图 3－3 典型音频话音信道的 群延迟-频率特性 造成的。
（3-4）
式中， H ( x) ——发送的每个符号的平均信息量； H ( x / y) ——发出符号在有噪信道中平均丢失的信息 量。
4．离散信道的信道容量 信道传输信息的最大速率称之为信道容量C，即
C max R max [ H t ( x) H t ( x / y )
{ P ( x )} { P ( x )}
[例3-2]某一待传输的图片约含2.25106个像元。为 了很好地重现图片需要12个亮度电平。假设所有这些亮 度电平等概率出现，试计算用 3 分钟传送一张图片时所 需的信道带宽（设信道中信噪比为30dB）。
（ 1 ）频率选择性衰落依赖于相对时延差。多径传 播的相对时延差（简称多径时延差）通常用最大多径时 延差表征，则
f 1/ m (3 1)
第3章信道容量
其信道容量
C max I ( X ;Y ) max H ( Y ) log m
p ( xi ) p ( xi )
达到此类信道的信道容量的概率分布是使信道输出分布为 等概分布的输入分布。
8
离散无噪信道（总结）
对于无噪信道，求信道容量C的问题，已经 从求I(X;Y)的极值问题退化为求H(Y)或H(X)的 极值问题。
H(X/Y)称为损失熵，即信道疑义度。表示信源符号通过有噪 信道传输后引起的信息量的损失。 因为H(X/Y)=H(X)-I(X;Y) 损失熵等于信源X所含有的信息量减去信道输出端接收到符号 集Y之后平均每个符号所获得的关于输入集X的信息量。 H(Y/X)称为噪声熵，反映了信道中噪声源的不确定性。 因为H(Y/X)=H(Y)-I(X;Y)
i 1 j 1 n n
p( x i ) H ni
i 1
n
H ni p( y j / x i ) log p( y j / x i ) 由 于 信 道 的 对 称 性 ， 一 每行 都 是 同 一 集 合 诸素 元的 不 同 排 列 。
其信道容量
C max I ( X ;Y ) max H ( X ) log n
p ( xi ) p ( xi )
6
3.具有归并性能的无噪信道（确定信道）
确定信道的一个输出对应着多个 互不相交的输入，如右图所示。
信道矩阵中每行中只有一非零元 素，即已知X后，Y不再有任何 不确定度。故噪声熵H(Y/X)=0
11
强对称信道的几个特性
强对称信道是对称信道的一个特例；
输入符号数与输出符号数相等； 信道中总的错误概率为p，对称地平均分配给 n-1个输出符号，n为输入符号的个数； 均匀信道中不仅各行之和为1,而且各列之和也 为1。 一般信道各列之和不一定等于1
第三章离散信道及其信道容量
p(ym/x1)
p(ym/x2) … p(ym/xn)
第一节 信道的数学模型及分类 为了表述简便，可以写成 P(bj / ai ) pij
p11 p P 21 ... pr1 p12 ... p22 ... pr 2 ... p1s p2 s ... prs
i 1 r
P(aibj ) P(ai )P(bj / ai ) P(bj )P(ai / bj )
（3）后验概率
P(ai / b j )
P(aib j ) P(b j )
P(a / b ) 1
i 1 i j
r
表明输出端收到任一符号，必定是输入端某一符号 输入所致
第二节 平均互信息
第三节 平均互信息的特性
1、平均互信息的非负性 I(X;Y)>=0 该性质表明，通过一个信道总能传递一些信息，最 差的条件下，输入输出完全独立，不传递任何信息，互 信息等于0，但决不会失去已知的信息。
2、平均互信息的极值性
I(X;Y)<=H(X) 一般来说，信到疑义度总是大于0，所以互信息总是 小于信源的熵，只有当信道是无损信道时，信道疑义度 等于0，互信息等于信源的熵。
C max{I ( X , Y )} max{H ( X ) H ( X / Y )}
P( X ) P( X )
信道容量与与信源无关，它是信道的特征参数，反 应的是信道的最大的信息传输能力。 对于二元对称信道，由图可以看出信道容量等于 1-H(P)
第四节 信道容量及其一般计算方法
1、离散无噪信道的信道容量 （1）具有一一对应关系的无噪声信道 x1 x2 x3 I(X;Y)=H(X)=H(Y) y1 y2 y3
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息论基础
10
DUT
3.2 平均互信息及平均条件互信息
互信息量的性质
（2）P(ai) < P(ai|bj ) < 1，这时I(ai) > I(ai/bj)，I(ai；bj) > 0。
后验概率大于先验概率，说明收到bj后对信源是否发ai所进行判断 的正确程度，要大于ai在信源集合中的概率. 或者说收到bj后多少还能消除一些对信源是否发ai的不确定度，因 此bj获取了关于ai的信息量。 I(ai；bj) 越大，这种获取就越多。 这正是实际通信时遇到的大多数情况，它对应着信道存在干扰， 但信宿仍能从信源中获取信息量。 从这里隐约可以看到，只要I(ai；bj) > 0，就存在着能够通信的可 能性，在后面的章节将会进一步讨论进行可靠通信的极限条件。
log
P( x | yz ) P( y | xz ) P( xy | z ) log log P( x | z ) P( y | z ) P( x | z ) P( y | z )
P ( x | yz ) P( x | y ) P( x | yz ) log P( x) P( x) P( x | y )
这一性质清楚地说明了互信息量是描述信息流通特性
的物理量，流通量的数值当然不能大于被流通量的数 值。
某一事件的自信息量是任何其他事件所能提供的关于
该事件的最大信息量。
DUT
信息论基础
14
3.2 平均互信息及平均条件互信息
平均条件互信息
I ( x; y | z ) log
I ( x; yz ) log
互信息量的性质
1. 对称性
如果考虑信息的反向流通问题，即考虑事件ai的出现 给出关于事件bj的信息量，或者从ai中获取关于bj的信
息量，即
I (ai ; b j ) I (b j ; ai ) I (bi ) I (b j | ai )
DUT
信息论基础
9
3.2 平均互信息及平均条件互信息
1 1-p 1 0 1-p
数字信道
X P( X )
信 息 源 加 密 器 调 制 器 解 调 器
0
信源 编码器
信道 编码器
信 道 噪声
ห้องสมุดไป่ตู้信道 译码器
解 密 器
信源 译码器
受 信 者
n(t)
模拟信道
DUT
S(t)
+
r(t)
信息论基础
3
3.1 信道的数学模型及分类
先验概率
离散信道一般模型
p( x / y ) p ( x, y ) log p( x) X ,Y p ( x, y ) log
X ,Y
p ( x, y ) p( x) p( y )
p( y / x) p ( x, y ) log p( y ) X ,Y
DUT
信息论基础
19
3.3 平均互信息的特性
1. 对称性
I ( X ;Y ) H ( X ) H ( X / Y )
Ｘ
P(b j / ai )
Ｙ
1 1 I ( X ; Y ) p ( x) log p ( x, y ) log p ( x) X ,Y p( x / y ) X p ( x, y ) log
X ,Y
1 1 p ( x, y ) log p ( x) X ,Y p( x / y )
I (X; Y) = I (Y; X)
2. 极值性
I (X; Y) min[H (X) , H (Y) ]
3. 非负性
I (X; Y) 0, 当且仅当X、Y互相独立时, 等号成立
4. 与各种熵的关系
I (X; Y) = H (X) – H(X|Y) I(Y; X) = H(Y) – H(Y|X) I(X; Y) = H(X) + H(Y) – H(XY) 当信道固定，一定存在一种信源， 使输出端获得的平均信息量最大 当信源固定，一定存在一种信道， 使输出端获得的平均信息量最小
P( x | y ) P ( x | yz ) log I ( x; y ) I ( x; z | y ) P( x) P( x | y )
I ( X ; Y | Z ) E[ I ( x; y | z ] H ( X | Z ) H ( X | YZ ) H ( X | Z ) H (Y | Z ) H ( XY | Z )
二元删除信道(BEC)
p 1 p 0 P 0 1 q q
DUT
信息论基础
6
3.2 平均互信息及平均条件互信息
1 I (ai ) log p(ai )
I (ai / b j ) log
1 p (ai / b j )
Ｘ
P(b j / ai )
Ｙ
a1 a 2 X ar
综上所述，只有P(ai |bj)=P(ai)，即I(ai；bj) = 0时，才没
有信息的流通。
DUT
信息论基础
13
3.2 平均互信息及平均条件互信息
互信息量的性质
3. 不大于其中任一事件的自信息量
由于P(ai |bj)1， I(ai；bj) log[1/ P(ai)]= I(ai) 同理，由P(bj |ai)1， I(bj；ai)log[1/ P(bj)]= I(bj)
DUT
信息论基础
16
3.2 平均互信息及平均条件互信息
解 根据题意知 , 而 p(0 / M 1 ) p(0 / 0) P 。所以，输入 M 1 和第一个输出符号0的 1 联合概率为 p( M 1 0) p( M 1 ) p(0 / M 1 ) P
4
p( M 1 ) p( M 2 ) p( M 3 ) p( M 4 )
5. I (X; Y) 是p(x)的 型凸函数 6. I (X; Y) 是p(y/x)的 型凸函数
DUT
信息论基础
20
3.3 平均互信息的特性
平均互信息量的物理意义
I(X; Y) = H(X) –H(X/Y)
平均互信息量为信源熵减掉一个条件熵。 表明：以发送端（信源）的熵为参考，在接收端平均每收到一 个符号所获得的信息量。 信道上没有任何干扰或噪声：I(X; Y) = H(X)； 信道存在干扰和噪声
第三章 离散信道及其信道容量
DUT
信息论基础
本章内容提要
3.1 信道的数学模型及分类 3.2 平均互信息及平均条件互信息 3.3 平均互信息特性 3.4 信道容量及其一般计算 3.6 离散无记忆扩展信道及其信道容量 3.9 信源与信道的匹配
DUT
信息论基础
2
3.1 信道的数学模型及分类
I ( X ; YZ ) I ( X ; Y ) I ( X ; Z | Y ) I ( X ; Z ) I ( X ; Y | Z )
在Z的条件下，其它与I(X;Y)相同
DUT
信息论基础
15
3.2 平均互信息及平均条件互信息
例4.3 四个等概分布消息 M 1，M 2，M 3，M 4 被送入一个二元无记 M 3 10，M 4 11 忆对称信道进行传送。通过编码使 M 1 00，M 2 01， 。 而BSC信道如下图所示。试问，输入是 M 1和输出符号是0的互 信息是多少？如果知道第二个符号也是0，这时带来多少附加 信息量？
p(a ) p(b
i 1 i
r
j
/ ai )
a1 a 2 X ar
信息论基础
b1 b2 Y bs
4
DUT
3.1 信道的数学模型及分类
２元对称信道(BSC)
p 1 p P p 1 p
DUT
信息论基础
5
3.1 信道的数学模型及分类
说明平均互信息量也可以用接收端（信宿）的熵为参考，且等 于信宿熵减掉一个条件熵 同样表征接收端平均每收到一个符号所获得的信息量。 如果信道上没有任何干扰或噪声，则平均每收到一个符号所获 得的信息量即是信宿熵，即I (X; Y) = H (Y)； 但是，如果信道上存在着干扰或噪声，则平均每收到一个符号 所获得的信息量，它比起信宿熵小了一个条件熵，这个条件熵H (Y/X)是由于信道的干扰或噪声给出的，因此它是唯一地确定信 道噪声和干扰所需的平均信息量，故称之为噪声熵，也称为散 布度（Degree of Diffusiveness）。
1 4
根据信道的特性，输出第一个符号为0的概率
p(0)
i 1
4
p ( M i ) p (0 / M i )
1 1 1 1 1 P P P P 4 4 4 4 2
于是可得：
1 p p ( M 1 0) I ( M 1； 0) log log 4 1 1 p ( M 1 ) P ( 0) 4 2 1 log （比特） p
DUT
信息论基础
11
3.2 平均互信息及平均条件互信息
互信息量的性质
（3）P(ai
|bj)=P(ai)，即 I(bi) = I(ai|bj)，I(ai;bj) = 0
后验概率与先验概率相等，说明收到bj后对信源是否发ai所进 行判断的正确程度，和ai在信源集合中的概率是一样的； 因此，它一点也不能消除对信源是否发ai的不确定度，也就是 说从bj中获取不到关于ai的信息量； 事实上，假若ai 和bj 统计无关，即P(ai, bj)=P(ai) P(bj)，由贝叶 斯公式容易推得I(ai；bj) = 0； 这种情况实际上是事件ai 和事件bj 统计无关，或者说信道使得 事件ai 和事件bj变成了两码事，信宿得到的信息仅仅是由信道 特性给出的，与信源实际发出什么符号无关，因此完全没有信 息的流通。
10
DUT
3.2 平均互信息及平均条件互信息
互信息量的性质
（2）P(ai) < P(ai|bj ) < 1，这时I(ai) > I(ai/bj)，I(ai；bj) > 0。
后验概率大于先验概率，说明收到bj后对信源是否发ai所进行判断 的正确程度，要大于ai在信源集合中的概率. 或者说收到bj后多少还能消除一些对信源是否发ai的不确定度，因 此bj获取了关于ai的信息量。 I(ai；bj) 越大，这种获取就越多。 这正是实际通信时遇到的大多数情况，它对应着信道存在干扰， 但信宿仍能从信源中获取信息量。 从这里隐约可以看到，只要I(ai；bj) > 0，就存在着能够通信的可 能性，在后面的章节将会进一步讨论进行可靠通信的极限条件。
log
P( x | yz ) P( y | xz ) P( xy | z ) log log P( x | z ) P( y | z ) P( x | z ) P( y | z )
P ( x | yz ) P( x | y ) P( x | yz ) log P( x) P( x) P( x | y )
这一性质清楚地说明了互信息量是描述信息流通特性
的物理量，流通量的数值当然不能大于被流通量的数 值。
某一事件的自信息量是任何其他事件所能提供的关于
该事件的最大信息量。
DUT
信息论基础
14
3.2 平均互信息及平均条件互信息
平均条件互信息
I ( x; y | z ) log
I ( x; yz ) log
互信息量的性质
1. 对称性
如果考虑信息的反向流通问题，即考虑事件ai的出现 给出关于事件bj的信息量，或者从ai中获取关于bj的信
息量，即
I (ai ; b j ) I (b j ; ai ) I (bi ) I (b j | ai )
DUT
信息论基础
9
3.2 平均互信息及平均条件互信息
1 1-p 1 0 1-p
数字信道
X P( X )
信 息 源 加 密 器 调 制 器 解 调 器
0
信源 编码器
信道 编码器
信 道 噪声
ห้องสมุดไป่ตู้信道 译码器
解 密 器
信源 译码器
受 信 者
n(t)
模拟信道
DUT
S(t)
+
r(t)
信息论基础
3
3.1 信道的数学模型及分类
先验概率
离散信道一般模型
p( x / y ) p ( x, y ) log p( x) X ,Y p ( x, y ) log
X ,Y
p ( x, y ) p( x) p( y )
p( y / x) p ( x, y ) log p( y ) X ,Y
DUT
信息论基础
19
3.3 平均互信息的特性
1. 对称性
I ( X ;Y ) H ( X ) H ( X / Y )
Ｘ
P(b j / ai )
Ｙ
1 1 I ( X ; Y ) p ( x) log p ( x, y ) log p ( x) X ,Y p( x / y ) X p ( x, y ) log
X ,Y
1 1 p ( x, y ) log p ( x) X ,Y p( x / y )
I (X; Y) = I (Y; X)
2. 极值性
I (X; Y) min[H (X) , H (Y) ]
3. 非负性
I (X; Y) 0, 当且仅当X、Y互相独立时, 等号成立
4. 与各种熵的关系
I (X; Y) = H (X) – H(X|Y) I(Y; X) = H(Y) – H(Y|X) I(X; Y) = H(X) + H(Y) – H(XY) 当信道固定，一定存在一种信源， 使输出端获得的平均信息量最大 当信源固定，一定存在一种信道， 使输出端获得的平均信息量最小
P( x | y ) P ( x | yz ) log I ( x; y ) I ( x; z | y ) P( x) P( x | y )
I ( X ; Y | Z ) E[ I ( x; y | z ] H ( X | Z ) H ( X | YZ ) H ( X | Z ) H (Y | Z ) H ( XY | Z )
二元删除信道(BEC)
p 1 p 0 P 0 1 q q
DUT
信息论基础
6
3.2 平均互信息及平均条件互信息
1 I (ai ) log p(ai )
I (ai / b j ) log
1 p (ai / b j )
Ｘ
P(b j / ai )
Ｙ
a1 a 2 X ar
综上所述，只有P(ai |bj)=P(ai)，即I(ai；bj) = 0时，才没
有信息的流通。
DUT
信息论基础
13
3.2 平均互信息及平均条件互信息
互信息量的性质
3. 不大于其中任一事件的自信息量
由于P(ai |bj)1， I(ai；bj) log[1/ P(ai)]= I(ai) 同理，由P(bj |ai)1， I(bj；ai)log[1/ P(bj)]= I(bj)
DUT
信息论基础
16
3.2 平均互信息及平均条件互信息
解 根据题意知 , 而 p(0 / M 1 ) p(0 / 0) P 。所以，输入 M 1 和第一个输出符号0的 1 联合概率为 p( M 1 0) p( M 1 ) p(0 / M 1 ) P
4
p( M 1 ) p( M 2 ) p( M 3 ) p( M 4 )
5. I (X; Y) 是p(x)的 型凸函数 6. I (X; Y) 是p(y/x)的 型凸函数
DUT
信息论基础
20
3.3 平均互信息的特性
平均互信息量的物理意义
I(X; Y) = H(X) –H(X/Y)
平均互信息量为信源熵减掉一个条件熵。 表明：以发送端（信源）的熵为参考，在接收端平均每收到一 个符号所获得的信息量。 信道上没有任何干扰或噪声：I(X; Y) = H(X)； 信道存在干扰和噪声
第三章 离散信道及其信道容量
DUT
信息论基础
本章内容提要
3.1 信道的数学模型及分类 3.2 平均互信息及平均条件互信息 3.3 平均互信息特性 3.4 信道容量及其一般计算 3.6 离散无记忆扩展信道及其信道容量 3.9 信源与信道的匹配
DUT
信息论基础
2
3.1 信道的数学模型及分类
I ( X ; YZ ) I ( X ; Y ) I ( X ; Z | Y ) I ( X ; Z ) I ( X ; Y | Z )
在Z的条件下，其它与I(X;Y)相同
DUT
信息论基础
15
3.2 平均互信息及平均条件互信息
例4.3 四个等概分布消息 M 1，M 2，M 3，M 4 被送入一个二元无记 M 3 10，M 4 11 忆对称信道进行传送。通过编码使 M 1 00，M 2 01， 。 而BSC信道如下图所示。试问，输入是 M 1和输出符号是0的互 信息是多少？如果知道第二个符号也是0，这时带来多少附加 信息量？
p(a ) p(b
i 1 i
r
j
/ ai )
a1 a 2 X ar
信息论基础
b1 b2 Y bs
4
DUT
3.1 信道的数学模型及分类
２元对称信道(BSC)
p 1 p P p 1 p
DUT
信息论基础
5
3.1 信道的数学模型及分类
说明平均互信息量也可以用接收端（信宿）的熵为参考，且等 于信宿熵减掉一个条件熵 同样表征接收端平均每收到一个符号所获得的信息量。 如果信道上没有任何干扰或噪声，则平均每收到一个符号所获 得的信息量即是信宿熵，即I (X; Y) = H (Y)； 但是，如果信道上存在着干扰或噪声，则平均每收到一个符号 所获得的信息量，它比起信宿熵小了一个条件熵，这个条件熵H (Y/X)是由于信道的干扰或噪声给出的，因此它是唯一地确定信 道噪声和干扰所需的平均信息量，故称之为噪声熵，也称为散 布度（Degree of Diffusiveness）。
1 4
根据信道的特性，输出第一个符号为0的概率
p(0)
i 1
4
p ( M i ) p (0 / M i )
1 1 1 1 1 P P P P 4 4 4 4 2
于是可得：
1 p p ( M 1 0) I ( M 1； 0) log log 4 1 1 p ( M 1 ) P ( 0) 4 2 1 log （比特） p
DUT
信息论基础
11
3.2 平均互信息及平均条件互信息
互信息量的性质
（3）P(ai
|bj)=P(ai)，即 I(bi) = I(ai|bj)，I(ai;bj) = 0
后验概率与先验概率相等，说明收到bj后对信源是否发ai所进 行判断的正确程度，和ai在信源集合中的概率是一样的； 因此，它一点也不能消除对信源是否发ai的不确定度，也就是 说从bj中获取不到关于ai的信息量； 事实上，假若ai 和bj 统计无关，即P(ai, bj)=P(ai) P(bj)，由贝叶 斯公式容易推得I(ai；bj) = 0； 这种情况实际上是事件ai 和事件bj 统计无关，或者说信道使得 事件ai 和事件bj变成了两码事，信宿得到的信息仅仅是由信道 特性给出的，与信源实际发出什么符号无关，因此完全没有信 息的流通。