《信道容量》PPT课件
合集下载
第3章信道与信道容量-PPT精品
• 信道种类
1无干扰信道
2有干扰无记忆信道
3有干扰有记忆信道
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
3
3.1信道分类和表示参数
二进制对称信道（BSC）
1-p 0
p
0 p
1p p
P
p
1p
1
1
1-p
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
X
+
Y
pY(y/ai)
1 e(yai)2/22
2
G
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
6
3.1信道分类和表示参数
波形信道
x(t)
y(t)
+
n(t)
pY(y/x)pY(y1,y2,yL/x1,x2,xL)
pY(y/x)pxp,yx((xx,)y)pxp,yx((xx,)n)pn(n)
p (bj/a i)
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
13
3.2离散单个符号信道及其容量
对称信道容量
C＝maIx(X;Y)ma[H x(X)H(X|Y)]
p(ai)
p(ai)
ma[H x(Y)H(Y| X)]
p(ai)
maHx(Y)H(Y/X)
p(ai)
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
7
3.2离散单个符号信道及其容量
信息传输率
信道在单位时间内平均传输的信息量定义为信 息传输速率
R=I(X;Y)=H(X)－H(X/Y) 比特/符号
Rt=I(X;Y)/t
信道容量PPT课件
• I（X;Y）＝H（y）-H（Y/X）
p( y j ) ln p( y j ) p( xi ) p( y j / xi ) ln p( y j / xi )
j i j
(0.3 0.2 ) ln(0.3 0.2 ) (0.5 0.2 ) ln(0.5 0.2 ) 0.5 ln 0.5 0.3 ln 0.3
i
说明:
• (1) 两个公式
p( y j ) p(Y y j ) p( xi ) p( y j / xi )
i 0 q 1
I ( X ;Y ) p( xi ) p( y j / xi ) log
i 0 j 0
q 1 Q1
p( y j / xi ) p( y j )
0.3 0.2 0.5 0.3(1 ) 0.5(1 ) 0.2(1 )
由
p( y j ) xi y j 得
i
p(y1)=0.5 +0.3(1- )=0.3+0.2 p(y2)=0.3 +0.5(1- )=0.5-0.2 p(y3)=0.2 +0.2(1- )=0.2 其中p（y3）恒定，与xi的分布无关。
3)当X和Y统计独立时，接收的Y完全与发送 说明损失的信息达到与输人符号信息熵相等
的程度。可得I（X;Y）=0或C＝0，即信道
的X无关，此时P=0.5及H（X/Y）=H（X），
上没能传送任何信息。
（3）准对称DMC信道的容量
• 什么叫准对称DMC信道? 如果转移概率矩阵P是输入对称而输出不对 称，即转移矩阵P的每一行都包含同样的元素 而各列的元素可以不同，则称该矩阵是准对称 DMC信道。 例如，矩阵
《信道及信道容量》PPT课件
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
GO ON
2020/11/12
13
(3) 离散输入连续输出信道 仍是单符号信道，属于半连续半离散信道。
举例：加性高斯白噪声(AWGN)信道 (Addable White Goss Noise)
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
2020/11/12
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
Hc(X) pX (x)log pX (x)dx
Hc
(XY)
p(xy)
log
p(xy)dxdy
Hc
(Y/X)
p(
xy)
log
p(
Y X N , N的概率密度函数是， pN (n)
1
- n2
e 2 2
2
当给定 X ai时，Y是均值为 m ai方差仍为 2的高斯随机变量，
pY ( y | ai )
1
- (y-a i )2
e 2 2
2
2020/11/12
14
(4) 波形信道 输入信号和输出信号用随机过程表示，所以信道模型为:
Hc
(X)
三、 连续信源最大熵定理
1、峰值功率受限的最大熵定理
对于定义域为有限的随机变量X，当它是均匀分布时，其熵
最大。
Hc(X ) pX (x)log2 pX (x)dx log(b a)
2、限平均功率最大熵定理 服从正态分布时具有最大相熵。
p(x)
1
仍是单符号离散信道，符号集中的符号数目大于2 。
GO ON
2020/11/12
13
(3) 离散输入连续输出信道 仍是单符号信道，属于半连续半离散信道。
举例：加性高斯白噪声(AWGN)信道 (Addable White Goss Noise)
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
2020/11/12
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
Hc(X) pX (x)log pX (x)dx
Hc
(XY)
p(xy)
log
p(xy)dxdy
Hc
(Y/X)
p(
xy)
log
p(
Y X N , N的概率密度函数是， pN (n)
1
- n2
e 2 2
2
当给定 X ai时，Y是均值为 m ai方差仍为 2的高斯随机变量，
pY ( y | ai )
1
- (y-a i )2
e 2 2
2
2020/11/12
14
(4) 波形信道 输入信号和输出信号用随机过程表示，所以信道模型为:
Hc
(X)
三、 连续信源最大熵定理
1、峰值功率受限的最大熵定理
对于定义域为有限的随机变量X，当它是均匀分布时，其熵
最大。
Hc(X ) pX (x)log2 pX (x)dx log(b a)
2、限平均功率最大熵定理 服从正态分布时具有最大相熵。
p(x)
1
第五章 信道与信道容量ppt课件
0 输入 p p 1 1-p 二进制对称信道 1 1-p 0 输出
2018/10/23
信息论与编码
如果信道噪声和其他干扰导致传输的二 进序列发生统计独立的差错，且条件概 率对称，即
p ( Y 0 / X 1 ) p ( Y 1 / X 0 ) p (5-1-1) p ( Y 1 / X 1 ) p ( Y 0 / X 0 ) 1 p
2018/10/23
信息论与编码
5.1.1 信道模型
• 如何进行“黑箱” 操作? 通信系统模型，在信道编码器和信道解码器 之间相隔着许多其他部件，如调制解调、放大、 滤波、均衡等器件, 以及各种物理信道。信道遭 受各类噪声的干扰，使有用信息遭受损伤。从信 道编码的角度，我们对信号在信道中具体如何传 输的物理过程并不感兴趣，而仅对传输的结果感 兴趣：送人什么信号, 得到什么信号，如何从得 到的信号中恢复出送人的信号，差错概率是多少。
图5-1-2 信道模型
2018/10/23
信息论与编码
• 如何划分信道模型? 把信道编、解码器之间的所有部件看成是 一个“黑箱”（blackbox），像研究多端 口网络那样把问题归结为输人、输出和转 移概率矩阵三个要素，如上图5-1-1所示。 图中，X＝{x0，x1，…，xq-1}是包含q个元 素的输人符号集，Y＝{y0,y1，…，yQ-1}是 包含Q个元素的输出信号集。由q和Q等于 2、大于2还是趋于，可区分出如下一些信 道模型。
2018/10/23
信息论与编码
• 1. 二进制离散信道模型 （1）二进制离散信道模型的组成
二进制离散信道模型由一个允许输
入值的集合X＝{0,1}和可能输出值的集 合Y={0,1}，以及一组表示输入、输出关 系的条件概率（转移概率）组成。
2018/10/23
信息论与编码
如果信道噪声和其他干扰导致传输的二 进序列发生统计独立的差错，且条件概 率对称，即
p ( Y 0 / X 1 ) p ( Y 1 / X 0 ) p (5-1-1) p ( Y 1 / X 1 ) p ( Y 0 / X 0 ) 1 p
2018/10/23
信息论与编码
5.1.1 信道模型
• 如何进行“黑箱” 操作? 通信系统模型，在信道编码器和信道解码器 之间相隔着许多其他部件，如调制解调、放大、 滤波、均衡等器件, 以及各种物理信道。信道遭 受各类噪声的干扰，使有用信息遭受损伤。从信 道编码的角度，我们对信号在信道中具体如何传 输的物理过程并不感兴趣，而仅对传输的结果感 兴趣：送人什么信号, 得到什么信号，如何从得 到的信号中恢复出送人的信号，差错概率是多少。
图5-1-2 信道模型
2018/10/23
信息论与编码
• 如何划分信道模型? 把信道编、解码器之间的所有部件看成是 一个“黑箱”（blackbox），像研究多端 口网络那样把问题归结为输人、输出和转 移概率矩阵三个要素，如上图5-1-1所示。 图中，X＝{x0，x1，…，xq-1}是包含q个元 素的输人符号集，Y＝{y0,y1，…，yQ-1}是 包含Q个元素的输出信号集。由q和Q等于 2、大于2还是趋于，可区分出如下一些信 道模型。
2018/10/23
信息论与编码
• 1. 二进制离散信道模型 （1）二进制离散信道模型的组成
二进制离散信道模型由一个允许输
入值的集合X＝{0,1}和可能输出值的集 合Y={0,1}，以及一组表示输入、输出关 系的条件概率（转移概率）组成。
通信课件信道及信道容量
基本内容
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
《信道容量》PPT课件
n
C log r H ( p1, p2 ps ) Nk log M k
k 1
log 2 H ( 1 , 1 , 1 , 1) ( 3 log 3 1 log 1 ) 2488 4 4 4 4
1 1.75 0.811 0h.06（1 比特 / 信道符号） 35
• 另一种简单的方法： • 1.当输入分布为等概率时：计算出各个输出概率
信道容量的取得的过程亦是信源符号概率分布的自我调整的过程某一个输入信源符号对输入提供的平均信息量大于其他符号则势必更多的使用这个信源符号与此同时信源符号的概率分布也就发生了变化和调整由于输入信源符号分布的调整又减少了这个符号对输出提供的平均信息量增加了其他符号提供的平均信息量
第三章
信道与信道容量
h
1
• 求信道容量，必须求出使互信息量达到 最大的信源概率分布p(x)；
• 对于无噪无损信道，当信宿为等概分布 时，信源也为等概分布;
• 问题：对于无噪有损信道，信源的概率 分布是否也为等概分布？
h 18
3.4.2 对称离散信道的信道容量
h 19
对称DMC信道
• 对称离散信道：
• 对称性:
– 每一行都是由同一集{q1, q2,…qs}的诸元素不 同排列组成——输入对称
分布p(bj); • 2.然后计算H(Y); • 3.C=H(Y)max-H(Y/ai);
h 36
• 上题另解：
h 23
• 找一组信源概率分布，使C达到最大。 • 现在P(bj）=1/s，信源的概率分布为： • 假设信源为等概率分布p(ai)=1/r
p(bj ) p(a1) p(bj / a1) p(a2) p(bj / a2) p(am) p(bj / am) 1/ r[ p(bj / a1) p(bj / a2) p(bj / ar )] 1/ r 常数
C log r H ( p1, p2 ps ) Nk log M k
k 1
log 2 H ( 1 , 1 , 1 , 1) ( 3 log 3 1 log 1 ) 2488 4 4 4 4
1 1.75 0.811 0h.06（1 比特 / 信道符号） 35
• 另一种简单的方法： • 1.当输入分布为等概率时：计算出各个输出概率
信道容量的取得的过程亦是信源符号概率分布的自我调整的过程某一个输入信源符号对输入提供的平均信息量大于其他符号则势必更多的使用这个信源符号与此同时信源符号的概率分布也就发生了变化和调整由于输入信源符号分布的调整又减少了这个符号对输出提供的平均信息量增加了其他符号提供的平均信息量
第三章
信道与信道容量
h
1
• 求信道容量，必须求出使互信息量达到 最大的信源概率分布p(x)；
• 对于无噪无损信道，当信宿为等概分布 时，信源也为等概分布;
• 问题：对于无噪有损信道，信源的概率 分布是否也为等概分布？
h 18
3.4.2 对称离散信道的信道容量
h 19
对称DMC信道
• 对称离散信道：
• 对称性:
– 每一行都是由同一集{q1, q2,…qs}的诸元素不 同排列组成——输入对称
分布p(bj); • 2.然后计算H(Y); • 3.C=H(Y)max-H(Y/ai);
h 36
• 上题另解：
h 23
• 找一组信源概率分布，使C达到最大。 • 现在P(bj）=1/s，信源的概率分布为： • 假设信源为等概率分布p(ai)=1/r
p(bj ) p(a1) p(bj / a1) p(a2) p(bj / a2) p(am) p(bj / am) 1/ r[ p(bj / a1) p(bj / a2) p(bj / ar )] 1/ r 常数
信道容量
是，如果 S/N =15， B =3000Hz，则可得同样数值 C值。这就提
示我们，为达到某个实际传输速率，在系统设计时可以利用山农公 式中的互换原理，确定合适的系统带宽和信噪比。
12
谢谢
素有8个亮度电平；各电平独立地以等概率出现；图像每 秒发送25帧。若要求接收图像信噪比达到30dB，试求所 需传输带宽。
8
02.香农公式
【解】因为每个像素独立地以等概率取8个亮度电平，故每个像 素的信息量为 Ip = -log2(1/ 8) = 3 (b/pix) 并且每帧图像的信息量为 IF = 300,000 3 = 900,000 (b/F) 因为每秒传输25帧图像，所以要求传输速率为 Rb = 900,000 25 = 22,500,000 = 22.5 106 (b/s) 信道的容量Ct必须不小于此Rb值。将上述数值代入式：
3
02.香农公式
• 连续信道容量 • 可以证明
• • • • •
S Ct B log2 1 (b / s) N 式中 S － 信号平均功率 （W）； N － 噪声功率（W）； B － 带宽（Hz）。 设噪声单边功率谱密度为n0，则N = n0B； 故上式可以改写成：
S Ct B log2 1 n B 0 (b / s)
Ct S/n0 1.44(S/n0)
S/n0 图1 信道容量和带宽关系
B
6
02.香农公式
S Ct B log2 1 n B 0 (b / s)
上式还可以改写成如下形式：
Eb / Tb Eb S Ct B log2 1 B log 1 B log 2 2 1 n B n0 B 0 n0
示我们，为达到某个实际传输速率，在系统设计时可以利用山农公 式中的互换原理，确定合适的系统带宽和信噪比。
12
谢谢
素有8个亮度电平；各电平独立地以等概率出现；图像每 秒发送25帧。若要求接收图像信噪比达到30dB，试求所 需传输带宽。
8
02.香农公式
【解】因为每个像素独立地以等概率取8个亮度电平，故每个像 素的信息量为 Ip = -log2(1/ 8) = 3 (b/pix) 并且每帧图像的信息量为 IF = 300,000 3 = 900,000 (b/F) 因为每秒传输25帧图像，所以要求传输速率为 Rb = 900,000 25 = 22,500,000 = 22.5 106 (b/s) 信道的容量Ct必须不小于此Rb值。将上述数值代入式：
3
02.香农公式
• 连续信道容量 • 可以证明
• • • • •
S Ct B log2 1 (b / s) N 式中 S － 信号平均功率 （W）； N － 噪声功率（W）； B － 带宽（Hz）。 设噪声单边功率谱密度为n0，则N = n0B； 故上式可以改写成：
S Ct B log2 1 n B 0 (b / s)
Ct S/n0 1.44(S/n0)
S/n0 图1 信道容量和带宽关系
B
6
02.香农公式
S Ct B log2 1 n B 0 (b / s)
上式还可以改写成如下形式：
Eb / Tb Eb S Ct B log2 1 B log 1 B log 2 2 1 n B n0 B 0 n0
第16讲一般单符号离散信道的信道容量PPT课件
信道转移概率矩阵如下：信道输入符号和输出 符号的个数相同，都为r，且正确传输概率为1－， 错误概率被对称地均分给r-1个输出符号，此信道称 为强对称信道或均匀信道，是对称离散信道的一个 特例
1
r 1
P r1
1
r 1 r 1
r
1
r
ClogrH (1,
,
,)
r1 r1
1
• 当n=2时，即为二进制对称信道
i
j
p(bj /ai)logp(bj/ai)H(Y/ai)
j
与信道输入符号概率分布无关。则信道容量为
C＝maIx(X;Y)ma[H x(X)H(X|Y)]
p(ai)
p(ai)
ma[H x(Y)H(Y| X)]
p(ai)
maHx(Y)H(Y/X)
p(ai)
• 又输出对称，若信道输入符号等概率分布，则
对称的DMC信道
输入、输出都对称。
• 对称DMC信道例子
1 1 1 1
3 1
3 1
6 1
6 1
6 6 3 3
1 1 1
2 1
3 1
6 1
6 2 3
1 1 1
3 6 2
接下来考虑对称信道的信道容量：
• 因为输入对称所以条件熵
p(bj/ai)lopg(bj/ai)与 i无关
j
H(Y/X) p(ai) p(bj/ai)logp(bj/ai)
hxy这是收到后关于x的后验熵表示收到后关于输入符号的信息测度这个条件熵称为信道疑义度表示输出端在收到一个符号后对输入符号尚存的不确定性这是由信道干扰造成的如果没有干扰hxy0一般情括下hxy小于hx说明经过信道传输总能消除一些信源的不确定性从而获得一些信息
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 接收到符号Y后,对发送的X符号是完全确定的。 • 噪声熵H(Y|X) ≠ 0 损失熵H(X|Y) = 0
I(X ,Y ) H (X ) H (Y )
C max I ( X ;Y ) max H ( X ) log r p(x)
h 15
（3）无噪有损信道
– 多个输入变成一个输出(r＞s)
当信道的转移概率一定时，平均互信息是输入信源概 率分布的上凸函数；即对每个固定信道都有一个最大 的信息传输率。定义这个最大的信息传输率为信道容 量C
h 6
信道容量
• 信道容量C：
– 最大的信息传输率 – 信道所能传输的最大信息量
C max I ( X ;Y ) bit / 符号 p(x)
• 单位时间的信道容量：
第三章
信道与信道容量
h
1
内容
3.1 信道的基本概念 3.2 平均互信息及平均条件互信息 3.3 平均互信息的特性 3.4 信道容量及其计算方法
h 2
3.4 信道容量及其一般计 算方法
h 3
3.1.3 信道容量
• 我们研究信道的目的是要讨论信道中平均每个 符号所能传送的信息量,即信道的信息传输率R
p
(ai
|
bj
)
1或0
• 损失熵H(X|Y) ≠ 0
I(X ,Y ) H (Y ) H (X )
C max I ( X ;Y ) max H (Y ) log s p(x) h
信道中接收到 符号Y后不能 完全消除对X 的不确定性,信 息有损失。但 输出端Y的平 均不确定性因
噪声熵等于零 而没有增加。 17
• 平均互信息I (X;Y)：
– 接收到符号Y后平均每个符号获得的关于X
的信息量。
I(X ;Y)
i
j
p(xi
)
p( y
j
|
xi
)
log
p(y j | xi p(y j )
)
n
p( y j ) p(xi ) p( y j | xi ) i 1
• 信道的信息传输率就h是平均互信息 4
• 信息传输率R R I (X ;Y ) H (X ) H (X / Y ) bit / 符号 • 若已知平均传输一个符号所需时间为t(s)， 则信道在单位时间内平均传输的信息量定 义为信息传输速率：
• 求信道容量，必须求出使互信息量达到 最大的信源概率分布p(x)；
• 对于无噪无损信道，当信宿为等概分布 时，信源也为等概分布;
• 问题：对于无噪有损信道，信源的概率 分布是否也为等概分布？
h 18
3.4.2 对称离散信道的信道容量
h 19
对称DMC信道
• 对称离散信道：
• 对称性:
– 每一行都是由同一集{q1, q2,…qs}的诸元素不 同排列组成——输入对称
计算得
p(a1 p(a1
| |
b1 b2
) )
1 1
p(a1 | b3 ) 1
• 同理
p(a2 p(a2
| |
b4 ) b5 )
1 1
X
1/3
a1
1/3
1/3
a2
1/4
3/4
b1 Y
b2 b3 b4 b5
1
P
3
1 3
1 3
0
0
h
0
0
0
1 4
3 4
14
• 有噪无损信道 – 一个输入对应多个输出(r＜s)
R I (X ;Y ) / t bit / s
h 5
I ( X ;Y )
i
j
p(aibj
) log
p(bj / ai ) p(bj )
p(ai ) p(bj / ai ) log
i j
p(bj / ai ) p(ai ) p(bj / ai )
i
f [ p(ai ), p(bj / ai )]
C 1 max I ( X ;Y ) bit / s t p(x)
h 7
• 信道容量C求出后，已与输入信源的概 率分布无关，它只是信道传输概率的函 数，只与信道的统计特性有关。
• 对于某特定的信道，其信道容量C是确 定的，是不随输入信源的概率分布变化 而改变的。
• 所以，信道容量是完全描述信道特性的 参量，是信道能够传输的最大信息量。
b2
0 0 1 0
P 0 1 0 0
bn-1
bn
1 0 0 0
h 12
• 无噪无损信道
• 由 H ( X |Y ) p(ai,bj ) log p(ai | bj )
ij
H (Y | X ) p(ai,bj ) log p(bj | ai )
ij
• 计算得：
• 噪声熵 H(Y|X) = 0 损失熵 H(X/Y)=0
（1）无噪无损信道
– 输入和输出符号之间有确定的一一对应关系
0 i j p(bj | ai ) p(ai | bj ) 1 i j (i, j 1,2,3)
X
1
Y
a1
b1
1 0 0
a2
1
b2
P 0 1 0
0 0 1
a3
1
b3 h
11
无噪无损信道
X a1 1
a2
an-1
an
1
b1 Y
0 0 0 1
h 8
3.4.1 离散无噪信道的信 道容量
h 9
信道容量的计算
• 对于一般信道,信道容量计算相当复杂,我们只 讨论某些特殊类型的信道：
• 离散信道可分成： • 无干扰(无噪)信道
– 无噪无损信道 – 有噪无损信道 – 无噪有损信道
• 有干扰无记忆信道 • 有干扰有记忆信道
h 10
• 设信道的输入X∈A={a1 … ar} • 输出Y∈B={b1 … bs}
I(X ,Y ) H (Y ) H (X )
C
max
P(x)
I
(
X
;Y
)
h
mlog2
r
13
（2）有噪无损信道
– 一个输入对应多个输出(r＜s) – 每个输入所对应的输出不重合
•
由
p(b1 p(b2
| |
a1 ) a1 )
1/ 1/
3 3
p(b3 | a1) 1/ 3
•
– 每一列都是由{p1, p2,…pr}集的诸元素不同 排列组成——输出对称
1 1 1 1
P
3
3
6
6
1 1 1 1
6 6 3 3
1 1 1
2
3
6
P
1 6
1 2
1 3
h
1
1
1
3 6 2
满足对称 性,所对应 的信道是 对称离散 信道。
20
对称DMC信道
• 信道矩阵
X a1
1
Y1
a2
1
b1
a3
1
a4
1
b2
a5
p(bi | a j ) 1或0
p(ai
|
bj
)
1或0
h
1 0 1 0 P 1 0 0 1 0 1
输出Y与输入X不 是一一对应,而是 多一对应关系。
16
• 无噪有损信道
– 多个输入变成一个输出(r＞s)
p(bi | a j ) 1或0 • 噪声熵H(Y|X) ＝ 0
I(X ,Y ) H (X ) H (Y )
C max I ( X ;Y ) max H ( X ) log r p(x)
h 15
（3）无噪有损信道
– 多个输入变成一个输出(r＞s)
当信道的转移概率一定时，平均互信息是输入信源概 率分布的上凸函数；即对每个固定信道都有一个最大 的信息传输率。定义这个最大的信息传输率为信道容 量C
h 6
信道容量
• 信道容量C：
– 最大的信息传输率 – 信道所能传输的最大信息量
C max I ( X ;Y ) bit / 符号 p(x)
• 单位时间的信道容量：
第三章
信道与信道容量
h
1
内容
3.1 信道的基本概念 3.2 平均互信息及平均条件互信息 3.3 平均互信息的特性 3.4 信道容量及其计算方法
h 2
3.4 信道容量及其一般计 算方法
h 3
3.1.3 信道容量
• 我们研究信道的目的是要讨论信道中平均每个 符号所能传送的信息量,即信道的信息传输率R
p
(ai
|
bj
)
1或0
• 损失熵H(X|Y) ≠ 0
I(X ,Y ) H (Y ) H (X )
C max I ( X ;Y ) max H (Y ) log s p(x) h
信道中接收到 符号Y后不能 完全消除对X 的不确定性,信 息有损失。但 输出端Y的平 均不确定性因
噪声熵等于零 而没有增加。 17
• 平均互信息I (X;Y)：
– 接收到符号Y后平均每个符号获得的关于X
的信息量。
I(X ;Y)
i
j
p(xi
)
p( y
j
|
xi
)
log
p(y j | xi p(y j )
)
n
p( y j ) p(xi ) p( y j | xi ) i 1
• 信道的信息传输率就h是平均互信息 4
• 信息传输率R R I (X ;Y ) H (X ) H (X / Y ) bit / 符号 • 若已知平均传输一个符号所需时间为t(s)， 则信道在单位时间内平均传输的信息量定 义为信息传输速率：
• 求信道容量，必须求出使互信息量达到 最大的信源概率分布p(x)；
• 对于无噪无损信道，当信宿为等概分布 时，信源也为等概分布;
• 问题：对于无噪有损信道，信源的概率 分布是否也为等概分布？
h 18
3.4.2 对称离散信道的信道容量
h 19
对称DMC信道
• 对称离散信道：
• 对称性:
– 每一行都是由同一集{q1, q2,…qs}的诸元素不 同排列组成——输入对称
计算得
p(a1 p(a1
| |
b1 b2
) )
1 1
p(a1 | b3 ) 1
• 同理
p(a2 p(a2
| |
b4 ) b5 )
1 1
X
1/3
a1
1/3
1/3
a2
1/4
3/4
b1 Y
b2 b3 b4 b5
1
P
3
1 3
1 3
0
0
h
0
0
0
1 4
3 4
14
• 有噪无损信道 – 一个输入对应多个输出(r＜s)
R I (X ;Y ) / t bit / s
h 5
I ( X ;Y )
i
j
p(aibj
) log
p(bj / ai ) p(bj )
p(ai ) p(bj / ai ) log
i j
p(bj / ai ) p(ai ) p(bj / ai )
i
f [ p(ai ), p(bj / ai )]
C 1 max I ( X ;Y ) bit / s t p(x)
h 7
• 信道容量C求出后，已与输入信源的概 率分布无关，它只是信道传输概率的函 数，只与信道的统计特性有关。
• 对于某特定的信道，其信道容量C是确 定的，是不随输入信源的概率分布变化 而改变的。
• 所以，信道容量是完全描述信道特性的 参量，是信道能够传输的最大信息量。
b2
0 0 1 0
P 0 1 0 0
bn-1
bn
1 0 0 0
h 12
• 无噪无损信道
• 由 H ( X |Y ) p(ai,bj ) log p(ai | bj )
ij
H (Y | X ) p(ai,bj ) log p(bj | ai )
ij
• 计算得：
• 噪声熵 H(Y|X) = 0 损失熵 H(X/Y)=0
（1）无噪无损信道
– 输入和输出符号之间有确定的一一对应关系
0 i j p(bj | ai ) p(ai | bj ) 1 i j (i, j 1,2,3)
X
1
Y
a1
b1
1 0 0
a2
1
b2
P 0 1 0
0 0 1
a3
1
b3 h
11
无噪无损信道
X a1 1
a2
an-1
an
1
b1 Y
0 0 0 1
h 8
3.4.1 离散无噪信道的信 道容量
h 9
信道容量的计算
• 对于一般信道,信道容量计算相当复杂,我们只 讨论某些特殊类型的信道：
• 离散信道可分成： • 无干扰(无噪)信道
– 无噪无损信道 – 有噪无损信道 – 无噪有损信道
• 有干扰无记忆信道 • 有干扰有记忆信道
h 10
• 设信道的输入X∈A={a1 … ar} • 输出Y∈B={b1 … bs}
I(X ,Y ) H (Y ) H (X )
C
max
P(x)
I
(
X
;Y
)
h
mlog2
r
13
（2）有噪无损信道
– 一个输入对应多个输出(r＜s) – 每个输入所对应的输出不重合
•
由
p(b1 p(b2
| |
a1 ) a1 )
1/ 1/
3 3
p(b3 | a1) 1/ 3
•
– 每一列都是由{p1, p2,…pr}集的诸元素不同 排列组成——输出对称
1 1 1 1
P
3
3
6
6
1 1 1 1
6 6 3 3
1 1 1
2
3
6
P
1 6
1 2
1 3
h
1
1
1
3 6 2
满足对称 性,所对应 的信道是 对称离散 信道。
20
对称DMC信道
• 信道矩阵
X a1
1
Y1
a2
1
b1
a3
1
a4
1
b2
a5
p(bi | a j ) 1或0
p(ai
|
bj
)
1或0
h
1 0 1 0 P 1 0 0 1 0 1
输出Y与输入X不 是一一对应,而是 多一对应关系。
16
• 无噪有损信道
– 多个输入变成一个输出(r＞s)
p(bi | a j ) 1或0 • 噪声熵H(Y|X) ＝ 0