信道和信道容量
合集下载
第三章 信道模型和信道容量
这是可知疑义度H(X/Y)=0，平均交互信息量达到最大值 I(X,Y)=H(X)，C=logr。从平均意义上讲，这种信道可以把信源 的信息全部传递道信宿。这种每列只有一个非0元素的信道也 是一种无噪声信道，称为无噪声信道。
确定信道
这类信道的转移概率等于1或者等于0， 每一列的元素可有一个或多个1，可知其 噪声熵H(Y/X)=0，此时的平均交互信息 量达到最大值。
离散信道
X
P(Y/X)
Y
离散信道分类： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道
离散信道三种表达方式
概率空间描述 X={a1,a2,……ar} P(Y/X)={p(bj/ai)}
j=1,2,……s) Y={b1,b2,……bs} 0≤p(bj/ai)≤1
(i=1,2,……r;
转移矩阵描述
信道组合
串联信道 并联信道
4.4 时间离散的无记忆连续 信道
可加噪声信道
P(y|x)=p(y-x)=p(z)
Hc (Y | X ) Hc (Z ) I (X ;Y ) Hc (Y ) Hc (Z )
可加噪声信道
高斯噪声信道
I
(X
;Y
)
H
(Y
)
Hc
(X
)
1 2
log(1
2 x 2 z
)
例已知一个二元信源连接一个二元信道， 如图给出。X={x1,x2}, [p(xi)]={1/2,1/2}
求I(X；Y)，H(X,Y)，H(X/Y)，和H(Y/X)。
信道容量
C max R max I (X ;Y )bit / 符号
PX
PX
1
Ct
max PX
Rt
信道及信道容量
信道及信道容量
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
4、根据信道中所受的噪声种类不同，分为随机差错信道和突发 差错信道。
随机差错信道：噪声独立地、随机地影响每个传输的码元。如加 性高斯白噪声(AGWN)信道。 突发差错信道：大的脉冲干扰或闪电对码元的影响是前后相关的。 错误成串出现，且是突发性的。如移动信道。
5、根据输入/输出信号的特点，分为离散信道、连续信道、半离 散半连续信道和波形信道。
根据信道的参数，将信道分为三大类：
1、无干扰信道 理想信道，信道中没有随机干扰
P(Y |X )1 Y fX ()
P(Y|X)0 YfX ()
或干扰很小。输出与输入之间有完全确定的对应关系。
2、有干扰无记忆信道
无记忆：任意时刻的输出符号，只统计依赖于对应时刻
的输入符号，而与其它时刻的输入符号、输出符号无关.
I(X;Y)＝I(Y;X)＝Hc(X)- Hc(X|Y) ＝Hc(X)＋Hc(Y)- Hc(XY) ＝Hc(Y)- Hc(Y|X)
Hc(XY)＝Hc(X)＋Hc(Y|X)＝Hc(Y) ＋Hc(X|Y)
二、波形信源的熵 理解讨论方法即可
H c(x()t )L l i m H c(X )
三、 连续信源最大熵定理
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
4、根据信道中所受的噪声种类不同，分为随机差错信道和突发 差错信道。
随机差错信道：噪声独立地、随机地影响每个传输的码元。如加 性高斯白噪声(AGWN)信道。 突发差错信道：大的脉冲干扰或闪电对码元的影响是前后相关的。 错误成串出现，且是突发性的。如移动信道。
5、根据输入/输出信号的特点，分为离散信道、连续信道、半离 散半连续信道和波形信道。
根据信道的参数，将信道分为三大类：
1、无干扰信道 理想信道，信道中没有随机干扰
P(Y |X )1 Y fX ()
P(Y|X)0 YfX ()
或干扰很小。输出与输入之间有完全确定的对应关系。
2、有干扰无记忆信道
无记忆：任意时刻的输出符号，只统计依赖于对应时刻
的输入符号，而与其它时刻的输入符号、输出符号无关.
I(X;Y)＝I(Y;X)＝Hc(X)- Hc(X|Y) ＝Hc(X)＋Hc(Y)- Hc(XY) ＝Hc(Y)- Hc(Y|X)
Hc(XY)＝Hc(X)＋Hc(Y|X)＝Hc(Y) ＋Hc(X|Y)
二、波形信源的熵 理解讨论方法即可
H c(x()t )L l i m H c(X )
三、 连续信源最大熵定理
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
信道与信道容量
1.6.2 信道容量
根据香农信息论，对于连续信道，如果信道带宽为B， 并且受到加性高斯白噪声的干扰，则信道容量的理论公式为
C=B㏒2（1+S/N）（b/s） 式中。 N为白噪声的平均功率； S是信号的平均功率； S/N 为信噪比。信道容量C是指信道可能传输的最大信息速率 （即信道能达到的最大传输能力）。虽然上式是在一定条件 下获得的（要求输入信号也为高斯信号才能实现上述可能 性），但对其他情况也可作为近似式使用。
例1 已知彩色电视图象由5ⅹ105个像素组成。设每个像素有 64种彩色度，每种彩色度有16个亮度等级。设所有彩色度和 亮度等级的组合机会均等，并统计独立。（1）试计算每秒 传送100个画面所需信道容量；（2）如果接受机信噪比为 30dB，为了传送彩色图象所需信道带宽为多少？
例2 设有一个图像要在电话线路中实现传真传输。大约要传输2.25ⅹ106个 像素，每个像素有12个亮度等级。假设所有亮度等级都是等概率的，电 话电路具有3kHz带宽和30dB信噪比。试求在该标准电话线路上传输一 张传真图片需要的最小时间。
在数字通信系统中，如果仅研究编码和解码问题， 可得到另一种广义信道---编码信道。编码信道的范围是 从编码器输出端至解码器输入端。这是因为从编码和解 码角度来看，编码器是把信源产生的消息信号转化为数 字信号。反之，解码器是将数字信号恢复原来的消息信 号；而编码器输出端至解码器输入端之间的一切环节只 是起了传输数字信号的作用，所以可以把它看成一个整 体---编码信道。当然，根据研究问题的不同，还可以定 义其他广义信道。
解： Rb = RBN㏒2N
RBN= Rb／×106 / 29.9 ×103=0.269 ×103s=4.5min
例3 已知八进制数字信号的传输速率为1600波 特。试问变换成二进制数字信号时的传输速率为多 少？ 解： Rb = RBN㏒2N = 1600× ㏒28 = 4800 b/s
信道、信道容量、数据传输速率
信道、信道容量、数据传输速率简介：信道、信道容量、数据传输速率（比特率）、电脑装置带宽列表一、信道的概念信道，是信号在通信系统中传输的通道，是信号从发射端传输到接收端所经过的传输媒质，这是狭义信道的定义。
广义信道的定义除了包括传输媒质，还包括信号传输的相关设备。
信道容量是在通信信道上可靠地传输信息时能够达到的最大速率。
根据有噪信道编码定理，给定信道的信道容量是其以任意小的差错概率传输信息的极限速率。
信道容量的单位为比特每秒、奈特每秒等等。
香农在第二次世界大战期间发展出信息论，并给出了信道容量的定义和计算信道容量的数学模型。
他指出，信道容量是信道的输入与输出的互信息量的最大值，这一最大取值由输入信号的概率分布决定。
二、信道的分类（一）狭义信道的分类狭义信道，按照传输媒质来划分，可以分为有线信道、无线信道和存储信道三类。
1. 有线信道有线信道以导线为传输媒质，信号沿导线进行传输，信号的能量集中在导线附近，因此传输效率高，但是部署不够灵活。
这一类信道使用的传输媒质包括用电线传输电信号的架空明线、电话线、双绞线、对称电缆和同轴电缆等等，还有传输经过调制的光脉冲信号的光导纤维。
2. 无线信道无线信道主要有以辐射无线电波为传输方式的无线电信道和在水下传播声波的水声信道等。
无线电信号由发射机的天线辐射到整个自由空间上进行传播。
不同频段的无线电波有不同的传播方式，主要有：地波传输：地球和电离层构成波导，中长波、长波和甚长波可以在这天然波导内沿着地面传播并绕过地面的障碍物。
长波可以应用于海事通信，中波调幅广播也利用了地波传输。
天波传输：短波、超短波可以通过电离层形成的反射信道和对流层形成的散射信道进行传播。
短波电台就利用了天波传输方式。
天波传输的距离最大可以达到400千米左右。
电离层和对流层的反射与散射，形成了从发射机到接收机的多条随时间变化的传播路径，电波信号经过这些路径在接收端形成相长或相消的叠加，使得接收信号的幅度和相位呈随机变化，这就是多径信道的衰落，这种信道被称作衰落信道。
信道、信道容量、数据传输速率
简介：信道、信道容量、数据传输速率（比特率）、电脑装置带宽列表一、信道的概念信道，是信号在通信系统中传输的通道，是信号从发射端传输到接收端所经过的传输媒质，这是狭义信道的定义。
广义信道的定义除了包括传输媒质，还包括信号传输的相关设备。
信道容量是在通信信道上可靠地传输信息时能够达到的最大速率。
根据有噪信道编码定理，给定信道的信道容量是其以任意小的差错概率传输信息的极限速率。
信道容量的单位为比特每秒、奈特每秒等等。
香农在第二次世界大战期间发展出信息论，并给出了信道容量的定义和计算信道容量的数学模型。
他指出，信道容量是信道的输入与输出的互信息量的最大值，这一最大取值由输入信号的概率分布决定。
二、信道的分类（一）狭义信道的分类狭义信道，按照传输媒质来划分，可以分为有线信道、无线信道和存储信道三类。
1. 有线信道有线信道以导线为传输媒质，信号沿导线进行传输，信号的能量集中在导线附近，因此传输效率高，但是部署不够灵活。
这一类信道使用的传输媒质包括用电线传输电信号的架空明线、电话线、双绞线、对称电缆和同轴电缆等等，还有传输经过调制的光脉冲信号的光导纤维。
2. 无线信道无线信道主要有以辐射无线电波为传输方式的无线电信道和在水下传播声波的水声信道等。
无线电信号由发射机的天线辐射到整个自由空间上进行传播。
不同频段的无线电波有不同的传播方式，主要有：地波传输：地球和电离层构成波导，中长波、长波和甚长波可以在这天然波导内沿着地面传播并绕过地面的障碍物。
长波可以应用于海事通信，中波调幅广播也利用了地波传输。
天波传输：短波、超短波可以通过电离层形成的反射信道和对流层形成的散射信道进行传播。
短波电台就利用了天波传输方式。
天波传输的距离最大可以达到400千米左右。
电离层和对流层的反射与散射，形成了从发射机到接收机的多条随时间变化的传播路径，电波信号经过这些路径在接收端形成相长或相消的叠加，使得接收信号的幅度和相位呈随机变化，这就是多径信道的衰落，这种信道被称作衰落信道。
信道、信道容量、数据传输速率
编码信道是指数字信号由编码器输出端传输到译码器输入端经过的部分。对于编译码的研究者来说，编码器输出的数字序列经过编码信道上的一系列变换之后，在译码器的输入端成为另一组数字序列，研究者只关系这两组数字序列之间的变换关系，而并不关心这一系列变换发生的具体物理过程，甚至并不关心信号在调制信道上的具体变化。编码器输出的数字序列与到译码器输入的数字序列之间的关系，通常用多端口网络的转移概率作为编码信道的数学模型进行描述。
二、信道的分类
（一）狭义信道的分类
狭义信道，按照传输媒质来划分，可以分为有线信道、无线信道和存储信道三类。
1. 有线信道
有线信道以导线为传输媒质，信号沿导线进行传输，信号的能量集中在导线附用电线传输电信号的架空明线、电话线、双绞线、对称电缆和同轴电缆等等，还有传输经过调制的光脉冲信号的光导纤维。
天波传输：短波、超短波可以通过电离层形成的反射信道和对流层形成的散射信道进行传播。短波电台就利用了天波传输方式。天波传输的距离最大可以达到400千米左右。电离层和对流层的反射与散射，形成了从发射机到接收机的多条随时间变化的传播路径，电波信号经过这些路径在接收端形成相长或相消的叠加，使得接收信号的幅度和相位呈随机变化，这就是多径信道的衰落，这种信道被称作衰落信道。
调制信道的数学模型为：
y(t) = x(t) * h(t;τ) + n(t)
其中x(t)是调制信道在时刻t的输入信号，即已调信号。y(t)是调制信道在时刻t的输出信号。h(t;τ)是信道的冲激响应，τ代表时延，h(t;τ)表示在时刻t、延时为τ时信道对冲激函数δ(t)的响应，描述了信道对输入信号的畸变和延时。*为卷积算子。n(t) 是调制信道上存在的加性噪声，与输入信号x(t)无关，又被称为"加性干扰"。由于信道的线性性质，并且考虑信道噪声，x(t) * h(t;τ) + n(t)就是x(t)通过由信道响应h(t;τ)描述的调制信道的输出。调制信道可以同时有多个输入信号和多个输出信号，这时的x(t)和y(t)是矢量信号。
二、信道的分类
（一）狭义信道的分类
狭义信道，按照传输媒质来划分，可以分为有线信道、无线信道和存储信道三类。
1. 有线信道
有线信道以导线为传输媒质，信号沿导线进行传输，信号的能量集中在导线附用电线传输电信号的架空明线、电话线、双绞线、对称电缆和同轴电缆等等，还有传输经过调制的光脉冲信号的光导纤维。
天波传输：短波、超短波可以通过电离层形成的反射信道和对流层形成的散射信道进行传播。短波电台就利用了天波传输方式。天波传输的距离最大可以达到400千米左右。电离层和对流层的反射与散射，形成了从发射机到接收机的多条随时间变化的传播路径，电波信号经过这些路径在接收端形成相长或相消的叠加，使得接收信号的幅度和相位呈随机变化，这就是多径信道的衰落，这种信道被称作衰落信道。
调制信道的数学模型为：
y(t) = x(t) * h(t;τ) + n(t)
其中x(t)是调制信道在时刻t的输入信号，即已调信号。y(t)是调制信道在时刻t的输出信号。h(t;τ)是信道的冲激响应，τ代表时延，h(t;τ)表示在时刻t、延时为τ时信道对冲激函数δ(t)的响应，描述了信道对输入信号的畸变和延时。*为卷积算子。n(t) 是调制信道上存在的加性噪声，与输入信号x(t)无关，又被称为"加性干扰"。由于信道的线性性质，并且考虑信道噪声，x(t) * h(t;τ) + n(t)就是x(t)通过由信道响应h(t;τ)描述的调制信道的输出。调制信道可以同时有多个输入信号和多个输出信号，这时的x(t)和y(t)是矢量信号。
第三章信道及信道容量PPT课件
第三章 信道及信道容量
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0
信道及信道容量
P 1
信道1 p( j | k )
P2
信道2 P p( j | k )
若信道1和信道2级联，则要求信道1的输出集和信道2的输入集 相同。给定信道1和信道2的转移概率 p( j | k ) 和 p( j | k ) ， 则 级联信道的转移概率为 p ( j | k ) j p( j | k ) p( j | k j ) 这样就得到了一个新的离散信道，输入集为 X1 ，输出集为 Y2 ， 转移概率矩阵为 {P( j | k )}。
信息工程学院通信工程系
3.2 离散信道及数学模型
多符号离散信道数学模型 X=X1X2… Xk ….XN
P(Y|X)
Y=Y1Y2…Yk ….YN
{p(yj|xi)}
Xk取值: {x1, x2, …, xn}， 则X共有nN 种 i , i=1～nN Yk取值: {y1, y2, …, ym}， 则Y共有mN种 j , j=1～mN
在物理信道一定的情况下，总是希望传输的信息越 多越好。这不仅仅与物理信道本身特性有关，还与载荷
信息的信号形式和信源输出信号的统计特性有关。
本章讨论“什么条件下，通过信道的信息量最大”。
信息工程学院通信工程系
3.1 信道分类和描述
信道分类
1、根据信道两端输入和输出集合的个数，分为： 两端信道(单用户信道)--输入、输出均只有一个 多端信道(多用户信道)--输入、输出有多个 2、根据输入、输出随机变量的个数，分为： 单符号信道--输入、输出用随机变量表示 多符号信道--输入、输出用随机矢量表示 3、根据信道上有无噪声(干扰)，分为： 有噪(扰)信道 无噪(扰)信道
[ （1） 信道输入统计概率空间：X , p( X )] [ （2） 信道输出统计概率空间：Y , p (Y )] （3） 信道的统计特性，即信道转移概率矩阵：p( y | x)
信道1 p( j | k )
P2
信道2 P p( j | k )
若信道1和信道2级联，则要求信道1的输出集和信道2的输入集 相同。给定信道1和信道2的转移概率 p( j | k ) 和 p( j | k ) ， 则 级联信道的转移概率为 p ( j | k ) j p( j | k ) p( j | k j ) 这样就得到了一个新的离散信道，输入集为 X1 ，输出集为 Y2 ， 转移概率矩阵为 {P( j | k )}。
信息工程学院通信工程系
3.2 离散信道及数学模型
多符号离散信道数学模型 X=X1X2… Xk ….XN
P(Y|X)
Y=Y1Y2…Yk ….YN
{p(yj|xi)}
Xk取值: {x1, x2, …, xn}， 则X共有nN 种 i , i=1～nN Yk取值: {y1, y2, …, ym}， 则Y共有mN种 j , j=1～mN
在物理信道一定的情况下，总是希望传输的信息越 多越好。这不仅仅与物理信道本身特性有关，还与载荷
信息的信号形式和信源输出信号的统计特性有关。
本章讨论“什么条件下，通过信道的信息量最大”。
信息工程学院通信工程系
3.1 信道分类和描述
信道分类
1、根据信道两端输入和输出集合的个数，分为： 两端信道(单用户信道)--输入、输出均只有一个 多端信道(多用户信道)--输入、输出有多个 2、根据输入、输出随机变量的个数，分为： 单符号信道--输入、输出用随机变量表示 多符号信道--输入、输出用随机矢量表示 3、根据信道上有无噪声(干扰)，分为： 有噪(扰)信道 无噪(扰)信道
[ （1） 信道输入统计概率空间：X , p( X )] [ （2） 信道输出统计概率空间：Y , p (Y )] （3） 信道的统计特性，即信道转移概率矩阵：p( y | x)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
I ( X ;Y )
9
信道容量的计算
• 对于一般信道,信道容量计算相当复杂,我们只 讨论某些特殊类型的信道：
• 离散信道可分成： • 无干扰(无噪)信道
– 无嗓无损信道 – 有噪无损信道 – 无噪有损信道
• 有干扰无记忆信道 • 有干扰有记忆信道
10
无干扰离散信道
• 无嗓无损信道
C
max
p(ai )
5
离散无记忆信道DMC
• 信道输入是n元符号X∈{a1, a2, …, an} • 信道输出是m元符号Y∈{b1, b2, …, bm} • 转移矩阵
– 已知X,输出Y统计特性
p11
b1
a1
p12
b1 b2 bm p11 p12 p1m a1
p21
a2
p22
:
b2
P
p21
p22
p2m
H (Y | ai ) i 1,2,n
H
(Y
|
X
)
H
(Y
|
ai
)
H
(
p1
,
p2
,
pm
)
15
对称DMC信道
• 对称DMC信道的容量：
C log m H ( p1, p2 pm )
m
log m pij log pij j 1
• 上式是对称离散信道能够传输的最大的平均信
息量,它只与对称信道矩阵中行矢量{p1, p2,…pm } 和输出符号集的个数m有关。
4
有干扰无记忆信道
• 有干扰无记忆信道
– 信道的输出信号Y与输入信号X之间没有确 定的关系,但转移概率满足:
p(Y | X ) p( y1 | x1) p( y2 | x2) p( yL | xL )
• 有干扰无记忆信道可分为: – 二进制离散信道 – 离散无记忆信道 – 离散输入、连续输出信道 – 波形信道
I (X ;Y ) H (Y ) H (Y | X ) H ( p p) H ( p)
1 H( p)
18
BSC信道容量
• BSC信道容量
C 1 H( p)
• 当p固定时,I (X,Y) 是ω的 型上凸函数。
• I (X,Y) 对ω存在一
I(XY)
个极大值。
1-H(p)
ω
19
BSC信道容量
– 信道矩阵中各列之和也等于1 14
对称DMC信道
• 对称离散信道的平均互信息为
I(X ,Y) H(X ) H(X |Y) H(Y) H(Y | X )
H (Y | X ) p(ai ) p(bj | ai ) log p(bj | ai )
i
j
p(bj | ai ) log p(bj | ai ) j
17
H(Y) ( p p)log 1 ( p p)log 1
p p
p p
H( p p)
H (Y | X ) p(ai ) p(bj | ai ) log p(bj | ai )
i
j
p(bj | ai ) log p(bj | ai )
j
[ p log p p log p] H ( p)
xi ) log
p(y j | xi ) p(y j )
n
p( y j ) p(xi ) p( y j | xi ) i1
• 信道的信息传输率就是平均互信息
8
信道容量
• 信道容量C：
– 最大的信息传输率
C max I(X ;Y ) p(ai )
• 单位时间的信道容量：
1
Ct
T
max
p(ai )
• 强对称信道的信道容量：
C
log
2
n
H
(1
p,
n
p 1
,,
n
p 16 ) 1
BSC信道容量
• •
设二进制对称信道的输入概率空间 信道矩阵：
X 0
P
1
P
1 p
p
p 1 p
p p
p p
1
p(b 0) p(ai ) p(b0 | ai ) p p i0
1
p(b 1) p(ai )p(b1 | ai ) p p i0
• 信道转移概率矩阵p(Y|X)：
– 描述输入/输出的统计依赖关系,反映信道统计关 系
p(Y|X)
X
Y
信道
3
无干扰(无噪声)信道
• 无干扰(无噪声)信道
– 信道的输出信号Y与输入信号X之间有确定 的关系Y=f (X),已知X后就确知Y
– 转移概率:
p(Y
|
X
)
1, 0,
Y f(X) Y f(X)
I
(
XLeabharlann ;Y)max
H
(
X
)
max
H
(Y
)
log
2
n
• 有嗓无损信道
C
max
p(ai )
I
(
X
;Y
)
max
H
(Y
)
log
2
m
• 无嗓有损信道
C
max
p(ai )
I
(
X
;Y
)
max
H
(
X
)
log
2
n
11
3.2.1 对称DMC信道
• 对称离散信道：
• 对称性:
– 每一行都是由同一集{p1, p2,…pm} 的诸元素 不同排列组成——输入对称
– 每一列都是由集{q1, q2,…qn}的诸元素不同 排列组成——输出对称
1 1 1 1
P
3
3
6
6
1 1 1 1
6 6 3 3
1
2
P
1 6
1
3
1 1
3
6
1 1
2 3
1
1
12
6 2
满足对称 性,所对应 的信道是 对称离散 信道。
对称DMC信道
• 信道矩阵
1 1 1 1 P 3 3 6 6
a2
: :
: : :
pn1
pn2
pnm
an
an
pnm
m
bm
p(bj | ai ) 1 i 1,2,n 6
j 1
3.2 离散单个符号信道 及其容量
7
信道容量
• 平均互信息I (X;Y)：
– 接收到符号Y后平均每个符号获得的关于X
的信息量。
I(X;Y)
i
j
p(xi ) p(y j
|
第三章
信道与信道容量
内容
3.1 信道分类和表示参数 3.2 离散单个符号信道及其容量 3.3 离散序列信道及其容量 3.4 连续信道及其容量
2
信道
• 设信道的输入X=(X1, X2 … Xi,… ), Xi ∈{a1 … an} 输出Y= (Y1, Y2 … Yj,…), Yj ∈{b1 … bm}
1 1 1 1 6 3 6 3
P
0.7 0.2
0.1 0.1
0.2 0.7
• 不具有对称性,因而所对应的信通不是对 称离散信道。
13
对称DMC信道
• 若输入符号和输出符号个数相同,都等于n,且信 道矩阵为
1 p
P
n
p 1
p n 1 1 p
p
n
p
1
n 1
p n 1
p n 1
1
p
• 此信道称为强对称信道 (均匀信道)
• BSC信道容量
C 1 H( p)
• 当固定信源的概率分布ω时,I (X,Y) 是p的 型 下
凸函数。 • 当p = 0,
C =1－0 = 1bit = H(X)
信道无噪声
C
信道强噪声
• 当p =1/2,
C 1 H(1,1) 0 22
20