信道与信道容量
合集下载
第三章 信道与信道容量 习题解答
，
，求
，
，
和
；
（2） 求该信道的信道容量及其达到信道容量时的输入概率分布。
解：
（1）先写出
：
根据公式
计算联合概率：
信宿端符号分布概率：
根据公式
计算：
3
求各熵： 信源熵：
比特/消息
信宿熵：
比特/消息
可疑度：
平均互信息量： 噪声熵： （2）二元对称离散信道的信道容量：
比特/消息 比特/消息
比特/秒
信源等概分布时（
解：设下标 1为原状况，下标 2为改变后状况。由
可得：
，
倍
如果功率节省一半则
倍 ，为 了 使 功 率 节 省 一 半 又 不 损 失 信 息 量 I，根 据
，可以： （1） 加大信道带宽 W，用带宽换取信噪比
，
，
7
缺点是对设备要求高。 （2） 加大传输时间 T，用传输时间换取信噪比，同理可得：
缺点是传输速度降低了。
噪声熵：
（5）平均互信息量：
2．有一个生产 A、B、C、D四种消息的信源其出现的概率相等，通过某一通信系统传输时，B和 C无误，A 以 1/4概率传为 A，以 1/4概率误传为 B、C、D，而 D以 1/2概率正确传输，以 1/2概率误传为 C，
（1）试求其可疑度？（2）收到的信号中哪一个最可靠？（3）散布度为多少？ 解：（1）
，
将各数据代入： 解得：
如果
则
将各数据代入： 解得：
14.在理想系统中，若信道带宽与消息带宽的比为 10，当接收机输入端功率信噪比分别为 0.1和 10时，试
比较输出端功率信噪比的改善程度，并说明
与
之间是否存在阀值效应。
第三章 信道模型和信道容量
这是可知疑义度H(X/Y)=0，平均交互信息量达到最大值 I(X,Y)=H(X)，C=logr。从平均意义上讲，这种信道可以把信源 的信息全部传递道信宿。这种每列只有一个非0元素的信道也 是一种无噪声信道，称为无噪声信道。
确定信道
这类信道的转移概率等于1或者等于0， 每一列的元素可有一个或多个1，可知其 噪声熵H(Y/X)=0，此时的平均交互信息 量达到最大值。
离散信道
X
P(Y/X)
Y
离散信道分类： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道
离散信道三种表达方式
概率空间描述 X={a1,a2,……ar} P(Y/X)={p(bj/ai)}
j=1,2,……s) Y={b1,b2,……bs} 0≤p(bj/ai)≤1
(i=1,2,……r;
转移矩阵描述
信道组合
串联信道 并联信道
4.4 时间离散的无记忆连续 信道
可加噪声信道
P(y|x)=p(y-x)=p(z)
Hc (Y | X ) Hc (Z ) I (X ;Y ) Hc (Y ) Hc (Z )
可加噪声信道
高斯噪声信道
I
(X
;Y
)
H
(Y
)
Hc
(X
)
1 2
log(1
2 x 2 z
)
例已知一个二元信源连接一个二元信道， 如图给出。X={x1,x2}, [p(xi)]={1/2,1/2}
求I(X；Y)，H(X,Y)，H(X/Y)，和H(Y/X)。
信道容量
C max R max I (X ;Y )bit / 符号
PX
PX
1
Ct
max PX
Rt
信道与信道容量
1.6.2 信道容量
根据香农信息论，对于连续信道，如果信道带宽为B， 并且受到加性高斯白噪声的干扰，则信道容量的理论公式为
C=B㏒2（1+S/N）（b/s） 式中。 N为白噪声的平均功率； S是信号的平均功率； S/N 为信噪比。信道容量C是指信道可能传输的最大信息速率 （即信道能达到的最大传输能力）。虽然上式是在一定条件 下获得的（要求输入信号也为高斯信号才能实现上述可能 性），但对其他情况也可作为近似式使用。
例1 已知彩色电视图象由5ⅹ105个像素组成。设每个像素有 64种彩色度，每种彩色度有16个亮度等级。设所有彩色度和 亮度等级的组合机会均等，并统计独立。（1）试计算每秒 传送100个画面所需信道容量；（2）如果接受机信噪比为 30dB，为了传送彩色图象所需信道带宽为多少？
例2 设有一个图像要在电话线路中实现传真传输。大约要传输2.25ⅹ106个 像素，每个像素有12个亮度等级。假设所有亮度等级都是等概率的，电 话电路具有3kHz带宽和30dB信噪比。试求在该标准电话线路上传输一 张传真图片需要的最小时间。
在数字通信系统中，如果仅研究编码和解码问题， 可得到另一种广义信道---编码信道。编码信道的范围是 从编码器输出端至解码器输入端。这是因为从编码和解 码角度来看，编码器是把信源产生的消息信号转化为数 字信号。反之，解码器是将数字信号恢复原来的消息信 号；而编码器输出端至解码器输入端之间的一切环节只 是起了传输数字信号的作用，所以可以把它看成一个整 体---编码信道。当然，根据研究问题的不同，还可以定 义其他广义信道。
解： Rb = RBN㏒2N
RBN= Rb／×106 / 29.9 ×103=0.269 ×103s=4.5min
例3 已知八进制数字信号的传输速率为1600波 特。试问变换成二进制数字信号时的传输速率为多 少？ 解： Rb = RBN㏒2N = 1600× ㏒28 = 4800 b/s
信道、信道容量、数据传输速率
信道、信道容量、数据传输速率简介：信道、信道容量、数据传输速率（比特率）、电脑装置带宽列表一、信道的概念信道，是信号在通信系统中传输的通道，是信号从发射端传输到接收端所经过的传输媒质，这是狭义信道的定义。
广义信道的定义除了包括传输媒质，还包括信号传输的相关设备。
信道容量是在通信信道上可靠地传输信息时能够达到的最大速率。
根据有噪信道编码定理，给定信道的信道容量是其以任意小的差错概率传输信息的极限速率。
信道容量的单位为比特每秒、奈特每秒等等。
香农在第二次世界大战期间发展出信息论，并给出了信道容量的定义和计算信道容量的数学模型。
他指出，信道容量是信道的输入与输出的互信息量的最大值，这一最大取值由输入信号的概率分布决定。
二、信道的分类（一）狭义信道的分类狭义信道，按照传输媒质来划分，可以分为有线信道、无线信道和存储信道三类。
1. 有线信道有线信道以导线为传输媒质，信号沿导线进行传输，信号的能量集中在导线附近，因此传输效率高，但是部署不够灵活。
这一类信道使用的传输媒质包括用电线传输电信号的架空明线、电话线、双绞线、对称电缆和同轴电缆等等，还有传输经过调制的光脉冲信号的光导纤维。
2. 无线信道无线信道主要有以辐射无线电波为传输方式的无线电信道和在水下传播声波的水声信道等。
无线电信号由发射机的天线辐射到整个自由空间上进行传播。
不同频段的无线电波有不同的传播方式，主要有：地波传输：地球和电离层构成波导，中长波、长波和甚长波可以在这天然波导内沿着地面传播并绕过地面的障碍物。
长波可以应用于海事通信，中波调幅广播也利用了地波传输。
天波传输：短波、超短波可以通过电离层形成的反射信道和对流层形成的散射信道进行传播。
短波电台就利用了天波传输方式。
天波传输的距离最大可以达到400千米左右。
电离层和对流层的反射与散射，形成了从发射机到接收机的多条随时间变化的传播路径，电波信号经过这些路径在接收端形成相长或相消的叠加，使得接收信号的幅度和相位呈随机变化，这就是多径信道的衰落，这种信道被称作衰落信道。
信道、信道容量、数据传输速率
简介：信道、信道容量、数据传输速率（比特率）、电脑装置带宽列表一、信道的概念信道，是信号在通信系统中传输的通道，是信号从发射端传输到接收端所经过的传输媒质，这是狭义信道的定义。
广义信道的定义除了包括传输媒质，还包括信号传输的相关设备。
信道容量是在通信信道上可靠地传输信息时能够达到的最大速率。
根据有噪信道编码定理，给定信道的信道容量是其以任意小的差错概率传输信息的极限速率。
信道容量的单位为比特每秒、奈特每秒等等。
香农在第二次世界大战期间发展出信息论，并给出了信道容量的定义和计算信道容量的数学模型。
他指出，信道容量是信道的输入与输出的互信息量的最大值，这一最大取值由输入信号的概率分布决定。
二、信道的分类（一）狭义信道的分类狭义信道，按照传输媒质来划分，可以分为有线信道、无线信道和存储信道三类。
1. 有线信道有线信道以导线为传输媒质，信号沿导线进行传输，信号的能量集中在导线附近，因此传输效率高，但是部署不够灵活。
这一类信道使用的传输媒质包括用电线传输电信号的架空明线、电话线、双绞线、对称电缆和同轴电缆等等，还有传输经过调制的光脉冲信号的光导纤维。
2. 无线信道无线信道主要有以辐射无线电波为传输方式的无线电信道和在水下传播声波的水声信道等。
无线电信号由发射机的天线辐射到整个自由空间上进行传播。
不同频段的无线电波有不同的传播方式，主要有：地波传输：地球和电离层构成波导，中长波、长波和甚长波可以在这天然波导内沿着地面传播并绕过地面的障碍物。
长波可以应用于海事通信，中波调幅广播也利用了地波传输。
天波传输：短波、超短波可以通过电离层形成的反射信道和对流层形成的散射信道进行传播。
短波电台就利用了天波传输方式。
天波传输的距离最大可以达到400千米左右。
电离层和对流层的反射与散射，形成了从发射机到接收机的多条随时间变化的传播路径，电波信号经过这些路径在接收端形成相长或相消的叠加，使得接收信号的幅度和相位呈随机变化，这就是多径信道的衰落，这种信道被称作衰落信道。
第三章 信道和信道容量
I（X；Y）：接收到Y前、后关于的平均不确定性 的消除 ；或发送X前、后关于Y的平
均不确定性的消除。
可见：熵只是平均不确定性的描述，而不确定性 的消除（两熵之差）才等于接收端所获得的信息 量。获得的信息量不能和不确定性混为一谈。
第三章 信道和信道容量
关于信道容量： 研究：信道中平均每个符号所能传送的信息量，
有损失，是无噪有损信 道，也称确定信道，即： 损失熵：H(X/Y) ≠ 0； 噪声熵：H(Y/X) ＝ 0， I(X;Y)＝H(Y)＝H(X)－H(X/Y) ＜H(X)
第三章 信道和信道容量
信道容量仍是最大熵问题（最大H(Y)）：
C＝max H(Y)＝log s bit/符号
P(X)
（设Y有s个符号）
不相交的子集mk，由mk组成的矩阵[P]k是对称矩阵 （具有可排列的性质），则称此信道为准对称信道， 其信道容量：
r为输入符号集个数 即信道矩阵行数 准对称信道中的 行元素 第k个子矩阵 中行元素之和
第k个子矩阵 中列元素之和
第三章 信道和信道容量
例3－1：二元对称删除 信道如图，计算信道容量。
例3－2：准对称信道的信道矩阵为： P(y/x)＝ 0.5 0.3 0.2 0.3 0.5 0.2 当输入概率分布为p(x1)＝ɑ，p(x2)＝1－ɑ
且：p＝0时，信道无干扰； P＝1/2时，信道干扰最为严重。
第三章 信道和信道容量
二、二元删除信道
难以区分原发送信号时，不硬性
判断0或1，而作删除处理。 删除信道中，p＝q时，则为 对称删除信道。 三、Z信道 信道特性：0错成1的概率为0， 1错成0有一定可能。
1
0 1 0
p
1－p
1
第三章 信道和信道容量
通信课件信道及信道容量
基本内容
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
信道带宽与信道容量
C
B
log2
1
S N
bit / s
（2-6-2）
例2.2 设一幅图片约有个像素，每个像素以后2个以等概率出 现的亮电平。若要求用3分钟传输这张图片，并且信噪比等于 30dB，试求所需的信道带宽。
解：由于每个像素有12个等概率出现的亮度电平，所以每个 像素的信息量为 I p log 2 12 3.585 b
每幅图像的信息量为 If 2.5106 Ip 8.963106 b 信息传输速率，即信道容量为
C If t 8.963 10 6 (3 60) 4.98 10 4
信噪比为 S N 30 dB 1000 由于信道容量 C B log2(1 S N)
所以所需信道带宽为
B
C
4.98104 5 kHz
案例分析2
地震预警信息是由电脑自动发送，该预警信息可通过多种通 信手段进行传输发送，例如：网络微博发送，计算机、手机、 专用预警接收服务器、电视等实时同步发布，如图2.37所示。 由于地震预警系统传递信息时需要保证信息的可靠性，因此 可以通过多种通信手段保证信息的发布，所涉及到的信道方 式也可能有多种形式。
地震发生时，首先出现的是上下震动的P波，震动幅度较 小，要过大约10秒到1分钟时间，水平运动的S波才会到来， 造成严重破坏。地震预警就是利用地震发生后，P波与S波之 间的时间差。原理上，在距离震源50公里内的地区，会在地
案例分析2
地震前10秒收到预警信息；90-100公里内的地区，能提前 20多秒收到预警信息。根据数据准确估计震级、震中位置以 及快速估计地震对预警目标的影响等。例如：地震波从震中 传到北川县城大概需要25秒。如果您在发震5秒后感受到了地 震波，并花了15秒钟打电话告诉北川的朋友地震波即将来临， 那么您北川的朋友将会获得5秒的应急时间。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信道与信道容量
强对称信道 (均匀信道) 输入符号和输出符号个数相同 ( 都等于 n ) ，且正确传 输概率为1-ε，错误概率ε被对称地均分给 n -1 个输出 符号，信道矩阵为
各列之和 也等于 1
强对称信道的信道容量
信道与信道容量
二进制对称信道（ BSC ） 二进制对称信道的信道容量
C=1-H(p)
信道与信道容量
信道容量
2
1.1 信道的分类
用户数量：单用户、多用户
输入端和输出端关系：无反馈、有反馈
信道参数与时间的关系：固定参数、时变参数
噪声种类： 随机差错、突发差错 输入输出信号特点：离散、连续、半离散半连续、
波形信道等
信道与信道容量
3
信道与信道容量
ห้องสมุดไป่ตู้
1.2 信道参数
信道输入矢量为 输出矢量为
信道与信道容量
14
3.2 离散单个符号信道及其容量
信息传输率 R
信道中平均每个符号所能传送的信息量 复习 平均互信息 I (X ;Y) ：接收到 Y 后平均每个符
号获得的关于 X 的信息量。
信道的信息传输率就是平均互信息
信道与信道容量
15
信息传输速率 Rt
信道在单位时间内平均传输的信息量
Rt = R/t = I ( X ; Y )/t bit / s
信道与信道容量
1 信道的基本概念 2 离散单个符号信道及其容量 3 离散序列信道及其容量 4 连续信道及其容量
信道与信道容量
1
1 信道的基本概念
信道：信息传输的通道
广义：信源与信宿之间 狭义：中间远距离传输部分 定义：传输信息的载体 任务：以信号方式传输信息、存储信息
主要研究 理论上能够传输的最大信息量
21
3 ) 一个输入对应多个输出 ( n ＜ m )
噪声熵 H ( Y | X ) ≠ 0 损失熵 H ( X | Y ) = 0
I(X;Y)=H(X)<H(Y)
有噪无损信道
C = max I ( X ; Y ) = max H ( X ) = log n p ( ai )
信道与信道容量
22
2.2 对称 DMC 信道
p(ai)
2 ) 多个输入变成一个输出 ( n ＞ m )
0?
噪声熵 H ( Y | X ) = 0
0?
?
损失熵 H ( X | Y ) ≠ 0
0?
?
1?
I(X;Y)=H(Y)<H(X)
1 ??
无噪有损信道 C = max I ( X ; Y ) = max H ( Y ) = log m p (ai) 信道与信道容量
输出熵：
条件熵：
平均互信息量：
信道与信道容量
17
当 p 固定时，I(X,Y) 是 q 的 型上凸函数， 存在一个极大值
信道与信道容量
18
说明：
• 信道容量是信道本身的特性，与信源无关；
• 信道容量是信息传输率 R 的上限，定量描述 了信道信息的最大通过能力；
• 不是所有的信源传输符号时都可以达到这个 传输速率，使信道达到最大传输率的输入概率 分布称为最佳输入分布。
信道与信道容量
串联信道 在实际通信系统中，信号往往要通过几个环节
24
输入对称
与信道输入符号概率分布无关
信道与信道容量
25
若信道输入符号等概率分布，则
信道输出也等概率分布 要使 H ( Y ) 最大，只有信道输出符号等概率分布，此 时输入符号也等概率分布。 ※ 对称 DMC 信道的容量
与对称信道矩阵中行矢量和输出符号集的个数 m 有关 信道与信道容量 26
例： 某对称离散信道的信道矩阵为 信道容量为:
信道容量 C
t 为平均传送一个 符号所需的时间
信道所能传送的最大信息量，亦即最大的信息传输率
C = max I ( X ; Y ) bit / 符号
p(ai)
单位时间的信道容量 Ct
信道最大的信息传输速率
信道与信道容量
复习 平均互信息 I ( X ; Y ) 的凸状性质
BSC 输入概率空间 信道
信道矩阵
10
一些DMC信道特例： 二进制离散信道 BSC
二元删除信道 BEC
Z型信道
信道与信道容量
离散输入、连续输出信道 加性高斯白噪声（AWGN）信道
信道与信道容量
波形信道 波形信道
多维连续信道
信道转移概率密度函数
信道转移概率密度函数 = 噪声概率密度函数pn(n)
信道与信道容量
13
(3) 有干扰有记忆信道 方法： （ 1 ）将记忆很强的 L 个符号当作矢量符号，矢量符 号间认为无记忆。 （ 2 ）转移概率 p ( Y | X ) 看成马尔可夫链的形式
关系 : Y = f ( X )
转移概率:
信道与信道容量
6
(2) 有干扰无记忆信道 信道的输出信号 Y 与输入信号 X 之间没有确定
的关系。
转移概率满足:
信道无记忆 只需分析单个符号的转移概率 p (yj|xi)
– 二进制离散信道
– 离散无记忆信道
– 离散输入、连续输出信道
– 波形信道
信道与信道容量
信道与信道容量
19
2.1 无干扰离散信道
信道输入
输出
无噪 ：1个输入只对应 1个输出，噪声熵 H(Y|X)=0 无损 ：1个输出只对应 1个输入，疑义度 H(X|Y)=0
1 ) X 、 Y 一一对应 ( n = m ) 无噪无损信道
信道与信道容量
无噪无损信道 H ( Y|X ) = H ( X|Y ) = 0
采用条件概率 p ( Y | X ) 来描述信道输入输出信号之 间统计的依赖关系。
信道与信道容量
• 信道种类 根据信道是否存在干扰以及有无记忆，将信道
分为 3 大类： (1) 无干扰（无噪声）信道 (2) 有干扰无记忆信道 (3) 有干扰有记忆信道
(1) 无干扰（无噪声）信道 信道的输出信号 Y 与输入信号 X 之间有确定的
7
二进制离散信道 信道转移概率 p (yj|xi) ：
传输发生错误的概率 无错误传输的概率
二进制对称信道（ BSC ） 信道与信道容量 8
离散无记忆信道 (DMC)
信道与信道容量
9
转移概率矩阵
转移概率矩阵的每一行元素之和为1 对任意 j ∈ {0, 1, …, m } ，由全概率公式有 :
信道与信道容量
输入对称 如果转移概率矩阵 P 的每一行都是第一行的置
换 ( 包含同样元素 ) ，称该矩阵是输入对称。
输出对称 如果转移概率矩阵 P 的每一列都是第一列的置
换 ( 包含同样元素 ) ，称该矩阵是输出对称。
对称信道 输入、输出都对称。
信道与信道容量
23
练习：判断下列矩阵表示的信道是否对称信道
信道与信道容量
强对称信道 (均匀信道) 输入符号和输出符号个数相同 ( 都等于 n ) ，且正确传 输概率为1-ε，错误概率ε被对称地均分给 n -1 个输出 符号，信道矩阵为
各列之和 也等于 1
强对称信道的信道容量
信道与信道容量
二进制对称信道（ BSC ） 二进制对称信道的信道容量
C=1-H(p)
信道与信道容量
信道容量
2
1.1 信道的分类
用户数量：单用户、多用户
输入端和输出端关系：无反馈、有反馈
信道参数与时间的关系：固定参数、时变参数
噪声种类： 随机差错、突发差错 输入输出信号特点：离散、连续、半离散半连续、
波形信道等
信道与信道容量
3
信道与信道容量
ห้องสมุดไป่ตู้
1.2 信道参数
信道输入矢量为 输出矢量为
信道与信道容量
14
3.2 离散单个符号信道及其容量
信息传输率 R
信道中平均每个符号所能传送的信息量 复习 平均互信息 I (X ;Y) ：接收到 Y 后平均每个符
号获得的关于 X 的信息量。
信道的信息传输率就是平均互信息
信道与信道容量
15
信息传输速率 Rt
信道在单位时间内平均传输的信息量
Rt = R/t = I ( X ; Y )/t bit / s
信道与信道容量
1 信道的基本概念 2 离散单个符号信道及其容量 3 离散序列信道及其容量 4 连续信道及其容量
信道与信道容量
1
1 信道的基本概念
信道：信息传输的通道
广义：信源与信宿之间 狭义：中间远距离传输部分 定义：传输信息的载体 任务：以信号方式传输信息、存储信息
主要研究 理论上能够传输的最大信息量
21
3 ) 一个输入对应多个输出 ( n ＜ m )
噪声熵 H ( Y | X ) ≠ 0 损失熵 H ( X | Y ) = 0
I(X;Y)=H(X)<H(Y)
有噪无损信道
C = max I ( X ; Y ) = max H ( X ) = log n p ( ai )
信道与信道容量
22
2.2 对称 DMC 信道
p(ai)
2 ) 多个输入变成一个输出 ( n ＞ m )
0?
噪声熵 H ( Y | X ) = 0
0?
?
损失熵 H ( X | Y ) ≠ 0
0?
?
1?
I(X;Y)=H(Y)<H(X)
1 ??
无噪有损信道 C = max I ( X ; Y ) = max H ( Y ) = log m p (ai) 信道与信道容量
输出熵：
条件熵：
平均互信息量：
信道与信道容量
17
当 p 固定时，I(X,Y) 是 q 的 型上凸函数， 存在一个极大值
信道与信道容量
18
说明：
• 信道容量是信道本身的特性，与信源无关；
• 信道容量是信息传输率 R 的上限，定量描述 了信道信息的最大通过能力；
• 不是所有的信源传输符号时都可以达到这个 传输速率，使信道达到最大传输率的输入概率 分布称为最佳输入分布。
信道与信道容量
串联信道 在实际通信系统中，信号往往要通过几个环节
24
输入对称
与信道输入符号概率分布无关
信道与信道容量
25
若信道输入符号等概率分布，则
信道输出也等概率分布 要使 H ( Y ) 最大，只有信道输出符号等概率分布，此 时输入符号也等概率分布。 ※ 对称 DMC 信道的容量
与对称信道矩阵中行矢量和输出符号集的个数 m 有关 信道与信道容量 26
例： 某对称离散信道的信道矩阵为 信道容量为:
信道容量 C
t 为平均传送一个 符号所需的时间
信道所能传送的最大信息量，亦即最大的信息传输率
C = max I ( X ; Y ) bit / 符号
p(ai)
单位时间的信道容量 Ct
信道最大的信息传输速率
信道与信道容量
复习 平均互信息 I ( X ; Y ) 的凸状性质
BSC 输入概率空间 信道
信道矩阵
10
一些DMC信道特例： 二进制离散信道 BSC
二元删除信道 BEC
Z型信道
信道与信道容量
离散输入、连续输出信道 加性高斯白噪声（AWGN）信道
信道与信道容量
波形信道 波形信道
多维连续信道
信道转移概率密度函数
信道转移概率密度函数 = 噪声概率密度函数pn(n)
信道与信道容量
13
(3) 有干扰有记忆信道 方法： （ 1 ）将记忆很强的 L 个符号当作矢量符号，矢量符 号间认为无记忆。 （ 2 ）转移概率 p ( Y | X ) 看成马尔可夫链的形式
关系 : Y = f ( X )
转移概率:
信道与信道容量
6
(2) 有干扰无记忆信道 信道的输出信号 Y 与输入信号 X 之间没有确定
的关系。
转移概率满足:
信道无记忆 只需分析单个符号的转移概率 p (yj|xi)
– 二进制离散信道
– 离散无记忆信道
– 离散输入、连续输出信道
– 波形信道
信道与信道容量
信道与信道容量
19
2.1 无干扰离散信道
信道输入
输出
无噪 ：1个输入只对应 1个输出，噪声熵 H(Y|X)=0 无损 ：1个输出只对应 1个输入，疑义度 H(X|Y)=0
1 ) X 、 Y 一一对应 ( n = m ) 无噪无损信道
信道与信道容量
无噪无损信道 H ( Y|X ) = H ( X|Y ) = 0
采用条件概率 p ( Y | X ) 来描述信道输入输出信号之 间统计的依赖关系。
信道与信道容量
• 信道种类 根据信道是否存在干扰以及有无记忆，将信道
分为 3 大类： (1) 无干扰（无噪声）信道 (2) 有干扰无记忆信道 (3) 有干扰有记忆信道
(1) 无干扰（无噪声）信道 信道的输出信号 Y 与输入信号 X 之间有确定的
7
二进制离散信道 信道转移概率 p (yj|xi) ：
传输发生错误的概率 无错误传输的概率
二进制对称信道（ BSC ） 信道与信道容量 8
离散无记忆信道 (DMC)
信道与信道容量
9
转移概率矩阵
转移概率矩阵的每一行元素之和为1 对任意 j ∈ {0, 1, …, m } ，由全概率公式有 :
信道与信道容量
输入对称 如果转移概率矩阵 P 的每一行都是第一行的置
换 ( 包含同样元素 ) ，称该矩阵是输入对称。
输出对称 如果转移概率矩阵 P 的每一列都是第一列的置
换 ( 包含同样元素 ) ，称该矩阵是输出对称。
对称信道 输入、输出都对称。
信道与信道容量
23
练习：判断下列矩阵表示的信道是否对称信道
信道与信道容量