信道与信道容量
合集下载
第三章 信道与信道容量 习题解答
，
，求
，
，
和
；
（2） 求该信道的信道容量及其达到信道容量时的输入概率分布。
解：
（1）先写出
：
根据公式
计算联合概率：
信宿端符号分布概率：
根据公式
计算：
3
求各熵： 信源熵：
比特/消息
信宿熵：
比特/消息
可疑度：
平均互信息量： 噪声熵： （2）二元对称离散信道的信道容量：
比特/消息 比特/消息
比特/秒
信源等概分布时（
解：设下标 1为原状况，下标 2为改变后状况。由
可得：
，
倍
如果功率节省一半则
倍 ，为 了 使 功 率 节 省 一 半 又 不 损 失 信 息 量 I，根 据
，可以： （1） 加大信道带宽 W，用带宽换取信噪比
，
，
7
缺点是对设备要求高。 （2） 加大传输时间 T，用传输时间换取信噪比，同理可得：
缺点是传输速度降低了。
噪声熵：
（5）平均互信息量：
2．有一个生产 A、B、C、D四种消息的信源其出现的概率相等，通过某一通信系统传输时，B和 C无误，A 以 1/4概率传为 A，以 1/4概率误传为 B、C、D，而 D以 1/2概率正确传输，以 1/2概率误传为 C，
（1）试求其可疑度？（2）收到的信号中哪一个最可靠？（3）散布度为多少？ 解：（1）
，
将各数据代入： 解得：
如果
则
将各数据代入： 解得：
14.在理想系统中，若信道带宽与消息带宽的比为 10，当接收机输入端功率信噪比分别为 0.1和 10时，试
比较输出端功率信噪比的改善程度，并说明
与
之间是否存在阀值效应。
第三章 信道与信道容量 习题解答
6
由于二元信源，等概率分布，信道对称，满足山农的理想观察者原理的三个假设条件，因此计算疑义度： 比特/消息
接收熵速率：
比特/秒
而系统要求的传信率为：
比特/秒，大于 1289比特/秒，故 10秒内无法无失真传递完。
11.已知一个平均功率受限的连续信号，通过带宽
的高斯白噪声信道，试求
（1） 若信噪比为 10，信道容量为多少？
（2） 若要保持信道容量不变，信噪比降为 5，信道带宽应为多少？
（3） 若要保持信道容量不变，信道带宽降为 0.5MHz，信号的功率信噪比应为多少？
（4） 其中有什么规律可总结？
解：根据香农公式：
（1） 信噪比为 10倍，信道容量： （2） 信噪比为 5倍，信道带宽：
比特/秒
（3） 信道带宽为 0.5MHz，信号的功率信噪比：
（2）信源熵速率： 接收熵速率： （3）一消息共有 4000个二元符号，该消息的信息量： 无失真地传递完该消息所需的时间：
10.有一个二元对称信道，其信道矩阵为
，设该信源以 1500符号/秒的速度传输输入符号。现
有一消息序列共有 14000个二元符号，并设其符号等概分布，问从信息传输的角度来考虑，10秒钟内能否 将这消息序列无失真地传递完？ 解：根据信道转移矩阵画出下图：
当
时，根据
，
得：
作业：1、3(2)、6、7(1)、8、9或 10、11、13、15、16(1)
mW/Hz、限频 、限输入
9
解：设将电阻按阻值分类看成概率空间 X：
，
按功耗分类看成概率空间 Y：
已知：
，
通过计算
， ，
，
得
通过测量阻值获得的关于瓦数的平均信息量：
第三章 信道模型和信道容量
这是可知疑义度H(X/Y)=0，平均交互信息量达到最大值 I(X,Y)=H(X)，C=logr。从平均意义上讲，这种信道可以把信源 的信息全部传递道信宿。这种每列只有一个非0元素的信道也 是一种无噪声信道，称为无噪声信道。
确定信道
这类信道的转移概率等于1或者等于0， 每一列的元素可有一个或多个1，可知其 噪声熵H(Y/X)=0，此时的平均交互信息 量达到最大值。
离散信道
X
P(Y/X)
Y
离散信道分类： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道
离散信道三种表达方式
概率空间描述 X={a1,a2,……ar} P(Y/X)={p(bj/ai)}
j=1,2,……s) Y={b1,b2,……bs} 0≤p(bj/ai)≤1
(i=1,2,……r;
转移矩阵描述
信道组合
串联信道 并联信道
4.4 时间离散的无记忆连续 信道
可加噪声信道
P(y|x)=p(y-x)=p(z)
Hc (Y | X ) Hc (Z ) I (X ;Y ) Hc (Y ) Hc (Z )
可加噪声信道
高斯噪声信道
I
(X
;Y
)
H
(Y
)
Hc
(X
)
1 2
log(1
2 x 2 z
)
例已知一个二元信源连接一个二元信道， 如图给出。X={x1,x2}, [p(xi)]={1/2,1/2}
求I(X；Y)，H(X,Y)，H(X/Y)，和H(Y/X)。
信道容量
C max R max I (X ;Y )bit / 符号
PX
PX
1
Ct
max PX
Rt
信道与信道容量
1.6.2 信道容量
根据香农信息论，对于连续信道，如果信道带宽为B， 并且受到加性高斯白噪声的干扰，则信道容量的理论公式为
C=B㏒2（1+S/N）（b/s） 式中。 N为白噪声的平均功率； S是信号的平均功率； S/N 为信噪比。信道容量C是指信道可能传输的最大信息速率 （即信道能达到的最大传输能力）。虽然上式是在一定条件 下获得的（要求输入信号也为高斯信号才能实现上述可能 性），但对其他情况也可作为近似式使用。
例1 已知彩色电视图象由5ⅹ105个像素组成。设每个像素有 64种彩色度，每种彩色度有16个亮度等级。设所有彩色度和 亮度等级的组合机会均等，并统计独立。（1）试计算每秒 传送100个画面所需信道容量；（2）如果接受机信噪比为 30dB，为了传送彩色图象所需信道带宽为多少？
例2 设有一个图像要在电话线路中实现传真传输。大约要传输2.25ⅹ106个 像素，每个像素有12个亮度等级。假设所有亮度等级都是等概率的，电 话电路具有3kHz带宽和30dB信噪比。试求在该标准电话线路上传输一 张传真图片需要的最小时间。
在数字通信系统中，如果仅研究编码和解码问题， 可得到另一种广义信道---编码信道。编码信道的范围是 从编码器输出端至解码器输入端。这是因为从编码和解 码角度来看，编码器是把信源产生的消息信号转化为数 字信号。反之，解码器是将数字信号恢复原来的消息信 号；而编码器输出端至解码器输入端之间的一切环节只 是起了传输数字信号的作用，所以可以把它看成一个整 体---编码信道。当然，根据研究问题的不同，还可以定 义其他广义信道。
解： Rb = RBN㏒2N
RBN= Rb／×106 / 29.9 ×103=0.269 ×103s=4.5min
例3 已知八进制数字信号的传输速率为1600波 特。试问变换成二进制数字信号时的传输速率为多 少？ 解： Rb = RBN㏒2N = 1600× ㏒28 = 4800 b/s
信道、信道容量、数据传输速率
信道、信道容量、数据传输速率简介：信道、信道容量、数据传输速率（比特率）、电脑装置带宽列表一、信道的概念信道，是信号在通信系统中传输的通道，是信号从发射端传输到接收端所经过的传输媒质，这是狭义信道的定义。
广义信道的定义除了包括传输媒质，还包括信号传输的相关设备。
信道容量是在通信信道上可靠地传输信息时能够达到的最大速率。
根据有噪信道编码定理，给定信道的信道容量是其以任意小的差错概率传输信息的极限速率。
信道容量的单位为比特每秒、奈特每秒等等。
香农在第二次世界大战期间发展出信息论，并给出了信道容量的定义和计算信道容量的数学模型。
他指出，信道容量是信道的输入与输出的互信息量的最大值，这一最大取值由输入信号的概率分布决定。
二、信道的分类（一）狭义信道的分类狭义信道，按照传输媒质来划分，可以分为有线信道、无线信道和存储信道三类。
1. 有线信道有线信道以导线为传输媒质，信号沿导线进行传输，信号的能量集中在导线附近，因此传输效率高，但是部署不够灵活。
这一类信道使用的传输媒质包括用电线传输电信号的架空明线、电话线、双绞线、对称电缆和同轴电缆等等，还有传输经过调制的光脉冲信号的光导纤维。
2. 无线信道无线信道主要有以辐射无线电波为传输方式的无线电信道和在水下传播声波的水声信道等。
无线电信号由发射机的天线辐射到整个自由空间上进行传播。
不同频段的无线电波有不同的传播方式，主要有：地波传输：地球和电离层构成波导，中长波、长波和甚长波可以在这天然波导内沿着地面传播并绕过地面的障碍物。
长波可以应用于海事通信，中波调幅广播也利用了地波传输。
天波传输：短波、超短波可以通过电离层形成的反射信道和对流层形成的散射信道进行传播。
短波电台就利用了天波传输方式。
天波传输的距离最大可以达到400千米左右。
电离层和对流层的反射与散射，形成了从发射机到接收机的多条随时间变化的传播路径，电波信号经过这些路径在接收端形成相长或相消的叠加，使得接收信号的幅度和相位呈随机变化，这就是多径信道的衰落，这种信道被称作衰落信道。
信道、信道容量、数据传输速率
简介：信道、信道容量、数据传输速率（比特率）、电脑装置带宽列表一、信道的概念信道，是信号在通信系统中传输的通道，是信号从发射端传输到接收端所经过的传输媒质，这是狭义信道的定义。
广义信道的定义除了包括传输媒质，还包括信号传输的相关设备。
信道容量是在通信信道上可靠地传输信息时能够达到的最大速率。
根据有噪信道编码定理，给定信道的信道容量是其以任意小的差错概率传输信息的极限速率。
信道容量的单位为比特每秒、奈特每秒等等。
香农在第二次世界大战期间发展出信息论，并给出了信道容量的定义和计算信道容量的数学模型。
他指出，信道容量是信道的输入与输出的互信息量的最大值，这一最大取值由输入信号的概率分布决定。
二、信道的分类（一）狭义信道的分类狭义信道，按照传输媒质来划分，可以分为有线信道、无线信道和存储信道三类。
1. 有线信道有线信道以导线为传输媒质，信号沿导线进行传输，信号的能量集中在导线附近，因此传输效率高，但是部署不够灵活。
这一类信道使用的传输媒质包括用电线传输电信号的架空明线、电话线、双绞线、对称电缆和同轴电缆等等，还有传输经过调制的光脉冲信号的光导纤维。
2. 无线信道无线信道主要有以辐射无线电波为传输方式的无线电信道和在水下传播声波的水声信道等。
无线电信号由发射机的天线辐射到整个自由空间上进行传播。
不同频段的无线电波有不同的传播方式，主要有：地波传输：地球和电离层构成波导，中长波、长波和甚长波可以在这天然波导内沿着地面传播并绕过地面的障碍物。
长波可以应用于海事通信，中波调幅广播也利用了地波传输。
天波传输：短波、超短波可以通过电离层形成的反射信道和对流层形成的散射信道进行传播。
短波电台就利用了天波传输方式。
天波传输的距离最大可以达到400千米左右。
电离层和对流层的反射与散射，形成了从发射机到接收机的多条随时间变化的传播路径，电波信号经过这些路径在接收端形成相长或相消的叠加，使得接收信号的幅度和相位呈随机变化，这就是多径信道的衰落，这种信道被称作衰落信道。
第三章 信道和信道容量
I（X；Y）：接收到Y前、后关于的平均不确定性 的消除 ；或发送X前、后关于Y的平
均不确定性的消除。
可见：熵只是平均不确定性的描述，而不确定性 的消除（两熵之差）才等于接收端所获得的信息 量。获得的信息量不能和不确定性混为一谈。
第三章 信道和信道容量
关于信道容量： 研究：信道中平均每个符号所能传送的信息量，
有损失，是无噪有损信 道，也称确定信道，即： 损失熵：H(X/Y) ≠ 0； 噪声熵：H(Y/X) ＝ 0， I(X;Y)＝H(Y)＝H(X)－H(X/Y) ＜H(X)
第三章 信道和信道容量
信道容量仍是最大熵问题（最大H(Y)）：
C＝max H(Y)＝log s bit/符号
P(X)
（设Y有s个符号）
不相交的子集mk，由mk组成的矩阵[P]k是对称矩阵 （具有可排列的性质），则称此信道为准对称信道， 其信道容量：
r为输入符号集个数 即信道矩阵行数 准对称信道中的 行元素 第k个子矩阵 中行元素之和
第k个子矩阵 中列元素之和
第三章 信道和信道容量
例3－1：二元对称删除 信道如图，计算信道容量。
例3－2：准对称信道的信道矩阵为： P(y/x)＝ 0.5 0.3 0.2 0.3 0.5 0.2 当输入概率分布为p(x1)＝ɑ，p(x2)＝1－ɑ
且：p＝0时，信道无干扰； P＝1/2时，信道干扰最为严重。
第三章 信道和信道容量
二、二元删除信道
难以区分原发送信号时，不硬性
判断0或1，而作删除处理。 删除信道中，p＝q时，则为 对称删除信道。 三、Z信道 信道特性：0错成1的概率为0， 1错成0有一定可能。
1
0 1 0
p
1－p
1
第三章 信道和信道容量
通信课件信道及信道容量
基本内容
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Where C=constant
P y x ？pn
我们可以从数学中证明这个关系：
§4. 1 信道的数学描述与分类
dn P( y x ) p N (n ) pN ( y x ) pN ( y x ) p(n ) dy H (Y X ) H ( N ) H (Y X ) 即噪声熵。
前面论述了P(y/x)仅能描述信道的数学属性,而不是物理属性。 下面寻求一个既能与P(y/x)有关,又要能直观反映信道传输信息的 物理特征的物理量。首先，如果说给定一个信道则就意味着给定了 P(y/x)以及X、Y取值的集合A和B。或者说以P(y/x)和A,B可以唯一 地确定某一信道的客观属性。因此要想构造一个有关信道的物理量，
(Channel and Cannel Capacity)
§4.6 比特能量与比特信噪比
§4.7 功率利用率与频谱利用率的关系
§4.8 有色高斯信道的信道容量 §4.9 信源与信道的匹配设计
第四章：信道和信道容量
§4. 1 信道的数学描述与分类
( The mathematical description and classes of channel)
1.P( y x) P( x y ) 1 P y x 1 2. P( y x) 1 but P ( x y ) 1 无干扰信道 3.P ( x y ) 1 but P ( yi1 yi 2 yin xi ) 1 P y x P( y x) P( y1 x1 ) P( y2 x2 ) P( yL xL ) 0 P y x 1 有记忆信道 无记忆信道 有干扰信道 P( y x) P( y1 x1 ) P( y2 x1 x2 ) P ( yL x1 x2 xL )
§4. 1 信道的数学描述与分类
就要与这三个数学特征发生关系。其次就得与信道的物理功能 特征发生关系。
ቤተ መጻሕፍቲ ባይዱ
I ( X ;Y ) F p( x), P( y x), A, B
上式表明：互信息与信道的输入、输出量有关。如果我们加 上一些数学限制条件，使它变成仅与 P( y x), A, B 有关时，它就 能变成适合于我们的物理量。下面就是这种数学处理：
§4. 1 信道的数学描述与分类
Definition : C max I ( X ;Y ) P ( y ) x p( x)
def def
严格的定义： C sup I ( X ;Y ) P ( y ) x
p( x)
这里， sup 表示求上确界的数学处理。 ( supremum )
where, 0 1 唯一性证明:要证明两种唯一性问题， 1. 互信息的极值是唯一的。 2. 达到极值C的输入分布P(x)也一定是唯一的。 这实际上就是上凸函数的充分必要条件的证明。
§4. 1 信道的数学描述与分类
三、信道的分类 ( The classes of channel )
我们给出一种基于信道数学描述的分类方法。因为条件概率 P(Y/X)是任何信道的数学模型，给定P(Y/X)也唯一确定了信道， 所以我们说信道的分类应该依据P(Y/X)的性质来分。
I ( X ;Y ) H ( X ) H ( X Y ) H (Y ) H (Y X ) F p( x ), P( y x ), A, B x A, yB 如果给定集合A和 B，则I ( X ;Y )就是关于p ( x )和P ( y x )的函数。 显然P(x)反映的是信源属性，而P(y/x)才是信道的根本属性。 因此，互信息是与信源、信道有关的量，如果对互信息作一些数 学处理，设法使它能直观地反映信道的某种物理特性，那么它是 否将比P(y/x)更具有实用价值？ where,
§4. 1 信道的数学描述与分类
虽然P(y/x)表达的是信道的数学模型，但是不能直观地表达 出信道的物理功能能力的大小，这对于评估、优化、分析等应 用都不方便。比如说信息熵H(X)就是表征信源能力大小的量。 但是我们不能以条件熵H(Y/X)表征信道本身功能的物理量，因 为H(Y/X)仅是噪声这种物理概念，并不能直观地代表信道传送 信息功能的大小；而H(X/Y)是损失熵，它反映信息遭受损失的 情况，也是间接反映信道的功能属性。所以我们只得引入一个 信道的物理量——信道容量。 二、信道容量的定义（Definition of Channel Capacity）
«信 息 论 基 础 »
第四章：信道和信道容量
(Channel and Cannel Capacity)
§4.1 信道的数学描述与分类 §4.2 单符号信道的信道容量 §4.3 多符号信道的信道容量 §4.4 连续信道的信道容量
§4.5 Shannon公式的应用
«信 息 论 基 础 »
第四章：信道和信道容量
P( y x ) p( x ) p( x )
但是要考虑Y=X+N的客观因素，则条件概率P(Y/X)的物理 意义就很明确了。因为Y的不定度是由X和N所决定，当其中 一个确知以后，Y的不定度是否完全有另一变量所决定？即：
y x n then y f ( x, n) P( y x) pY ( y C n) f (n) f ( y x) N (n)
P( y P( y x) P( y1 x1 ) P( y2 x2 ) P( yL xL ) x) P( y1 x1 ) P( y2 x1 x2 ) P( yL x1 x2 xL )
对于后者，通常采用MC特性的方法来处理解决，到目前为止还 没有更好的解决办法。此类信道我们不作介绍。而对无记忆信道一 般又分成两类：一种称单符号信道，另一种称多符号信道。所谓单 符号信道就是指同时只能发送一个信源符号的信道；而多符号信道 是指在单位时间内可同时发送多个符号的信道。 解决问题应从简单问题入手，因此我们重点讨论单符号信道问 题，最后过渡到多符号信道问题。
2 H (Y X ) H ( N ) log 2 e n
§4. 1 信道的数学描述与分类
因此，从信道模型来看，条件概率P(y/x)，充分表达出信道的 固有干扰属性，则应该成为其恰如其分的数学描述。或者说信道 本身所存在的干扰噪声是产生不定度的唯一来源，它对信息传输 过程中必然引起信息的损失，这是信道本身的客观属性，而与信 源和信宿无关。再有不同的信道应存在不同的损失，如果想利用 数学关系式描述这种损失，那么P(y/x)一定是最合适的。 所以这就是用P(y/x)来作为信道的数学模型的原因。而且，
§4. 1 信道的数学描述与分类
义是当输出端确知所收到的信号Y以后，仍然不明晰输入端 X的情况，即存在有疑义。虽然这也是信道干扰所致，但是 由于是随X的出现而发生，因而称为损失熵。 从数学角度看其差别并不大，因为H(X/Y)和H(Y/X)是 互通的。 p( xy ) P( x y ) p( y )
Channel 一般来讲，信道都是加性信道，即 Y X N ，这是因为对于乘性噪声 N 的数学描述尤为困难，所以通常仅以加性取代。
X
Y
§4. 1 信道的数学描述与分类
条件熵H(Y/X)被称为噪声熵(Noise entropy),是由于当已知 信源X的条件下，信道的输出还存在不定度时，则此刻它必定 是由于信道本身的干扰噪声所致。 而另一条件熵H(X/Y)则称为损失熵(Loss entropy)，也有的 书称为信道疑义度(Channel equivocation) 。它所表达的物理意 义：当信道输出端Y收到全部的输出符号之后，对输入端X尚 存的平均不确定度。这种对X还剩下的不定度也是由于传送过 程中，信道干扰机制所致。 先分析这两个条件熵的概念差别：噪声熵H(Y/X)所表达的 是当输出端Y在X所有情况都确知后，变量Y的不定度。由于信 道输入除了X就是噪声N，所以此刻Y的不定度就一定是N的熵。 这也说明信道的输出Y还有不定度时，已与信源的变量X毫无关 系，完全是信道内部的干扰产生；而损失熵H(X/Y)所表达的含
且， H (Y ) H (Y X ) H ( N )
例4-1. 设信道噪声为高斯噪声，且概率密度为：
p(n) 1 2 n
y
2
exp(
1
2 2 n
n2 )
y xn
则： P ( y x ) p ( y x )
1 2 exp 2 (u x ) du 2 2 n 2 n 1 即高斯噪声熵。
§4. 1 信道的数学描述与分类
⑴. 无噪无损信道
即：p(y/x)=P(x/y)=1I(X;Y)=H(X)=H(Y)的X与Y一一对应情况。 书中称为无损确定信道(P93)。则： C maxI ( X ; Y ) maxH ( X ) log r
p( x) p( x)
⑵. 确定信道之一
xr 1 xr
ys
max
p( x)
maxH ( X ) log r
p( x)
§4. 1 信道的数学描述与分类
上述无噪信道的信道容量问题都可以看成为最大熵问题，比较 容易解决。但是实际的信道大多是有干扰信道，即：0 P( y x) 1 有关此类信道大体分为两类：有干扰无记忆信道和有干扰有记忆 信道，从它们的数学性质上很容易划分。
求上确界是为了适应极值只能接近某一极限的情况，因此信 道容量也可能是一个理论值而已。对于信道容量的定义式，我 们可以用集装箱的例子形象化地比喻出来。
§4. 1 信道的数学描述与分类
信道好比集装箱，而信源就像不同的货物，集装箱的容积不 可改变，但是里面的货物的组成是可以改变。调整信源就像改变 货物的组成，是可以用于测试集装箱的最大容积。 信道容量的定义是有了，但是我们还要证明这种定义是否存 在和唯一，即用于定义信道容量的互信息的条件极值是否一定存 在和这个极值的唯一性。 书中定理4.2.1(P73)证明了互信息I(X;Y)是信源概率分布P(x) 的上凸函数 。 I p1 ( x) (1 ) p2 ( x) I p1 ( x) (1 ) I p2 ( x)
P y x ？pn
我们可以从数学中证明这个关系：
§4. 1 信道的数学描述与分类
dn P( y x ) p N (n ) pN ( y x ) pN ( y x ) p(n ) dy H (Y X ) H ( N ) H (Y X ) 即噪声熵。
前面论述了P(y/x)仅能描述信道的数学属性,而不是物理属性。 下面寻求一个既能与P(y/x)有关,又要能直观反映信道传输信息的 物理特征的物理量。首先，如果说给定一个信道则就意味着给定了 P(y/x)以及X、Y取值的集合A和B。或者说以P(y/x)和A,B可以唯一 地确定某一信道的客观属性。因此要想构造一个有关信道的物理量，
(Channel and Cannel Capacity)
§4.6 比特能量与比特信噪比
§4.7 功率利用率与频谱利用率的关系
§4.8 有色高斯信道的信道容量 §4.9 信源与信道的匹配设计
第四章：信道和信道容量
§4. 1 信道的数学描述与分类
( The mathematical description and classes of channel)
1.P( y x) P( x y ) 1 P y x 1 2. P( y x) 1 but P ( x y ) 1 无干扰信道 3.P ( x y ) 1 but P ( yi1 yi 2 yin xi ) 1 P y x P( y x) P( y1 x1 ) P( y2 x2 ) P( yL xL ) 0 P y x 1 有记忆信道 无记忆信道 有干扰信道 P( y x) P( y1 x1 ) P( y2 x1 x2 ) P ( yL x1 x2 xL )
§4. 1 信道的数学描述与分类
就要与这三个数学特征发生关系。其次就得与信道的物理功能 特征发生关系。
ቤተ መጻሕፍቲ ባይዱ
I ( X ;Y ) F p( x), P( y x), A, B
上式表明：互信息与信道的输入、输出量有关。如果我们加 上一些数学限制条件，使它变成仅与 P( y x), A, B 有关时，它就 能变成适合于我们的物理量。下面就是这种数学处理：
§4. 1 信道的数学描述与分类
Definition : C max I ( X ;Y ) P ( y ) x p( x)
def def
严格的定义： C sup I ( X ;Y ) P ( y ) x
p( x)
这里， sup 表示求上确界的数学处理。 ( supremum )
where, 0 1 唯一性证明:要证明两种唯一性问题， 1. 互信息的极值是唯一的。 2. 达到极值C的输入分布P(x)也一定是唯一的。 这实际上就是上凸函数的充分必要条件的证明。
§4. 1 信道的数学描述与分类
三、信道的分类 ( The classes of channel )
我们给出一种基于信道数学描述的分类方法。因为条件概率 P(Y/X)是任何信道的数学模型，给定P(Y/X)也唯一确定了信道， 所以我们说信道的分类应该依据P(Y/X)的性质来分。
I ( X ;Y ) H ( X ) H ( X Y ) H (Y ) H (Y X ) F p( x ), P( y x ), A, B x A, yB 如果给定集合A和 B，则I ( X ;Y )就是关于p ( x )和P ( y x )的函数。 显然P(x)反映的是信源属性，而P(y/x)才是信道的根本属性。 因此，互信息是与信源、信道有关的量，如果对互信息作一些数 学处理，设法使它能直观地反映信道的某种物理特性，那么它是 否将比P(y/x)更具有实用价值？ where,
§4. 1 信道的数学描述与分类
虽然P(y/x)表达的是信道的数学模型，但是不能直观地表达 出信道的物理功能能力的大小，这对于评估、优化、分析等应 用都不方便。比如说信息熵H(X)就是表征信源能力大小的量。 但是我们不能以条件熵H(Y/X)表征信道本身功能的物理量，因 为H(Y/X)仅是噪声这种物理概念，并不能直观地代表信道传送 信息功能的大小；而H(X/Y)是损失熵，它反映信息遭受损失的 情况，也是间接反映信道的功能属性。所以我们只得引入一个 信道的物理量——信道容量。 二、信道容量的定义（Definition of Channel Capacity）
«信 息 论 基 础 »
第四章：信道和信道容量
(Channel and Cannel Capacity)
§4.1 信道的数学描述与分类 §4.2 单符号信道的信道容量 §4.3 多符号信道的信道容量 §4.4 连续信道的信道容量
§4.5 Shannon公式的应用
«信 息 论 基 础 »
第四章：信道和信道容量
P( y x ) p( x ) p( x )
但是要考虑Y=X+N的客观因素，则条件概率P(Y/X)的物理 意义就很明确了。因为Y的不定度是由X和N所决定，当其中 一个确知以后，Y的不定度是否完全有另一变量所决定？即：
y x n then y f ( x, n) P( y x) pY ( y C n) f (n) f ( y x) N (n)
P( y P( y x) P( y1 x1 ) P( y2 x2 ) P( yL xL ) x) P( y1 x1 ) P( y2 x1 x2 ) P( yL x1 x2 xL )
对于后者，通常采用MC特性的方法来处理解决，到目前为止还 没有更好的解决办法。此类信道我们不作介绍。而对无记忆信道一 般又分成两类：一种称单符号信道，另一种称多符号信道。所谓单 符号信道就是指同时只能发送一个信源符号的信道；而多符号信道 是指在单位时间内可同时发送多个符号的信道。 解决问题应从简单问题入手，因此我们重点讨论单符号信道问 题，最后过渡到多符号信道问题。
2 H (Y X ) H ( N ) log 2 e n
§4. 1 信道的数学描述与分类
因此，从信道模型来看，条件概率P(y/x)，充分表达出信道的 固有干扰属性，则应该成为其恰如其分的数学描述。或者说信道 本身所存在的干扰噪声是产生不定度的唯一来源，它对信息传输 过程中必然引起信息的损失，这是信道本身的客观属性，而与信 源和信宿无关。再有不同的信道应存在不同的损失，如果想利用 数学关系式描述这种损失，那么P(y/x)一定是最合适的。 所以这就是用P(y/x)来作为信道的数学模型的原因。而且，
§4. 1 信道的数学描述与分类
义是当输出端确知所收到的信号Y以后，仍然不明晰输入端 X的情况，即存在有疑义。虽然这也是信道干扰所致，但是 由于是随X的出现而发生，因而称为损失熵。 从数学角度看其差别并不大，因为H(X/Y)和H(Y/X)是 互通的。 p( xy ) P( x y ) p( y )
Channel 一般来讲，信道都是加性信道，即 Y X N ，这是因为对于乘性噪声 N 的数学描述尤为困难，所以通常仅以加性取代。
X
Y
§4. 1 信道的数学描述与分类
条件熵H(Y/X)被称为噪声熵(Noise entropy),是由于当已知 信源X的条件下，信道的输出还存在不定度时，则此刻它必定 是由于信道本身的干扰噪声所致。 而另一条件熵H(X/Y)则称为损失熵(Loss entropy)，也有的 书称为信道疑义度(Channel equivocation) 。它所表达的物理意 义：当信道输出端Y收到全部的输出符号之后，对输入端X尚 存的平均不确定度。这种对X还剩下的不定度也是由于传送过 程中，信道干扰机制所致。 先分析这两个条件熵的概念差别：噪声熵H(Y/X)所表达的 是当输出端Y在X所有情况都确知后，变量Y的不定度。由于信 道输入除了X就是噪声N，所以此刻Y的不定度就一定是N的熵。 这也说明信道的输出Y还有不定度时，已与信源的变量X毫无关 系，完全是信道内部的干扰产生；而损失熵H(X/Y)所表达的含
且， H (Y ) H (Y X ) H ( N )
例4-1. 设信道噪声为高斯噪声，且概率密度为：
p(n) 1 2 n
y
2
exp(
1
2 2 n
n2 )
y xn
则： P ( y x ) p ( y x )
1 2 exp 2 (u x ) du 2 2 n 2 n 1 即高斯噪声熵。
§4. 1 信道的数学描述与分类
⑴. 无噪无损信道
即：p(y/x)=P(x/y)=1I(X;Y)=H(X)=H(Y)的X与Y一一对应情况。 书中称为无损确定信道(P93)。则： C maxI ( X ; Y ) maxH ( X ) log r
p( x) p( x)
⑵. 确定信道之一
xr 1 xr
ys
max
p( x)
maxH ( X ) log r
p( x)
§4. 1 信道的数学描述与分类
上述无噪信道的信道容量问题都可以看成为最大熵问题，比较 容易解决。但是实际的信道大多是有干扰信道，即：0 P( y x) 1 有关此类信道大体分为两类：有干扰无记忆信道和有干扰有记忆 信道，从它们的数学性质上很容易划分。
求上确界是为了适应极值只能接近某一极限的情况，因此信 道容量也可能是一个理论值而已。对于信道容量的定义式，我 们可以用集装箱的例子形象化地比喻出来。
§4. 1 信道的数学描述与分类
信道好比集装箱，而信源就像不同的货物，集装箱的容积不 可改变，但是里面的货物的组成是可以改变。调整信源就像改变 货物的组成，是可以用于测试集装箱的最大容积。 信道容量的定义是有了，但是我们还要证明这种定义是否存 在和唯一，即用于定义信道容量的互信息的条件极值是否一定存 在和这个极值的唯一性。 书中定理4.2.1(P73)证明了互信息I(X;Y)是信源概率分布P(x) 的上凸函数 。 I p1 ( x) (1 ) p2 ( x) I p1 ( x) (1 ) I p2 ( x)