信道与信道容量(1)
合集下载
第三章 信道与信道容量 习题解答
，
，求
，
，
和
；
（2） 求该信道的信道容量及其达到信道容量时的输入概率分布。
解：
（1）先写出
：
根据公式
计算联合概率：
信宿端符号分布概率：
根据公式
计算：
3
求各熵： 信源熵：
比特/消息
信宿熵：
比特/消息
可疑度：
平均互信息量： 噪声熵： （2）二元对称离散信道的信道容量：
比特/消息 比特/消息
比特/秒
信源等概分布时（
解：设下标 1为原状况，下标 2为改变后状况。由
可得：
，
倍
如果功率节省一半则
倍 ，为 了 使 功 率 节 省 一 半 又 不 损 失 信 息 量 I，根 据
，可以： （1） 加大信道带宽 W，用带宽换取信噪比
，
，
7
缺点是对设备要求高。 （2） 加大传输时间 T，用传输时间换取信噪比，同理可得：
缺点是传输速度降低了。
噪声熵：
（5）平均互信息量：
2．有一个生产 A、B、C、D四种消息的信源其出现的概率相等，通过某一通信系统传输时，B和 C无误，A 以 1/4概率传为 A，以 1/4概率误传为 B、C、D，而 D以 1/2概率正确传输，以 1/2概率误传为 C，
（1）试求其可疑度？（2）收到的信号中哪一个最可靠？（3）散布度为多少？ 解：（1）
，
将各数据代入： 解得：
如果
则
将各数据代入： 解得：
14.在理想系统中，若信道带宽与消息带宽的比为 10，当接收机输入端功率信噪比分别为 0.1和 10时，试
比较输出端功率信噪比的改善程度，并说明
与
之间是否存在阀值效应。
第三章 信道与信道容量 习题解答
6
由于二元信源，等概率分布，信道对称，满足山农的理想观察者原理的三个假设条件，因此计算疑义度： 比特/消息
接收熵速率：
比特/秒
而系统要求的传信率为：
比特/秒，大于 1289比特/秒，故 10秒内无法无失真传递完。
11.已知一个平均功率受限的连续信号，通过带宽
的高斯白噪声信道，试求
（1） 若信噪比为 10，信道容量为多少？
（2） 若要保持信道容量不变，信噪比降为 5，信道带宽应为多少？
（3） 若要保持信道容量不变，信道带宽降为 0.5MHz，信号的功率信噪比应为多少？
（4） 其中有什么规律可总结？
解：根据香农公式：
（1） 信噪比为 10倍，信道容量： （2） 信噪比为 5倍，信道带宽：
比特/秒
（3） 信道带宽为 0.5MHz，信号的功率信噪比：
（2）信源熵速率： 接收熵速率： （3）一消息共有 4000个二元符号，该消息的信息量： 无失真地传递完该消息所需的时间：
10.有一个二元对称信道，其信道矩阵为
，设该信源以 1500符号/秒的速度传输输入符号。现
有一消息序列共有 14000个二元符号，并设其符号等概分布，问从信息传输的角度来考虑，10秒钟内能否 将这消息序列无失真地传递完？ 解：根据信道转移矩阵画出下图：
当
时，根据
，
得：
作业：1、3(2)、6、7(1)、8、9或 10、11、13、15、16(1)
mW/Hz、限频 、限输入
9
解：设将电阻按阻值分类看成概率空间 X：
，
按功耗分类看成概率空间 Y：
已知：
，
通过计算
， ，
，
得
通过测量阻值获得的关于瓦数的平均信息量：
北工大信息论第四章 信道及信道容量
数学模型：{X , p( yn | xn ),Y}
如果有 p(yn j | xn i) p(ym j | xm i) ，则信道为平稳
的离散无记忆信道DMC。
二.单符号离散无记忆信道
1.定义:
输入符号X，x取值于A {a1, a2 ,, ar } 输出符号Y，y取值于B {b1, b2 ,, bs} {X , p(bj | ai ),Y}
输出扩展为：00，01，10，11
传递矩阵扩展为： p2 pp pp p2
P2
pp
p2
p2
pp
pp p2 p2 pp
p
2
pp
pp
p
2
请问： I (X N ;Y N ) 与I（X；Y）之间 的关系？
用两个定理回答这个问题
定理1:若信道的输入、输出分别为N长序列X和Y，且信
道是无记忆的，即： N
N
p( h | k ) p(bhi | aki ) i 1
I(X N ;Y N )
XN
YN
p(k h ) log
p(hk ) p(h ) p(k )
例4-4: 求二元无记忆对称信道的二次扩展信
道。
a1 0
1 p p
0 b1
X
p
Y
a2 1
1 p
1 b2
解：
输入扩展为：00，01，10，11
当ω=1/2 时，I (X ห้องสมุดไป่ตู้Y ) 1 H ( p)
1
即取极大值.
H ()
0 0.5 1
当信源固定, 即 ω是一个常数时,可 得到I(X;Y)是信道传递概率p的下凸 函数。
当p=0.5时, I(X;Y)=0, 在接收端未 获得信息量。
信息论基础第3章离散信道及其信道容量
也就是说，通过信息处理后，一般只会增加信息的 损失，最多保持原来获得的信息，不可能比原来获得的 信息有所增加。一旦失掉了信息，用任何处理手段也不 可能再恢复丢失的信息，因此也称为信息不增性原理。
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
信道与信道容量
1.6.2 信道容量
根据香农信息论，对于连续信道，如果信道带宽为B， 并且受到加性高斯白噪声的干扰，则信道容量的理论公式为
C=B㏒2（1+S/N）（b/s） 式中。 N为白噪声的平均功率； S是信号的平均功率； S/N 为信噪比。信道容量C是指信道可能传输的最大信息速率 （即信道能达到的最大传输能力）。虽然上式是在一定条件 下获得的（要求输入信号也为高斯信号才能实现上述可能 性），但对其他情况也可作为近似式使用。
例1 已知彩色电视图象由5ⅹ105个像素组成。设每个像素有 64种彩色度，每种彩色度有16个亮度等级。设所有彩色度和 亮度等级的组合机会均等，并统计独立。（1）试计算每秒 传送100个画面所需信道容量；（2）如果接受机信噪比为 30dB，为了传送彩色图象所需信道带宽为多少？
例2 设有一个图像要在电话线路中实现传真传输。大约要传输2.25ⅹ106个 像素，每个像素有12个亮度等级。假设所有亮度等级都是等概率的，电 话电路具有3kHz带宽和30dB信噪比。试求在该标准电话线路上传输一 张传真图片需要的最小时间。
在数字通信系统中，如果仅研究编码和解码问题， 可得到另一种广义信道---编码信道。编码信道的范围是 从编码器输出端至解码器输入端。这是因为从编码和解 码角度来看，编码器是把信源产生的消息信号转化为数 字信号。反之，解码器是将数字信号恢复原来的消息信 号；而编码器输出端至解码器输入端之间的一切环节只 是起了传输数字信号的作用，所以可以把它看成一个整 体---编码信道。当然，根据研究问题的不同，还可以定 义其他广义信道。
解： Rb = RBN㏒2N
RBN= Rb／×106 / 29.9 ×103=0.269 ×103s=4.5min
例3 已知八进制数字信号的传输速率为1600波 特。试问变换成二进制数字信号时的传输速率为多 少？ 解： Rb = RBN㏒2N = 1600× ㏒28 = 4800 b/s
4-第四讲-信道容量及其计算
（3）、一般DMC容量的计算
一般信道容量的计算方法 （拉格朗日乘子法）
定理1：如果信道的输入随机序列为 通过信道传输，接收到的随机序列为 若信道是无记忆的，即满足 则
（4）、扩展信道的信道容量
证明：设信道输入输出序列X和Y的一个取值为
I（X；Y）是输入随机变量的概率分布的上凸函数，所以对于固定的信道，总存在一种信源分布，使传输每个符号平均获得的信息量最大，也就是说，每一个固定信道都有一个最大的信息传输率。 信道容量定义为信道中每个符号所能传递的最大信息量，也就是最大 I (X；Y)值。
此时输入的概率分布称为最佳输入分布。
例：
( P 95－例3. 5 )
输出符号集个数
（2）、准对称信道的容量
准对称信道：信道矩阵（列）的子阵是对称矩阵。
定理：达到准对称离散信道信道容量的输入分布为 等概分布。
r是输入个数，n是不相交子集数，Nk是行之和，Mk是列之和
解：达到信道容量的输入分布为等概分布。
此时输出分布为：
4－2 信道容量的计算
（1）、对称信道的容量
对称信道：信道矩阵的每一行都是由同一概率分布的 不同排列组成，并且每一列也是同一元素 集的不同的排列组成。
1/3
1/3
1/6
1/6
1/3
1/3
1/6
1/6
行
列
1/2
1/3
1/6
1/6
1/3
1/2
1/3
1/6
1/2
0
1
q
1-p
1-q
p
1
2
0
删除信道的必要性
2、 信道容量定义
信息传输率：信道中平均每个符号所能传送的信息量。 R = I(X;Y) = H(X)-H(X|Y) （bit/符号）
一般信道容量的计算方法 （拉格朗日乘子法）
定理1：如果信道的输入随机序列为 通过信道传输，接收到的随机序列为 若信道是无记忆的，即满足 则
（4）、扩展信道的信道容量
证明：设信道输入输出序列X和Y的一个取值为
I（X；Y）是输入随机变量的概率分布的上凸函数，所以对于固定的信道，总存在一种信源分布，使传输每个符号平均获得的信息量最大，也就是说，每一个固定信道都有一个最大的信息传输率。 信道容量定义为信道中每个符号所能传递的最大信息量，也就是最大 I (X；Y)值。
此时输入的概率分布称为最佳输入分布。
例：
( P 95－例3. 5 )
输出符号集个数
（2）、准对称信道的容量
准对称信道：信道矩阵（列）的子阵是对称矩阵。
定理：达到准对称离散信道信道容量的输入分布为 等概分布。
r是输入个数，n是不相交子集数，Nk是行之和，Mk是列之和
解：达到信道容量的输入分布为等概分布。
此时输出分布为：
4－2 信道容量的计算
（1）、对称信道的容量
对称信道：信道矩阵的每一行都是由同一概率分布的 不同排列组成，并且每一列也是同一元素 集的不同的排列组成。
1/3
1/3
1/6
1/6
1/3
1/3
1/6
1/6
行
列
1/2
1/3
1/6
1/6
1/3
1/2
1/3
1/6
1/2
0
1
q
1-p
1-q
p
1
2
0
删除信道的必要性
2、 信道容量定义
信息传输率：信道中平均每个符号所能传送的信息量。 R = I(X;Y) = H(X)-H(X|Y) （bit/符号）
信道、信道容量、数据传输速率
简介：信道、信道容量、数据传输速率（比特率）、电脑装置带宽列表一、信道的概念信道，是信号在通信系统中传输的通道，是信号从发射端传输到接收端所经过的传输媒质，这是狭义信道的定义。
广义信道的定义除了包括传输媒质，还包括信号传输的相关设备。
信道容量是在通信信道上可靠地传输信息时能够达到的最大速率。
根据有噪信道编码定理，给定信道的信道容量是其以任意小的差错概率传输信息的极限速率。
信道容量的单位为比特每秒、奈特每秒等等。
香农在第二次世界大战期间发展出信息论，并给出了信道容量的定义和计算信道容量的数学模型。
他指出，信道容量是信道的输入与输出的互信息量的最大值，这一最大取值由输入信号的概率分布决定。
二、信道的分类（一）狭义信道的分类狭义信道，按照传输媒质来划分，可以分为有线信道、无线信道和存储信道三类。
1. 有线信道有线信道以导线为传输媒质，信号沿导线进行传输，信号的能量集中在导线附近，因此传输效率高，但是部署不够灵活。
这一类信道使用的传输媒质包括用电线传输电信号的架空明线、电话线、双绞线、对称电缆和同轴电缆等等，还有传输经过调制的光脉冲信号的光导纤维。
2. 无线信道无线信道主要有以辐射无线电波为传输方式的无线电信道和在水下传播声波的水声信道等。
无线电信号由发射机的天线辐射到整个自由空间上进行传播。
不同频段的无线电波有不同的传播方式，主要有：地波传输：地球和电离层构成波导，中长波、长波和甚长波可以在这天然波导内沿着地面传播并绕过地面的障碍物。
长波可以应用于海事通信，中波调幅广播也利用了地波传输。
天波传输：短波、超短波可以通过电离层形成的反射信道和对流层形成的散射信道进行传播。
短波电台就利用了天波传输方式。
天波传输的距离最大可以达到400千米左右。
电离层和对流层的反射与散射，形成了从发射机到接收机的多条随时间变化的传播路径，电波信号经过这些路径在接收端形成相长或相消的叠加，使得接收信号的幅度和相位呈随机变化，这就是多径信道的衰落，这种信道被称作衰落信道。
通信课件信道及信道容量
基本内容
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
17
H(Y) ( p p)log 1 ( p p)log 1
p p
p p
H( p p)
H (Y | X ) p(ai ) p(bj | ai ) log p(bj | ai )
i
j
p(bj | ai ) log p(bj | ai )
j
[ p log p p log p] H ( p)
信道输入是n元符号X∈{a1, a2, …, an} 信道输出是m元符号Y∈{b1, b2, …, bm} 转移矩阵
已知X,输出Y统计特性
b1 b2 bm
p11 p12 p1m a1
P
p21
p22
p2m
a2
pn1
pn2
pnm
an
p11
a1
p12
p21
a2
p22
:
:
:
an
有干扰无记忆信道 信道的输出信号Y与输入信号X之间没有确定的关系,但转移概率满足:
p(Y | X ) p( y1 | x1) p( y2 | x2) p( yL | xL )
• 有干扰无记忆信道可分为: – 二进制离散信道 – 离散无记忆信道 – 离散输入、连续输出信道 – 波形信道
5
离散无记忆信道DMC
n
p( y j ) p(xi ) p( y j | xi ) i1
• 信道的信息传输率就是平均互信息
8
信道容量
信道容量C： 最大的信息传输率
C max I (X ;Y ) p(ai )
• 单位时间的信道容量：
1
Ct
T
max
p(ai )
I ( X ;Y )
9
信道容量的计算
对于一般信道,信道容量计算相当复杂,我们只讨论 某些特殊类型的信道：
I (X ;Y ) H (Y ) H (Y | X ) H ( p p) H ( p)
1 H( p)
18
BSC信道容量
• BSC信道容量
C 1 H( p)
当p固定时,I (X;Y) 是ω的 型上凸函数。
• I (X;Y) 对ω存在一
I(X;Y)
个极大值。
1-H(p)
ω
19
BSC信道容量
pnm
m
p(bj | ai ) 1
j 1
i 1,2,n
b1 b2
: : :
bm
6
3.2 离散单个符号信道 及其容量
7
信道容量
平均互信息I (X;Y)： 接收到符号Y后平均每个符号获得的关于X的信息量。
I(X;Y)
i
j
p(xi ) p( y j | xi ) log
p(y j | xi ) p(y j )
对称离散信道的平均互信息为
I(X;Y) H(X ) H(X |Y) H(Y) H(Y | X )
H (Y | X ) p(ai ) p(bj | ai ) log p(bj | ai )
i
j
p(bj | ai ) log p(bj | ai )
j
H (Y | ai ) i 1,2,n
第三章
信道与信道容量
内容
3.1 信道分类和表示参数 3.2 离散单个符号信道及其容量 3.3 离散序列信道及其容量 3.4 连续信道及其容量
2
信道
设信道的输入X=(X1, X2 … Xi,… ), Xi ∈{a1 … an} 输出Y= (Y1, Y2 … Yj,…), Yj ∈{b1 … bm}
1 1 1 1
P
3
3
6
6
1 1 1 1
6 6 3 3
1 1 1
2
3
6
P
1 6
1 2
1 3
1
1
1
3 6 2
满足对称性, 所对应的信 道是对称离 散信道。
12
对称DMC信道
信道矩阵
1 1 1 1 P 3 3 6 6
1 1 1 1 6 3 6 3
0.7 0.1 0.2 P 0.2 0.1 0.7
• 强对称信道的信道容量：
C
log
2
n
H
(1
p,
n
p 1
,,
n
p) 1
16
BSC信道容量
设二进制对称信道的输入概率空间 信道矩阵：
X
P
0
1
P
1 p
p
p 1
p
p p
p p
1
p(b 0) p(ai ) p(b0 | ai ) p p i0
1
p(b 1) p(ai )p(b1 | ai ) p p i0
信道转移概率矩阵p(Y|X)：
描述输入/输出的统计依赖关系,反映信道统计关系p(Y|X) NhomakorabeaX
Y
信道
3
无干扰(无噪声)信道
无干扰(无噪声)信道 信道的输出信号Y与输入信号X之间有确定的关系Y=f (X),已知X后就 确知Y 转移概率:
p(Y
|
X)
1, 0,
Y f(X) Y f(X)
4
有干扰无记忆信道
)
log
2
m
• 无噪有损信道(多对一)
C
max
p(ai )
I
(
X
;Y
)
max
H
(
X
)
log
2
n
11
3.2.1 对称DMC信道
对称离散信道： 对称性:
每一行都是由同一集{p1, p2,…pm} 的诸元素不同排列组成——输入
对称
每一列都是由集{q1, q2,…qn}的诸元素不同排列组成——输出对称
• BSC信道容量
C 1 H( p)
• 当固定信源的概率分布ω时,I (X;Y) 是p的 型 下
凸函数。 • 当p = 0,
信道无噪声
C
C =1－0 = 1bit = H(X)
信道强噪声
• 当p =1/2,
C 1 H(1,1) 0 22
H(Y | X ) H(Y | ai ) H( p1, p2, pm)
15
对称DMC信道
对称DMC信道的容量：
C log m H ( p1, p2 pm )
m
log m pij log pij j 1
• 上式是对称离散信道能够传输的最大的平均信息量,它
只与对称信道矩阵中行矢量{p1, p2,…pm }（第二项为矩 阵任一行元素的信息熵 ）和输出符号集的个数m有关。
• 不具有对称性,因而所对应的信通不是对 称离散信道。
13
对称DMC信道
若输入符号和输出符号个数相同,都等于n,且信 道矩阵为
1 p
P
n
p 1
p n 1 1 p
p n p1 n 1
p n 1
p n 1
1 p
• 此信道称为强对称信道 (均匀信道)
– 信道矩阵中各列之和也等于1
14
对称DMC信道
离散信道可分成： 无干扰(无噪)信道
无嗓无损信道 有噪无损信道 无噪有损信道 有干扰无记忆信道 有干扰有记忆信道
10
无干扰离散信道
无噪无损信道
C
max
p(ai )
I
(
X
;Y
)
max
H
(
X
)
max
H
(Y
)
log
2
n
• 有噪无损信道(一对多)
C
max
p(ai )
I
(
X
;Y
)
max
H
(Y
H(Y) ( p p)log 1 ( p p)log 1
p p
p p
H( p p)
H (Y | X ) p(ai ) p(bj | ai ) log p(bj | ai )
i
j
p(bj | ai ) log p(bj | ai )
j
[ p log p p log p] H ( p)
信道输入是n元符号X∈{a1, a2, …, an} 信道输出是m元符号Y∈{b1, b2, …, bm} 转移矩阵
已知X,输出Y统计特性
b1 b2 bm
p11 p12 p1m a1
P
p21
p22
p2m
a2
pn1
pn2
pnm
an
p11
a1
p12
p21
a2
p22
:
:
:
an
有干扰无记忆信道 信道的输出信号Y与输入信号X之间没有确定的关系,但转移概率满足:
p(Y | X ) p( y1 | x1) p( y2 | x2) p( yL | xL )
• 有干扰无记忆信道可分为: – 二进制离散信道 – 离散无记忆信道 – 离散输入、连续输出信道 – 波形信道
5
离散无记忆信道DMC
n
p( y j ) p(xi ) p( y j | xi ) i1
• 信道的信息传输率就是平均互信息
8
信道容量
信道容量C： 最大的信息传输率
C max I (X ;Y ) p(ai )
• 单位时间的信道容量：
1
Ct
T
max
p(ai )
I ( X ;Y )
9
信道容量的计算
对于一般信道,信道容量计算相当复杂,我们只讨论 某些特殊类型的信道：
I (X ;Y ) H (Y ) H (Y | X ) H ( p p) H ( p)
1 H( p)
18
BSC信道容量
• BSC信道容量
C 1 H( p)
当p固定时,I (X;Y) 是ω的 型上凸函数。
• I (X;Y) 对ω存在一
I(X;Y)
个极大值。
1-H(p)
ω
19
BSC信道容量
pnm
m
p(bj | ai ) 1
j 1
i 1,2,n
b1 b2
: : :
bm
6
3.2 离散单个符号信道 及其容量
7
信道容量
平均互信息I (X;Y)： 接收到符号Y后平均每个符号获得的关于X的信息量。
I(X;Y)
i
j
p(xi ) p( y j | xi ) log
p(y j | xi ) p(y j )
对称离散信道的平均互信息为
I(X;Y) H(X ) H(X |Y) H(Y) H(Y | X )
H (Y | X ) p(ai ) p(bj | ai ) log p(bj | ai )
i
j
p(bj | ai ) log p(bj | ai )
j
H (Y | ai ) i 1,2,n
第三章
信道与信道容量
内容
3.1 信道分类和表示参数 3.2 离散单个符号信道及其容量 3.3 离散序列信道及其容量 3.4 连续信道及其容量
2
信道
设信道的输入X=(X1, X2 … Xi,… ), Xi ∈{a1 … an} 输出Y= (Y1, Y2 … Yj,…), Yj ∈{b1 … bm}
1 1 1 1
P
3
3
6
6
1 1 1 1
6 6 3 3
1 1 1
2
3
6
P
1 6
1 2
1 3
1
1
1
3 6 2
满足对称性, 所对应的信 道是对称离 散信道。
12
对称DMC信道
信道矩阵
1 1 1 1 P 3 3 6 6
1 1 1 1 6 3 6 3
0.7 0.1 0.2 P 0.2 0.1 0.7
• 强对称信道的信道容量：
C
log
2
n
H
(1
p,
n
p 1
,,
n
p) 1
16
BSC信道容量
设二进制对称信道的输入概率空间 信道矩阵：
X
P
0
1
P
1 p
p
p 1
p
p p
p p
1
p(b 0) p(ai ) p(b0 | ai ) p p i0
1
p(b 1) p(ai )p(b1 | ai ) p p i0
信道转移概率矩阵p(Y|X)：
描述输入/输出的统计依赖关系,反映信道统计关系p(Y|X) NhomakorabeaX
Y
信道
3
无干扰(无噪声)信道
无干扰(无噪声)信道 信道的输出信号Y与输入信号X之间有确定的关系Y=f (X),已知X后就 确知Y 转移概率:
p(Y
|
X)
1, 0,
Y f(X) Y f(X)
4
有干扰无记忆信道
)
log
2
m
• 无噪有损信道(多对一)
C
max
p(ai )
I
(
X
;Y
)
max
H
(
X
)
log
2
n
11
3.2.1 对称DMC信道
对称离散信道： 对称性:
每一行都是由同一集{p1, p2,…pm} 的诸元素不同排列组成——输入
对称
每一列都是由集{q1, q2,…qn}的诸元素不同排列组成——输出对称
• BSC信道容量
C 1 H( p)
• 当固定信源的概率分布ω时,I (X;Y) 是p的 型 下
凸函数。 • 当p = 0,
信道无噪声
C
C =1－0 = 1bit = H(X)
信道强噪声
• 当p =1/2,
C 1 H(1,1) 0 22
H(Y | X ) H(Y | ai ) H( p1, p2, pm)
15
对称DMC信道
对称DMC信道的容量：
C log m H ( p1, p2 pm )
m
log m pij log pij j 1
• 上式是对称离散信道能够传输的最大的平均信息量,它
只与对称信道矩阵中行矢量{p1, p2,…pm }（第二项为矩 阵任一行元素的信息熵 ）和输出符号集的个数m有关。
• 不具有对称性,因而所对应的信通不是对 称离散信道。
13
对称DMC信道
若输入符号和输出符号个数相同,都等于n,且信 道矩阵为
1 p
P
n
p 1
p n 1 1 p
p n p1 n 1
p n 1
p n 1
1 p
• 此信道称为强对称信道 (均匀信道)
– 信道矩阵中各列之和也等于1
14
对称DMC信道
离散信道可分成： 无干扰(无噪)信道
无嗓无损信道 有噪无损信道 无噪有损信道 有干扰无记忆信道 有干扰有记忆信道
10
无干扰离散信道
无噪无损信道
C
max
p(ai )
I
(
X
;Y
)
max
H
(
X
)
max
H
(Y
)
log
2
n
• 有噪无损信道(一对多)
C
max
p(ai )
I
(
X
;Y
)
max
H
(Y