第三章 信道模型和信道容量
合集下载
第三章离散信道及其信道容量
0
0 1
不是一一对应,无扰有信息损失
1
(2)有扰信道 例3:
a1
0.9
X
0.1
a2
0.2 0.8
b1
Y
b2
0.9 0.1 [P] 0.2 0.8 有扰有信息损失,干扰严重
例4:
a1
X
a2
1/2 1/2 1/2 1/2
b1
Y
b2
1/ 2 1 / 2 [P] 1/ 2 1 / 2
P yi xi P xi yi
即E{log x} ≤log{E(X)}
即E{log x} ≤log{E(X)}
I(X
;Y
)
X
Y
P(x,
y)
log
P( x)P( y) P(x, y)
log
XY
P(x,
y)
P( x)P( y) P(x, y)
log1
0
∴ I(X;Y) ≥ 0
∵ logx为∩ 型凸函数,只有当且仅当 p(x.y)=P(x)P(y),即x和Y统计独立时I(X;Y)=0
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都 有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都 是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相 应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上 连续的随机信号。即信道输入和输出的随机变量的 取值是连续的，并且还随时间连续变化。一般用随 机过程来描述其输入和输出。
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1
第三章 信道模型和信道容量
这是可知疑义度H(X/Y)=0，平均交互信息量达到最大值 I(X,Y)=H(X)，C=logr。从平均意义上讲，这种信道可以把信源 的信息全部传递道信宿。这种每列只有一个非0元素的信道也 是一种无噪声信道，称为无噪声信道。
确定信道
这类信道的转移概率等于1或者等于0， 每一列的元素可有一个或多个1，可知其 噪声熵H(Y/X)=0，此时的平均交互信息 量达到最大值。
离散信道
X
P(Y/X)
Y
离散信道分类： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道
离散信道三种表达方式
概率空间描述 X={a1,a2,……ar} P(Y/X)={p(bj/ai)}
j=1,2,……s) Y={b1,b2,……bs} 0≤p(bj/ai)≤1
(i=1,2,……r;
转移矩阵描述
信道组合
串联信道 并联信道
4.4 时间离散的无记忆连续 信道
可加噪声信道
P(y|x)=p(y-x)=p(z)
Hc (Y | X ) Hc (Z ) I (X ;Y ) Hc (Y ) Hc (Z )
可加噪声信道
高斯噪声信道
I
(X
;Y
)
H
(Y
)
Hc
(X
)
1 2
log(1
2 x 2 z
)
例已知一个二元信源连接一个二元信道， 如图给出。X={x1,x2}, [p(xi)]={1/2,1/2}
求I(X；Y)，H(X,Y)，H(X/Y)，和H(Y/X)。
信道容量
C max R max I (X ;Y )bit / 符号
PX
PX
1
Ct
max PX
Rt
第3章 信道模型和信道容量 习题课(2)
3、解： （1）已知二元对称信道的传递矩阵，又已知输入的
3 1 概率分布 P (0) , P (1) , 就可以计算得出 Y 的概率 4 4
分布如下：
P ( y 0) P ( x ) P ( y 0 | x )
x
P( x 0) P( y 0 | x 0) P( x 1) P( y 0 | x 1)
0
1
0
1
1
1
(a)
2
解
( a ) 图，由信道线图可得转移概率矩阵如下：
1
1
该矩阵为行列排列阵，信道为准对称信道，可以把按列分 成两个子矩阵如下：
1
1
PS 10 log10 1 20 PN
得到
PS 1 100 PN
信道传送的最大信息速率
PS Ct W log(1 ) 3 103 log 2 100 19.93 103 bit/s PN
（1）
信道不变， Ct 仍应为 19.93 10 （比特/秒） ，而
21s?121lognkkkskmmcshppprr??????????????????????11222loglog1222211loglog12hh????????????????????????????????????设在平均功率受限高斯可加波形信道中信道带宽为3khz又设信号功率噪声功率噪声功率20db
•设在平均功率受限高斯可加波形信道 中，信道带宽为3kHz，又设（信号功 率+噪声功率）/噪声功率=20 dB。
（1）试计算该信道传送的最大信息率 （单位时间）19.93*103(bit/s)。 （2）若功率信噪比降为5dB，要达到 相同的最大信息传输率，信道带宽应 是多少(12KHz)。
第3章 信 道
图3-12 非线性特性
频率偏移是指信道输入信号的频谱经 过信道传输后产生了平移。 相位抖动是由于振荡器的频率不稳定 产生的。
3.4.2 随参信道对信号传输的 影响
无线信道中有一些是随参信道，例如 依靠天波传播或地波传播的无线信道。 随参信道的特性是“时变”的，即随 时间改变的。
一般说来，各种随参信道具有的共同 特性是：第一，信号的传输衰减随时间而 变；第二，信号的传输时延随时间而变； 第三，信号经过几条路径到达接收端，而 且每条路径的长度（时延）和衰减都随时 间而变，即存在多径传播现象。 多径传播对信号的影响称为多径效应。
i 1
i 1
X c (t ) i (t ) cos i (t )
i 1
n
（3-7）
X s (t ) i (t )sin i (t )
i 1
n
（3-8）
则 X c (t )和X s (t ) 都是缓慢随机变化
的。 将式（3-7）和式（3-8）代入式（36），得出
R(t ) X c (t )cos 0t X s (t )sin 0t V (t )cos[0t (t )]
3．同轴电缆
同轴电缆由内外两根同心导体构成， 在这两根导体间用绝缘体隔离开。 如图3-6所示。
图3-6 同轴电缆结构图
4．光纤
光纤是由折射率不同的两种玻璃纤维 制成的。 光纤的中心称为纤芯，外面包有折射 率较低的一层玻璃，称为包层。 按照光波在光纤中传播的方式不同， 光纤又分为多模光纤和单模光纤两类。
经过接收滤波器后的噪声双边功率谱 密度为Pn( f )，如图3-16所示，则此噪声的 功率等于 ∞ （3-18） Pn Pn ( f )df
第三章 信道
d ( ) ( ) d
（3-1）
) 群延迟频率特性； ( ) ——相频特性。 式中 (—— 理想的相频特性和群延迟特性为线性关系，如图3-2所 示。
( ) K
0
( )
K
0
图 3－2
理想的相频特性和群延迟-频率特性
但实际的信道特性总是偏离线性关系，例如典型 的音频电话信道的群延迟特性如图3-3所示，可以看出， 当不同的音频信号通过该信道时，不同的频率分量将 有不同的群延迟，即它们到达受信端的时间不一致， 从而引起信号的畸变， ( ) / ms 其过程可以由图 3-4 说明。 1.0 2 通过信道后，原信号的基 波相移为，三次谐波的相 移为，则其合成波形与原 信号的波形出现了明显的 f / KHz 0 1.6 差异，这个差异就是由于 群延迟- 频率特性不理想而 图 3－3 典型音频话音信道的 群延迟-频率特性 造成的。
（3-4）
式中， H ( x) ——发送的每个符号的平均信息量； H ( x / y) ——发出符号在有噪信道中平均丢失的信息 量。
4．离散信道的信道容量 信道传输信息的最大速率称之为信道容量C，即
C max R max [ H t ( x) H t ( x / y )
{ P ( x )} { P ( x )}
[例3-2]某一待传输的图片约含2.25106个像元。为 了很好地重现图片需要12个亮度电平。假设所有这些亮 度电平等概率出现，试计算用 3 分钟传送一张图片时所 需的信道带宽（设信道中信噪比为30dB）。
（ 1 ）频率选择性衰落依赖于相对时延差。多径传 播的相对时延差（简称多径时延差）通常用最大多径时 延差表征，则
f 1/ m (3 1)
第三章 信道和信道容量
I（X；Y）：接收到Y前、后关于的平均不确定性 的消除 ；或发送X前、后关于Y的平
均不确定性的消除。
可见：熵只是平均不确定性的描述，而不确定性 的消除（两熵之差）才等于接收端所获得的信息 量。获得的信息量不能和不确定性混为一谈。
第三章 信道和信道容量
关于信道容量： 研究：信道中平均每个符号所能传送的信息量，
有损失，是无噪有损信 道，也称确定信道，即： 损失熵：H(X/Y) ≠ 0； 噪声熵：H(Y/X) ＝ 0， I(X;Y)＝H(Y)＝H(X)－H(X/Y) ＜H(X)
第三章 信道和信道容量
信道容量仍是最大熵问题（最大H(Y)）：
C＝max H(Y)＝log s bit/符号
P(X)
（设Y有s个符号）
不相交的子集mk，由mk组成的矩阵[P]k是对称矩阵 （具有可排列的性质），则称此信道为准对称信道， 其信道容量：
r为输入符号集个数 即信道矩阵行数 准对称信道中的 行元素 第k个子矩阵 中行元素之和
第k个子矩阵 中列元素之和
第三章 信道和信道容量
例3－1：二元对称删除 信道如图，计算信道容量。
例3－2：准对称信道的信道矩阵为： P(y/x)＝ 0.5 0.3 0.2 0.3 0.5 0.2 当输入概率分布为p(x1)＝ɑ，p(x2)＝1－ɑ
且：p＝0时，信道无干扰； P＝1/2时，信道干扰最为严重。
第三章 信道和信道容量
二、二元删除信道
难以区分原发送信号时，不硬性
判断0或1，而作删除处理。 删除信道中，p＝q时，则为 对称删除信道。 三、Z信道 信道特性：0错成1的概率为0， 1错成0有一定可能。
1
0 1 0
p
1－p
1
第三章 信道和信道容量
通信课件信道及信道容量
基本内容
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
信息论复习3-4
l 1
L
当信源与信道无记忆时，
D L
px py
il l 1 i 1 j 1
m
L
jl
/ x il d x il , y jl = D l
l 1
L
个符号的平均失真 信源符号平均失真度（平均每个符号的平均失真度）
DL
2012-7-10
D l 表示信源符号序列的第l
2012-7-10
输出Y
3
信道模型
1. 二进制离散信道：BSC信道
输入符号X取值{0,1}
输出符号Y取值{0,1}
1 p P p
p 1 p
p1 m p2m p nm
4
2. 离散无记忆信道：DMC信道 输入符号集 p1 1 X={a1, a2,…, an} p 21 P 输出符号集 Y={b1, b2,…, bm} p n1
C
2012-7-10
C
16
思维导图
2012-7-10
17
第4章 信息率失真函数
重点掌握
失真函数、平均失真
保真度准则 信息率失真函数的定义域 信息率失真函数与信道容量的比较 一般了解
信息率失真函数的性质
连续信源的平均失真
2012-7-10 18
失真函数
单符号失真函数定义为：
平均失真度不大于允许的失真
DD
23
信息率失真函数
信息率失真函数R(D) R(D)的定义域 率失真函数的定义域问题就是在信源和失真函数 已知的情况下，讨论允许平均失真度D的最小和最 大取值问题，即[Dmin,Dmax] Dmin的计算 Dmax的计算
L
当信源与信道无记忆时，
D L
px py
il l 1 i 1 j 1
m
L
jl
/ x il d x il , y jl = D l
l 1
L
个符号的平均失真 信源符号平均失真度（平均每个符号的平均失真度）
DL
2012-7-10
D l 表示信源符号序列的第l
2012-7-10
输出Y
3
信道模型
1. 二进制离散信道：BSC信道
输入符号X取值{0,1}
输出符号Y取值{0,1}
1 p P p
p 1 p
p1 m p2m p nm
4
2. 离散无记忆信道：DMC信道 输入符号集 p1 1 X={a1, a2,…, an} p 21 P 输出符号集 Y={b1, b2,…, bm} p n1
C
2012-7-10
C
16
思维导图
2012-7-10
17
第4章 信息率失真函数
重点掌握
失真函数、平均失真
保真度准则 信息率失真函数的定义域 信息率失真函数与信道容量的比较 一般了解
信息率失真函数的性质
连续信源的平均失真
2012-7-10 18
失真函数
单符号失真函数定义为：
平均失真度不大于允许的失真
DD
23
信息率失真函数
信息率失真函数R(D) R(D)的定义域 率失真函数的定义域问题就是在信源和失真函数 已知的情况下，讨论允许平均失真度D的最小和最 大取值问题，即[Dmin,Dmax] Dmin的计算 Dmax的计算
31第3章3132信道模型信道容量
22
简单的离散无记忆信道
信道矩阵为： p11
p1m
P
且满足 m
p n1
p nm
pij 1; i 1,2, ,n
j1
这意味着矩阵中每一行之和为1。
其 中 pij p(yj/xi)P(Yyj/Xxi) 其 概 率 空 间 为 [X,P(yj/xi),Y].
p(x)
p(x)
28
无噪信道
无噪信道的一个输出对
应着多个互不相交的输 入，如右图所示。
当 m 2时 ， 信 道 矩 阵 为 :
1 0 0
1
0
0
P 0 1 0
0
1
0
0 1 0
前 向 概 率 p
y j | xi
0
限个或可数无限个取自连续集的序列
3
信道的分类２－按输入输出个数
根据信道的输入和输出个数： 两端信道（两用户信道）：输入和输出均只
有一个事件集； 多端信道（多用户信道）：输入和输出中至
少有一个具有两个或两个以上的事件集。
4
信道的分类３－按信道接入
根据信道接入的不同： 多元接入信道：多个不同信源的信息经编码
后送入统一信道传输，接收端译码后再送给 不同的信宿。如在卫星通信系统中的应用。 广播信道：单一输入，多个输出。
5
信道的分类４－按统计特性
根据信道的统计特性： 恒参信道：统计特性不随时间变化； 随参信道：统计特性随时间变化。
6
信道的分类５－按记忆特性
根据信道的记忆特性 无记忆信道：信道输出仅与当前的输入有关； 有记忆信道：信道输出不仅与当前输入有关，
信息论第三章
□ 当信道输入等概率分布（输出也是等概率分布时）。
1. 对称离散无记忆信道容量（DMC）
对称DMC信道定义 输入对称 如果转移概率矩阵P的每一行都是第一行的置 换(包含同样元素)，称该矩阵是输入对称 输出对称 如果转移概率矩阵P的每一列都是第一列的置 换(包含同样元素)，称该矩阵是输出对称 对称的DMC信道 如果输入、输出都对称，称之为对称信道。
max I ( X ; Y ) max I ( X i ; Yi )
i 1
max I ( X
i 1 P(Xi )
i
; Yi )
C
i 1
N
i
即：CN = N×C 。 它表示离散无记忆信道的N次扩展信道 的容量等于原单符号信道容量的N倍。 一般情况下，消息序列在离散无记忆的N次扩展信道中传 输的信息量：
i 1
离散无记忆信道的 N 次扩展信道
离散无记忆信道 ( DMC，Discrete Memoryless Channel) 的N次扩展，其传递概率满足：
P ( y | x ) P ( y1 y 2 ... y N | x1 x 2 ... x N ) P ( y j | x i )
i 1
3.6
3.7
复习1： 离散信道的数学模型
X X {x1 , x2 ,..., xr }
p 11 p 21 P : p r1 p 12 p 22 : pr2 ... ... : ...
信道
p( y j | xi )
p1s p2s : p rs
Y Y { y1 , y2 ,..., ys }
定义一：信道容量定义为信息传输率或平 均互信息的最大值。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息论基础 武汉科技大学
信道的基本概念－信道分类
根据输入、输出信号的取值特点： 离散输入：输入输出的随机序列取值都是离 散的 连续信道：输入输出的随机序列取值都是连 续的 半离散半连续信道：输入序列取值离散而输 出序列取值连续，或者反之。 波形信道：输入输出信号在时间上和取值上 都是连续的，不能用随机序列，而需要用随 机过程表示
信息论基础 武汉科技大学
相关概率－计算
后向概率(根据Beyas公式)
p (ai | b j ) p(ai b j ) p(b j ) p(ai ) p(b j | ai )
p(a
k 1
r
k
) p(b j | a k )
可见：已知输入先验概率、信道传递概率 后，联合概率、输出先验概率、后向概率 都可以求出来
3 p ( a2 b2 ) p ( a2 ) p ( b2 | a2 ) 0.4 * 0.3 4
5 0.5 6
2)输出概率
5 p(b1 ) 6 p (b ) 1 2 4
信息论基础 武汉科技大学
1 6 p(a1 ) 3 p ( a2 ) 4
信息论基础 武汉科技大学
有干扰无记忆信道－模型简化
一般的信道输入模型：
P(Y | X ) P(Y1 YN | X 1 X N )
对于有干扰无记忆信道：
p( y n | x1 x2 xn y1 y 2 y n1 ) p( y n | xn )
p( y | x) p( y1 y 2 y n | x1 x2 xn ) p( yi | xi )
y f (x)
rs
b1 b2 b3 bs
a1 a2 a3 ar
信息论基础 武汉科技大学
有干扰无记忆信道
没有确定的对应关系， 而是统计依赖关系。
a 1 a 2 a 3 a r
信息论基础 武汉科技大学
0.9 0.1 0.4 0.6 0.3
T
p(b1 ) p(b2 ) 1
p(b1 ) 0.6 p(b2 ) 0.4
2)输出概率(或者)
p(b1 ) p(a1b1 ) p(a2b1 ) 0.5 0.1 0.6
p(b2 ) p(a1b2 ) p(a2b2 ) 0.3 0.1 0.4
3)后向概率
Y2
YN
离散无记忆信道(DMC)的模型为 {X , P(Y | X ), Y }
信息论基础 武汉科技大学
单符号离散信道（DMC）
输入变量 X 的样本空间 (a1 a2 ar ) 输出变量 Y 的样本空间 (b1 b2 bs ) 有 r s 个条件概率 p(bj | ai ) pij 传递矩阵 (信道矩阵)
信息论基础 武汉科技大学
传递矩阵性质
p11 p 21 P p r1 p12 p 22 pr 2 p1s p2s p rs
满足
s
pij 0
且
p(b
j 1
j
| ai ) pij 1
j 1
s
信息论基础 武汉科技大学
信息论基础
Fundaments of Information Theory
武汉科技大学信息科学与工程 学院
第三章 信道模型和信道容量
信道的基本概念 信道的数学模型 平均互信息量、损失熵、噪音熵 信道容量 离散对称信道的信道容量计算
信息论基础 武汉科技大学
信息传输系统
第二章:信息量
消息
信源
b1
a1 a2 ar p (b1 | a1 ) p (b1 | a 2 ) p(b | a ) 1 r
b2
bs
p (bs | a1 ) p (bs | a 2 ) p(bs | a r )
p (b2 | a1 ) p (b2 | a 2 ) p (b2 | a r )
信息论基础 武汉科技大学
信道的基本概念－信道分类
根据信道用户的多少，可以分为： 单用户信道：只有一个输入、一个输出 的单向信道 多用户信道：输入、输出至少有一端有 两个以上的用户，还有可能是双向信道
信息论基础 武汉科技大学
信道的基本概念－信道分类
根据信道的记忆特性 无记忆信道：信道输出只与当前的 输入有关 有记忆信道：信道输出不仅与当前 输入有关，还与过去的输入有关
i 1
信息论基础 武汉科技大学
n
离散无记忆信道－模型简化
输入输出随机序列间的随机特性可以用一对 输入输出分量间的随机特性来表示，数学模型中 的随机序列可以用随机变量来表示
P (Y1 Y N | X 1 X
N
)
P (Y i | X i )
信道 Xi X X 1 Yi
X2
X
N
Y Y1
相关概率
p(ai )
p (b j )
输入符号的先验概率
输出符号的先验概率
传递概率、转移概率、前向概率
p(b j | ai ) p(ai | b j )
后向概率、后验概率
联合概率
p(ai b j )
研究信道的过程中，一般输入信号的概 率 p(ai ) 、信道的传递概率 p(b j | ai )是已知 的，其它的概率未知，但可以求出：
信息论基础 武汉科技大学
信道的基本概念
例：信源输出二元符号(0,1)调制时如采用正负 方波的传输，正负方波分别表示0和1
输入/输出统计关系 输入 X
0
信道
输出 Y
1
噪声干扰 Z
信息论基础 武汉科技大学
信道的基本概念
１. 无噪声干扰
0
0
1
1
P(0|0)=P(1|1)=1
信息论基础 武汉科技大学
P(1|0)=P(0|1)=0
信道的基本概念
2. 微小噪声干扰
0
1
P(0|0)=P(1|1)=1
信息论基础 武汉科技大学
P(1|0)=P(0|1)=0
信道的基本概念
3. 一般噪声干扰
0
1
P(0|0) ≠ P(1|1) ≠1
信息论基础 武汉科技大学
P(1|0) ≠ P(0|1) ≠ 0
信道的基本概念
信道的任务：以信号的方式传输信息和存 储信息 信道中存在随机噪声 输入信号与输出信号之间一般都不是确定 的函数关系，而是统计依赖的关系 研究信道的目的：信道能够传输或存储的 最大信息量，即信道容量
b 1 b 2 b 3 b s
0.7
有干扰无记忆信道
不仅仅是有干扰信道，而且是无记忆的。 无记忆的信道指的是在任一时刻的输出符 号只统计依赖于对应时刻的输入符号，而 与其它时刻的输入符号和其它时刻的输出 符号无关。
p( y n | x1 x2 xn y1 y 2 y n1 ) p( y n | xn )
信息论基础 武汉科技大学
离散单符号信道举例
二元对称信道（BSC） 输入、输出的取值都为0、1，定义错误概 率p，传递概率为：
p(0 | 0) p(1 | 1) 1 p p p(1 | 0) p(0 | 1) p
信息论基础 武汉科技大学
离散单符号信道举例
信道矩阵
0 1
0 p 1 p
信息论基础 武汉科技大学
信道的基本概念－信道分类
根据信道参数与时间的关系，可以分为： 固定参数信道：信道参数（统计特性） 不随时间变化而变化 时变参数信道：信道参数（统计特性） 随时间变化而变化
我们在这门课程中，主要研究的是 单用户、固定参数的离散信道
信息论基础 武汉科技大学
信道的数学模型
P (Y | X )
信源编码器
信道编码器
第三章信 道与信道 容量
信宿
消息
等 效 信 道
信源解码器
信道解码器
信息论基础 武汉科技大学
信道的基本概念
输入/输出统计关系 输入 X 输出 Y
信道
噪声干扰 Z
信息论基础 武汉科技大学
信道的基本概念
信道的任务：以信号的方式传输信息和存 储信息 信道中存在随机噪声 输入信号与输出信号之间一般都不是确定 的函数关系，而是统计依赖的关系
0
p(1 | 1) p p(2 | 1) p
1 0 p
X
0
2 p p
p p p
Y
0 2
0 p 1 0
信息论基础 武汉科技大学
1
p
1
离散单符号信道举例
二元删除信道（BEC） BEC在实际应用中也经常用到，如正负方波 的传输，正负方波分别表示0和1
0
1
由于码间串扰，输出端可能是
信息论基础 武汉科技大学
相关概率－计算
联合概率(根据乘法公式）
p(ai b j ) p(ai ) p(b j | ai )
输出符号概率(根据全概率公式)
r
p(b j )＝ p(ai ) p(b j | ai )
i 1
p(b1 ) p(a1 ) p(a 2 ) p(b2 ) T P p(a ) p(b ) s r
信息论基础 武汉科技大学
离散单符号信道举例
二元删除信道（BEC） 在输出端判决准则：对输出信号求积分
I R(t )dt
绝对值较大正数 0 I 绝对值较大负数 1 绝对值较小 2
信息论基础 武汉科技大学
互信息量－定义