信息论-第3章+信道的数学数学模型及分类
给定信源概率分布 P( x)
信道传递概率不同，平均互信息量不同 一定存在一种信道，使平均互信息量最小(0)
第3章 离散信道 及其信息容量
3.1 信道的数学模型及分类 3.2 平均互信息及平均条件互信息 3.3 平均互信息的特性
3.4 信道容量及其一般计算方法 3.5 离散无记忆扩展信道及其信道容量 3.6 独立并联信道及其信道容量 3.7 串联信道的互信息和数据处理定理 3.8 信源与信道的匹配
单用户（两端）信道
一个输入端、一个输出端 必须是单向通信 例：对讲机
多用户（多端）信道
输入输出至少有一端有两个以上用户 可以是双向通信 例：计算机网络
3.1.1 信道的分类 —— 按输入输出的关联分
无反馈信道
输出端无信号反馈到输入端 例：无线电广播
反馈信道
3.4.1 离散无噪信道的信道容量 —— 无损（有噪）信道
H(X)
H(X Y)：损失熵
信道
I ( X ;Y )
H (Y )
H(Y X ) ：噪声熵
H (X Y ) 0 ,H (YX ) 0
I(X ;Y ) H (X ) H ( Y )
C m { I ( X a ;Y )x } m { H ( X a ) x } lo r g
传递矩阵：
b1
b2
bs
a1 P(b1 a1) P(b2 a1) P(bs a1)
a2 P(b1 a2) P(b2 a2) P(bs a2)
ar P(b1 ar ) P(b2 ar ) P(bs ar )
3.2.1 信道疑义度 —— 先验熵
信源
X
信道
干扰
噪声源
信宿
在未收到输出之前，关于X的不确定性的量度
3.3 平均互信息的特性
—— 非负性、极值性、交互性
非负性
H(XY)
I(X;Y)0 极值性
H(X Y) I(X;Y) H(Y X)
H(X)
H (Y )
I ( X ;Y ) m H ( X i )H n ( ,Y )[]
交互性 I(X ;Y)I(Y ;X )
3.3 平均互信息的特性 —— 例 3.4 [P97]
H(X)
H(X Y)：损失熵
信道
I ( X ;Y )
H (Y )
H(Y X ) ：噪声熵
H (XY )H (YX )0
I(X ;Y ) H (X ) H ( Y )
C m { I ( X a ;Y )x } m { H ( X a ) x } lo r g
P ( x )
P ( x )
P ( x )
P ( x )
3.4.1 离散无噪信道的信道容量 —— 无噪有损信道
H(X)
H(X Y)：损失熵
信道
I ( X ;Y )
H (Y )
H(Y X ) ：噪声熵
H (X Y ) 0 ,H (YX ) 0
I(X ;Y ) H ( Y ) H (X )
C m { I ( X a ;Y )x } m { H ( Y a ) } x lo s g
输出端有信号反馈到输入端 例：手机通信
3.1.1 信道的分类 —— 按参数与时间的关系分
固定参数信道
参数（的统计特性）不随时间变化 例：光纤通信
时变参数信道
参数（的统计特性）随时间变化 例：短波（天波）通信
3.1.1 信道的分类 —— 按信号的特点分
离散信道
输入输出信号均为离散 例：数字电路
连续信道
输入输出信号均为连续 例：电视
半离散或半连续信道
输入输信号中一个为离散、 另一个为连续
例：A/D、D/A
波形信道
输入输出信号均为模拟信 号
例：无线电台广播
3.1.2 离散信道的数学模型 —— 一般模型
输入信号
X(X1,,Xi,,XN)
Xi :{a1,,ar} 输出信号
3.4 信道容量及其一般计算方法 —— 信道容量
信道传输率
RI(X;Y) (bit/符号)
Rt
1 I (X;Y) t
(bit/秒)
信道容量
其中t为平均传输 一符号所需时间
Cm{ aI(xX;Y)} (bit/符号) P(x)
Ct 1tm P(x)a{xI(X;Y)} (bit/秒)
H (X) P(x)loP g (x)
X
3.2.1 信道疑义度 —— 信道疑义度
信源
X
信道
Y
干扰
噪声源
信宿
在收到输出Y之后，关于X的不确定性的量度
H (XY) P (x)y loP (g xy)
X ,Y
3.2.1 信道疑义度 —— 信道疑义度的性质
信源
X
信道
Y
干扰
噪声源
信宿
一般信道
Y
P(y)
P ( xy )
X
P(x)P(y x)
X
H(Y X)
P(xy)logP(y x)
XY
P(x)P(y | x)logP(y x)
XY
3.3 平均互信息的特性 —— 例 3.4 [P97]
解： I(X ;Y ) H (Y ) H (Y X )
H (Y )
第3章 离散信道 及其信息容量
3.1 信道的数学模型及分类
3.2 平均互信息及平均条件互信息 3.3 平均互信息的特性 3.4 信道容量及其一般计算方法 3.5 离散无记忆扩展信道及其信道容量 3.6 独立并联信道及其信道容量 3.7 串联信道的互信息和数据处理定理 3.8 信源与信道的匹配
3.1.1 信道的分类 —— 按用户数目分
P ( y ) log P ( y )
Y
H ( p p )
H (Y X ) H (p)
P(y0)pp
P(y1)1P(y0)
3.3 平均互信息的特性 —— 凸状性
给定信道传递概率 P( y x)
信源的概率分布不同，平均互信息量不同 一定存在一种信源，使平均互信息量最大
信道 相 C I(X ;Y 对 ) 1 I( 冗 X ;Y ) 余
3.1.2 离散信道的数学模型 —— 有干扰无记忆信道
输入、输出信号
是概率关系 输出符号只与对应时刻的输入符号相关
条件概率 P(yx)P(y1y2yN x1x2xN）
N
P(yi xi) i1
3.1.2 离散信道的数学模型 —— 有干扰有记忆信道
r、s不一定相等
Y(Y1,,Yi,,YN)
Yi :{b1,,bs} 条件概率
P ( y x ) P ( y 1 y 2 y N x 1 x 2 x N ）
3.1.2 离散信道的数学模型 ——无干扰（无噪）信道
输入、输出信号
是确定关系
y f(x)
条件概率
P(yx)10
…
3.5~3.7 其他离散信道 —— 数据处理定理
X
Y
Z
W
信道I
信道II
信道III
…
H ( X ) I ( X ; Y ) I ( X ; Z ) I ( X ; W )
任何信息传输系统，最后获得的信息至多是 信源所提供的信息
3.8 信源与信道的匹配 —— 信道冗余度
信道 C I( 冗 X ;Y ) 余度
1 b2
(X/Y) 0 1
传递矩阵： 0
1
1 p
p
p 1 p
3.1.3 单符号离散信道的数学模型 —— 二元删除信道，BEC
X
Y
p
0
0
1 p
2
1 q
1
q
1
02 1
传递矩阵： 0
1
p
0
1 p 1 q
0 q
3.1.3 单符号离散信道的数学模型 —— 一般模型
无干扰信道
H(XY)H(X)
H(XY)0
3.2.2 平均互信息 —— 平均互信息
信源
X
信道
Y
干扰
噪声源
信宿
一般信道
平均互信息
H(XY)H(X) I(X ;Y ) H (X ) H (X Y )
3.2.2 平均互信息 —— 平均互信息
P(xy)
I(X;Y) P(x)ylog
X,Y
P(x)
H(X) H(X Y)
H(X) H(Y) H(XY)
H(Y) H(Y X)
H(XY)
H(X Y) I(X;Y) H(Y X)
H(X)
H (Y )
3.2.2 平均互信息 —— 平均互信息
I(X;Y)H(X)H(XY) H(X)H(Y)H(XY) H(Y)H(YX)
H(X)
H(X Y)：损失熵
信道
I(X;Y)
H (Y )
H(Y X) ：噪声熵
3.2.2 平均互信息 —— 平均互信息
无噪一一对应信道
P(yx)10
yf(x) yf(x)
X和Y完全统计独立
P(yx)P(y)
I(X;Y) H(X) H(Y)
H(YX)0 H(XY)0
H (X ) H (X Y)
3.4 信道容量及其一般计算方法 —— 二元对称信道(例 3.5 [P99])
X
Y
0
1 p
0
p
p
1p p
P
p
1 p
1
1 p
1
Cma{xI(X;Y)}ma{xH(Y)H(YX)}
信道传递概率不同，平均互信息量不同 一定存在一种信道，使平均互信息量最小(0)
第3章 离散信道 及其信息容量
3.1 信道的数学模型及分类 3.2 平均互信息及平均条件互信息 3.3 平均互信息的特性
3.4 信道容量及其一般计算方法 3.5 离散无记忆扩展信道及其信道容量 3.6 独立并联信道及其信道容量 3.7 串联信道的互信息和数据处理定理 3.8 信源与信道的匹配
单用户（两端）信道
一个输入端、一个输出端 必须是单向通信 例：对讲机
多用户（多端）信道
输入输出至少有一端有两个以上用户 可以是双向通信 例：计算机网络
3.1.1 信道的分类 —— 按输入输出的关联分
无反馈信道
输出端无信号反馈到输入端 例：无线电广播
反馈信道
3.4.1 离散无噪信道的信道容量 —— 无损（有噪）信道
H(X)
H(X Y)：损失熵
信道
I ( X ;Y )
H (Y )
H(Y X ) ：噪声熵
H (X Y ) 0 ,H (YX ) 0
I(X ;Y ) H (X ) H ( Y )
C m { I ( X a ;Y )x } m { H ( X a ) x } lo r g
传递矩阵：
b1
b2
bs
a1 P(b1 a1) P(b2 a1) P(bs a1)
a2 P(b1 a2) P(b2 a2) P(bs a2)
ar P(b1 ar ) P(b2 ar ) P(bs ar )
3.2.1 信道疑义度 —— 先验熵
信源
X
信道
干扰
噪声源
信宿
在未收到输出之前，关于X的不确定性的量度
3.3 平均互信息的特性
—— 非负性、极值性、交互性
非负性
H(XY)
I(X;Y)0 极值性
H(X Y) I(X;Y) H(Y X)
H(X)
H (Y )
I ( X ;Y ) m H ( X i )H n ( ,Y )[]
交互性 I(X ;Y)I(Y ;X )
3.3 平均互信息的特性 —— 例 3.4 [P97]
H(X)
H(X Y)：损失熵
信道
I ( X ;Y )
H (Y )
H(Y X ) ：噪声熵
H (XY )H (YX )0
I(X ;Y ) H (X ) H ( Y )
C m { I ( X a ;Y )x } m { H ( X a ) x } lo r g
P ( x )
P ( x )
P ( x )
P ( x )
3.4.1 离散无噪信道的信道容量 —— 无噪有损信道
H(X)
H(X Y)：损失熵
信道
I ( X ;Y )
H (Y )
H(Y X ) ：噪声熵
H (X Y ) 0 ,H (YX ) 0
I(X ;Y ) H ( Y ) H (X )
C m { I ( X a ;Y )x } m { H ( Y a ) } x lo s g
输出端有信号反馈到输入端 例：手机通信
3.1.1 信道的分类 —— 按参数与时间的关系分
固定参数信道
参数（的统计特性）不随时间变化 例：光纤通信
时变参数信道
参数（的统计特性）随时间变化 例：短波（天波）通信
3.1.1 信道的分类 —— 按信号的特点分
离散信道
输入输出信号均为离散 例：数字电路
连续信道
输入输出信号均为连续 例：电视
半离散或半连续信道
输入输信号中一个为离散、 另一个为连续
例：A/D、D/A
波形信道
输入输出信号均为模拟信 号
例：无线电台广播
3.1.2 离散信道的数学模型 —— 一般模型
输入信号
X(X1,,Xi,,XN)
Xi :{a1,,ar} 输出信号
3.4 信道容量及其一般计算方法 —— 信道容量
信道传输率
RI(X;Y) (bit/符号)
Rt
1 I (X;Y) t
(bit/秒)
信道容量
其中t为平均传输 一符号所需时间
Cm{ aI(xX;Y)} (bit/符号) P(x)
Ct 1tm P(x)a{xI(X;Y)} (bit/秒)
H (X) P(x)loP g (x)
X
3.2.1 信道疑义度 —— 信道疑义度
信源
X
信道
Y
干扰
噪声源
信宿
在收到输出Y之后，关于X的不确定性的量度
H (XY) P (x)y loP (g xy)
X ,Y
3.2.1 信道疑义度 —— 信道疑义度的性质
信源
X
信道
Y
干扰
噪声源
信宿
一般信道
Y
P(y)
P ( xy )
X
P(x)P(y x)
X
H(Y X)
P(xy)logP(y x)
XY
P(x)P(y | x)logP(y x)
XY
3.3 平均互信息的特性 —— 例 3.4 [P97]
解： I(X ;Y ) H (Y ) H (Y X )
H (Y )
第3章 离散信道 及其信息容量
3.1 信道的数学模型及分类
3.2 平均互信息及平均条件互信息 3.3 平均互信息的特性 3.4 信道容量及其一般计算方法 3.5 离散无记忆扩展信道及其信道容量 3.6 独立并联信道及其信道容量 3.7 串联信道的互信息和数据处理定理 3.8 信源与信道的匹配
3.1.1 信道的分类 —— 按用户数目分
P ( y ) log P ( y )
Y
H ( p p )
H (Y X ) H (p)
P(y0)pp
P(y1)1P(y0)
3.3 平均互信息的特性 —— 凸状性
给定信道传递概率 P( y x)
信源的概率分布不同，平均互信息量不同 一定存在一种信源，使平均互信息量最大
信道 相 C I(X ;Y 对 ) 1 I( 冗 X ;Y ) 余
3.1.2 离散信道的数学模型 —— 有干扰无记忆信道
输入、输出信号
是概率关系 输出符号只与对应时刻的输入符号相关
条件概率 P(yx)P(y1y2yN x1x2xN）
N
P(yi xi) i1
3.1.2 离散信道的数学模型 —— 有干扰有记忆信道
r、s不一定相等
Y(Y1,,Yi,,YN)
Yi :{b1,,bs} 条件概率
P ( y x ) P ( y 1 y 2 y N x 1 x 2 x N ）
3.1.2 离散信道的数学模型 ——无干扰（无噪）信道
输入、输出信号
是确定关系
y f(x)
条件概率
P(yx)10
…
3.5~3.7 其他离散信道 —— 数据处理定理
X
Y
Z
W
信道I
信道II
信道III
…
H ( X ) I ( X ; Y ) I ( X ; Z ) I ( X ; W )
任何信息传输系统，最后获得的信息至多是 信源所提供的信息
3.8 信源与信道的匹配 —— 信道冗余度
信道 C I( 冗 X ;Y ) 余度
1 b2
(X/Y) 0 1
传递矩阵： 0
1
1 p
p
p 1 p
3.1.3 单符号离散信道的数学模型 —— 二元删除信道，BEC
X
Y
p
0
0
1 p
2
1 q
1
q
1
02 1
传递矩阵： 0
1
p
0
1 p 1 q
0 q
3.1.3 单符号离散信道的数学模型 —— 一般模型
无干扰信道
H(XY)H(X)
H(XY)0
3.2.2 平均互信息 —— 平均互信息
信源
X
信道
Y
干扰
噪声源
信宿
一般信道
平均互信息
H(XY)H(X) I(X ;Y ) H (X ) H (X Y )
3.2.2 平均互信息 —— 平均互信息
P(xy)
I(X;Y) P(x)ylog
X,Y
P(x)
H(X) H(X Y)
H(X) H(Y) H(XY)
H(Y) H(Y X)
H(XY)
H(X Y) I(X;Y) H(Y X)
H(X)
H (Y )
3.2.2 平均互信息 —— 平均互信息
I(X;Y)H(X)H(XY) H(X)H(Y)H(XY) H(Y)H(YX)
H(X)
H(X Y)：损失熵
信道
I(X;Y)
H (Y )
H(Y X) ：噪声熵
3.2.2 平均互信息 —— 平均互信息
无噪一一对应信道
P(yx)10
yf(x) yf(x)
X和Y完全统计独立
P(yx)P(y)
I(X;Y) H(X) H(Y)
H(YX)0 H(XY)0
H (X ) H (X Y)
3.4 信道容量及其一般计算方法 —— 二元对称信道(例 3.5 [P99])
X
Y
0
1 p
0
p
p
1p p
P
p
1 p
1
1 p
1
Cma{xI(X;Y)}ma{xH(Y)H(YX)}
合集下载
(信息论)第3章离散信源
k = 1, 2, L, N
② 连续无记忆信源 若在 N 维随机矢量 X 中，每个随机变量 X k 是连续随 机变量，且相互独立，则 N 维随机矢量 X 的联合概率密 度函数为
p (X ) = ∏ p k
k =1 N
6
有记忆信源
{
无限记忆信源
有限记忆信源
有限记忆信源可用有限状态马尔可夫链来描述。当信 源记忆长度为 m+1 时，也就是信源每次发出的符号仅与前 m 个符号有关，与更前面的符号无关。这样的信源称为 m 阶马尔可夫信源。此时可用条件概率分布描述信源的统计 特性。
H (X ) = E[I (xi )] = −∑ p(xi ) log p(xi )
i =1
q
(3.7)
信源熵 是从平均意义上表征信源总体统计特征的一个 量，是信源的统计平均不确定性的描述。
10
例：设信源符号集
1 率分别为 p ( x1 ) = , 2
X = {x1 , x2 , x3 , x4 }
k
或 a 2 的概率。
14
2、离散无记忆二进制信源 X 的三次扩展信源 、
N X 3 = ( X 1 , X 2 , X 3 ) 共输出 q 个消息 三次扩展信源
符号，q=2, N=3。所以二进制三次扩展信源的符号序列 共有8个， ai , i = 1, 2, L, 8。它可等效为一个具有8个消息 符号的新信源 X 。同时每个消息符号具有如下的概率分 布
(3.1)
其中
p ( xi ) ≥ 0
i = 1,2,L, q
∑ p(x ) = 1
i =1 i
q
即信源的概率空间是完备。
1
① 离散信源的数学模型 其数学模型为离散型的概率空间：
信息论-第三章PPT课件
条件概率被称为信道的传递概率或转移概率。
一般简单的单符号离散信道的数学模型可以用概率空
间[X,p(y|x),Y]来描述。
a1
b1
X
P (b j | ai )
Y
ar
2021/6/7
bs
6
第一节 信道的数学模型及分类
表示成矩阵形式：
…
y1
y2
… x1 p(y1/x1) p(y2/x1)
[P]=
…
x2 p(y1/x2) p(y2/x2)
2021/6/7
27
第四节 信道容量及其一般计算方法
(3)无噪有损信道
x1
x2
y1
x3
x4
y2
x5
此时信道疑义度为0，而信道噪声熵不为0，从而
C=max{I(X;Y)}=max{H(Y)-H(Y/X)}=max{H(Y)}=logs
2021/6/7
28
第四节 信道容量及其一般计算方法
2、对称离散信道的信道容量
y1
y2
…
x1
p(y1/x1)
p(y2/x1)
…
[P]= x2
p(y1/x2)
p(y2/x2)
…
…
…
…
…
xn
p(y1/xn)
p(y2/xn)
…
ym p(ym/x1) p(ym/x2)
… p(ym/xn)
2021/6/7
10
第一节 信道的数学模型及分类
为了表述简便，可以写成 P(bj /ai)pij
因为H(X),表示传输前信源的不确定性，而H(X/Y)表示
收到一个符号后，对信源尚存的不确定性，所以二者之
差信道传递的信息量。
一般简单的单符号离散信道的数学模型可以用概率空
间[X,p(y|x),Y]来描述。
a1
b1
X
P (b j | ai )
Y
ar
2021/6/7
bs
6
第一节 信道的数学模型及分类
表示成矩阵形式：
…
y1
y2
… x1 p(y1/x1) p(y2/x1)
[P]=
…
x2 p(y1/x2) p(y2/x2)
2021/6/7
27
第四节 信道容量及其一般计算方法
(3)无噪有损信道
x1
x2
y1
x3
x4
y2
x5
此时信道疑义度为0，而信道噪声熵不为0，从而
C=max{I(X;Y)}=max{H(Y)-H(Y/X)}=max{H(Y)}=logs
2021/6/7
28
第四节 信道容量及其一般计算方法
2、对称离散信道的信道容量
y1
y2
…
x1
p(y1/x1)
p(y2/x1)
…
[P]= x2
p(y1/x2)
p(y2/x2)
…
…
…
…
…
xn
p(y1/xn)
p(y2/xn)
…
ym p(ym/x1) p(ym/x2)
… p(ym/xn)
2021/6/7
10
第一节 信道的数学模型及分类
为了表述简便，可以写成 P(bj /ai)pij
因为H(X),表示传输前信源的不确定性，而H(X/Y)表示
收到一个符号后，对信源尚存的不确定性，所以二者之
差信道传递的信息量。
信道的数学模型及分类
在一般的广义通信系统中，信道是很重要的一部分。
信道的任务是以信号方式传输信息和存储信息。
我们研究信道就是研究信道中能够传送或存储的最大信息量，即信道容量问题。
信源输出的是携带着信息的消息，而消息必须首先转换成能在信道中传输或存储的信号，然后通过信道传送到收信者。
并且认为噪声或干扰主要是从信道中引入，它使信号通过信道后产生错误和失真。
故信道的输入和输出信号之间一般不是确定的函数关系，而是统计依赖的关系。
只要知道了信道的输入信号、输出信号，以及它们之间的统计依赖关系，则信道的全部特性就确定了。
一、信道的分类根据信道用户的多少，可以分为：（1）两端（单用户）信道。
只是一个输入端和一个输出端的信道；（2）多端（多用户）信道。
它是在输入端或输出端至少有一端有两个以上的用户，并且还可以是双向通信的信道。
根据信道输入端和输出端的关联，可以分为：（1）无反馈信道。
信道输出端无信道反馈到输入端，即输出端对输入端信号无影响；（2）反馈信道。
信道输出端的信号反馈到输入端，影响输入端信号发生变化；根据信道的参数与时间的关系，信道又可分为：（1）固定参数信道。
信道的统计特性不随时间变化而改变；（2）时变参数信道。
信道的统计特性随时间变化而变化；根据输入和输出信号的特点，信道又分为：（1）离散信道。
它是指输入和输出的随机序列取值都是离散的信道；（2）连续信道。
输入输出的随机序列的数值均是连续的信道；（3）半离散半连续信道；（4）波形信道。
输入和输出信号都是时间上连续的随机信号。
在此，我们研究无反馈、固定参数的单用户离散信道。
二、离散信道的数学模型离散信道的数学模型一般如右图所示，输入和输出信道用随机矢量表示。
输入信号，输出信号。
每个随机变量和又分别取值于符号集和。
另外，图中条件概率描述了输入信号和输出信号之间的统计依赖关系，反映了信道的统计特性。
根据信道的统计特性即条件概率的不同，离散信道又可分成三种情况。
1、无干扰信道。
信息论-第3章+信道的数学数学模型及分类
P ( y ) log P ( y )
Y
H ( p p )
H (Y X ) H (p)
P(y0)pp
P(y1)1P(y0)
3.3 平均互信息的特性 —— 凸状性
给定信道传递概率 P( y x)
信源的概率分布不同，平均互信息量不同 一定存在一种信源，使平均互信息量最大
1 b2
(X/Y) 0 1
传递矩阵： 0
1
1 p
p
p 1 p
3.1.3 单符号离散信道的数学模型 —— 二元删除信道，BEC
X
Y
p
0
0
1 p
2
1 q
1
q
1
02 1
传递矩阵： 0
1
p
0
1 p 1 q
0 q
3.1.3 单符号离散信道的数学模型 —— 一般模型
H(X) H(X Y)
H(X) H(Y) H(XY)
H(Y) H(Y X)
H(XY)
H(X Y) I(X;Y) H(Y X)
H(X)
H (Y )
3.2.2 平均互信息 —— 平均互信息
I(X;Y)H(X)H(XY) H(X)H(Y)H(XY) H(Y)H(YX)
ቤተ መጻሕፍቲ ባይዱ
H(X)
H(X Y)：损失熵
信道
I ( X ;Y )
H (Y )
H(Y X ) ：噪声熵
H (XY )H (YX )0
I(X ;Y ) H (X ) H ( Y )
C m { I ( X a ;Y )x } m { H ( X a ) x } lo r g
P ( x )
Y
H ( p p )
H (Y X ) H (p)
P(y0)pp
P(y1)1P(y0)
3.3 平均互信息的特性 —— 凸状性
给定信道传递概率 P( y x)
信源的概率分布不同，平均互信息量不同 一定存在一种信源，使平均互信息量最大
1 b2
(X/Y) 0 1
传递矩阵： 0
1
1 p
p
p 1 p
3.1.3 单符号离散信道的数学模型 —— 二元删除信道，BEC
X
Y
p
0
0
1 p
2
1 q
1
q
1
02 1
传递矩阵： 0
1
p
0
1 p 1 q
0 q
3.1.3 单符号离散信道的数学模型 —— 一般模型
H(X) H(X Y)
H(X) H(Y) H(XY)
H(Y) H(Y X)
H(XY)
H(X Y) I(X;Y) H(Y X)
H(X)
H (Y )
3.2.2 平均互信息 —— 平均互信息
I(X;Y)H(X)H(XY) H(X)H(Y)H(XY) H(Y)H(YX)
ቤተ መጻሕፍቲ ባይዱ
H(X)
H(X Y)：损失熵
信道
I ( X ;Y )
H (Y )
H(Y X ) ：噪声熵
H (XY )H (YX )0
I(X ;Y ) H (X ) H ( Y )
C m { I ( X a ;Y )x } m { H ( X a ) x } lo r g
P ( x )
信息论离散信道及其容量
p(x 1, y 0) p(x 1) p( y 0 | x 1) p p(x 1, y 1) p(x 1) p( y 1| x 1) p
p(Y 0) p(0, 0) p(1, 0) p (1 ) p p p
p(Y 1) p(0,1) p(1,1) p (1 ) p p p
pXY (0?) pY (?) pXY (1?) pY (?)
pXY pY
(01) (1)
1
pXY pY
(11) (1)
0
1 3 2 3
0 P( X ,Y )PY
1
由此可得
H ( X ) 1 log 1 3 log 3 0.811 4 44 4
H (Y ) 1 log 1 3 log 3 1 log 1 1.406 8 88 82 2
第4章 离散信道及其 容量
通信系统模型
信息论的研究基础是通信系统模型。
信源
编码器
信道
消息
信号
干扰
干扰器
译码器
信宿
消息
4.1 信道的数学模型及其分类
信道是信息传输的通道。
干扰
X
信道
Y
由于干扰的存在，信道的输出Y与信道的输入X不
完全相同，用条件概率p(y|x)描述。
而输入和输出又有各自的统计特性，分别用 表示。
离散信道中常用的几种概率
先验概率：p(ai)，PX=[p(a1) p(a2) … p(ar)]
联合概率：p(aibj)=p(ai)p(bj|ai)=p(bj)p(bj|ai)
p11 p12 L p1s
信道传递概率：p(bj|ai)=pij，P
p21 M
p22 M
L M
p2s
信道的数学模型及分类
在一般的广义通信系统中，信道是很重要的一部分。
信道的任务是以信号方式传输信息和存储信息。
我们研究信道就是研究信道中能够传送或存储的最大信息量，即信道容量问题。
信源输出的是携带着信息的消息，而消息必须首先转换成能在信道中传输或存储的信号，然后通过信道传送到收信者。
并且认为噪声或干扰主要是从信道中引入，它使信号通过信道后产生错误和失真。
故信道的输入和输出信号之间一般不是确定的函数关系，而是统计依赖的关系。
只要知道了信道的输入信号、输出信号，以及它们之间的统计依赖关系，则信道的全部特性就确定了。
一、信道的分类根据信道用户的多少，可以分为：（1）两端（单用户）信道。
只是一个输入端和一个输出端的信道；（2）多端（多用户）信道。
它是在输入端或输出端至少有一端有两个以上的用户，并且还可以是双向通信的信道。
根据信道输入端和输出端的关联，可以分为：（1）无反馈信道。
信道输出端无信道反馈到输入端，即输出端对输入端信号无影响；（2）反馈信道。
信道输出端的信号反馈到输入端，影响输入端信号发生变化；根据信道的参数与时间的关系，信道又可分为：（1）固定参数信道。
信道的统计特性不随时间变化而改变；（2）时变参数信道。
信道的统计特性随时间变化而变化；根据输入和输出信号的特点，信道又分为：（1）离散信道。
它是指输入和输出的随机序列取值都是离散的信道；（2）连续信道。
输入输出的随机序列的数值均是连续的信道；（3）半离散半连续信道；（4）波形信道。
输入和输出信号都是时间上连续的随机信号。
在此，我们研究无反馈、固定参数的单用户离散信道。
二、离散信道的数学模型离散信道的数学模型一般如右图所示，输入和输出信道用随机矢量表示。
输入信号，输出信号。
每个随机变量和又分别取值于符号集和。
另外，图中条件概率描述了输入信号和输出信号之间的统计依赖关系，反映了信道的统计特性。
根据信道的统计特性即条件概率的不同，离散信道又可分成三种情况。
1、无干扰信道。
《信息论》第三章
第三章 信道与信道容量
1
本章主要内容
信道的数学模型和分类 离散无记忆信道的信道容量 信源与信道的匹配 信道的组合 连续信道的信道容量
2
信道的数学模型和分类
信道概念——通信系统的组成部分，传递和 存储信息的通道或媒质,包括 空间传输和时间传输。
• 空间传输:各种物理通道---电缆、光缆、空间等 。
1 [ p log p (1 p) log(1 p)]
1 H ( p)
26
特殊DMC的信道容量
强对称信道（均匀信道）定义：信道输入、输出符 号个数相同，且信道矩阵为
1
p
P
K
p
1
p K 1 1 p
...... ......
p
K
p
1
有
H (Y
X)
H (Y ai )
m j 1
p(b j
ai ) log
1 p(b j ai )
24
特殊DMC的信道容量
对称信道的信道容量计算
对称信道必是准对称信道，故输入分布为等概分布。 对称信道的输出分布也为等概分布。
C I ( X ;Y ) | p* ( x) H (Y ) H (Y X ) H (Y ) H (Y ai )
I( x 1;Y ) log 2,
p(1) 0
所以由定理3.1得， C 1
11
最佳分布
{ ,0, } 22
16
特殊DMC的信道容量
1. 无噪无损信道
a1
1
b1
a2
1
b2
an
1
1
本章主要内容
信道的数学模型和分类 离散无记忆信道的信道容量 信源与信道的匹配 信道的组合 连续信道的信道容量
2
信道的数学模型和分类
信道概念——通信系统的组成部分，传递和 存储信息的通道或媒质,包括 空间传输和时间传输。
• 空间传输:各种物理通道---电缆、光缆、空间等 。
1 [ p log p (1 p) log(1 p)]
1 H ( p)
26
特殊DMC的信道容量
强对称信道（均匀信道）定义：信道输入、输出符 号个数相同，且信道矩阵为
1
p
P
K
p
1
p K 1 1 p
...... ......
p
K
p
1
有
H (Y
X)
H (Y ai )
m j 1
p(b j
ai ) log
1 p(b j ai )
24
特殊DMC的信道容量
对称信道的信道容量计算
对称信道必是准对称信道，故输入分布为等概分布。 对称信道的输出分布也为等概分布。
C I ( X ;Y ) | p* ( x) H (Y ) H (Y X ) H (Y ) H (Y ai )
I( x 1;Y ) log 2,
p(1) 0
所以由定理3.1得， C 1
11
最佳分布
{ ,0, } 22
16
特殊DMC的信道容量
1. 无噪无损信道
a1
1
b1
a2
1
b2
an
1
信息论与编码第三章
模
型
P<Y1=V1,Y2=V2…Yn=Vn/X=U1…X=Un>
n
Õ = p(YR = UR / X = uR )
决定DMC特点的条件概率P<yj/xi>可写成矩阵形 式
P = [ pij ]
3.2.1
转移概率矩阵
æ p( y0 / x0) p( y1 / x0)
数
ç
学 模
P
=
ç ç
p( y0 / x1)
数 即P<Y=0/X=1>=P<Y=1/X=0>=P
学
模 型
P<Y=1/X=1>=P<Y=0/X=0>=1-P
01
这种对称二进二出的
0 é P P ù 信道叫做二进制对称信
P=1
ê ëê
P
ú P ûú
道,简称BSC信道.
3.2.1
信道模型:
数 学 模
1-P
0
0
P
型
P
1
1
1-P
这种信道的输出符号仅与对应时刻输 入符号有关,与以前输入无关,故称此信道是 无记忆信道的.
3.1
信道分类：
信
道
1.有线信道和无线信道
分
类
有线信道：明线、对称电缆、同轴电
缆及
光缆等.
无线信道：地波传播、短波电离层反 射、
超短波或微波视距中继、
3.1
2．恒参信道和随参信道
信 道
恒参信道：信道的统计特性不随时间而变化.如明
分 线、对称电缆、同轴电缆、光缆、卫星中继信道
类
一般被视为恒参信道.
p0,Q - 1 ö ÷
信息论与编码(第三版) 第3章 信道与信道容量
2信道输入的先验分布不是最佳分布，那么信息传输率不 能够达到信息容量
3信息量R必须小于信道容量C，否则传输过程中会造成信 息损失，出现错误；
如果R<C成立端
噪声问题
无 映射(输 噪 入到输出)
条件转移 矩阵
H(Y|X)=0
Y X n
一对一
X：信道输入 Y：信道输出 n：信道噪声
p(bj|ai):后向概率
表示当接收符号为bj时， 信道输入为ai的概率，所 以也称为后验概率
贝叶斯公式
p(ai
| bj)
p(aibj ) p(bj )
p(ai ) p(bj | ai )
r
p(ai ) p(bj | ai )
i1
后验概率都是十分 重要的，可以通过
p(b1 )
p(a1 )
第3章 信道与信道容量
目录
3.1信道分类 3.2 单符号离散信道及其容量
➢ 3.2.1 数学模型 ➢ 3.2.2信道容量 ➢ 3.2.3 离散信道容量的迭代算法
3.3 离散序列信道及其容量 3.4 信源与信道的匹配 3.5 连续信道及其容量
➢ 3.5.1 连续单符号加性信道 ➢ 3.5.2 多维无记忆加性连续信道 ➢ 3.5.3 加性高斯白噪声波形信道
只能进行单方向的通信
也称多端信道，输入端或者 输出端至少有一端具有两个 或者两个以上用户，并且可
以实现双向通信
输入、输出的取值特性
离散信道
也称为数字信道，该类信道中输入空间、输出 空间均为离散事件集合，集合中事件数量是有 限的，或者有限可数的，随机变量取值都是离 散的
连续信道
也称为模拟信道，输入空间、输出空间均为连续事 件集合，集合中事件的数量是无限的、不可数的
3信息量R必须小于信道容量C，否则传输过程中会造成信 息损失，出现错误；
如果R<C成立端
噪声问题
无 映射(输 噪 入到输出)
条件转移 矩阵
H(Y|X)=0
Y X n
一对一
X：信道输入 Y：信道输出 n：信道噪声
p(bj|ai):后向概率
表示当接收符号为bj时， 信道输入为ai的概率，所 以也称为后验概率
贝叶斯公式
p(ai
| bj)
p(aibj ) p(bj )
p(ai ) p(bj | ai )
r
p(ai ) p(bj | ai )
i1
后验概率都是十分 重要的，可以通过
p(b1 )
p(a1 )
第3章 信道与信道容量
目录
3.1信道分类 3.2 单符号离散信道及其容量
➢ 3.2.1 数学模型 ➢ 3.2.2信道容量 ➢ 3.2.3 离散信道容量的迭代算法
3.3 离散序列信道及其容量 3.4 信源与信道的匹配 3.5 连续信道及其容量
➢ 3.5.1 连续单符号加性信道 ➢ 3.5.2 多维无记忆加性连续信道 ➢ 3.5.3 加性高斯白噪声波形信道
只能进行单方向的通信
也称多端信道，输入端或者 输出端至少有一端具有两个 或者两个以上用户，并且可
以实现双向通信
输入、输出的取值特性
离散信道
也称为数字信道，该类信道中输入空间、输出 空间均为离散事件集合，集合中事件数量是有 限的，或者有限可数的，随机变量取值都是离 散的
连续信道
也称为模拟信道，输入空间、输出空间均为连续事 件集合，集合中事件的数量是无限的、不可数的
信道定义与数学模型
时不变
信道对信号的影响不随时间变化 ，即信道参数是恒定的。
统计模型
01
描述信道对信号的统计特性，如 概率分布、均值、方差等。
02
用于评估信号传输性能和设计通 信系统。
多径传播模型
描述信号在传输过程中由于反射、折射和散射等原因引起的多径 效应。
多径效应会导致信号的幅度和相位发生变化，影响信号的传输质 量。
信道定义与数学模型
目
CONTENCT
录
• 引言 • 信道定义 • 信道数学模型 • 信道参数估计 • 信道容量与容量计算 • 结论
01
引言
主题简介
信道定义
信道是通信系统中的重要概念，用于描述信号在传输过程中的变 化和衰减。
数学模型
数学模型是描述信道特性的工具，通过数学模型可以分析信道的 性能和行为。
02
信道定义
信道的基本概念
信道是信息传输的媒介
信道是通信系统中的重要组成部分， 负责传输信息。在通信过程中，信道 负责将发送端输出的信号传输到接收 端，实现信息的传递。
信道具有传输能力
信道具有一定的传输能力，表示其传 输信息的能力。传输能力通常用带宽 和容量等参数来描述，这些参数决定 了信道传输信息的速度和质量。
03
信道数学模型
信道模型的分类
确定模型
描述信号在传输过程中受到的确定性影响，如信号 的幅度和相位变化。
概率模型
描述信号在传输过程中受到的随机影响，如噪声和 干扰。
混合模型
结合确定模型和概率模型，同时描述信号的确定性 和随机性影响。
线性时不变模型
线性
信道对输入信号的影响是线性的 ，即信号的增益和相位变化与输 入信号的幅度和频率成正比。
信道对信号的影响不随时间变化 ，即信道参数是恒定的。
统计模型
01
描述信道对信号的统计特性，如 概率分布、均值、方差等。
02
用于评估信号传输性能和设计通 信系统。
多径传播模型
描述信号在传输过程中由于反射、折射和散射等原因引起的多径 效应。
多径效应会导致信号的幅度和相位发生变化，影响信号的传输质 量。
信道定义与数学模型
目
CONTENCT
录
• 引言 • 信道定义 • 信道数学模型 • 信道参数估计 • 信道容量与容量计算 • 结论
01
引言
主题简介
信道定义
信道是通信系统中的重要概念，用于描述信号在传输过程中的变 化和衰减。
数学模型
数学模型是描述信道特性的工具，通过数学模型可以分析信道的 性能和行为。
02
信道定义
信道的基本概念
信道是信息传输的媒介
信道是通信系统中的重要组成部分， 负责传输信息。在通信过程中，信道 负责将发送端输出的信号传输到接收 端，实现信息的传递。
信道具有传输能力
信道具有一定的传输能力，表示其传 输信息的能力。传输能力通常用带宽 和容量等参数来描述，这些参数决定 了信道传输信息的速度和质量。
03
信道数学模型
信道模型的分类
确定模型
描述信号在传输过程中受到的确定性影响，如信号 的幅度和相位变化。
概率模型
描述信号在传输过程中受到的随机影响，如噪声和 干扰。
混合模型
结合确定模型和概率模型，同时描述信号的确定性 和随机性影响。
线性时不变模型
线性
信道对输入信号的影响是线性的 ，即信号的增益和相位变化与输 入信号的幅度和频率成正比。