第3章-信道与信道容量复习过程
加性高斯白噪声（AWGN）信道 Y＝X＋G
式中，G是均值为零、方差为σ2的高斯随机变量
当X给定，Y是一个均值为ai、方差为σ2的高斯随机
变量
p y/ai
1 ey2a2i2
2
2020/6/21
10
信道模型
4. 波形信道
输入是模拟波形，输出也是模拟波形
连续无记忆信道和连续有记忆信道
任一时刻输出变量与以前时刻的输入输出是否有关
2020/6/21
7
信道模型
1. 二进制离散信道：BSC信道 输入符号X取值{0,1} 输出符号Y取值{0,1} 信道转移概率 p(0/0) = 1－p p(0/1) = p p(1/1) = 1－p p(1/0) = p
1-p
0
0
输 入
p p
输 出
1
1-p
1
P
1 p
pቤተ መጻሕፍቲ ባይዱ
p 1 p
无错传输概率 有错传输概率
信道容量的定义
信道容量
CmaxI(X;Y) p(ai)
n m
m p(a aix ) i1j1pai
pbj/ai logpp bjb /jai
信道容量C的单位是信道上每传送一个符号所能携带
的比特数，即比特/符号。
如果以e为底，即取自然对数时，信道容量的单位是 奈特/符号。
如果已知符号传送周期是T 秒，信道容量Ct=C /T， 单位为bit/s或nat/s。
离散信道：输入和输出的信号在时间和幅度上 均为离散的信道。
连续信道：信号的幅度连续，时间离散。 半离散半连续信道：
输入变量取值离散而输出变量取值连续。 输入变量取值连续而输出变量取值离散。 波形信道：信道的输入和输出信号在时间和幅 度上均连续，一般可用随机过程来描述。
单用户、无反馈、固定参数的离散信道
根据噪声对信道中信号的作用不同，可将噪声 分为：加性噪声和乘性噪声
假设输入该信道的带限信号x(t)，相应的输出是
y(t)， n(t)代表加性噪声过程的一个样本函数，
则y(t)＝ x(t)＋ n(t)
加性高斯白噪声
2020/6/21
11
信道容量的定义
信道传输率R 信道中平均每个符号能传送的信息量 R＝I (X;Y) bit/符号
2020/6/21
5
信道模型
信道的输入 X=(X1, X2,…, Xi,…) 输入符号集：Xi={a1, a2,…, an}
信道的输出 Y=(Y1,Y2,…,Yj,…) 输出符号集：Yj={b1, b2,…, bm}
信道转移概率矩阵p(Y/X)
描述输入/输出的统计依赖关系，反映信道统
计关系。
p(Y/X)
输入X
信道
输出Y
2020/6/21
6
根据干扰和记忆性分类
无干扰（无噪声）信道
信道的输出信号Y与输入信号X之间有确定的关系Y=f (X)
有干扰无记忆信道
每个输出信号只与当前输入信号之间有转移概率关系， 与其他时刻的输入（出）信号无关。
有干扰有记忆信道
一般情况下，信道存在码间干扰，输出信号不但与当前 输入信号有关，还与以前的输入信号有关。 将记忆很强的L个符号当作矢量符号，各矢量符号之间 认为是无记忆的。 将转移概率看成马尔可夫链的形式。
p1m
p2
m
M M M
pn2 L
pnm
2020/6/21
9
信道模型
3. 离散输入、连续输出信道
输入符号集：X={a1, a2,…, an} 输出未经量化，即Y={-∞,∞}
有限、离散 无限、连续
输出特性由离散输入X、连续输出Y以及一组条件概 率密度函数 p( y /X=ai) 来决定。
信道研究方法
输入X 信源
P (Y/X) 输出Y
信道
信宿
抽象地将信道问题归结为输入、输出和转移概率矩 阵三个要素来描述。
2020/6/21
2
信道分类
1. 按信道的用户数量来划分
单用户信道：即只有一个输入端和一个输出端 的单向通信信道。
多用户信道：即在输入端或输出端中至少有一 端存在两个以上的用户，并且还可以双向通信 的信道。
时变参数信道：即信道的统计特性随时间而变 化，如无线信道。
4. 按信道中的噪声种类来划分
随机差错信道：指噪声随机地影响每个传输码元，
如以高斯白噪声为主体的信道。
突发差错信道：指噪声、干扰的影响是前后相关
的，错误成串出现，如脉冲干扰或闪电等。
2020/6/21
4
信道分类
5. 按输入/输出信号在幅度和时间上的取值划分
第3章 信道与信道容量
3.1 信道的基本概念 3.2 离散单个符号信道及其容量 3.3 离散序列信道及其容量 3.4 连续信道及其容量 3.5 信源与信道的匹配
2020/6/21
1
信道模型和信道容量
信道
传送信息的载体，信号通过的通道。
任务是以信号方式传输信息、存储信息。
研究信道就是研究信道中理论上能够传输或存储的 最大信息量，即信道的容量问题。信息论不研究信 号在信道中传输的物理过程。
信息传输速率Rt 若平均传输一个符号所需时间为t 则 Rt＝I (X;Y) / t bit /s
IX ;Yi n 1jm 1paipbj/a i logpp bjb /ja i
当信道确定时，p(bj/ai)确定。互信息是关于p(ai)的函数。
2020/6/21
12
信道容量的定义
2. 按输入/输出之间的关系来划分
无反馈信道：信道的输出端信号不反馈到输入端， 即输出信号对输入信号没有影响。
反馈信道：信道的输出信号通过一定途径反馈到输 入端，使输入端的信号发生变化。
2020/6/21
3
信道分类
3. 按信道参数与时间的关系来划分
固定参数信道：即信道的统计特性不随时间而 变化，如光纤、电缆信道。
定理：给定转移概率矩阵P后，平均互信息 I(X;Y)是概率矢量Px的上凸函数。
概率矢量Px＝[p(a1), p(a2),… p(an)]
用I(Px)表示I是Px的函数，则在I(Px)曲线的 上凸点对应的输入符号概率矢量Px上， I(Px) 取得极大值。这个值就是信道容量。
2020/6/21
13
2020/6/21
8
信道模型
2. 离散无记忆信道：DMC信道
输入符号集：X={a1, a2,…, an} 输出符号集：Y={b1, b2,…, bm} 输入－输出特性
各行概率
p(Y=bj /X=ai)≡ p(bj /ai)=pij
之和为1
转移概率矩阵
p11
P
p21
M
pn1
p12 L p22 L
式中，G是均值为零、方差为σ2的高斯随机变量
当X给定，Y是一个均值为ai、方差为σ2的高斯随机
变量
p y/ai
1 ey2a2i2
2
2020/6/21
10
信道模型
4. 波形信道
输入是模拟波形，输出也是模拟波形
连续无记忆信道和连续有记忆信道
任一时刻输出变量与以前时刻的输入输出是否有关
2020/6/21
7
信道模型
1. 二进制离散信道：BSC信道 输入符号X取值{0,1} 输出符号Y取值{0,1} 信道转移概率 p(0/0) = 1－p p(0/1) = p p(1/1) = 1－p p(1/0) = p
1-p
0
0
输 入
p p
输 出
1
1-p
1
P
1 p
pቤተ መጻሕፍቲ ባይዱ
p 1 p
无错传输概率 有错传输概率
信道容量的定义
信道容量
CmaxI(X;Y) p(ai)
n m
m p(a aix ) i1j1pai
pbj/ai logpp bjb /jai
信道容量C的单位是信道上每传送一个符号所能携带
的比特数，即比特/符号。
如果以e为底，即取自然对数时，信道容量的单位是 奈特/符号。
如果已知符号传送周期是T 秒，信道容量Ct=C /T， 单位为bit/s或nat/s。
离散信道：输入和输出的信号在时间和幅度上 均为离散的信道。
连续信道：信号的幅度连续，时间离散。 半离散半连续信道：
输入变量取值离散而输出变量取值连续。 输入变量取值连续而输出变量取值离散。 波形信道：信道的输入和输出信号在时间和幅 度上均连续，一般可用随机过程来描述。
单用户、无反馈、固定参数的离散信道
根据噪声对信道中信号的作用不同，可将噪声 分为：加性噪声和乘性噪声
假设输入该信道的带限信号x(t)，相应的输出是
y(t)， n(t)代表加性噪声过程的一个样本函数，
则y(t)＝ x(t)＋ n(t)
加性高斯白噪声
2020/6/21
11
信道容量的定义
信道传输率R 信道中平均每个符号能传送的信息量 R＝I (X;Y) bit/符号
2020/6/21
5
信道模型
信道的输入 X=(X1, X2,…, Xi,…) 输入符号集：Xi={a1, a2,…, an}
信道的输出 Y=(Y1,Y2,…,Yj,…) 输出符号集：Yj={b1, b2,…, bm}
信道转移概率矩阵p(Y/X)
描述输入/输出的统计依赖关系，反映信道统
计关系。
p(Y/X)
输入X
信道
输出Y
2020/6/21
6
根据干扰和记忆性分类
无干扰（无噪声）信道
信道的输出信号Y与输入信号X之间有确定的关系Y=f (X)
有干扰无记忆信道
每个输出信号只与当前输入信号之间有转移概率关系， 与其他时刻的输入（出）信号无关。
有干扰有记忆信道
一般情况下，信道存在码间干扰，输出信号不但与当前 输入信号有关，还与以前的输入信号有关。 将记忆很强的L个符号当作矢量符号，各矢量符号之间 认为是无记忆的。 将转移概率看成马尔可夫链的形式。
p1m
p2
m
M M M
pn2 L
pnm
2020/6/21
9
信道模型
3. 离散输入、连续输出信道
输入符号集：X={a1, a2,…, an} 输出未经量化，即Y={-∞,∞}
有限、离散 无限、连续
输出特性由离散输入X、连续输出Y以及一组条件概 率密度函数 p( y /X=ai) 来决定。
信道研究方法
输入X 信源
P (Y/X) 输出Y
信道
信宿
抽象地将信道问题归结为输入、输出和转移概率矩 阵三个要素来描述。
2020/6/21
2
信道分类
1. 按信道的用户数量来划分
单用户信道：即只有一个输入端和一个输出端 的单向通信信道。
多用户信道：即在输入端或输出端中至少有一 端存在两个以上的用户，并且还可以双向通信 的信道。
时变参数信道：即信道的统计特性随时间而变 化，如无线信道。
4. 按信道中的噪声种类来划分
随机差错信道：指噪声随机地影响每个传输码元，
如以高斯白噪声为主体的信道。
突发差错信道：指噪声、干扰的影响是前后相关
的，错误成串出现，如脉冲干扰或闪电等。
2020/6/21
4
信道分类
5. 按输入/输出信号在幅度和时间上的取值划分
第3章 信道与信道容量
3.1 信道的基本概念 3.2 离散单个符号信道及其容量 3.3 离散序列信道及其容量 3.4 连续信道及其容量 3.5 信源与信道的匹配
2020/6/21
1
信道模型和信道容量
信道
传送信息的载体，信号通过的通道。
任务是以信号方式传输信息、存储信息。
研究信道就是研究信道中理论上能够传输或存储的 最大信息量，即信道的容量问题。信息论不研究信 号在信道中传输的物理过程。
信息传输速率Rt 若平均传输一个符号所需时间为t 则 Rt＝I (X;Y) / t bit /s
IX ;Yi n 1jm 1paipbj/a i logpp bjb /ja i
当信道确定时，p(bj/ai)确定。互信息是关于p(ai)的函数。
2020/6/21
12
信道容量的定义
2. 按输入/输出之间的关系来划分
无反馈信道：信道的输出端信号不反馈到输入端， 即输出信号对输入信号没有影响。
反馈信道：信道的输出信号通过一定途径反馈到输 入端，使输入端的信号发生变化。
2020/6/21
3
信道分类
3. 按信道参数与时间的关系来划分
固定参数信道：即信道的统计特性不随时间而 变化，如光纤、电缆信道。
定理：给定转移概率矩阵P后，平均互信息 I(X;Y)是概率矢量Px的上凸函数。
概率矢量Px＝[p(a1), p(a2),… p(an)]
用I(Px)表示I是Px的函数，则在I(Px)曲线的 上凸点对应的输入符号概率矢量Px上， I(Px) 取得极大值。这个值就是信道容量。
2020/6/21
13
2020/6/21
8
信道模型
2. 离散无记忆信道：DMC信道
输入符号集：X={a1, a2,…, an} 输出符号集：Y={b1, b2,…, bm} 输入－输出特性
各行概率
p(Y=bj /X=ai)≡ p(bj /ai)=pij
之和为1
转移概率矩阵
p11
P
p21
M
pn1
p12 L p22 L
合集下载
信息论与编码理论-第3章信道容量-习题解答
信息论与编码理论-第3章信道容量-习题解答-071102(总11页)--本页仅作为文档封面，使用时请直接删除即可----内页可以根据需求调整合适字体及大小--第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
第3章信道与信道容量32
j i j
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
14
3.2离散单个符号信道及其容量
信道容量
C＝ max I ( X ; Y )
p ( ai )
= max[ H (Y ) − H (Y | X )]
p ( ai ) p ( ai )
= max H (Y ) − H (Y / X )
第3章信道与信道容量
3.1信道分类和表示参数 3.2离散单个符号信道及其容量
离散无记忆信道：对称、准对称
3.4连续信道及其容量
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
1
3.1信道分类和表示参数
信道分类
用户数量：单用户、多用户 输入端和输出端关系：无反馈、有反馈 信道参数与时间的关系：固参、时变参 噪声种类： 随机差错、突发差错 输入输出特点：离散、连续、半离散半 连续、波形信道
• 信道种类
1 无干扰信道 2 有干扰无记忆信道 3 有干扰有记忆信道
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3
信道参数
无干扰（无噪声）信道
1, y = f (x) p ( Y / X) = 0, y ≠ f (x)
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
13
3.2离散单个符号信道及其容量
•
输入对称
∑ p(b j / ai ) log p(b j / ai )与i无关
j
H (Y / X ) = −∑ p(ai )∑ p(b j / ai ) log p(b j / ai ) = −∑ p(b j / ai ) log p (b j / ai ) = H (Y / xi )
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
14
3.2离散单个符号信道及其容量
信道容量
C＝ max I ( X ; Y )
p ( ai )
= max[ H (Y ) − H (Y | X )]
p ( ai ) p ( ai )
= max H (Y ) − H (Y / X )
第3章信道与信道容量
3.1信道分类和表示参数 3.2离散单个符号信道及其容量
离散无记忆信道：对称、准对称
3.4连续信道及其容量
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
1
3.1信道分类和表示参数
信道分类
用户数量：单用户、多用户 输入端和输出端关系：无反馈、有反馈 信道参数与时间的关系：固参、时变参 噪声种类： 随机差错、突发差错 输入输出特点：离散、连续、半离散半 连续、波形信道
• 信道种类
1 无干扰信道 2 有干扰无记忆信道 3 有干扰有记忆信道
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3
信道参数
无干扰（无噪声）信道
1, y = f (x) p ( Y / X) = 0, y ≠ f (x)
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
13
3.2离散单个符号信道及其容量
•
输入对称
∑ p(b j / ai ) log p(b j / ai )与i无关
j
H (Y / X ) = −∑ p(ai )∑ p(b j / ai ) log p(b j / ai ) = −∑ p(b j / ai ) log p (b j / ai ) = H (Y / xi )
第三章离散信道及其信道容量
0
0 1
不是一一对应,无扰有信息损失
1
(2)有扰信道 例3:
a1
0.9
X
0.1
a2
0.2 0.8
b1
Y
b2
0.9 0.1 [P] 0.2 0.8 有扰有信息损失,干扰严重
例4:
a1
X
a2
1/2 1/2 1/2 1/2
b1
Y
b2
1/ 2 1 / 2 [P] 1/ 2 1 / 2
P yi xi P xi yi
即E{log x} ≤log{E(X)}
即E{log x} ≤log{E(X)}
I(X
;Y
)
X
Y
P(x,
y)
log
P( x)P( y) P(x, y)
log
XY
P(x,
y)
P( x)P( y) P(x, y)
log1
0
∴ I(X;Y) ≥ 0
∵ logx为∩ 型凸函数,只有当且仅当 p(x.y)=P(x)P(y),即x和Y统计独立时I(X;Y)=0
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都 有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都 是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相 应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上 连续的随机信号。即信道输入和输出的随机变量的 取值是连续的，并且还随时间连续变化。一般用随 机过程来描述其输入和输出。
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1
第三章 信道模型和信道容量
这是可知疑义度H(X/Y)=0，平均交互信息量达到最大值 I(X,Y)=H(X)，C=logr。从平均意义上讲，这种信道可以把信源 的信息全部传递道信宿。这种每列只有一个非0元素的信道也 是一种无噪声信道，称为无噪声信道。
确定信道
这类信道的转移概率等于1或者等于0， 每一列的元素可有一个或多个1，可知其 噪声熵H(Y/X)=0，此时的平均交互信息 量达到最大值。
离散信道
X
P(Y/X)
Y
离散信道分类： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道
离散信道三种表达方式
概率空间描述 X={a1,a2,……ar} P(Y/X)={p(bj/ai)}
j=1,2,……s) Y={b1,b2,……bs} 0≤p(bj/ai)≤1
(i=1,2,……r;
转移矩阵描述
信道组合
串联信道 并联信道
4.4 时间离散的无记忆连续 信道
可加噪声信道
P(y|x)=p(y-x)=p(z)
Hc (Y | X ) Hc (Z ) I (X ;Y ) Hc (Y ) Hc (Z )
可加噪声信道
高斯噪声信道
I
(X
;Y
)
H
(Y
)
Hc
(X
)
1 2
log(1
2 x 2 z
)
例已知一个二元信源连接一个二元信道， 如图给出。X={x1,x2}, [p(xi)]={1/2,1/2}
求I(X；Y)，H(X,Y)，H(X/Y)，和H(Y/X)。
信道容量
C max R max I (X ;Y )bit / 符号
PX
PX
1
Ct
max PX
Rt
信息论基础第3章离散信道及其信道容量
也就是说，通过信息处理后，一般只会增加信息的 损失，最多保持原来获得的信息，不可能比原来获得的 信息有所增加。一旦失掉了信息，用任何处理手段也不 可能再恢复丢失的信息，因此也称为信息不增性原理。
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
第3章信道容量
其信道容量
C max I ( X ;Y ) max H ( Y ) log m
p ( xi ) p ( xi )
达到此类信道的信道容量的概率分布是使信道输出分布为 等概分布的输入分布。
8
离散无噪信道（总结）
对于无噪信道，求信道容量C的问题，已经 从求I(X;Y)的极值问题退化为求H(Y)或H(X)的 极值问题。
H(X/Y)称为损失熵，即信道疑义度。表示信源符号通过有噪 信道传输后引起的信息量的损失。 因为H(X/Y)=H(X)-I(X;Y) 损失熵等于信源X所含有的信息量减去信道输出端接收到符号 集Y之后平均每个符号所获得的关于输入集X的信息量。 H(Y/X)称为噪声熵，反映了信道中噪声源的不确定性。 因为H(Y/X)=H(Y)-I(X;Y)
i 1 j 1 n n
p( x i ) H ni
i 1
n
H ni p( y j / x i ) log p( y j / x i ) 由 于 信 道 的 对 称 性 ， 一 每行 都 是 同 一 集 合 诸素 元的 不 同 排 列 。
其信道容量
C max I ( X ;Y ) max H ( X ) log n
p ( xi ) p ( xi )
6
3.具有归并性能的无噪信道（确定信道）
确定信道的一个输出对应着多个 互不相交的输入，如右图所示。
信道矩阵中每行中只有一非零元 素，即已知X后，Y不再有任何 不确定度。故噪声熵H(Y/X)=0
11
强对称信道的几个特性
强对称信道是对称信道的一个特例；
输入符号数与输出符号数相等； 信道中总的错误概率为p，对称地平均分配给 n-1个输出符号，n为输入符号的个数； 均匀信道中不仅各行之和为1,而且各列之和也 为1。 一般信道各列之和不一定等于1
信道、信道容量、数据传输速率
信道、信道容量、数据传输速率简介：信道、信道容量、数据传输速率（比特率）、电脑装置带宽列表一、信道的概念信道，是信号在通信系统中传输的通道，是信号从发射端传输到接收端所经过的传输媒质，这是狭义信道的定义。
广义信道的定义除了包括传输媒质，还包括信号传输的相关设备。
信道容量是在通信信道上可靠地传输信息时能够达到的最大速率。
根据有噪信道编码定理，给定信道的信道容量是其以任意小的差错概率传输信息的极限速率。
信道容量的单位为比特每秒、奈特每秒等等。
香农在第二次世界大战期间发展出信息论，并给出了信道容量的定义和计算信道容量的数学模型。
他指出，信道容量是信道的输入与输出的互信息量的最大值，这一最大取值由输入信号的概率分布决定。
二、信道的分类（一）狭义信道的分类狭义信道，按照传输媒质来划分，可以分为有线信道、无线信道和存储信道三类。
1. 有线信道有线信道以导线为传输媒质，信号沿导线进行传输，信号的能量集中在导线附近，因此传输效率高，但是部署不够灵活。
这一类信道使用的传输媒质包括用电线传输电信号的架空明线、电话线、双绞线、对称电缆和同轴电缆等等，还有传输经过调制的光脉冲信号的光导纤维。
2. 无线信道无线信道主要有以辐射无线电波为传输方式的无线电信道和在水下传播声波的水声信道等。
无线电信号由发射机的天线辐射到整个自由空间上进行传播。
不同频段的无线电波有不同的传播方式，主要有：地波传输：地球和电离层构成波导，中长波、长波和甚长波可以在这天然波导内沿着地面传播并绕过地面的障碍物。
长波可以应用于海事通信，中波调幅广播也利用了地波传输。
天波传输：短波、超短波可以通过电离层形成的反射信道和对流层形成的散射信道进行传播。
短波电台就利用了天波传输方式。
天波传输的距离最大可以达到400千米左右。
电离层和对流层的反射与散射，形成了从发射机到接收机的多条随时间变化的传播路径，电波信号经过这些路径在接收端形成相长或相消的叠加，使得接收信号的幅度和相位呈随机变化，这就是多径信道的衰落，这种信道被称作衰落信道。
第三章 信道和信道容量
I（X；Y）：接收到Y前、后关于的平均不确定性 的消除 ；或发送X前、后关于Y的平
均不确定性的消除。
可见：熵只是平均不确定性的描述，而不确定性 的消除（两熵之差）才等于接收端所获得的信息 量。获得的信息量不能和不确定性混为一谈。
第三章 信道和信道容量
关于信道容量： 研究：信道中平均每个符号所能传送的信息量，
有损失，是无噪有损信 道，也称确定信道，即： 损失熵：H(X/Y) ≠ 0； 噪声熵：H(Y/X) ＝ 0， I(X;Y)＝H(Y)＝H(X)－H(X/Y) ＜H(X)
第三章 信道和信道容量
信道容量仍是最大熵问题（最大H(Y)）：
C＝max H(Y)＝log s bit/符号
P(X)
（设Y有s个符号）
不相交的子集mk，由mk组成的矩阵[P]k是对称矩阵 （具有可排列的性质），则称此信道为准对称信道， 其信道容量：
r为输入符号集个数 即信道矩阵行数 准对称信道中的 行元素 第k个子矩阵 中行元素之和
第k个子矩阵 中列元素之和
第三章 信道和信道容量
例3－1：二元对称删除 信道如图，计算信道容量。
例3－2：准对称信道的信道矩阵为： P(y/x)＝ 0.5 0.3 0.2 0.3 0.5 0.2 当输入概率分布为p(x1)＝ɑ，p(x2)＝1－ɑ
且：p＝0时，信道无干扰； P＝1/2时，信道干扰最为严重。
第三章 信道和信道容量
二、二元删除信道
难以区分原发送信号时，不硬性
判断0或1，而作删除处理。 删除信道中，p＝q时，则为 对称删除信道。 三、Z信道 信道特性：0错成1的概率为0， 1错成0有一定可能。
1
0 1 0
p
1－p
1
第三章 信道和信道容量
信息论基础及应用第3章 信道及其容量(2)_3.4~3.7
3.5.1 串联信道及其信道容量和数据处理定理
定理3.6 串联信道的平均互信息满足 I (Y ; Z ) I ( XY ; Z ) I ( X ;Z ) I ( XY ;Z )
仅当对任意x,y,z，满足 P(z | xy)=P(z | y) 时，一式等号成立； 满足 P(z | xy)=P(z | x)时，二式等号成立。
max
P(x)
I ( X;Y )
max
P(x)
i 1
I ( Xi;Yi )
i 1
max
P(x)
I ( X i;Yi )
N
Ci
i 1
式中，Ci
max
P( x)
I
(
X
i
;Yi
)
◆若信道为时不变的，则有：
Ci C,(i 1,2, , N)
此时，离散无记忆信道容量为
CN NC
*3.5 组合信道的信道容量
Y = Y2 β1 = 00 β 2 = 01 β 3 = 10 β 14 = 11
P(
4
1)
P(11
00)
P(1
0)P(1
0)
p2
p2 pp pp p2
◆二次扩展信道转移概率矩阵 ：
=
P
(
)
pp
p2
p2
pp
pp p2 p2 pp
p2
pp
pp
p
2
定理3.7 （数据处理定理） 若 X, Y, Z 构成一个马氏链，
I(X;Z) I(X;Y ) 则有: I ( X ; Z ) I (Y ; Z )
编码理论第3章
0 P0 1 p p
1 p p
• p(00|00)=p(0|0)p(0|0)= • p(01|10)=p(0|1)p(1|0)= • p(01|11)=p(0|1)p(1|1)=
3.3 互信息量和平均互信息量
• 3.3.1互信息量的基本概念 • 消息的x概率分布称为先验概率 p(x) ，接收 到符号y后，接收者重新估计事件x发生的概率， 记为条件概率p(x|y)，也称p(x|y)为后验概率。 • 事件 x i 是否发生具有不确定性，用 I ( xi ) 度 量。接收到符号 y j 后，事件 x i 是否发生仍保留 有一定的不确定性，用 I ( xi y j )度量。观察事件前 后，这两者之差就是信息传输过程中所获得的信 息量，即事件之间的互信息,用 I ( xi ; y j ) 表示，有
s j 1
p (b j a i ) i 1,2,..., r j 1,2,..., s
b1 b2 bs
p(b
j
ai ) 1
图3-1 基本离散信道模型
•
信道的输入有r种不同的输入符号，输出有s种不同的输出符 号，所以要完整描述信道的传递特性必须测定(r×s)个条件概率， 按输入、输出符号的对应关系，把(r×s)个条件概率排列成一个 (r×s)阶矩阵
ar N
P( j i )
i 1,2,..., r N ; j 1,2,..., s N
1 2 s
Y Y1Y2 YN
N
P(
j 1
sN
j
i ) 1
图3-4 扩展信道模型
按输入、输出的对应关系，N次扩展信道的传递矩阵
1 P 2 rN
1 2 p( 1 1 ) p( 2 1 ) p( 1 2 ) p( 2 2 ) p( 1 r N ) p( 2 r N )