第三章信道及信道容量
合集下载
与信道容量
Department of Communication China Ji Liang University
25
第 三 章 信 道 与 信 道 容 量
③ 具有归并性能的无噪信道
这种信道如下图所示。 这种信道如下图所示。 n>m，输入 的符号集个数大于输出 的符号集个数。 的符号集个数大于输出Y的符号集个数 ，输入X的符号集个数大于输出 的符号集个数。
2012-4-6
Department of Communication China Ji Liang University
24
第 三 章 信 道 与 信 道 容 量
信道疑义度 H(X/Y)=0， I(X;Y)= H(X) -H(X/Y)= H(X) 。 ，
信道容量为： 信道容量为：
2012-4-6
2012-4-6
Department of Communication China Ji Liang University
10
第 三 章 信 道 与 信 道 容 量
b）二进制对称信道 ） （简称为 BSC信道 ） 信道
0 输入 p 1-p 0 输出
p 1 1-p 1
二进制对称信道
2012-4-6
Department of Communication China Ji Liang University
2012-4-6
Department of Communication China Ji Liang University
26
第 三 章 信 道 与 信 道 容 量
信道噪声熵 H(Y/X)=0。 信道容量为：
2012-4-6
Department of Communication China Ji Liang University
第三章离散信道及其信道容量
0
0 1
不是一一对应,无扰有信息损失
1
(2)有扰信道 例3:
a1
0.9
X
0.1
a2
0.2 0.8
b1
Y
b2
0.9 0.1 [P] 0.2 0.8 有扰有信息损失,干扰严重
例4:
a1
X
a2
1/2 1/2 1/2 1/2
b1
Y
b2
1/ 2 1 / 2 [P] 1/ 2 1 / 2
P yi xi P xi yi
即E{log x} ≤log{E(X)}
即E{log x} ≤log{E(X)}
I(X
;Y
)
X
Y
P(x,
y)
log
P( x)P( y) P(x, y)
log
XY
P(x,
y)
P( x)P( y) P(x, y)
log1
0
∴ I(X;Y) ≥ 0
∵ logx为∩ 型凸函数,只有当且仅当 p(x.y)=P(x)P(y),即x和Y统计独立时I(X;Y)=0
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都 有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都 是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相 应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上 连续的随机信号。即信道输入和输出的随机变量的 取值是连续的，并且还随时间连续变化。一般用随 机过程来描述其输入和输出。
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1
课件：第三章信道及其容量
第三章 信道及其容量
1
研究信道的目的是研究信道能传输的最大信息量， 即信道的最大传输能力。 1、如何描述在信道中传输的消息的信息量大小—— 平均互信息/信息传输率 2、信道的最大信息传输率是多少？——信道容量/ 传信能力
2
第三章 信道及其容量
3.1 信道的数学模型与分类 3.2 信道疑义度与平均互信息 3.3 离散无记忆的扩展信道 3.4 离散信道的信道容量 3.5 连续信道的信道容量 3.6 信源与信道的匹配 3.7 信道编码定理
效地折合成信道干扰，看成是由一个噪声源产生的，它将作用 于所传输的信号上。 a) 加性干扰：它是由外界原因产生的随机干扰，它与信道的
输入信号统计无关，因而信道的输出是输入和干扰的叠加。 【主要研究的干扰】 b) 乘性干扰：信道的输出信号可看成输入信号和某些随机参 量相乘的结果。
16
(6)根据信道有无记忆特性将信道分为： 无记忆信道 输出仅与当前输入有关，而与过去的输入和输 出无关。 有记忆信道 输出不仅与当前输入有关，而且与过去的输入 和输出有关。 本章的讨论基于无记忆、恒参、单用户离散信道，它是
|
x)
1 0
y f (x) y f (x)
其典型信道如下图所示：
22
(2)有干扰无记忆信道
该信道为实际常用信道，信道中存在干扰。 信道输入和输出符号之间不存在确定的对应关系，接收到Y后 不能完全消除对X的不确定性。信道输入和输出间的条件概率是一 般的概率分布。 信道任一时刻的输出符号只统计依赖于对应时刻的输入符号， 则这种信道称为无记忆信道，其条件概率满N 足
p(y | x) p(Y1, ,YN | X1, , XN )
条件概率p( y | x) 称为信道的传递概率或转移概率。 信道的数学模型可以用数学符号表示为：
1
研究信道的目的是研究信道能传输的最大信息量， 即信道的最大传输能力。 1、如何描述在信道中传输的消息的信息量大小—— 平均互信息/信息传输率 2、信道的最大信息传输率是多少？——信道容量/ 传信能力
2
第三章 信道及其容量
3.1 信道的数学模型与分类 3.2 信道疑义度与平均互信息 3.3 离散无记忆的扩展信道 3.4 离散信道的信道容量 3.5 连续信道的信道容量 3.6 信源与信道的匹配 3.7 信道编码定理
效地折合成信道干扰，看成是由一个噪声源产生的，它将作用 于所传输的信号上。 a) 加性干扰：它是由外界原因产生的随机干扰，它与信道的
输入信号统计无关，因而信道的输出是输入和干扰的叠加。 【主要研究的干扰】 b) 乘性干扰：信道的输出信号可看成输入信号和某些随机参 量相乘的结果。
16
(6)根据信道有无记忆特性将信道分为： 无记忆信道 输出仅与当前输入有关，而与过去的输入和输 出无关。 有记忆信道 输出不仅与当前输入有关，而且与过去的输入 和输出有关。 本章的讨论基于无记忆、恒参、单用户离散信道，它是
|
x)
1 0
y f (x) y f (x)
其典型信道如下图所示：
22
(2)有干扰无记忆信道
该信道为实际常用信道，信道中存在干扰。 信道输入和输出符号之间不存在确定的对应关系，接收到Y后 不能完全消除对X的不确定性。信道输入和输出间的条件概率是一 般的概率分布。 信道任一时刻的输出符号只统计依赖于对应时刻的输入符号， 则这种信道称为无记忆信道，其条件概率满N 足
p(y | x) p(Y1, ,YN | X1, , XN )
条件概率p( y | x) 称为信道的传递概率或转移概率。 信道的数学模型可以用数学符号表示为：
第三章 信道模型和信道容量
这是可知疑义度H(X/Y)=0，平均交互信息量达到最大值 I(X,Y)=H(X)，C=logr。从平均意义上讲，这种信道可以把信源 的信息全部传递道信宿。这种每列只有一个非0元素的信道也 是一种无噪声信道，称为无噪声信道。
确定信道
这类信道的转移概率等于1或者等于0， 每一列的元素可有一个或多个1，可知其 噪声熵H(Y/X)=0，此时的平均交互信息 量达到最大值。
离散信道
X
P(Y/X)
Y
离散信道分类： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道
离散信道三种表达方式
概率空间描述 X={a1,a2,……ar} P(Y/X)={p(bj/ai)}
j=1,2,……s) Y={b1,b2,……bs} 0≤p(bj/ai)≤1
(i=1,2,……r;
转移矩阵描述
信道组合
串联信道 并联信道
4.4 时间离散的无记忆连续 信道
可加噪声信道
P(y|x)=p(y-x)=p(z)
Hc (Y | X ) Hc (Z ) I (X ;Y ) Hc (Y ) Hc (Z )
可加噪声信道
高斯噪声信道
I
(X
;Y
)
H
(Y
)
Hc
(X
)
1 2
log(1
2 x 2 z
)
例已知一个二元信源连接一个二元信道， 如图给出。X={x1,x2}, [p(xi)]={1/2,1/2}
求I(X；Y)，H(X,Y)，H(X/Y)，和H(Y/X)。
信道容量
C max R max I (X ;Y )bit / 符号
PX
PX
1
Ct
max PX
Rt
信息论基础第3章离散信道及其信道容量
也就是说，通过信息处理后，一般只会增加信息的 损失，最多保持原来获得的信息，不可能比原来获得的 信息有所增加。一旦失掉了信息，用任何处理手段也不 可能再恢复丢失的信息，因此也称为信息不增性原理。
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
第3章信道容量
其信道容量
C max I ( X ;Y ) max H ( Y ) log m
p ( xi ) p ( xi )
达到此类信道的信道容量的概率分布是使信道输出分布为 等概分布的输入分布。
8
离散无噪信道（总结）
对于无噪信道，求信道容量C的问题，已经 从求I(X;Y)的极值问题退化为求H(Y)或H(X)的 极值问题。
H(X/Y)称为损失熵，即信道疑义度。表示信源符号通过有噪 信道传输后引起的信息量的损失。 因为H(X/Y)=H(X)-I(X;Y) 损失熵等于信源X所含有的信息量减去信道输出端接收到符号 集Y之后平均每个符号所获得的关于输入集X的信息量。 H(Y/X)称为噪声熵，反映了信道中噪声源的不确定性。 因为H(Y/X)=H(Y)-I(X;Y)
i 1 j 1 n n
p( x i ) H ni
i 1
n
H ni p( y j / x i ) log p( y j / x i ) 由 于 信 道 的 对 称 性 ， 一 每行 都 是 同 一 集 合 诸素 元的 不 同 排 列 。
其信道容量
C max I ( X ;Y ) max H ( X ) log n
p ( xi ) p ( xi )
6
3.具有归并性能的无噪信道（确定信道）
确定信道的一个输出对应着多个 互不相交的输入，如右图所示。
信道矩阵中每行中只有一非零元 素，即已知X后，Y不再有任何 不确定度。故噪声熵H(Y/X)=0
11
强对称信道的几个特性
强对称信道是对称信道的一个特例；
输入符号数与输出符号数相等； 信道中总的错误概率为p，对称地平均分配给 n-1个输出符号，n为输入符号的个数； 均匀信道中不仅各行之和为1,而且各列之和也 为1。 一般信道各列之和不一定等于1
第三章 信道和信道容量
I（X；Y）：接收到Y前、后关于的平均不确定性 的消除 ；或发送X前、后关于Y的平
均不确定性的消除。
可见：熵只是平均不确定性的描述，而不确定性 的消除（两熵之差）才等于接收端所获得的信息 量。获得的信息量不能和不确定性混为一谈。
第三章 信道和信道容量
关于信道容量： 研究：信道中平均每个符号所能传送的信息量，
有损失，是无噪有损信 道，也称确定信道，即： 损失熵：H(X/Y) ≠ 0； 噪声熵：H(Y/X) ＝ 0， I(X;Y)＝H(Y)＝H(X)－H(X/Y) ＜H(X)
第三章 信道和信道容量
信道容量仍是最大熵问题（最大H(Y)）：
C＝max H(Y)＝log s bit/符号
P(X)
（设Y有s个符号）
不相交的子集mk，由mk组成的矩阵[P]k是对称矩阵 （具有可排列的性质），则称此信道为准对称信道， 其信道容量：
r为输入符号集个数 即信道矩阵行数 准对称信道中的 行元素 第k个子矩阵 中行元素之和
第k个子矩阵 中列元素之和
第三章 信道和信道容量
例3－1：二元对称删除 信道如图，计算信道容量。
例3－2：准对称信道的信道矩阵为： P(y/x)＝ 0.5 0.3 0.2 0.3 0.5 0.2 当输入概率分布为p(x1)＝ɑ，p(x2)＝1－ɑ
且：p＝0时，信道无干扰； P＝1/2时，信道干扰最为严重。
第三章 信道和信道容量
二、二元删除信道
难以区分原发送信号时，不硬性
判断0或1，而作删除处理。 删除信道中，p＝q时，则为 对称删除信道。 三、Z信道 信道特性：0错成1的概率为0， 1错成0有一定可能。
1
0 1 0
p
1－p
1
第三章 信道和信道容量
通信课件信道及信道容量
基本内容
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2 ）有干扰无记忆信道： 每个信道输出只与当前输入信号之间有转移概率关系，而 与其它时刻的输入输出信号无关。
这种情况下，不需要矢量形式，只要分析单个符号的转 移概率p(yi/xi)即可。
①离散无记忆信道（DMC） ②二进制对称信道（BSC）
15
《信息论与编码》
①离散无记忆信道 (DMC)： 输入和输出信号的符号数大于 2但为有限值,即 ,
《信息论与编码》
第3章 信道和信道容量
1
《信息论与编码》
主要内容 3.1信道的基本概念 3.2离散单个符号信道及其容量 3.3离散序列信道及其容量 3.4连续信道及其容量 3.5信源与信道的匹配
2
《信息论与编码》
3.1 信道分类和表示参数 重点：信道矩阵
3
《信息论与编码》
信道中存在的干扰使输出信号与输入信号之间没有固定的函 数关系，只有统计依赖的关系。因此可以通过研究分析输入 输出信号的统计关系来研究信道。 一、信道的分类 1、根据用户数量分为 ① 单用户信道：只有一个输入端和一个输出端，信息单向 传输。 ② 多用户信道：输入端和输出端至少有一方存在两个以上 的用户，信息双向传输。 2、根据信道输入端和输出端的关系分为 ① 无反馈信道：输出端对输入端没有影响。 ② 反馈信道：输出信号通过一定的途径反馈到输入端，致 使输入端信号发生变化。
17
《信息论与编码》
三、离散输入、连续输出信道 信道输入符号选自一个有限的、离散的输入符号集 X∈{a1,a2,… ,an}，而信道输出Y∈{-∞，+∞},这种信道模 型就称为离散时间无记忆信道。它的特性由离散输入X、 连续输出Y以及一组条件概率密度函数 来决定。
这类信道中最重要的就是加性高斯白噪声（AWGN）信道
Y=X+G
式中，G 是一个零均值，方差为σ2的高斯随机变量。 当 X=ai给定后，Y是一个均值为ai，方差为σ2的高斯随机变量。
18
《信息论与编码》
四、波形信道
当信道输入和输出都是随机过程{x(t)}和{y(t)} 时，该信 道就称为波形信道，在实际模拟通信系统中，信道都是波 形信道。 如果波形信道为频宽受限信道，在有限的观察时间内， 输入和输出的随机过程可以化为L个时间离散，取值连续的 平稳随机序列。 这样，波形信道化为多维连续信道，信道转移概率密度 函数为
p( x) p( x)
式中假设输出信源Y的符号共有s个符号，所以等概率分布时 信源熵H（Y）最大。而且一定能找到一种输入分布使输出 符号Y达到等概分布。
36
《信息论与编码》
三、对称DMC信道
1、定义：如果转移概率矩阵P的每一行包含同样元素，则 为输入对称矩阵；如果转移概率矩阵P的每一列包含同样元 素，则为输出对称矩阵；如果输入输出都对称，则为对称 DMC信道。 例 如:
H（X/Y）
有噪无损信道
无噪有损信道
34
• 综合上述三种情况，若严格区分的话，凡损失熵等 于零的信道称为无损信道；凡噪声熵等于零的信道 称为无噪信道，而前面讨论的一一对应的无噪信道 则为无噪无损信道。 • 对于无损信道，其信息传输率R就是输入信源X输 出第个符号携带的信息量（信源熵H（X）），所 以其信道容量为
噪声分为两类：加性噪声和乘性噪声，分析较多的是加性噪声信道 ( 噪声与信号是相加的关系，通常相互独立。) 单符号加性噪声信道可以表示为 ：
x(t)是带限信号，y(t)是输出值，n(t)是加性噪声过程的一个样本函数
说 明： 条件熵Hc(Y/X)是由于噪声引起的，它等于噪声信源的熵Hc(n) 。 所以称条件熵Hc(Y/X)为噪声熵。
6
《信息论与编码》
二、离散信道的信道参数
1、基本离散信道（单符号离散信道） 输入输出信号都是取值离散的单个随机变量，可用 信道转移概率 来描述。其中
并满足：
信道转移概率：条件概率 为信道输出。
其中,ai为信道输入，bj
7
《信息论与编码》
单符号离散信道可以用图形描述如下
8
《信息论与编码》
信道矩阵的每一行之和必定等于1。
29
例：二进制对称信道
• 设p(0)=1/2时，
p(0 / 0) 1 , p(0 /1) , p(1 / 0) , p(1 /1) 1
则C I ( X ; Y ) H ( X ) H ( X / Y ) 1 (1 ) log(1 ) log (bit / 符号) 即二进制对称信道的C 1 H ( )(bit / 符号)
26
《信息论与编码》
3、信道容量C
1）理论基础：对于固定的信道，平均互信息I ( X ; Y ) 是信源概率分布P ( x ) 的上凸函数。也就是说，存在一个使 某一特定信道的平均互信息达到极大值的信源分布，该极大 值可以用来表述信道传送信息的最大能力，即信道容量。
27
《信息论与编码》
2）信道容量的定义 对于某特定信道，可找到某种信源的概率分布p(ai)，使 得 I（X；Y）达到最大。
② 如果分析性能的理论极限，则多采用离散输入、连续输 出信道模型。
③ 如果设计和分析数字调制器和解调器的性能，则可采用 波形信道模型。 因为本书后面的内容主要讨论编码和译码，所以DMC 信道模型使用最多。
23
《信息论与编码》
作 业：
3-1
24
《信息论与编码》
3.2 离散单个符号信道及其容量
一、 几个定义
是错误传递概率,H ( )是关于的熵函数
30
《信息论与编码》
二、无干扰离散信道的信道容量
1、无噪无损信道：输入输出一一对应，信道矩阵为单位 阵．疑义度 H ( X/Y ) =0，噪声熵 H ( Y/X ) =0
31
《信息论与编码》
2、无噪有损信道（确定信道）：
H（X/Y）>0，H（Y/X）=0 信道输出端接收到某个bj后不能判定是哪个输入符号ai
二、干扰离散信道的信道容量 三、对称DMC信道 四、准对称DMC信道 五、 一般DMC信道 六、串联信道的信道容量
重点： 无干扰信道、对称信道和准对称信道的信道容量
25
《信息论与编码》
一、几个定义
1、信息传输率Ｒ：信道中平均每个符号所能传送的信息量 2、信息传输速率Ｒt：信道中单位时间平均传送的信息量, 即收信者在单位时间内接收到的信息量。单位：bit/秒
5
《信息论与编码》
5、根据信道参数与时间的关系分为 ①离散信道：输入输出信号在时间、幅度上均为离散。 ②连续信道：信号幅度连续、时间离散。 ③半离散半连续信道：输入输出信号中一个离散、一个连续。 ④波形信道：在时间和幅度上均连续，一般可以用随机过 程来表示。限时限频的随机过程可以分解为离散的随机 序列，所以波形信道可以被分解为离散信道、连续信道 和半离散半连续信道。
C max{I ( X ; Y )}(bit / 符号)
p( x)
注：对于特定的信道，信道容量是个定值，但是在传输信 息时信道能否提供其最大传输能力，则取决于输入端的概 率分布。一般相应的输入概率分布称为最佳输入分布。
28
若平均传输一个符号需要t秒钟，则信道单位时间内 平均传输的最大信息量为： 1 CT max{I ( X ; Y )}(bit / 秒) t p( x) 即信道传输速率。 信道容量C已与输入信源的概率分布无关，它只是 信道传输概率的函数，只与信道的统计特性有关。 所以，信道容量是完全描述信道特性的参量，是信 道能够传输的最大信息量。
10
《信息论与编码》
1 ）无干扰（噪声）信道：已知信道输入X就知道信道输出Y。
① 无噪无损信道： 疑义度H（X/Y）=0，噪声熵H（Y/X）=0
②/X）= 0 ③ 有噪无损信道（严格意义上，不能称为无噪声信道）：
疑义度H（X/Y）= 0，噪声熵H（Y/X）〉0
其中：
19
《信息论与编码》
如果多维连续信道的转移概率密度函数满足
这样的信道称为连续无记忆信道即在任一时刻输出变 量只与对应时刻的输入变量有关，与以前时刻的输入输出 都无关。 一般情况下，上式不能满足，也就是连续信道任一时 刻的输出变量与以前时刻的输入输出有关，则称为连续有 记忆信道。
20
《信息论与编码》
p11 p 21 P pn1
p12 p22 pn 2
p1m p2 m pnm
②二进制对称信道（BSC）：输入和输出信号的符号数都 是2，即X∈A={0,1}和Y∈B={0，1}的对称信道。
1-p 0 p p 0
p 1 p P p 1 p
1
1 1-p
16
《信息论与编码》
3）有干扰有记忆信道：每个信道输出不但与当前输入信号 之间有转移概率关系，而且与其它时刻的输入输出信号也 有关。 在实际的数字信道中，当信道特性不理想，存在码间干 扰时，输出信号不但与当前的输入信号有关，还与以前的 输入信号有关。常用的处理方法有两种： ①将记忆很强的L个符号当作矢量符号，各矢量符号之 间认为无记忆。这时会引入误差，L越大，误差越小。 ②将转移概率看作记忆长度有限的马尔科夫链的形式， 这种处理方法很复杂，通常取一阶时稍简单。
21
《信息论与编码》
加性多维连续信道中，输入矢量、输出矢量和噪 声矢量的关系表示为：
以后主要讨论加性信道，噪声源则主要是加性高 斯白噪声。
22
《信息论与编码》
五、信道模型的选取
在分析问题时选用何种信道模型完全取决于分析者的目的
① 如果感兴趣的是设计和分析编码器和译码器的性能，常 采用DMC信道模型或其简化形式BSC信道模型。
37
• 若输入符号和输出符号个数相同，都等于r,且信道矩 阵为 p p
p p P r 1 p r 1 r 1 p p r 1 p p r 1 r 1 其中p p 1
这种情况下，不需要矢量形式，只要分析单个符号的转 移概率p(yi/xi)即可。
①离散无记忆信道（DMC） ②二进制对称信道（BSC）
15
《信息论与编码》
①离散无记忆信道 (DMC)： 输入和输出信号的符号数大于 2但为有限值,即 ,
《信息论与编码》
第3章 信道和信道容量
1
《信息论与编码》
主要内容 3.1信道的基本概念 3.2离散单个符号信道及其容量 3.3离散序列信道及其容量 3.4连续信道及其容量 3.5信源与信道的匹配
2
《信息论与编码》
3.1 信道分类和表示参数 重点：信道矩阵
3
《信息论与编码》
信道中存在的干扰使输出信号与输入信号之间没有固定的函 数关系，只有统计依赖的关系。因此可以通过研究分析输入 输出信号的统计关系来研究信道。 一、信道的分类 1、根据用户数量分为 ① 单用户信道：只有一个输入端和一个输出端，信息单向 传输。 ② 多用户信道：输入端和输出端至少有一方存在两个以上 的用户，信息双向传输。 2、根据信道输入端和输出端的关系分为 ① 无反馈信道：输出端对输入端没有影响。 ② 反馈信道：输出信号通过一定的途径反馈到输入端，致 使输入端信号发生变化。
17
《信息论与编码》
三、离散输入、连续输出信道 信道输入符号选自一个有限的、离散的输入符号集 X∈{a1,a2,… ,an}，而信道输出Y∈{-∞，+∞},这种信道模 型就称为离散时间无记忆信道。它的特性由离散输入X、 连续输出Y以及一组条件概率密度函数 来决定。
这类信道中最重要的就是加性高斯白噪声（AWGN）信道
Y=X+G
式中，G 是一个零均值，方差为σ2的高斯随机变量。 当 X=ai给定后，Y是一个均值为ai，方差为σ2的高斯随机变量。
18
《信息论与编码》
四、波形信道
当信道输入和输出都是随机过程{x(t)}和{y(t)} 时，该信 道就称为波形信道，在实际模拟通信系统中，信道都是波 形信道。 如果波形信道为频宽受限信道，在有限的观察时间内， 输入和输出的随机过程可以化为L个时间离散，取值连续的 平稳随机序列。 这样，波形信道化为多维连续信道，信道转移概率密度 函数为
p( x) p( x)
式中假设输出信源Y的符号共有s个符号，所以等概率分布时 信源熵H（Y）最大。而且一定能找到一种输入分布使输出 符号Y达到等概分布。
36
《信息论与编码》
三、对称DMC信道
1、定义：如果转移概率矩阵P的每一行包含同样元素，则 为输入对称矩阵；如果转移概率矩阵P的每一列包含同样元 素，则为输出对称矩阵；如果输入输出都对称，则为对称 DMC信道。 例 如:
H（X/Y）
有噪无损信道
无噪有损信道
34
• 综合上述三种情况，若严格区分的话，凡损失熵等 于零的信道称为无损信道；凡噪声熵等于零的信道 称为无噪信道，而前面讨论的一一对应的无噪信道 则为无噪无损信道。 • 对于无损信道，其信息传输率R就是输入信源X输 出第个符号携带的信息量（信源熵H（X）），所 以其信道容量为
噪声分为两类：加性噪声和乘性噪声，分析较多的是加性噪声信道 ( 噪声与信号是相加的关系，通常相互独立。) 单符号加性噪声信道可以表示为 ：
x(t)是带限信号，y(t)是输出值，n(t)是加性噪声过程的一个样本函数
说 明： 条件熵Hc(Y/X)是由于噪声引起的，它等于噪声信源的熵Hc(n) 。 所以称条件熵Hc(Y/X)为噪声熵。
6
《信息论与编码》
二、离散信道的信道参数
1、基本离散信道（单符号离散信道） 输入输出信号都是取值离散的单个随机变量，可用 信道转移概率 来描述。其中
并满足：
信道转移概率：条件概率 为信道输出。
其中,ai为信道输入，bj
7
《信息论与编码》
单符号离散信道可以用图形描述如下
8
《信息论与编码》
信道矩阵的每一行之和必定等于1。
29
例：二进制对称信道
• 设p(0)=1/2时，
p(0 / 0) 1 , p(0 /1) , p(1 / 0) , p(1 /1) 1
则C I ( X ; Y ) H ( X ) H ( X / Y ) 1 (1 ) log(1 ) log (bit / 符号) 即二进制对称信道的C 1 H ( )(bit / 符号)
26
《信息论与编码》
3、信道容量C
1）理论基础：对于固定的信道，平均互信息I ( X ; Y ) 是信源概率分布P ( x ) 的上凸函数。也就是说，存在一个使 某一特定信道的平均互信息达到极大值的信源分布，该极大 值可以用来表述信道传送信息的最大能力，即信道容量。
27
《信息论与编码》
2）信道容量的定义 对于某特定信道，可找到某种信源的概率分布p(ai)，使 得 I（X；Y）达到最大。
② 如果分析性能的理论极限，则多采用离散输入、连续输 出信道模型。
③ 如果设计和分析数字调制器和解调器的性能，则可采用 波形信道模型。 因为本书后面的内容主要讨论编码和译码，所以DMC 信道模型使用最多。
23
《信息论与编码》
作 业：
3-1
24
《信息论与编码》
3.2 离散单个符号信道及其容量
一、 几个定义
是错误传递概率,H ( )是关于的熵函数
30
《信息论与编码》
二、无干扰离散信道的信道容量
1、无噪无损信道：输入输出一一对应，信道矩阵为单位 阵．疑义度 H ( X/Y ) =0，噪声熵 H ( Y/X ) =0
31
《信息论与编码》
2、无噪有损信道（确定信道）：
H（X/Y）>0，H（Y/X）=0 信道输出端接收到某个bj后不能判定是哪个输入符号ai
二、干扰离散信道的信道容量 三、对称DMC信道 四、准对称DMC信道 五、 一般DMC信道 六、串联信道的信道容量
重点： 无干扰信道、对称信道和准对称信道的信道容量
25
《信息论与编码》
一、几个定义
1、信息传输率Ｒ：信道中平均每个符号所能传送的信息量 2、信息传输速率Ｒt：信道中单位时间平均传送的信息量, 即收信者在单位时间内接收到的信息量。单位：bit/秒
5
《信息论与编码》
5、根据信道参数与时间的关系分为 ①离散信道：输入输出信号在时间、幅度上均为离散。 ②连续信道：信号幅度连续、时间离散。 ③半离散半连续信道：输入输出信号中一个离散、一个连续。 ④波形信道：在时间和幅度上均连续，一般可以用随机过 程来表示。限时限频的随机过程可以分解为离散的随机 序列，所以波形信道可以被分解为离散信道、连续信道 和半离散半连续信道。
C max{I ( X ; Y )}(bit / 符号)
p( x)
注：对于特定的信道，信道容量是个定值，但是在传输信 息时信道能否提供其最大传输能力，则取决于输入端的概 率分布。一般相应的输入概率分布称为最佳输入分布。
28
若平均传输一个符号需要t秒钟，则信道单位时间内 平均传输的最大信息量为： 1 CT max{I ( X ; Y )}(bit / 秒) t p( x) 即信道传输速率。 信道容量C已与输入信源的概率分布无关，它只是 信道传输概率的函数，只与信道的统计特性有关。 所以，信道容量是完全描述信道特性的参量，是信 道能够传输的最大信息量。
10
《信息论与编码》
1 ）无干扰（噪声）信道：已知信道输入X就知道信道输出Y。
① 无噪无损信道： 疑义度H（X/Y）=0，噪声熵H（Y/X）=0
②/X）= 0 ③ 有噪无损信道（严格意义上，不能称为无噪声信道）：
疑义度H（X/Y）= 0，噪声熵H（Y/X）〉0
其中：
19
《信息论与编码》
如果多维连续信道的转移概率密度函数满足
这样的信道称为连续无记忆信道即在任一时刻输出变 量只与对应时刻的输入变量有关，与以前时刻的输入输出 都无关。 一般情况下，上式不能满足，也就是连续信道任一时 刻的输出变量与以前时刻的输入输出有关，则称为连续有 记忆信道。
20
《信息论与编码》
p11 p 21 P pn1
p12 p22 pn 2
p1m p2 m pnm
②二进制对称信道（BSC）：输入和输出信号的符号数都 是2，即X∈A={0,1}和Y∈B={0，1}的对称信道。
1-p 0 p p 0
p 1 p P p 1 p
1
1 1-p
16
《信息论与编码》
3）有干扰有记忆信道：每个信道输出不但与当前输入信号 之间有转移概率关系，而且与其它时刻的输入输出信号也 有关。 在实际的数字信道中，当信道特性不理想，存在码间干 扰时，输出信号不但与当前的输入信号有关，还与以前的 输入信号有关。常用的处理方法有两种： ①将记忆很强的L个符号当作矢量符号，各矢量符号之 间认为无记忆。这时会引入误差，L越大，误差越小。 ②将转移概率看作记忆长度有限的马尔科夫链的形式， 这种处理方法很复杂，通常取一阶时稍简单。
21
《信息论与编码》
加性多维连续信道中，输入矢量、输出矢量和噪 声矢量的关系表示为：
以后主要讨论加性信道，噪声源则主要是加性高 斯白噪声。
22
《信息论与编码》
五、信道模型的选取
在分析问题时选用何种信道模型完全取决于分析者的目的
① 如果感兴趣的是设计和分析编码器和译码器的性能，常 采用DMC信道模型或其简化形式BSC信道模型。
37
• 若输入符号和输出符号个数相同，都等于r,且信道矩 阵为 p p
p p P r 1 p r 1 r 1 p p r 1 p p r 1 r 1 其中p p 1