第三章 信道容量
合集下载
第3章 信道容量A
p ( xi ) 1 2 m
例1.信道矩阵
1 2 P 1 1 4
1 4 1 2
1 8 1 8
1 8 1 8
是行可排的。
1 1 1 1 3 I ( X , Y ) H (Y ) H ( , , , ) H (Y ) 1 2 4 8 8 4
记 则
• 信道矩阵中元素为0或1，每行有一个1，其余是0， • 这种信道的噪声熵H(Y/X )=0,信道容量 C max I ( X ;Y ) log m
p ( xi )
(10)
二、强对称离散信道的信道容量
设单符号离散信道｛X P(Y/X ) Y｝的输入 X x1, x2 ,..., xn ，输出为 Y y1, y2 ,..., yn 信道矩阵为n×n阶对称矩阵
i i
i
3.2.2 几种特殊离散信道的信道容量
一、离散无噪信道的信道容量 一般分为三种情况： 1.具有一一对应关系的无噪信道(“一对一”) m=n, 信道矩阵元素均为0或1。
无噪H(X/Y )=0,H(Y/X )=0,所以：
Ｉ(Ｘ;Y )=H(X )= H(Y )
根据信道容量的定义有：C 来自 max I ( X ; Y ) log n
i 1 j 1 n n m
H (Y ) p( xi ) H mi
其中
i 1
H mi p( y j / xi ) log p( y j / xi )
j 1
m
对于任何 i, p( y j / xi ), j 1, 2,..., m 都是一个集合Q的 排列的， H mi 是与X无关的常数，故有
i 1,2,...,n j 1,2,...,m
x1 , x2 ,..., xi ,..., xn
例1.信道矩阵
1 2 P 1 1 4
1 4 1 2
1 8 1 8
1 8 1 8
是行可排的。
1 1 1 1 3 I ( X , Y ) H (Y ) H ( , , , ) H (Y ) 1 2 4 8 8 4
记 则
• 信道矩阵中元素为0或1，每行有一个1，其余是0， • 这种信道的噪声熵H(Y/X )=0,信道容量 C max I ( X ;Y ) log m
p ( xi )
(10)
二、强对称离散信道的信道容量
设单符号离散信道｛X P(Y/X ) Y｝的输入 X x1, x2 ,..., xn ，输出为 Y y1, y2 ,..., yn 信道矩阵为n×n阶对称矩阵
i i
i
3.2.2 几种特殊离散信道的信道容量
一、离散无噪信道的信道容量 一般分为三种情况： 1.具有一一对应关系的无噪信道(“一对一”) m=n, 信道矩阵元素均为0或1。
无噪H(X/Y )=0,H(Y/X )=0,所以：
Ｉ(Ｘ;Y )=H(X )= H(Y )
根据信道容量的定义有：C 来自 max I ( X ; Y ) log n
i 1 j 1 n n m
H (Y ) p( xi ) H mi
其中
i 1
H mi p( y j / xi ) log p( y j / xi )
j 1
m
对于任何 i, p( y j / xi ), j 1, 2,..., m 都是一个集合Q的 排列的， H mi 是与X无关的常数，故有
i 1,2,...,n j 1,2,...,m
x1 , x2 ,..., xi ,..., xn
第三章信道及其容量
… …. … … ar P(b1|ar) P(b2|ar) … P(bs|ar)
p11 p12 ... p1s
P
p21
p22
...
p
2
s
: : : :
p
r1
pr2
...
prs
s
pij 0
pij 1
j 1
矩阵P完全描述了信道的特性，可用它作为离散单符号 信道的另一种数学模型的形式。
P中有些是信道干扰引起的错误概率，有些是信道正确 传输的概率。所以该矩阵又称为信道矩阵（转移矩阵） 。
1
H(X | bj ) X P(x | bj )logP(x | bj )
这是接收到输出符号bj后关于X的后验熵。
后验熵是当信道接收端接收到输出符号bj后，关于输入 符号的信息测度。
后验熵在输出符号集Y范围内是个随机量，对后验熵在符 号集Y中求数学期望，得条件熵----信道疑义度：
s
H ( X | Y ) E[H ( X / b j )] P(bj )H ( X / bj )
y f (x) y f (x)
➢ 信道的输入和输出一一对应，信息无损失地传输， 称为无损信道。
➢ H(X|Y) = H(Y|X) = 0 [损失熵和噪声熵都为“0” ]
➢ 由于噪声熵等于零，因此，输出端接收的信息就等 于平均互信息:
பைடு நூலகம்I(X;Y) = H(X) = H(Y)
（2）、输入输出独立信道 ( 全损信道 )
• 当信源固定后，选择不同的信道来传输同一信源符 号，在信道输出端获得关于信源的信息量是不同的。
• 对每一种信源都存在一种最差的信道，此时干扰 (噪 声) 最大，而输出端获得的信息量最小。
p11 p12 ... p1s
P
p21
p22
...
p
2
s
: : : :
p
r1
pr2
...
prs
s
pij 0
pij 1
j 1
矩阵P完全描述了信道的特性，可用它作为离散单符号 信道的另一种数学模型的形式。
P中有些是信道干扰引起的错误概率，有些是信道正确 传输的概率。所以该矩阵又称为信道矩阵（转移矩阵） 。
1
H(X | bj ) X P(x | bj )logP(x | bj )
这是接收到输出符号bj后关于X的后验熵。
后验熵是当信道接收端接收到输出符号bj后，关于输入 符号的信息测度。
后验熵在输出符号集Y范围内是个随机量，对后验熵在符 号集Y中求数学期望，得条件熵----信道疑义度：
s
H ( X | Y ) E[H ( X / b j )] P(bj )H ( X / bj )
y f (x) y f (x)
➢ 信道的输入和输出一一对应，信息无损失地传输， 称为无损信道。
➢ H(X|Y) = H(Y|X) = 0 [损失熵和噪声熵都为“0” ]
➢ 由于噪声熵等于零，因此，输出端接收的信息就等 于平均互信息:
பைடு நூலகம்I(X;Y) = H(X) = H(Y)
（2）、输入输出独立信道 ( 全损信道 )
• 当信源固定后，选择不同的信道来传输同一信源符 号，在信道输出端获得关于信源的信息量是不同的。
• 对每一种信源都存在一种最差的信道，此时干扰 (噪 声) 最大，而输出端获得的信息量最小。
第3章信道及信道容量
X P(Y/X) Y
2019/11/27
信道及信道容量
x1
P(y1/x1)
y1
x2
P(y2/x2)
y2
…
…
…
P(ym/xn)
xn
ym
P(y1 / x1) P(y2 / x1) P(ym / x1)
P(Y / X) P(y1 / x2) P(y2 / x2) P(ym / x2 )
信道及信道容量
例5
信源P(XX)
0 p
1
1
p
信道P(Y
/
X)
1
q
q
1 q
q
平均互信息量及p-I(X;Y)和q-I(X;Y)曲线
P(y1 0) pq (1 p)(1 q) pq pq P(y2 1) p(1 q) (1 p)q pq pq H(Y) (pq pq) log( pq pq) (pq pq) log( pq pq) H(pq pq)
I(X;Y) H(Y) H(Y / X) H(pq pq) H(q) 信道固定时q为常数，作p-I(X;Y)曲线 当p 0时，I(X; Y) H(q) H(q) 0
p 0.5时，I(X; Y) H(0.5) H(q) 1 H(q)
2019/11/27
I(X; Y)
i1
m
P(x i y j ) log
j1
P(y j ) P(y j / xi )
n
i1
m
P(x i y j ) log
j1
P(xi ) P(xi / y j )
nm
2019/11/27
信道及信道容量
x1
P(y1/x1)
y1
x2
P(y2/x2)
y2
…
…
…
P(ym/xn)
xn
ym
P(y1 / x1) P(y2 / x1) P(ym / x1)
P(Y / X) P(y1 / x2) P(y2 / x2) P(ym / x2 )
信道及信道容量
例5
信源P(XX)
0 p
1
1
p
信道P(Y
/
X)
1
q
q
1 q
q
平均互信息量及p-I(X;Y)和q-I(X;Y)曲线
P(y1 0) pq (1 p)(1 q) pq pq P(y2 1) p(1 q) (1 p)q pq pq H(Y) (pq pq) log( pq pq) (pq pq) log( pq pq) H(pq pq)
I(X;Y) H(Y) H(Y / X) H(pq pq) H(q) 信道固定时q为常数，作p-I(X;Y)曲线 当p 0时，I(X; Y) H(q) H(q) 0
p 0.5时，I(X; Y) H(0.5) H(q) 1 H(q)
2019/11/27
I(X; Y)
i1
m
P(x i y j ) log
j1
P(y j ) P(y j / xi )
n
i1
m
P(x i y j ) log
j1
P(xi ) P(xi / y j )
nm
第三章信道与信道容量
3.1信道的基本概念 信道的基本概念
• 2. 信道模型及信道参数
• • • • • •
信道的三要素:输入 输出 信道的三要素 输入,输出 输入 输出,p(y/x) 根据信道是否存在干扰及有无记忆,可分为 可分为: 根据信道是否存在干扰及有无记忆 可分为 1)无干扰 无干扰 2)有干扰无记忆 有干扰无记忆 3)有干扰有记忆 有干扰有记忆 对于有干扰无记忆信道进一步分为: 对于有干扰无记忆信道进一步分为
这里I ( xI ; Y ) = ∑ p( yj / xi ) log p( yj / xi )
j =0
Q −1
p( yj )
• 2 离散时间无记忆信道的容量
这类信道中最重要的一种是加性高斯白噪 信道,对它而言 声(AWGN)信道 对它而言，离散输入 ＝{ 信道 对它而言，离散输入X＝ x0,x1,…，xq-1}和模拟输出 ＝｛ 和模拟输出Y＝｛ ， 和模拟输出 ＝｛-∞,∞｝ ｝ 之间的最大平均互信息即信道容量由下式 给出(单位是比特 符号)： 单位是比特/符号 给出 单位是比特 −符号 ： q 1
1 ∞ p ( y / A) 1 ∞ p ( y / − A) C = ∫ p ( y / A) log 2 dy + ∫ p ( y / − A) log 2 dy −∞ −∞ 2 2 p( y) p( y )
•
3.带限波形信道的容量 带限波形信道的容量
一个受加性高斯白噪声干扰的带限波形信道的容量
1 C = lim max I ( X ; Y ) T →∞ Px T
香农公式
C = W log(1 +
1.
Pav ) = W log(1 + SNR) WN 0
带宽一定时，信道容量随 的增加而单调增加， 带宽一定时，信道容量随SNR的增加而单调增加，因此增大 的增加而单调增加 信号功率、减小信道噪声可以增加信道容量。 信号功率、减小信道噪声可以增加信道容量。 2. 如果 如果SNR固定，信道容量随着带宽的增加而增加。 固定， 固定 信道容量随着带宽的增加而增加。
第三章 信道容量
1
p
1
1
q
1
9
概率计算
输入概率矩阵 PX = [ p( x1 )
输出概率矩阵 PY = [ p( y1 )
p( x2 ) L p( y 2 ) L
p( xn )] p( ym )]
行 向量
联合概率矩阵 PXY
p( x1 y1 ) p( x y ) 2 1 = M p( xn y1 ) p( y1 | x1 ) p( y | x ) 1 2 = M p( y1 | xn )
H (Y | X ) 噪声熵(信道散布度) 它们都是由于噪声干扰的存在而产生的； 它们都是由于噪声干扰的存在而产生的；信道中存 在噪声干扰， 在噪声干扰，是减低信道传信能力的基本原因
13
平均互信息 I ( X ; Y )
以后， 平均互信息表示接收到 Y 以后 ， 平均每个符号所获得的关于 的信息量，是信道实际传输信息的数量， 输入变量 X 的信息量 ， 是信道实际传输信息的数量 ， 也是真 正被接收者收到的信息量 I ( X ;Y ) = I (Y ; X ) = H ( X ) + H (Y ) − H ( XY ) = H(X ) − H(X |Y ) 信道疑义度 = H (Y ) − H (Y | X ) 信道散布度 n m p( y j | x i ) = ∑∑ p( y j | xi ) p( xi )log n ∑ i = 1 p ( y j | x i ) p( x i ) i =1 j =1
i = 1,2,L , n j = 1,2,L , m
为研究方便，信道特性一般用信道转移概率矩阵(信 为研究方便 ， 信道特性一般用 ( 道矩阵) 道矩阵) 来表示 y1 y2 ym L x1 p( y1 | x1 ) p( y2 | x1 ) L p( ym | x1 ) ∑ = 1 p( y | x ) p( y | x ) L p( y | x ) j x2 1 2 2 2 m 2 PY | X = M M M L M xn p( y1 | xn ) p( y2 | xn ) L p( ym | xn ) n× m
第三章 信道和信道容量
I（X；Y）：接收到Y前、后关于的平均不确定性 的消除 ；或发送X前、后关于Y的平
均不确定性的消除。
可见：熵只是平均不确定性的描述，而不确定性 的消除（两熵之差）才等于接收端所获得的信息 量。获得的信息量不能和不确定性混为一谈。
第三章 信道和信道容量
关于信道容量： 研究：信道中平均每个符号所能传送的信息量，
有损失，是无噪有损信 道，也称确定信道，即： 损失熵：H(X/Y) ≠ 0； 噪声熵：H(Y/X) ＝ 0， I(X;Y)＝H(Y)＝H(X)－H(X/Y) ＜H(X)
第三章 信道和信道容量
信道容量仍是最大熵问题（最大H(Y)）：
C＝max H(Y)＝log s bit/符号
P(X)
（设Y有s个符号）
不相交的子集mk，由mk组成的矩阵[P]k是对称矩阵 （具有可排列的性质），则称此信道为准对称信道， 其信道容量：
r为输入符号集个数 即信道矩阵行数 准对称信道中的 行元素 第k个子矩阵 中行元素之和
第k个子矩阵 中列元素之和
第三章 信道和信道容量
例3－1：二元对称删除 信道如图，计算信道容量。
例3－2：准对称信道的信道矩阵为： P(y/x)＝ 0.5 0.3 0.2 0.3 0.5 0.2 当输入概率分布为p(x1)＝ɑ，p(x2)＝1－ɑ
且：p＝0时，信道无干扰； P＝1/2时，信道干扰最为严重。
第三章 信道和信道容量
二、二元删除信道
难以区分原发送信号时，不硬性
判断0或1，而作删除处理。 删除信道中，p＝q时，则为 对称删除信道。 三、Z信道 信道特性：0错成1的概率为0， 1错成0有一定可能。
1
0 1 0
p
1－p
1
第三章 信道和信道容量
第三章 信道容量.ppt
输入
X X1X2......X N i a ai1 i2 aiN
Y Y1Y2.....YN
i 1,2,......, nN
X K a1a2 an i1i2......iN 1,2,......, n 输出
YK b1b2 bn
X P(Y X ) Y
j b bj1 j2 bjN
§3.4 网络信息理论 §3.5 连续信道 §3.6 信道编码定理
§3.3 多符号离散信道的信道容量
§3.3.1 多符号离散信道的数学 模型
§3.3.2 离散无记忆扩展信道的信 道容量 §3.3.3 独立并联信道的信道容量
多符号离散信道
多符号信源通过离散信道传输形 成多符号离散信道。
§3.3.1 多符号离散信道的数学模型
1 n
强对称信道与对称信道比较：
强对称
对称
n=m
n与m未必相等
矩阵对称
矩阵未必对称
P=Q
行之和，列之和均 为1
P与Q未必相等 行之和为1
四、准对称信道离散信道的信道容量
若信道矩阵的行是可排列的，但列不可 排列，如果把列分成若干个不相交的子集， 且由n行和各子集的诸列构成的各个子矩阵 都是可排列的，则称相应的信道为准对称 信道。例如下面的矩阵：
§3.2 单符号离散信道的信道容量
§3.3 多符号离散信道的信道容量 §3.4 网络信息理论 §3.5 连续信道 §3.6 信道编码定理
§3.2 单符号离散信道的信道容量 §3.2.1 信道容量的定义
§3.2.2 几种特殊离散信道的容量 §3.2 .3 离散信道容量的一般计算方法
§3.2.1 信道容量的定义
p(b1) p(a1) p(a2 )
p(b2 ) (1 ) p(a2 )
第三章信道容量
p
b1 an
,
p
b2 an
,,
p
bm an
信道容量的定义
信息传输率是衡量通信质量的一个重要指标，由前面 定理知：对于固定信道后，总存在某种输入概率分布p(X)， 使I（X; Y）达到最大值，定义这个最大值为信道容量，记 为C。
C max I ( X ;Y ) （比特/码符号） { p ( ai )} max H ( X ) H ( X Y ) { p ( ai )} max H (Y ) H (Y X ) { p ( ai )}
a1
b1
1 0 0
a2 ……
b2
0 1 0
0
0
1
an
bn
0
0
0
n=m
... 0 ... 0
...
0
...
1
另一种情况:
a1
b1
a2
b2
……
an-1
bn-1
an
bn
0 ... 0 0 1
0 ... 0 1 0
0
...
1
0
0
1
0
0
...
0
对于上述两种情况,X与Y一一对应,因此有
输入或输出无关
信道的分类 （根据有无记忆）
输出仅与信道当前输 入有关，与过去输入
无关
有记忆 信道
无记忆 信道
信道的分类
（根据信道的输入与输出 随机变量的个数）
单符号 信道
多符号 信道
信道的分类
（根据输入与 输出的个数）
单用户 信道
多用户 信道
（1）单用户信道：只有一个输入端和一个输出端 （2）多用户信道：至少有一端有两个以上的用户， 双向通信
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
C的单位是信道上每传送一个符号（每使用一次信道）所能
携带的比特数，即比特／符号（bits／sign或 bits／channel use）。
以e为底取自然对数时，信道容量的单位变为奈特／符号
（nats／sign）。
如果已知符号传送周期是T秒，也可以“秒”为单位来计算
信道容量，此时Cs＝C／T，以比特/秒（bits／s）或奈特/秒
X P (b j / ai Y
a1 ,a2 ,ai ,,an
单符号离散信道的数学模型
b1 ,b2 ,b j ,,bm
表示当信道输入为xai 时，信道的输出Y必为
b1 , b2 ,b j ,, bm 中的一个。
一般单符号信道的转移概率可用信道转移矩阵表示：
概念问题
熵熵率无失真信源编码定理中的作用 互信息信道容量信道编码定理中的作用
回顾－平均互信息的性质1
性质1 ：I(X;Y)是信源输入概率分布p(x)的上凸函数。
回顾－平均互信息的性质2
性质2 ：I(X;Y)是信道转移概率分布p(y/x)的下凹函数.
回顾－平均互信息的性质3
第三章 信道与信道容量
本章内容
概述
信道的分类与描述 单符号离散信道的信道容量 多符号离散信道 多用户信道 连续信道及其容量
3.0 概述
信息论研究信道的内容 什么是信道？ 信道的作用 研究信道的目的
信息论研究信道的内容：
信道的建模：信道的统计特性的描述； 信道传输信息的能力（信道容量）的计算； 在有噪信道中能否实现可靠传输?怎样实现可靠传输?
第三章 信道容量
本章内容
了解信息论研究信道的目的、内容；
了解信道的基本分类并掌握信道的基本描述方法; 掌握信道容量的概念，以及与互信息、信道输入概率
分布、信道转移函数的关系; 能够计算简单信道的信道容量（对称离散信道、准对 称离散信道）； 了解信道容量在研究通信系统中的作用; 了解多用户信道.
（nats／s）为信道容量单位。
对信道容量的进一步理解：
C存在平均互信息性质1,上凸函数极值存在
达到C时的两个条件：
信道输入（信源）是离散无记忆的。
信道输入的概率分布是使I(X,Y)达到最大的分布。
C的值不是由信源的p(x)决定的,而是由p(y/x)决定的. C是信道作为信息传输通道的性能度量. 只有信道输入（信源）X 满足一定条件时，才能充分利
即p( y / x ) p(b1 , b2 ,, bN / a1 , a2 ,, a N ) p(b1 / a1 ) p(b2 / a2 ) p(bN / a N ) p(bi /ai )
i 1 N
回顾－平均互信息的性质5
性质3、性质4的推论：
信道的输入和信道本身都是离散无记忆的。
显然，C和Ct都是求平均互信息I(X;Y)的条件极大值的问题。
当输入信源概率分布p(ai) 调整好以后，C和Ct已与 p(ai)无关，
而仅仅是信道转移概率p( bj /ai ) 的函数，只与信道的统计特 性有关。所以信道容量是完全描述信道特性的参量，是信道 能够传送的最大信息量。
3. 信道容量单位
对于某特定的信道，可找到某种信源的概率分布 p(ai ) ，
使得I (X;Y )达到最大值。
C max R max I ( X ; Y )
p ( xi ) p ( xi )
（3.2.5）
说明：
由平均互信息的性质可知I (X;Y)≤H(X) ，意味着输
出端Y往往只能获得关于输入端X的部分信息。
2）输入X和输出Y有确定的对应关系，所以噪声熵
H(Y/X)=0 信道疑义度 故有 H(X/Y)=0 I(X;Y)=H(X)=H(Y)
p ( xi ) p ( xi )
由信道容量的定义有 C max I ( X ; Y ) max H ( X ) log 2 n 3）信道容量只取决于信道的输入符号数n，与信源无 关，是表征信道特性的一个参量。
2.具有扩展性能的有噪无损信道(一个输入对应多个输出)
此种情况是信道疑义度 H(X/Y)=0 a1 b1 b2 b3 b4 a2 b5 b6
I ( X ;Y ) H ( X ) H ( X / Y )
C max I ( X ;Y )
p ( ai )
max H ( X ) log 2 n
用信道传输信息的能力。
三、信道疑义度H(X/Y)
信源熵H(X) 表示在接收到输出Y以前，关于输入变 量X的先验不确定性的度量。如果信道中无干扰（噪 声），信道输出符号Y与输入符号X一一对应，那么， 接收到传送过来的符号后就消除了对发送符号的先验 不确定性。但一般信道中有干扰存在，接收到输出Y后 对发送的是什么符号仍有不确定性。那么，怎样来度 量接收到Y后关于X的不确定性呢？一般用信道疑义度 H(X/Y) 表示。
H(X /Y ) 0
p ( ai )
C max I ( X ; Y ) max H (Y ) log 2 m
无噪信道的信道容量C只决 a1 a2 a3 b2 a4 a5 b3 b1
定于信道的输入符号数n，或
输出符号数m，与信源无关， 是表征信道特性的一个参量. 这时的输入概率分布应该 是使得信道输出概率分布为 等概分布。
在这一章要回答前面两个问题，在第六章介绍第 三个问题。
什么是信道？
信道是传送信息的载体——信号所通过的通道。
信息是抽象的，信道则是具体的。比如：二人对话， 二人间的空气就是信道；打电话，电话线就是信道； 看电视，听收音机，收、发间的空间就是信道。 如：微波信道、光纤信道、电缆信道等。
信道的作用:
无记忆信道 离散消息序列信道 有记忆信道 : 平稳，有限状态 有记忆信道 一般无记忆 平稳无记忆
一、信道矩阵（信道转移概率）
设单符号离散信道的输入为 X (a , a , a ,, a ) 1 2 i n
相应的输出为 Y (b1 , b2 ,b j ,, bm ) 其信道模型如下：
二、强对称离散信道的信道容量
若单符号离散信道的输入随机变量X和输出随机变量Y取值 的集合均由n个不同符号组成，每个符号的正确传递概率为 ， 其他（n-1）个符号的错误传递概率为p/(n-1) ，则信道矩阵 p （n×n）为对称矩阵
P n n
b1 b2 B2n-1
bn H(X/Y)信道疑义度或损失熵， H(Y/X)噪声熵。凡是H(X/Y)=0的 信道称为无损信道。凡是H(Y/X)=0的信道称为无噪信道。
I ( X ; Y ) H ( X ) H ( X / Y ) H (Y ) H (Y / X )
特点： 1）输入X和输出Y符号集的元素个数相等，即n=m。
信道疑义度：表示在输出端收到输出变量Y的符号
后，对于输入端X的变量尚存在的平均不确定性（存 在疑义）。这个尚存在的不确定性是由于干扰（噪声）
引起的。如果是一一对应信道，那么接收到输出Y后，
对X的不确定性将完全消除，则信道疑义度为0。由于
一般情况下条件熵小于无条件熵，即有H(X/Y) <
H(X) 。这正说明接收到变量Y的所有符号后，关于输 入变量X的平均不确定性将减少，即总能消除一些关 于输入端X的不确定性，从而获得了一些信息。
ห้องสมุดไป่ตู้ P (b
j 1
m
j
/ ai ) 1
二、信道容量
1. 理论基础
对于固定的信道，平均互信息量 I (X;Y)是信源概率分布 p( xi ) 的上凸函数。也就是说，存在一个使某一特定信道的 平均互信息量达到极大值的信源概率分布，该极大值可以
用来表述信道传送信息的最大能量，即信道容量。
2. 信道容量的定义
在信息系统中信道主要用于传输与存储信息，而 在通信系统中则主要用于传输。
研究信道的目的
实现信息传输的有效性和可靠性
有效性：充分利用信道容量. 可靠性：通过信道编码降低误码率.
在通信系统中研究信道，主要是为了描述、度量、
分析不同类型信道，计算其容量，即极限传输能力， 并分析其特性。
通信技术研究——信号在信道中传输的过程所遵循的物理
§3.2 单符号离散信道的信道容量
本节内容
信道容量定义
几种离散无记忆信道容量的计算
离散无噪信道的信道容量
强对称离散信道的信道容量 对称离散信道的信道容量 准对称离散信道的信道容量
离散信道容量的一般计算方法
3.2.1 信道容量定义
单符号离散信道
信道的输入和输出都取值于离散集合，且都用一 个随机变量来表示的信道就是单符号离散信道。
规律，即传输特性。
信息论研究——信息的传输问题（假定传输特性已知）.
3.1 信道的分类与描述
3.1.1 信道的分类
根据输入/输出信号在幅度和时间上的取值是离散
或是连续来划分
幅度 时间 信道名称
离散 连续
连续 离散
离散 离散
连续 连续
离散信道（数字信道） 连续信道
模拟信道（波形信道） （理论和实用价值均很小）
互信息与信道输入符号相关性的关系
性质3: 信道的输入是离散无记忆的
即p( x ) p( a1 , a2 ,, a N ) p(a1 ) p(a2 ) p( a N ) p(ai )
i 1 N
回顾－平均互信息的性质4
互信息与信道输入符号相关性的关系
性质4: 信道是离散无记忆的
p(b1 / a1 ) p(b2 / a1 ) p(bm / a1 ) p (b / a ) p (b / a ) p (b / a ) 2 2 m 2 1 2 p(b1 / an ) p(b2 / an ) p(bm / an )
携带的比特数，即比特／符号（bits／sign或 bits／channel use）。
以e为底取自然对数时，信道容量的单位变为奈特／符号
（nats／sign）。
如果已知符号传送周期是T秒，也可以“秒”为单位来计算
信道容量，此时Cs＝C／T，以比特/秒（bits／s）或奈特/秒
X P (b j / ai Y
a1 ,a2 ,ai ,,an
单符号离散信道的数学模型
b1 ,b2 ,b j ,,bm
表示当信道输入为xai 时，信道的输出Y必为
b1 , b2 ,b j ,, bm 中的一个。
一般单符号信道的转移概率可用信道转移矩阵表示：
概念问题
熵熵率无失真信源编码定理中的作用 互信息信道容量信道编码定理中的作用
回顾－平均互信息的性质1
性质1 ：I(X;Y)是信源输入概率分布p(x)的上凸函数。
回顾－平均互信息的性质2
性质2 ：I(X;Y)是信道转移概率分布p(y/x)的下凹函数.
回顾－平均互信息的性质3
第三章 信道与信道容量
本章内容
概述
信道的分类与描述 单符号离散信道的信道容量 多符号离散信道 多用户信道 连续信道及其容量
3.0 概述
信息论研究信道的内容 什么是信道？ 信道的作用 研究信道的目的
信息论研究信道的内容：
信道的建模：信道的统计特性的描述； 信道传输信息的能力（信道容量）的计算； 在有噪信道中能否实现可靠传输?怎样实现可靠传输?
第三章 信道容量
本章内容
了解信息论研究信道的目的、内容；
了解信道的基本分类并掌握信道的基本描述方法; 掌握信道容量的概念，以及与互信息、信道输入概率
分布、信道转移函数的关系; 能够计算简单信道的信道容量（对称离散信道、准对 称离散信道）； 了解信道容量在研究通信系统中的作用; 了解多用户信道.
（nats／s）为信道容量单位。
对信道容量的进一步理解：
C存在平均互信息性质1,上凸函数极值存在
达到C时的两个条件：
信道输入（信源）是离散无记忆的。
信道输入的概率分布是使I(X,Y)达到最大的分布。
C的值不是由信源的p(x)决定的,而是由p(y/x)决定的. C是信道作为信息传输通道的性能度量. 只有信道输入（信源）X 满足一定条件时，才能充分利
即p( y / x ) p(b1 , b2 ,, bN / a1 , a2 ,, a N ) p(b1 / a1 ) p(b2 / a2 ) p(bN / a N ) p(bi /ai )
i 1 N
回顾－平均互信息的性质5
性质3、性质4的推论：
信道的输入和信道本身都是离散无记忆的。
显然，C和Ct都是求平均互信息I(X;Y)的条件极大值的问题。
当输入信源概率分布p(ai) 调整好以后，C和Ct已与 p(ai)无关，
而仅仅是信道转移概率p( bj /ai ) 的函数，只与信道的统计特 性有关。所以信道容量是完全描述信道特性的参量，是信道 能够传送的最大信息量。
3. 信道容量单位
对于某特定的信道，可找到某种信源的概率分布 p(ai ) ，
使得I (X;Y )达到最大值。
C max R max I ( X ; Y )
p ( xi ) p ( xi )
（3.2.5）
说明：
由平均互信息的性质可知I (X;Y)≤H(X) ，意味着输
出端Y往往只能获得关于输入端X的部分信息。
2）输入X和输出Y有确定的对应关系，所以噪声熵
H(Y/X)=0 信道疑义度 故有 H(X/Y)=0 I(X;Y)=H(X)=H(Y)
p ( xi ) p ( xi )
由信道容量的定义有 C max I ( X ; Y ) max H ( X ) log 2 n 3）信道容量只取决于信道的输入符号数n，与信源无 关，是表征信道特性的一个参量。
2.具有扩展性能的有噪无损信道(一个输入对应多个输出)
此种情况是信道疑义度 H(X/Y)=0 a1 b1 b2 b3 b4 a2 b5 b6
I ( X ;Y ) H ( X ) H ( X / Y )
C max I ( X ;Y )
p ( ai )
max H ( X ) log 2 n
用信道传输信息的能力。
三、信道疑义度H(X/Y)
信源熵H(X) 表示在接收到输出Y以前，关于输入变 量X的先验不确定性的度量。如果信道中无干扰（噪 声），信道输出符号Y与输入符号X一一对应，那么， 接收到传送过来的符号后就消除了对发送符号的先验 不确定性。但一般信道中有干扰存在，接收到输出Y后 对发送的是什么符号仍有不确定性。那么，怎样来度 量接收到Y后关于X的不确定性呢？一般用信道疑义度 H(X/Y) 表示。
H(X /Y ) 0
p ( ai )
C max I ( X ; Y ) max H (Y ) log 2 m
无噪信道的信道容量C只决 a1 a2 a3 b2 a4 a5 b3 b1
定于信道的输入符号数n，或
输出符号数m，与信源无关， 是表征信道特性的一个参量. 这时的输入概率分布应该 是使得信道输出概率分布为 等概分布。
在这一章要回答前面两个问题，在第六章介绍第 三个问题。
什么是信道？
信道是传送信息的载体——信号所通过的通道。
信息是抽象的，信道则是具体的。比如：二人对话， 二人间的空气就是信道；打电话，电话线就是信道； 看电视，听收音机，收、发间的空间就是信道。 如：微波信道、光纤信道、电缆信道等。
信道的作用:
无记忆信道 离散消息序列信道 有记忆信道 : 平稳，有限状态 有记忆信道 一般无记忆 平稳无记忆
一、信道矩阵（信道转移概率）
设单符号离散信道的输入为 X (a , a , a ,, a ) 1 2 i n
相应的输出为 Y (b1 , b2 ,b j ,, bm ) 其信道模型如下：
二、强对称离散信道的信道容量
若单符号离散信道的输入随机变量X和输出随机变量Y取值 的集合均由n个不同符号组成，每个符号的正确传递概率为 ， 其他（n-1）个符号的错误传递概率为p/(n-1) ，则信道矩阵 p （n×n）为对称矩阵
P n n
b1 b2 B2n-1
bn H(X/Y)信道疑义度或损失熵， H(Y/X)噪声熵。凡是H(X/Y)=0的 信道称为无损信道。凡是H(Y/X)=0的信道称为无噪信道。
I ( X ; Y ) H ( X ) H ( X / Y ) H (Y ) H (Y / X )
特点： 1）输入X和输出Y符号集的元素个数相等，即n=m。
信道疑义度：表示在输出端收到输出变量Y的符号
后，对于输入端X的变量尚存在的平均不确定性（存 在疑义）。这个尚存在的不确定性是由于干扰（噪声）
引起的。如果是一一对应信道，那么接收到输出Y后，
对X的不确定性将完全消除，则信道疑义度为0。由于
一般情况下条件熵小于无条件熵，即有H(X/Y) <
H(X) 。这正说明接收到变量Y的所有符号后，关于输 入变量X的平均不确定性将减少，即总能消除一些关 于输入端X的不确定性，从而获得了一些信息。
ห้องสมุดไป่ตู้ P (b
j 1
m
j
/ ai ) 1
二、信道容量
1. 理论基础
对于固定的信道，平均互信息量 I (X;Y)是信源概率分布 p( xi ) 的上凸函数。也就是说，存在一个使某一特定信道的 平均互信息量达到极大值的信源概率分布，该极大值可以
用来表述信道传送信息的最大能量，即信道容量。
2. 信道容量的定义
在信息系统中信道主要用于传输与存储信息，而 在通信系统中则主要用于传输。
研究信道的目的
实现信息传输的有效性和可靠性
有效性：充分利用信道容量. 可靠性：通过信道编码降低误码率.
在通信系统中研究信道，主要是为了描述、度量、
分析不同类型信道，计算其容量，即极限传输能力， 并分析其特性。
通信技术研究——信号在信道中传输的过程所遵循的物理
§3.2 单符号离散信道的信道容量
本节内容
信道容量定义
几种离散无记忆信道容量的计算
离散无噪信道的信道容量
强对称离散信道的信道容量 对称离散信道的信道容量 准对称离散信道的信道容量
离散信道容量的一般计算方法
3.2.1 信道容量定义
单符号离散信道
信道的输入和输出都取值于离散集合，且都用一 个随机变量来表示的信道就是单符号离散信道。
规律，即传输特性。
信息论研究——信息的传输问题（假定传输特性已知）.
3.1 信道的分类与描述
3.1.1 信道的分类
根据输入/输出信号在幅度和时间上的取值是离散
或是连续来划分
幅度 时间 信道名称
离散 连续
连续 离散
离散 离散
连续 连续
离散信道（数字信道） 连续信道
模拟信道（波形信道） （理论和实用价值均很小）
互信息与信道输入符号相关性的关系
性质3: 信道的输入是离散无记忆的
即p( x ) p( a1 , a2 ,, a N ) p(a1 ) p(a2 ) p( a N ) p(ai )
i 1 N
回顾－平均互信息的性质4
互信息与信道输入符号相关性的关系
性质4: 信道是离散无记忆的
p(b1 / a1 ) p(b2 / a1 ) p(bm / a1 ) p (b / a ) p (b / a ) p (b / a ) 2 2 m 2 1 2 p(b1 / an ) p(b2 / an ) p(bm / an )