《信道容量》PPT课件

R I (X ;Y ) / t bit / s
h 5
I ( X ;Y )
i
j
p(aibj
) log
p(bj / ai ) p(bj )
p(ai ) p(bj / ai ) log
i j
p(bj / ai ) p(ai ) p(bj / ai )
i
f [ p(ai ), p(bj / ai )]
– 每一列都是由{p1, p2,…pr}集的诸元素不同 排列组成——输出对称
1 1 1 1
P
3
3
6Baidu Nhomakorabea
6
1 1 1 1
6 6 3 3
1 1 1
2
3
6
P
1 6
1 2
1 3
h
1
1
1
3 6 2
满足对称 性,所对应 的信道是 对称离散 信道。
20
对称DMC信道
• 信道矩阵
C 1 max I ( X ;Y ) bit / s t p(x)
h 7
• 信道容量C求出后，已与输入信源的概 率分布无关，它只是信道传输概率的函 数，只与信道的统计特性有关。
• 对于某特定的信道，其信道容量C是确 定的，是不随输入信源的概率分布变化 而改变的。
• 所以，信道容量是完全描述信道特性的 参量，是信道能够传输的最大信息量。
b2
0 0 1 0
P 0 1 0 0
bn-1
bn
1 0 0 0
h 12
• 无噪无损信道
• 由 H ( X |Y ) p(ai,bj ) log p(ai | bj )
ij
H (Y | X ) p(ai,bj ) log p(bj | ai )
ij
• 计算得：
• 噪声熵 H(Y|X) = 0 损失熵 H(X/Y)=0
• 平均互信息I (X;Y)：
– 接收到符号Y后平均每个符号获得的关于X
的信息量。
I(X ;Y)
i
j
p(xi
)
p( y
j
|
xi
)
log
p(y j | xi p(y j )
)
n
p( y j ) p(xi ) p( y j | xi ) i 1
• 信道的信息传输率就h是平均互信息 4
• 信息传输率R R I (X ;Y ) H (X ) H (X / Y ) bit / 符号 • 若已知平均传输一个符号所需时间为t(s)， 则信道在单位时间内平均传输的信息量定 义为信息传输速率：
X a1
1
Y1
a2
1
b1
a3
1
a4
1
b2
a5
p(bi | a j ) 1或0
p(ai
|
bj
)
1或0
h
1 0 1 0 P 1 0 0 1 0 1
输出Y与输入X不 是一一对应,而是 多一对应关系。
16
• 无噪有损信道
– 多个输入变成一个输出(r＞s)
p(bi | a j ) 1或0 • 噪声熵H(Y|X) ＝ 0
当信道的转移概率一定时，平均互信息是输入信源概 率分布的上凸函数；即对每个固定信道都有一个最大 的信息传输率。定义这个最大的信息传输率为信道容 量C
h 6
信道容量
• 信道容量C：
– 最大的信息传输率 – 信道所能传输的最大信息量
C max I ( X ;Y ) bit / 符号 p(x)
• 单位时间的信道容量：
• 求信道容量，必须求出使互信息量达到 最大的信源概率分布p(x)；
• 对于无噪无损信道，当信宿为等概分布 时，信源也为等概分布;
• 问题：对于无噪有损信道，信源的概率 分布是否也为等概分布？
h 18
3.4.2 对称离散信道的信道容量
h 19
对称DMC信道
• 对称离散信道：
• 对称性:
– 每一行都是由同一集{q1, q2,…qs}的诸元素不 同排列组成——输入对称
p
(ai
|
bj
)
1或0
• 损失熵H(X|Y) ≠ 0
I(X ,Y ) H (Y ) H (X )
C max I ( X ;Y ) max H (Y ) log s p(x) h
信道中接收到 符号Y后不能 完全消除对X 的不确定性,信 息有损失。但 输出端Y的平 均不确定性因
噪声熵等于零 而没有增加。 17
（1）无噪无损信道
– 输入和输出符号之间有确定的一一对应关系
0 i j p(bj | ai ) p(ai | bj ) 1 i j (i, j 1,2,3)
X
1
Y
a1
b1
1 0 0
a2
1
b2
P 0 1 0
0 0 1
a3
1
b3 h
11
无噪无损信道
X a1 1
a2
an-1
an
1
b1 Y
0 0 0 1
h 8
3.4.1 离散无噪信道的信 道容量
h 9
信道容量的计算
• 对于一般信道,信道容量计算相当复杂,我们只 讨论某些特殊类型的信道：
• 离散信道可分成： • 无干扰(无噪)信道
– 无噪无损信道 – 有噪无损信道 – 无噪有损信道
• 有干扰无记忆信道 • 有干扰有记忆信道
h 10
• 设信道的输入X∈A={a1 … ar} • 输出Y∈B={b1 … bs}
计算得
p(a1 p(a1
| |
b1 b2
) )
1 1
p(a1 | b3 ) 1
• 同理
p(a2 p(a2
| |
b4 ) b5 )
1 1
X
1/3
a1
1/3
1/3
a2
1/4
3/4
b1 Y
b2 b3 b4 b5
1
P
3
1 3
1 3
0
0
h
0
0
0
1 4
3 4
14
• 有噪无损信道 – 一个输入对应多个输出(r＜s)
I(X ,Y ) H (Y ) H (X )
C
max
P(x)
I
(
X
;Y
)
h
max[H
(
X
)]
log2
r
13
（2）有噪无损信道
– 一个输入对应多个输出(r＜s) – 每个输入所对应的输出不重合
•
由
p(b1 p(b2
| |
a1 ) a1 )
1/ 1/
3 3
p(b3 | a1) 1/ 3
•
第三章
信道与信道容量
h
1
内容
3.1 信道的基本概念 3.2 平均互信息及平均条件互信息 3.3 平均互信息的特性 3.4 信道容量及其计算方法
h 2
3.4 信道容量及其一般计 算方法
h 3
3.1.3 信道容量
• 我们研究信道的目的是要讨论信道中平均每个 符号所能传送的信息量,即信道的信息传输率R
• 接收到符号Y后,对发送的X符号是完全确定的。 • 噪声熵H(Y|X) ≠ 0 损失熵H(X|Y) = 0
I(X ,Y ) H (X ) H (Y )
C max I ( X ;Y ) max H ( X ) log r p(x)
h 15
（3）无噪有损信道
– 多个输入变成一个输出(r＞s)