信息论与编码08

m βj 2.由 2.由 C = log 2 ∑ 2 ，求C j =1
3.由 3.由
p bj = 2
p bj =
n
( )
β j −C
（须确认所有的p(ai)≥0） 须确认所有的 ( ）
，求 p(bj) (
4.由 4.由
( ) ∑ p(a ) p(b
i i =1
j
ai
)
1) 2) I ( a i ;Y ) = C I ( a i ;Y ) ≤ C p(a i ) ≠ 0 p(a i ) = 0
对一切 i 对一切 i
这时常数C 就是所求的信道容量。 这时常数 就是所求的信道容量。式中
I (a i ;Y ) = I (Y ; a i ) =
∑ p(b
m j =1
j
a i log 2
相应的信源概率分布——最佳输入分布 最佳输入分布 相应的信源概率分布 ◆一一对应的无噪信道 C = max I ( X ;Y ) = max H ( X ) = log 2 n
p( ai ) p( ai )
◆扩展性能的无噪信道 C = max I ( X ;Y ) = max H ( X ) = log 2 n
四、准对称离散信道的信道容量
定理：对于单符号离散准对称信道，仅当其输入为等概率分布时， 定理：对于单符号离散准对称信道，仅当其输入为等概率分布时， 达到其信道容量。 达到其信道容量。即：
C = max I ( X ;Y ) = I ( X ;Y )
p( ai )
输入等概
= H (Y ) − H (Y / X )
p( ai ) p( ai )
中的m项分成 个子集M 将H(Y)中的 项分成 个子集 1, M2 , …, Mk , …, Ms ， 中的 项分成s个子集 各子集分别有 m1, m2 , …, mk , …, ms 项。
4
四、准对称离散信道的信道容量
H (Y ) = −
∑ p(b )log p(b )
1 8
1 6 P3 = 1 6
1 8
1 3 P2 = 1 1 3 3
3
四、准对称离散信道的信道容量
0.7 P= 0.2 0.8 P= 0.1
0.2 0.1 0.1 0.7 0.1 0.1 0.1
0.8 → P1 = 来自0.1)()
7
3.2.3 离散信道容量的一般计算方法 离散信道容量的 信道容量的一般计算方法
一般离散信道容量的计算步骤： 一般离散信道容量的计算步骤： 1.由 1.由
∑ p(b
m j =1
j
ai β j =
)
∑ p(b
m j =1
j
a i log 2 p b j a i ，求 β j
)
(
)
β j = log 2 p(b j ) + C
p( ai ) p( ai )
◆归并性能的无噪信道 C = max I ( X ;Y ) = max H (Y ) = log 2 m
p( ai ) p( ai )
◆对称离散信道
C = max I ( X ;Y ) = log 2 m − H (q1 ,q2 ,L , qm )
p( ai )
◆强对称离散信道（均匀信道） 强对称离散信道（均匀信道）
C = log 2 n + p log 2 p + p log 2 n−1
p
2
3.2.2 几种特殊离散信道的信道容量 几种特殊离散信道的信道容量
四、准对称离散信道的信道容量
的行是可排列的， 如果单符号离散信道矩阵 P 的行是可排列的，列是不可 排列的。但矩阵中 列可以分成 个不相交的子集， 列可以分成s个不相交的子集 排列的。但矩阵中m列可以分成 个不相交的子集，各子集分 别有 m1, m2 , …, ms 列( m= m1 + m2 +… +ms ) ，若由 n 行 mk 列(k=1,2, …,s) 组成的子矩阵 Pk 具有可排列性，则称这信道 组成的子矩阵 具有可排列性， 为准对称信道。 准对称信道。
，求 p(ai) (
8
(bk )
此时第k个子集中的熵最大 个子集中的熵最大。 ，此时第 个子集中的熵最大。
H (Y ) ≤ −
∑ m p(b )log p(b )
k k k k =1
s
C =−
∑ m p(b )log p(b ) − H (q ,q ,L, q )
k k k 1 2 m k =1
5
s
最佳输入分布： 最佳输入分布：等概分布
例：
1 2 P = 1 4 1 4 1 2 1 8 1 8 1 8 1 8
输入等概
1 2 → P1 = 1 4
1 4 1 2
1 8 P2 = 1 8
1 8 1 8
6
3.2.3 离散信道容量的一般计算方法 离散信道容量的 信道容量的一般计算方法
定理：一般离散信道的平均互信息 ( ; )达到极大值(等于C) 定理：一般离散信道的平均互信息I(X;Y)达到极大值(等于 )的 充要条件是输入概率分布p( 充要条件是输入概率分布 (ai)满足
0.1 0 .8
0.8

0.1 P2 = 0.1
I ( X ; Y ) = H (Y ) − H (Y / X )
= H (Y ) − H (q 1 ,q 2 ,L , q m )
C = max I ( X ;Y ) = max[H (Y )] − H (q1 ,q2 ,L , qm )
1 2 P= 1 4 1 3 P= 1 6 1 4 1 2 1 3 1 3 1 8 1 8 1 6 1 6 1 8
1 2 → P1 = 1 4
1 3 → P1 = 1 6
1 8 1 3
1 6
1 2
1 6
1 4
1 8 P2 = 1 8
)
p b j ai p bj
(
( )
)
C=
m
∑ p(b
m j =1
j
a i log 2 p b j a i −
)
(
) ∑ p(b
m j =1
j
a i log 2 p b j
)
( )
∑ p(b
j =1
j
a i log 2 p b j + C =
)[
( ) ] ∑ p(b
m j =1
j
a i log 2 p b j a i
m j j j =1
=−
∑ ( ∑ p(b )log p(b ) )
s j j k =1 p b j ∈M k
j j p b j ∈M s
=−
p b j ∈M 1
∑ p(b )log p(b ) − LL − ( ∑ p(b )log p(b ) ( ) )
j j
由于子矩阵 具有可排列性，当信源X呈等概分布时 可使第k个子集的 呈等概分布时， 由于子矩阵 Pk 具有可排列性，当信源 呈等概分布时，可使第 个子集的 输出概率相等， p 输出概率相等，即达到其均值
信息论与编码
Information Theory and Coding
通信与信息工程学院
2011-4-3
3.2.2 几种特殊离散信道的信道容量 几种特殊离散信道的信道容量
最大的信息传输率为信道容量 最大的信息传输率为信道容量C 信道容量
C = max R = max I ( X ;Y )
p( ai ) p( ai )