证明----信息论海大

1 , i = 1,2,..., r r
将准对称信道矩阵按列分为N个子矩阵， 每个子矩阵对应的信道为对称信道 Qk , k = 1,2,..., N ，Qk 对应的 列标集合为 Bk , k = 1,2,..., N ， Bk 是集合B={1,2,…,s}的子集。 那么 I ( X = ai ; Y ) =
' + ∑ p( ys | xi ) log ∑ p( ys | xi )] − H ( p1' , p2 ,... ps' ) i i
--------------------------------------(Q-1) 因为准对称信道可以按列分成若干个对称的子矩阵 Qk (k = 1,2,..., N ) ，在子矩阵中每一行、每一列 的元素都相同，把式(Q-1)括号内的求和分成在不同的子矩阵中求和。
(2.3) H (Y | X )
(提示：这里 Ai A j 表示 Ai 或 A j 发生； Ai A j 表示 Ai , A j 同时发生) 而 H (Y | A1 )
p( A2 | A1 ) log p( A2 | A1 ) p( A3 | A1 ) log p( A3 | A1 ) p( A1 A3 ) 0 ，
I ( X = ai ;Y ) = ∑ ∑ p(b j | ai ) log
k =1∑ p(a ) p(b
l =1 l
r
j
| al )
= ∑ ∑ p(b j | ai ) log
k =1 j∈Bk
N
p(b j | ai ) Ak 0
= ∑ Ck 0
k =1
N
又由对称性知，对于 Qk 的每一行都为同一集合元素的不同排列。所以对于不同的 ai
∑ p( y
i
j
| xi ) 表示每一列元素之和，在每一个子矩阵中 ∑ p( y j | xi ) 都相等，因此在同一子矩阵中求
i
和项可以进行合并，合并后对数符号前的值就等于子矩阵中行元素之和，即：
1 [∑ p( y1 | xi ) log ∑ p( y1 | xi ) +∑ p( y2 | xi ) log ∑ p( y2 | xi ) + .. + ∑ p( ys | xi ) log ∑ p( ys | xi )]. r i i i i i i N N ⎛ ⎞ ⎛ ⎞ 1 = ∑ ∑ ⎜ ∑ p ( y j | xi ) log ∑ p ( y j | xi ) ⎟ = ∑ ∑ ⎜ ∑ p ( y j | xi ) log M k ⎟ r k =1 j∈Bk ⎝ i i ⎠ k =1 j∈Bk ⎝ i ⎠
(2) 再计算机准对称信道输入分布为等概时，信道容量的具体数值。
I ( X ;Y ) = H (Y ) − H (Y | X )
= p ( y1 ) log
1 1 1 ' + p( y2 ) log + ... + p( ys ) log − H ( p1' , p2 ,... ps' ) p ( y1 ) p ( y2 ) p ( ys ) 1 ， i = 1,2,..., r 时达到信道容量，这时 r 1 ∑ p( y j | xi ) r i
R’= L log r =2.63×log2(二元码符号/信源符号 比特/二元码符号)=2.63 bit 信源符号
在 10*10 的图像上，共需 263 位二进制表示，以每秒传输 100 位计算，共需 2.63 秒钟传输完。
由于准对称信道当输入等概分布 p ( xi ) =
p ( y j ) = ∑ p ( y j | xi ) p( xi ) =
i
所以
C=
1 1 1 1 p( y1 | xi ) log + ∑ p ( y2 | xi ) log + ∑ 1 1 r r i i ∑ p( y1 | xi ) ∑ p( y2 | xi ) r i r i
…＋
1 1 ' − H ( p1' , p2 p ( y s | xi ) log ,... p s' ) ∑ 1 r i ∑ p ( y s | xi ) r i
=
1 1 1 p( y1 | xi ) log r + ∑ p( y2 | xi ) log r + ... + ∑ p( ys | xi ) log r − ∑ r i r i r i
xz0 x 0
这是因为 lim x log x
x o0
lim
x o0
log x 1 x
1 lim x x o0 1 2 x
lim( x) 0 ，所以 F ( x) 是[0,1]上的连续函数；
x o0
(1.2) 高等数学中有定理： 若 F ( x) 在 [a, b] 上连续，二阶可导，且在(a b)内 F ( x) 0 则 F ( x) 在 [a, b] 上是上凸函数。
3、根据熵的条件可加性，对于 1 中采取的事件分步方式有：
H ( XY )
H ( X ) H (Y | X ) Æ H ( p1 , p 2 , p3 )
H ( p1 , p 2 p3 ) ( p 2 p3 ) H (
p3 p2 , ) p 2 p 3 p 2 p3
三、用定义证明熵的递增性
证明准对称信道当输入等概率分布时达到信道容量：
' C = log r − H ( p1' , p2 ,... ps' ) − ∑ N k log M k k =1 N
' ,... p s' ， N k 和 M k 的含义见教材P.96。 其中r为信源符号数， p1' , p 2
证明： (1) 先证明对于准对称信道，输入分布为等概时达到信道容量。 设输入分布 p (ai ) =
∑ p(b
j∈B
j
| ai ) log
p(b j | ai ) p (b j )
=∑ p(b j | ai ) log
j∈B
p(b j | ai )
∑ p(a ) p(b
l =1 l
r
j
| al )
= ∑ ∑ p(b j | ai ) log
k =1 j∈Bk
N
p(b j | ai )
∑ p(a ) p(b
又因为 A1 , A2 , A3 两两为互斥事件，所以 p( A1 A2 )
(提示：互斥事件与独立事件是完全不同的两个概念；注意复习概率论中事件的相关知识) 则 p( A2 | A1 ) 故 H (Y | X )
p( A3 | A1 ) 0 Æ H (Y | A1 ) 0
p ( A2 A3 ) H (Y | A2 A3 ) ( p 2 p3 ) H ( p3 p2 , ) p 2 p3 p 2 p3
所以
' ,... ps' ) − ∑ N k log M k C = log r − H ( p1' , p2 k =1 N
统计图像中各灰度级的出现次数，如果考虑信源符号的统计特性，对上述灰度级进行编 码，如图所示。平均码长为：
LN =1 =1×40%+3×17%+4×10% ×2+4×7%+4×6%+4×5%×2=2.63 二元码符号/信源符号（灰度级）
[ 1 p( y1 | xi ) + ∑ p( y2 | xi ) log ∑ p( y2 | xi ) + ... ∑ p( y1 | xi ) log ∑ r i i i i
i i
' + ∑ p( ys | xi ) log ∑ p( ys | xi )] − H ( p1' , p2 ,... ps' )
''
在(0,1)上 F ( x) 二阶可导，且 F ( x)
n
''
1 0 ，所以 F ( x) 是[0,1]区间上的上凸函数。 x
2、 再证明 H ( p1 , p 2 ,... p n )
¦ pi log pi 是 p1 , p2 ,... pn 的上凸函数。
i 1
根据教材附录中的定理：如果 f i ( x) 都是上凸函数，并且 ci t 0 ，则
右边=
¦p
k 1 m
n
k
log pk pn (¦
l 1
m
ql q log l ) pn pn
pn ( ¦
l 1
m m m q ql q log l ) = ¦ q l log l = ¦ ql log ql ¦ ql log pn pn l 1 pn pn l 1 l 1
n 1 m m
第一步，发生事件 X： «
ª A1 ¬ p1
A2 A3 º ； p 2 p3 » ¼
ª A2 第二步，在发生事件 X 的前提下，发生事件 Y： « p 2 « ¬ p 2 p3
2、(2.1) H ( XY ) (2.2) H ( X )
A3 º p3 » » p 2 p3 ¼
H ( p1 , p2 , p3 ) H ( p1 , p2 p3 ) p( A1 ) H (Y | A1 ) p( A2 A3 ) H (Y | A2 A3 )
? 右边= ¦ pk log pk ¦ ql log ql ( pn log pn ¦ ql log pn )
k 1 l 1 l 1
pn log pn ¦ ql log pn = ( p n ¦ ql ) log pn = 0
l 1 l 1
m
m

=
N ⎛ ⎞ 1 N 1 N 1 N ⎜ ⎟ ( ) p ( y | x ) log M = N log M = rN log M = N k log M k ∑ ∑ j∑ ∑∑ k ∑ k ∑ j i k⎟ k k r k =1 i ⎜ r k =1 k =1 ⎝ ∈B k ⎠ r k =1 i