第四章 信道(2)

=2-1/3log26-2/3log23 =0.0817 bit/符号
3、 准对称DMC信道 再进一步放松条件
若P(yj/xi)不满足对称条件，但是将信道矩阵按列分割为
多个子矩阵：
P = [P1,L , Pr ]
若所有子阵满足对称性条件，则称P为准对称信道。
例：
P

1
1 2

2
2 1- 1 2
第四章 信道(2)
各种特殊信道的信道容量计算
1.几种极限情况
无噪无损信道（ X,Y一一对应）
H(Y|X)=0 噪声熵 H(X|Y)=0 疑义度 I(X;Y)=H(X)=H(Y) 输入等概率时，信道的传输 能力达到信道容量 C=maxI(X;Y)=logM
无损信道：无重叠输出的有噪声信道
H(Y|X)≠0 H(X|Y)=0 疑义度 I(X;Y)=H(X） 输入等概率时，信道的传输 能力达到信道容量 C=maxI(X;Y)=logM
k=1
NK是第k个子矩阵中行元素之和, Nk p bj ai
j
MK是第k个子矩阵中列元素之和, Mk p bj ai
i
r是不互相交的子集个数
4.二元对称删除信道
P

1


1
2

2
2 1- 1 2

1 1
输入集合中只有两个消息
信道的输入消息集合中只有两个消息的情况
信道的消息集合X中只有X1和X2两个消息，并设它们的概率为P(X1)＝α，
P(X2)＝1－α。根据给定的信道传输概率集合或信道矩阵，可求得各个联合概
率P(xy)和各个信宿消息的概率P(y) ,它们都以α为参变量的函数
然后用公式I(X；Y)＝H(Y)－H(Y|X)
平均联合互信息量为：
I (XX
';YY ')

P( xxyy) log
XX YY
P( yy | xx) P( yy)


XX YY
P( xx)

P( y
|
x)

P( y |
x) log
P( y
|
x) P( y | P( yy)
x)
一般来说，当N个相互独立的信道并联时，其总信道容量C为： C
J
串联信道的性质
数据处理定理：I(Y;Z)≥I(X;Z) 随着串联信道数目的增多，其容量趋近于0 将级联信道的Пi 乘起来，得整个级联信道的П，
即可求解级联信道的容量。
例：两个交叉传输概率为ε的二进制对称信道相串联，求这串联信道的信道矩 阵及信道上传输的最大平均信息量
解：由题意有
1
一般离散信道容量的计算
由于 I (X ;Y )为p(x)上凸函数，故极大值存在。并且
p( x)要满足非负且归一化的条件，因此，求信道容量
归结为求有约束极值的问题 。为了书写方便，记
pi=p(x),pij= p(y|x),qj=q(y) 。 现求
I (X ;Y )
i, j
pi
pij
log
串联信道和并联信道的信道容量 串联信道（级联信道）
x
信道1
y
P(y|x)
信道2
z
P(z|y)
x
等效信道
z
P(z|x)
串联信道的信道矩阵П为信道1的信道矩阵П1与信道2的信道矩阵П2的乘
积，即
П＝ П1·П2
根据矩阵乘法，П中的i行第k列的元素P(zk|xi)为
P ( z k | x i ) P ( y j | x i ) P ( z k | y j )
③ 存在性定理
译码方案——译码时所用的准则
在一般的信息传输系统中，信宿收到的集合Y不一定与信源发出的信息集合 X相同，而信宿需要知道此时信源发出的是哪一个信源信息，故需要把信宿收 到的消息恢复成相对应的信源消息。这个消息恢复过程称为译码，用公式表示 为X’＝g(Y)
j
i
pi ]
pkj log pkj ( pkj log qj pkj loge)
j
j
0
所以，有
j
pkj log
pkj qj
log e
记
I(ak;Y )
j
pkj
log
pkj qj
k 1,...,r
因为 pk I (ak ;Y ) I ( X ;Y ) ，所以 k
输入符号等概率分布
输出符号等概率分布
因此要使I最大
需H(Y)最大
输入符号等概率分布 输出符号等概率分布
所以，对称DMC信道的容量为：
m
C=log2m-H(Y|xi)=log2m+∑pijlogpij
j=1
结论：对于对称的离散无记忆信道，当输入符
号等概时，达到信道容量。
二元对称信道（BSC)容量：
[定理] 对离散平稳无记忆信道，其容量为C，输入序列长度为L。 则，只要实际信息率R<C，就必可找到一种编码：当L足够长
时，有Pe< 。
反之，若实际信息率R>C，则对任何编码， Pe必大于零 [说明] ① 前者为正定理，后者为逆定理 ② 给出了信息传输率的极限
只要R<C，必可无失真传输 若R>C，必为有失真传输
pij qj
在约束
pi 1, pi 0
i
下的极值。
利用拉格朗日乘子法，求函数 J

I(X ;Y )


i
pi
的极值。 r
计算
J pk
并使其为0 并考虑到
qj

i 1
pi pij
，
得：
J
pk
[ pk i, j
pi pij log pij
q j log q j

1 1


1 2
1

2
2 1- 1 2


1 1


P1
P2
显然子阵P1,P2满足对称性（行，列）
准对称信道有下列定理：
对于单消息、离散、准对称信道，当且仅当信道输入为 等概率分布时，信道达容量值:
r
å C = log n - H (Y | xi )- Nk log M k
0.2
分解成：
0.3 0.5
0.2
求其信道容量。
n=2, N1=0.5+0.3=0.8, M1=0.5+0.3=0.8
N2=0.2,
M2=0.2+0.2=0.4
r=2
r
å C = log n - H (Y | xi )- Nk log M k
k=1
（5）信道矩阵为非奇异方阵
若有扰离散信道矩阵为非奇异H，其逆矩阵中第j行第i
＝
解法二：利用准对称信道
P1

1/ 1/
3 6
1/ 3 1/ 3
1/ 6 1/ 6
1/ 6 1/ 3
可以分解成
1/ 3 1/ 6
1/ 1/
63,
1/ 1/
33,
1/ 6 1/ 6
P2

0.7 0.2
0.1 0.1
0.2 0.7
可以分解成
0.7 0.2 0.1 0.2 0.7, 0.1
求C
(3) 由 qj 2 j C 求 q j
(4) 由 q j i pi pij { pi} 求 pi
达到信道容量时分布的唯一性
达到信道容量C的时候，输入字母分布唯一吗？
最优输入分布不唯一
输出分布是唯一
达到信道容量时的输出分布是唯一的。任何导致这一 输出分布的输入分布都是最佳分布，可以使互信息达 到信道容量。

N
Ci
பைடு நூலகம்i 1
当并联的各个信道相同时， C N C i
并联信道的性质
特点：输入相同的X，输出不同的Y1,Y2,…，构成随机矢量Y 性质：输入并联信道的容量大于任何一个单独的信道，小于 Max H(X)。 思考：N个二元对称信道输入并联之后的信道容量，N越大，CN
越大，越接近H(X）
信道编码定理
列元素为qij（i,j=1,…,M),则有
M
M

dk qik exp q ji H Y xi 0
j 1
j1

其信道容量为
C

ln
M j 1
exp

M i1
q ji H
Y
xi


0
达到此信道容量的信道输入消息集合的概率分布
p xk ecdk , k 1, 2,..., M
C pk I (ak ;Y ) log e
k
有：
j
pij log
pij qj
C
j
pij log pij
j
pij (C log q j )
令 j C log qj pij j pij log pij
j
j
j

C是I(X；Y)对某个信源概率矢量P＝(P(X1), P(X2))的极大值,故可用偏导
为零的方法,即 I ( X ; Y ) 0，得出I(X；Y)极大值时的α值，代入I(X；Y)

中，可得
C＝ Rmax ＝ I(X；Y)max
0.2ln(0.3 0.2) 0.2 0.2ln(0.5 0.2) 0.2 0
1 2
1
1 1
1 • 2