(优选)信道与信道容量

证明：I (X ;Y )是 Qk 的上凸函数，故必有最大值，由K-T条件，
Qk 为最佳分布的充要条件是
I ( X ;Y ) Qk
I ( X ;Y ) Qk
k, Qk 0 k, Qk 0
为常数
I (X ;Y )
Qk
Qk
j
p( j m)
Qm p( j m) log K1
m
Qi p( j i)
– 时间离散的离散信道（离散信道） – 时间离散的连续信道（连续信道） – 时间连续的离散信道 – 时间连续的连续信道（波形信道）
信道分类
• 按输入输出之间关系的记忆性来划分：
– 无记忆信道 信道的输出只与信道该时刻的输入有关,而与其它 时刻的输入无关
– 有无记忆信道 信道的输出不但与信道现在时刻的输入有关，而且 还与以前时刻的输入有关
– 已知X，信道输出Y表现出来的统计特性
– 完全描述了信道的统计特性，其中有些概率是信道干扰 引起的错误概率,有些是正确传输的概率
m
p(bj | ai ) 1 i 1,2,n
j 1
二元对称信道（BSC）
– 输入符号X取值{0,1}
1-p
0
0
p
– 输出符号Y取值{0,1}
p
– 信道转移概率
1
1
i0
ji
j
p
j
k
log
pj k
K1 Qi p j
i0
i
log
e
m
Qm
p
j
m
pj k
K1 Qi p j
i0
i
j
p
j
k
log
pj k K1
Qi p j
i
log
e
j
p
j
k
I (x k;Y ) log e
i0
从而充要条件为
I (x k;Y ) log e k,Qk 0
为常数
i0
Qk
p jk
p jm
j
Qk p
jk
log K 1 Qi p
i0
ji
Qm p
mk
j m log K1 Qi p
i0
ji
Qk
p jk
p jm
j
Qk p
jk
log K 1 Qi p

ji
Qm p
mk
j m log K 1 Qi p
K 1 J 1
P(xy) log
p(x |
y)
K 1 J 1
P(xy) log
p(y |
x)
x0 y0
p(x) x0 y0
p( y)
K 1 J 1
p(x) p( y | x) log K1
p(y | x)
x0 y0
q(z) p(y | z)
z0
信道容量
回顾 给定转移概率P后,平均互信息I(X;Y)是输入信源的概 率分布p(x)的上凸函数。
（优选）信道与信道容量
信道数学模型
设信道的输入X=(X1, X2 … XN), Xi ∈{0,1… K-1} 输出Y= (Y1, Y2 … YN), Yj ∈{0,1… J-1}
信道转移概率矩阵p(Y|X)：
– 描述输入和输出的统计依赖关系，反映信道统计关系
p(Y|X)
X
Y
信道
信道分类
• 按信道的输入和输出在幅度和时间上的取值
定义 离散无记忆信道的信道容量定义为
C max I(X ;Y ) q{q( x),x{0,1,,K 1}}
即为改变输入分布时，使每个符号所能含有的平均互 信息量的最大值，相应的输入分布称为最佳分布。
信道容量C与信源无关，只是信道转移概率的函数， 不同的信道就有不同的信道容量，它反映了信道 本身的传信能力。
pK 1,1
p0,J 1
p1,J 1
pK
1,
J
1
0
1 信道转移矩阵
K 1
信道转移矩阵
b1
b2
bm
a1 p(b1 | a1) p(b2 | a1) p(bm | a1)
P
a2
p(b1 |
a2
)
p(b2 | a2)
p(bm | a2)
an
p(b1
|
an
)
p(b2 | an)
p(bm | an)
概念一致
信息大于其它任一输入与所有输出之间的平均互信息，我们就
可以通过更经常采用这个输入k（即加大Qk）来增大。但这样做 会改变每个输入与所有输出之间的平均互信息量（由概率归一
性约束）。通过足够多次的调整输入概率分布，就可使每个概
率不为零的输入与所有输出之间的平均互信息量任意接近。
达到C的充要条件
p(0|0) = 1-p p(1|1) = 1-p
1-p
p(0|1) = p
p(1|0) = p 无错误传输的0 概率1 传输发P生 错1p误p 的1p概p率10
二元删除信道（BEC）
– 输入符号X取值{0,1} – 输出符号Y取值{0,1,2} – 转移矩阵
p(0|0) = 1-p p(0|1) = 0 p(2|0) = p p(2|1) = p p(1|0) = 0 p(1|1) = 1-p
达到C的充要条件
输入概率矢量 Q Q0,Q1,,QK 达到转移概率为p( j k)
的DMC的容量C的充要条件为
I (x k;Y ) C k, Qk 0
I (x k;Y ) C k, Qk 0
其中，
I
(x
k;Y
)
j
p(
j
k)
log
p(
Qi
j k) p( j
i)
i
定理与直观 在给定输入分布下，若某个输入k与所有输出事件之间的平均互
1-p
0
0
p
2
p
1
1-p
1
1 p p 0
P
0
p 1 p
信道容量
• 我们研究信道的目的是要讨论信道中平均每个符号所能 传送的信息量，即信道的信息传输率
• 平均互信息I (X;Y)
– 接收到符号Y后平均每个符号获得的关于X的信息量。 – 每传递一个符号流经信道的信息量，即信息传输率
I (X ;Y )
I (x k;Y ) log e k,Qk 0
从而充要条件为
I (x k;Y ) log e k,Qk 0
I (x k;Y ) log e k,Qk 0
信道分类
• 按输入输出信号之间的关系是否是确定关系
– 无干扰信道： 输入和输出符号之间有确定的一一对应关系
– 有干扰信道： 输入和输出之间关系是一种统计依存的关系
• 输入和输出的统计关系：
– 恒参信道和随参信道 – 对称信道和非对称信道
离散无记忆信道
X 0,1,2,, K 1
信道
Y 0,1,2,, J 1
x1,x2,,xN
pN (y | x)
y1, y2,, yN
pN (y | x) p( y1, y2, , yN | x1, x2, , xN )
p( y1 | x1) p( y2 | x2 ) p( yN | xN )
0
1 J 1
p( yn
| xn )
P
p0,0
p1,0
pK
1,0
p0,1 p1,1