信道与信道容量2.ppt
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 1 1 1 6 3 6 3
P00..27
0.1 0.1
0.2 0.7
• 不具有对称性,因而所对应的信通不是对 称离散信道。
13
对称DMC信道
• 若输入符号和输出符号个数相同,都等于n,且信 道矩阵为
1 p
P
n
p 1
p n 1 1 p
p
n
p
1
n 1
p n 1
p n 1
1
p
只与对称信道矩阵中行矢量{p1, p2,…pm }（第二项为矩 阵任一行元素的信息熵 ）和输出符号集的个数m有关。
• 强对称信道的信道容量：
Clo2ng H (1p,np 1, ,np 1)
16
BSC信道容量
• •
设二进制对称信道的输入概率空间 信道矩阵：
X 0 1
P
P
1p
p
1pppp
p p
1
i
j
p(bj | ai)logp(bj | ai)
j
H(Y| ai) i 1,2,n
H (Y |X ) H (Y |a i) H (p 1 ,p 2 , p m )
15
对称DMC信道
• 对称DMC信道的容量：
ClogmH(p1, p2pm)
m
logm pijlogpij j1
• 上式是对称离散信道能够传输的最大的平均信息量,它
• 离散信道可分成： • 无干扰(无噪)信道
– 无嗓无损信道 – 有噪无损信道 – 无噪有损信道
• 有干扰无记忆信道 • 有干扰有记忆信道
10
无干扰离散信道
• 无噪无损信道 C m p ( a i)I ( X ; a Y ) x m H ( X a ) m xH ( Y a ) lx 2 o n • 有噪无损信道(一对多)
• 此信道称为强对称信道 (均匀信道)
– 信道矩阵中各列之和也等于1
14
对称DMC信道
• 对称离散信道的平均互信息为
I ( X ; Y ) H ( X ) H ( X |Y ) H ( Y ) H ( Y |X )
H(Y| X) p(ai) p(bj | ai)logp(bj | ai)
– 每一列都是由集{q1, q2,…qn}的诸元素不同 排列组成——输出对称
1 1 1 1 P 3 3 6 6
1 1 1 1 6 6 3 3
1 1 1
2 3 6
P
1 6
1 2
1 3
1 1 1
3 6 2
满足对称 性,所对应 的信道是 对称离散 信道。
12
对称DMC信道
• 信道矩阵
1 1 1 1 P3 3 6 6
p(b0) p(ai)p(b0 |ai)pp i0
1
p(b1) p(ai)p(b1|ai)pp i0
17
H(Y)(pp)logp 1p(pp)logp 1p
H(pp)
H(Y| X) p(ai) p(bj | ai)logp(bj | ai)
i
j
p(bj | ai)logp(bj | ai) j
)
n
p(yj) p(xi)p(yj |xi) i1
• 信道的信息传输率就是平均互信息
8
信道容量
• 信道容量C：
– 最大的信息传输率
CmaIx(X;Y) p(ai)
• 单位时间的信道容量：
1
Ct
maIx(X;Y) T p(ai)
9
信道容量的计算
• 对于一般信道,信道容量计算相当复杂,我们只 讨论某些特殊类型的信道：
p12
p21
a2
p22
பைடு நூலகம்
:
:
:
an
pnm
m
p(bj |ai)1
j1
i1,2, n
b1 b2
: : :
bm
6
3.2 离散单个符号信道 及其容量
7
信道容量
• 平均互信息I (X;Y)：
– 接收到符号Y后平均每个符号获得的关于X
的信息量。
I(X;Y)
i
j
p(xi
)p(yj
|
xi
)l
ogp(yj |xi p(yj)
5
离散无记忆信道DMC
• 信道输入是n元符号X∈{a1, a2, …, an} • 信道输出是m元符号Y∈{b1, b2, …, bm} • 转移矩阵
– 已知X,输出Y统计特性
b1 b2 bm
p11 p12 p1m a1
P
p21
p22
p2m
a2
pn1
pn2
pnm
an
p11
a1
C m p (a i)I(a X ;Y x ) m H ( a Y ) x lo 2m g • 无噪有损信道(多对一)
C m p (a i)I(a X ;Y x ) mH a (X )x lo 2ng
11
3.2.1 对称DMC信道
• 对称离散信道：
• 对称性:
– 每一行都是由同一集{p1, p2,…pm} 的诸元素 不同排列组成——输入对称
[plogp plogp] H(p)
I(X ;Y ) H (Y ) H (Y |X ) H (p p ) H (p )
1 H (p )
18
BSC信道容量
• BSC信道容量 C1H(p)
• 当p固定时,I (X;Y) 是ω的 型上凸函数。
• I (X;Y) 对ω存在一
I(X;Y)
个极大值。
第三章
信道与信道容量
内容
3.1 信道分类和表示参数 3.2 离散单个符号信道及其容量 3.3 离散序列信道及其容量 3.4 连续信道及其容量
2
信道
• 设信道的输入X=(X1, X2 … Xi,… ), Xi ∈{a1 … an} 输出Y= (Y1, Y2 … Yj,…), Yj ∈{b1 … bm}
1-H(p)
ω
19
BSC信道容量
• BSC信道容量
C1H(p)
• 当固定信源的概率分布ω时,I (X;Y) 是p的 型 下
凸函数。 • 当p = 0,
C =1－0 = 1bit = H(X)
信道无噪声
C
信道强噪声
• 当p =1/2,
C1H(1,1)0 22
p
20
信道容量
• 定理：
• 给定转移概率矩阵P后,平均互信息I (X;Y)是输 入信源的概率分布p(ai)的 型上凸函数。
• 有干扰无记忆信道
– 信道的输出信号Y与输入信号X之间没有确 定的关系,但转移概率满足: p ( Y |X ) p ( y 1 |x 1 ) p ( y 2 |x 2 ) p ( y L |x L )
• 有干扰无记忆信道可分为: – 二进制离散信道 – 离散无记忆信道 – 离散输入、连续输出信道 – 波形信道
• 信道转移概率矩阵p(Y|X)：
– 描述输入/输出的统计依赖关系,反映信道统计关 系
p(Y|X)
X
Y
信道
3
无干扰(无噪声)信道
• 无干扰(无噪声)信道
– 信道的输出信号Y与输入信号X之间有确定 的关系Y=f (X),已知X后就确知Y
– 转移概率: 1, Yf(X)
p(Y|X)0, Yf(X)
4
有干扰无记忆信道
P00..27
0.1 0.1
0.2 0.7
• 不具有对称性,因而所对应的信通不是对 称离散信道。
13
对称DMC信道
• 若输入符号和输出符号个数相同,都等于n,且信 道矩阵为
1 p
P
n
p 1
p n 1 1 p
p
n
p
1
n 1
p n 1
p n 1
1
p
只与对称信道矩阵中行矢量{p1, p2,…pm }（第二项为矩 阵任一行元素的信息熵 ）和输出符号集的个数m有关。
• 强对称信道的信道容量：
Clo2ng H (1p,np 1, ,np 1)
16
BSC信道容量
• •
设二进制对称信道的输入概率空间 信道矩阵：
X 0 1
P
P
1p
p
1pppp
p p
1
i
j
p(bj | ai)logp(bj | ai)
j
H(Y| ai) i 1,2,n
H (Y |X ) H (Y |a i) H (p 1 ,p 2 , p m )
15
对称DMC信道
• 对称DMC信道的容量：
ClogmH(p1, p2pm)
m
logm pijlogpij j1
• 上式是对称离散信道能够传输的最大的平均信息量,它
• 离散信道可分成： • 无干扰(无噪)信道
– 无嗓无损信道 – 有噪无损信道 – 无噪有损信道
• 有干扰无记忆信道 • 有干扰有记忆信道
10
无干扰离散信道
• 无噪无损信道 C m p ( a i)I ( X ; a Y ) x m H ( X a ) m xH ( Y a ) lx 2 o n • 有噪无损信道(一对多)
• 此信道称为强对称信道 (均匀信道)
– 信道矩阵中各列之和也等于1
14
对称DMC信道
• 对称离散信道的平均互信息为
I ( X ; Y ) H ( X ) H ( X |Y ) H ( Y ) H ( Y |X )
H(Y| X) p(ai) p(bj | ai)logp(bj | ai)
– 每一列都是由集{q1, q2,…qn}的诸元素不同 排列组成——输出对称
1 1 1 1 P 3 3 6 6
1 1 1 1 6 6 3 3
1 1 1
2 3 6
P
1 6
1 2
1 3
1 1 1
3 6 2
满足对称 性,所对应 的信道是 对称离散 信道。
12
对称DMC信道
• 信道矩阵
1 1 1 1 P3 3 6 6
p(b0) p(ai)p(b0 |ai)pp i0
1
p(b1) p(ai)p(b1|ai)pp i0
17
H(Y)(pp)logp 1p(pp)logp 1p
H(pp)
H(Y| X) p(ai) p(bj | ai)logp(bj | ai)
i
j
p(bj | ai)logp(bj | ai) j
)
n
p(yj) p(xi)p(yj |xi) i1
• 信道的信息传输率就是平均互信息
8
信道容量
• 信道容量C：
– 最大的信息传输率
CmaIx(X;Y) p(ai)
• 单位时间的信道容量：
1
Ct
maIx(X;Y) T p(ai)
9
信道容量的计算
• 对于一般信道,信道容量计算相当复杂,我们只 讨论某些特殊类型的信道：
p12
p21
a2
p22
பைடு நூலகம்
:
:
:
an
pnm
m
p(bj |ai)1
j1
i1,2, n
b1 b2
: : :
bm
6
3.2 离散单个符号信道 及其容量
7
信道容量
• 平均互信息I (X;Y)：
– 接收到符号Y后平均每个符号获得的关于X
的信息量。
I(X;Y)
i
j
p(xi
)p(yj
|
xi
)l
ogp(yj |xi p(yj)
5
离散无记忆信道DMC
• 信道输入是n元符号X∈{a1, a2, …, an} • 信道输出是m元符号Y∈{b1, b2, …, bm} • 转移矩阵
– 已知X,输出Y统计特性
b1 b2 bm
p11 p12 p1m a1
P
p21
p22
p2m
a2
pn1
pn2
pnm
an
p11
a1
C m p (a i)I(a X ;Y x ) m H ( a Y ) x lo 2m g • 无噪有损信道(多对一)
C m p (a i)I(a X ;Y x ) mH a (X )x lo 2ng
11
3.2.1 对称DMC信道
• 对称离散信道：
• 对称性:
– 每一行都是由同一集{p1, p2,…pm} 的诸元素 不同排列组成——输入对称
[plogp plogp] H(p)
I(X ;Y ) H (Y ) H (Y |X ) H (p p ) H (p )
1 H (p )
18
BSC信道容量
• BSC信道容量 C1H(p)
• 当p固定时,I (X;Y) 是ω的 型上凸函数。
• I (X;Y) 对ω存在一
I(X;Y)
个极大值。
第三章
信道与信道容量
内容
3.1 信道分类和表示参数 3.2 离散单个符号信道及其容量 3.3 离散序列信道及其容量 3.4 连续信道及其容量
2
信道
• 设信道的输入X=(X1, X2 … Xi,… ), Xi ∈{a1 … an} 输出Y= (Y1, Y2 … Yj,…), Yj ∈{b1 … bm}
1-H(p)
ω
19
BSC信道容量
• BSC信道容量
C1H(p)
• 当固定信源的概率分布ω时,I (X;Y) 是p的 型 下
凸函数。 • 当p = 0,
C =1－0 = 1bit = H(X)
信道无噪声
C
信道强噪声
• 当p =1/2,
C1H(1,1)0 22
p
20
信道容量
• 定理：
• 给定转移概率矩阵P后,平均互信息I (X;Y)是输 入信源的概率分布p(ai)的 型上凸函数。
• 有干扰无记忆信道
– 信道的输出信号Y与输入信号X之间没有确 定的关系,但转移概率满足: p ( Y |X ) p ( y 1 |x 1 ) p ( y 2 |x 2 ) p ( y L |x L )
• 有干扰无记忆信道可分为: – 二进制离散信道 – 离散无记忆信道 – 离散输入、连续输出信道 – 波形信道
• 信道转移概率矩阵p(Y|X)：
– 描述输入/输出的统计依赖关系,反映信道统计关 系
p(Y|X)
X
Y
信道
3
无干扰(无噪声)信道
• 无干扰(无噪声)信道
– 信道的输出信号Y与输入信号X之间有确定 的关系Y=f (X),已知X后就确知Y
– 转移概率: 1, Yf(X)
p(Y|X)0, Yf(X)
4
有干扰无记忆信道