陈运 信息论与编码 第三章 信道容量
信息论与编码(第二版)陈运主编课件第三章 (2)
H (Y1Y2 ...YN ) H (YK / X K )
K 1
N
H (Y1Y2 ...YN ) H (YK )
K 1 N N I ( X ;Y ) H (YK ) H (YK / X K ) K 1 K 1 N I ( X ; Y ) I ( X K ; YK ) K 1
j b j b j b j
1 2
N
j 1,2,......, m
N
j1 j2 ...... jN 1,2,......, m
信道矩阵
X P(Y X ) Y
p( 1 1 ) p( 2 1 ) p( ) p( ) 1 2 2 2 ...... p( 1 n ) p( 2 n )
N
离散无记忆信道的N次扩展信道
离散无记忆信道的N次扩展信道的平均 互信息量不大于N个变量X1X2...XN单独 通过信道 的 X P(Y X ) Y 平均互信息量之和。
N I ( X ;Y ) I ( X K ;Y K ) K 1
离散无记忆信道扩展信道信道容量
散信道。
多符号离散信道的数学模型
X X1 X 2 ...... X N
i ai ai ai
1 2
N
N
有n 个元素
N
i 1,2,......, n
Y Y1Y2 .....YN
i1i2 ......iN 1,2,......, n
X P(Y X ) Y
N N
...... p( m 1 ) ...... p( m 2 ) ...... ...... p( m n )
《信息论与编码》习题解答-第三章
第三章 信道容量-习题答案3.1 设二元对称信道的传递矩阵为⎥⎦⎤⎢⎣⎡3/23/13/13/2 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C3.2 解：(1)αα-==1)(,)(21x p x p⎥⎦⎤⎢⎣⎡=4/14/12/102/12/1P ，⎥⎦⎤⎢⎣⎡---=4/)1(4/)1(2/)1(02/12/1)(αααααj i y x P 4/)1()(,4/14/)(,2/1)(321αα-=+==y p y p y p接收端的不确定度：))1(41log()1(41)4141log()4141()2log(21)(αααα---++-=Y H)1log(41)1log(4123αααα---++-= (2))4log()1(41)4log()1(41)2log()1(210)2log(21)2log(21)|(ααααα-+-+-+++=X Y H α2123-= (3))|()();(X Y H Y H Y X I -=);(max )()(Y X C i x p =α,0)(=ααC d d,得到5/3=α 161.0)5/3();max(===C Y X C 3.3∑==⨯++=+=21919.001.0log 01.099.0log 99.02log log )log(j ij ij p p m C0.919*1000=919bit/s 3.4⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=εεεε-10-10001ij p2/1)()(0)(321===a p a p a p 0)(1=b p2/12/1)1(2/100)|()(),()(222=⨯+-⨯+⨯===∑∑εεi ii ii a b p a p b a p b p2/1-12/12/100)|()(),()(333=⨯+⨯+⨯===∑∑）（εεi ii ii a b p a p b a p b p)()|(log)|();(j i j ji j i b p a b p a b p Y a I ∑=0);(1=Y a Iεεεε2log )1(2log )1(0)()|(log)|();(222+--+==∑j j jj b p a b p a b p Y a I )1(2log )1(2log 0)()|(log)|();(333εεεε--++==∑j j jj b p a b p a b p Y a I当0=ε，1=C 当2/1=ε，0=C 3.5两个信道均为准对称DMC 信道设输入符号概率αα-==1)(,)(21a p a p ， （1） 对于第一种信道的联合概率的矩阵为：⎥⎦⎤⎢⎣⎡---------)1(2)1)(1()1)((2)()1(αεαεαεεααεαεp p p p⎥⎦⎤⎢⎣⎡---)()1(εαεp p 3.6⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=2/1002/12/12/10002/12/10002/12/1P 121log 2121log 214log log )log(41=++=+=∑=ij j ij p p m C3.7解：(1)从已知条件可知：3,2,1,3/1)(==i x p i ，且转移概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=0109101103103525110321)|(i j x y p ，则联合概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡==010330110110115215110161)()|(i i j ij x p x y p p ，因为：),()(∑=ij i j y x p y p ，可计算得到31)(1=y p ，21)(2=y p ，61)(3=y p499.16log 612log 213log 31)(=++=Y H(2)175.1910log 10310log 301310log 101310log10125log 1525log 151310log 1012log 61)|(log )()|(=+++++++=-=∑iji j j i x y p y x p X Y H (3)当接收为2y ，发送为2x 时正确，如果发送为1x 和3x 为错误，各自的概率为： 5/1)|(21=y x p ，5/1)|(22=y x p ，5/3)|(23=y x p 它的错误概率为：5/4)|()|(2321=+=y x p y x p p e(4)从接收端看到的平均错误概率为：===∑∑≠≠ji ij ji j i j e p y x p y p p )|()(收733.010/115/110/310/130/115/2=+++++(5)从发送端看到的平均错误概率为：===∑∑≠≠ji ij ji i j i e p x y p x p p )|()(发733.010/115/110/310/130/115/2=+++++(6)此信道不好，因为信源等概率分布，从转移信道来看，正确发送的概率11y x >-为0.5，有一半失真；22y x >-为0.3，严重失真；33y x >-为0，完全失真。
信息论与编码C 第三章 信道容量
3.2单符号离散信道的信道容量
信息传输率R: 信道中平均每个符号所能传送的信息量。由于 平均互信息I(X;Y)的含义是接收到符号Y后，平均每个符号获 得的关于X的信息量，因此信道信息传输率就是平均互信息。
噪声熵 H(Y/X) = 0 I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(Y) H(X) ＞ H(Y)
思考：p(x)应该 怎样取值？
C max I ( X ; Y ) max H (Y ) log 2 m
p ( xi ) p ( xi )
3.2单符号离散信道的信道容量
例：对于二元对称信道
0( p)
q
I(X;Y)
X
1( p)
q q
q
0
Y
1
0
1-H(q) 0.5 1 p
如果信源分布X={p,1-p}，则
I ( X ; Y ) H ( pq pq) H (q)
信道容量为：
C max I ( X ; Y ) 1 H (q),
p ( xi )
3.2单符号离散信道的信道容量
二进制对称信道(n=2)
p C log 2 n p log 2 p p log 2 n 1 1 p log 2 p p log 2 p 1 H ( p)
H ( p) p log2 p p log2 p
C 1
0
0.5
1
p
3.2单符号离散信道的信道容量
（2）输出符号的概率 n P(b j ) p(ai ) p(b j / ai )
信息论与编码-第三章
是连续的；
信息论与编码-信道与信道容量
（3）半离散或半连续信道：输入序列是离散的但相 应的输出序列是连续的，或者反过来；
（4）波形信道：信道的输入输出不但取值是连续的， 而且还随时间连续变化。一般可用随机过程来描述 其输入输出。由于实际信道的带宽总是有限的，所 以输入信号和输出信号总可以分解成时间离散的随 机序列。序列的取值可以是连续的，也可以是离散 的，因此，波形信道可以分解成连续信道或离散信 道或半离散半连续信道。
• 二进制离散信道的一个特例：二进制对称信道（BSC-Binary Symmetric Channel）。如果描述二进制离散信道的转移概率对 称，即
p(Y0/X1)p(Y1/X0)p
p(Y1/X1)p(Y0/X0)1p
则称这种二进制输入、二进制输出的信道为二进制对称信道。
信息论与编码-信道与信道容量
• 再加上一组（mn个）转移概率
p (Yyj/Xxi)p (yj/xi)
这样的一种信道称为离散无记忆信道 • （DMC:Discrete Memoryless Channel）。
信息论与编码-信道与信道容量
可以把转移概率写成矩阵的形式，即
p00
P
p10
pn1,0
p01 p0,m1
• 对于特定的信道，信道容量是个定值，但在传 输信息时信道能否提供其最大传输能力，则取 决于输入端的概率分布。
信息论与编码-信道与信道容量
无干扰离散信道 • 设信道的输入符号集合是 X{x0,x1, ,xn1}
输出符号集合是 Y{y0,y1, ,ym 1} 按照X与Y的对应关系，可以分为如下几类 • 无噪无损信道 • 无噪有损信道 • 有噪无损信道 • 这些信道是部分理想化的，使用中比较少
信息论与编码 第三章：信道容量
3.1 信道的数学模型和分类
信道分类
从工程物理背景——传输媒介类型； 从数学描述方式——信号与干扰描述方式； 从信道本身的参数类型——恒参与变参； 从用户类型——单用户与多用户；
信道的数学模型和分类
离散 无记忆 连续 信号类型 半离散 有记忆 半连续 无干扰：干扰少到可忽略； 信号与干扰类型 无源热噪声 线性叠加干扰 有源散弹噪声 脉冲噪声 干扰类型 有干扰 交调 乘性干扰 衰落 码间干扰
信道的数学模型和分类
出 Y x1 xn y1 ym 入 X p( x ) p( x ) →信道→ p( y ) p( y ) p ( x) p( y ) 1 n 1 m
其中： xi X
C maxI ( X ; Y ) max[ H (Y )] ( p log p p log
p ( xi ) p ( xi )
p ) n 1
单符号离散信道的信道容量
强对称离散信道的信道容量
强对称信道的信道容量
1 H (Y ) log n，当p ( y j ) 时，H (Y )达到最大值 n n 要获得这一最大值，通过公式p( y j ) p( xi ) p( y j / xi ), j 1, 2,, n
C = max[ H (Y )] H (q1 , q2 , , qm )
p ( xi )
log m H (q1 , q2 , , qm )
?
单符号离散信道的信道容量
准对称离散信道的信道容量
将H(Y)中的m项分成s个子集M1, M2,…, Ms,各子集分别 有m 1, m 2,…, m s个元素（ m 1+ m 2+…+ m s= m ）,则
信息论与编码_第3章信道容量
0.5 0.5
条件熵: H(X|Y) =0, H(Y|X) ≠ 0 互信息量: I(X; Y)=H(X) < H(Y) 信道容量: C = log |A|=logn.
x2
0.6 0.3 0.1 x3 1
16
3.2 离散无记忆信道容量
例3-2-1 设离散无噪有损信道的转移概率矩阵为
x1 x2 x3 1 1 1 y1 y2 y3
条件熵: H(X|Y)= H(Y|X)=0 互信息量: I(X;Y)=H(Y)=H(X) 信道容量: C=log|A|=log|B|=logn.
14
3.2 离散无记忆信道容量
无噪有损信道 X与Y是多对一关系.
1 1 P(Y | X ) = 0 0 0 0 1 1 .
随机变量的取值分类 根据输入与输出 随机变量的取值分类 离散信道(数字信道 时间、取值离散 数字信道: 离散) 离散信道 数字信道 时间、取值离散 连续信道(模拟信道 取值连续 模拟信道: 连续) 连续信道 模拟信道 取值连续 半连续信道( 时间、取值一个离散，另一个连续 半连续信道 时间、取值一个离散， 一个连续) 离散 连续 波形信道(时间 取值连续 时间、 连续) 波形信道 时间、取值连续
j
25
3.2 离散无记忆信道容量
准对称信道的最佳分布是等概的 设准对称信道的转移概率矩阵能够被列分割为等个对称 子矩阵。 当输入符号为等概分布时，互信息量在集合 上的统计平均值为
I ( X = ai , Y ) = ∑ p (b j / ai ) log
j
p ( b j / ai )
=∑
s
j∈Ω s
C = log n + ∑ p (b j | ai ) log p (b j | ai ) − ∑ N s log M s
信息论与编码理论_第3章信道容量_习题解答_071102
.. ..... . .第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-4 设BSC 信道的转移概率矩阵为112211Q εεεε-⎡⎤=⎢⎥-⎣⎦1）写出信息熵()H Y 和条件熵(|)H Y X 的关于1()H ε和2()H ε表达式，其中()log (1)log(1)H εεεεε=----。
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，}注意单位3-4 设BSC 信道的转移概率矩阵为112211Q εεεε-⎡⎤=⎢⎥-⎣⎦1）写出信息熵()H Y 和条件熵(|)H Y X 的关于1()H ε和2()H ε表达式，其中()log (1)log(1)H εεεεε=----。
信息论与编码第三章
模
型
P<Y1=V1,Y2=V2…Yn=Vn/X=U1…X=Un>
n
Õ = p(YR = UR / X = uR )
决定DMC特点的条件概率P<yj/xi>可写成矩阵形 式
P = [ pij ]
3.2.1
转移概率矩阵
æ p( y0 / x0) p( y1 / x0)
数
ç
学 模
P
=
ç ç
p( y0 / x1)
数 即P<Y=0/X=1>=P<Y=1/X=0>=P
学
模 型
P<Y=1/X=1>=P<Y=0/X=0>=1-P
01
这种对称二进二出的
0 é P P ù 信道叫做二进制对称信
P=1
ê ëê
P
ú P ûú
道,简称BSC信道.
3.2.1
信道模型:
数 学 模
1-P
0
0
P
型
P
1
1
1-P
这种信道的输出符号仅与对应时刻输 入符号有关,与以前输入无关,故称此信道是 无记忆信道的.
3.1
信道分类：
信
道
1.有线信道和无线信道
分
类
有线信道：明线、对称电缆、同轴电
缆及
光缆等.
无线信道：地波传播、短波电离层反 射、
超短波或微波视距中继、
3.1
2．恒参信道和随参信道
信 道
恒参信道：信道的统计特性不随时间而变化.如明
分 线、对称电缆、同轴电缆、光缆、卫星中继信道
类
一般被视为恒参信道.
p0,Q - 1 ö ÷
《信息论与编码》习题解答-第三章
第三章 信道容量-习题答案3.1 设二元对称信道的传递矩阵为⎥⎦⎤⎢⎣⎡3/23/13/13/2 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C3.2 解：(1)αα-==1)(,)(21x p x p⎥⎦⎤⎢⎣⎡=4/14/12/102/12/1P ，⎥⎦⎤⎢⎣⎡---=4/)1(4/)1(2/)1(02/12/1)(αααααj i y x P 4/)1()(,4/14/)(,2/1)(321αα-=+==y p y p y p接收端的不确定度：))1(41log()1(41)4141log()4141()2log(21)(αααα---++-=Y H)1log(41)1log(4123αααα---++-= (2))4log()1(41)4log()1(41)2log()1(210)2log(21)2log(21)|(ααααα-+-+-+++=X Y H α2123-= (3))|()();(X Y H Y H Y X I -=);(max )()(Y X C i x p =α,0)(=ααC d d,得到5/3=α 161.0)5/3();max(===C Y X C 3.3∑==⨯++=+=21919.001.0log 01.099.0log 99.02log log )log(j ij ij p p m C0.919*1000=919bit/s 3.4 3.5 3.6⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=2/1002/12/12/10002/12/10002/12/1P 121log 2121log 214log log )log(41=++=+=∑=ij j ij p p m C3.7(1)联合概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=010330110110115215110161ij p ，⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=0103101535152525121)|(j i y x p 31)(0=y p ，21)(1=y p ，61)(3=y p499.16log 612log 213log 31)(=++=Y H(2)175.1910log 30310log 301310log 101310log10152log 1525log 151310log 1012log 61)|(log )()|(=+++++++=-=∑ij i j j i x y p y x p X Y H (3)当接收为2y ，发送为2x 时正确，如果发送为1x 和3x 为错误，各自的概率为： 5/1)|(21=y x p ，5/1)|(22=y x p ，5/3)|(23=y x p它的错误概率为：5/4)|()|(2321=+=y x p y x p p e(4)平均错误概率为：733.010/115/110/310/130/115/2=+++++ (5)同样为0.733 (6)此信道不好，因为信源等概率分布，从转移信道来看，正确发送的概率11y x >-为0.5，有一半失真；22y x >-为0.3，严重失真；33y x >-为0，完全失真。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
j
m
2 j
（7）
由(5)求出 p (b j ) 2
j C
n
（8）
由p(b j ) p(ai ) p(b j / ai（9） )
i 1
求出p(ai )
总结C的求法，过程如下：
1. ( 4)求 j; 由 2. (7)求C ; 由 3. (8)求P (b j ); 由 4. (9)求P ( ai )并验证。 由
1、一一对应的无噪信道
X a1 , a2 ,an Y b1, b2 ,bn
a1 a2 …… b1 b2
100......0 010......0 ...... 000......1
an
bn
a1
b1 ……
a2
b2 bn-1
bn
an-1
则（3）变为：
p (b
j m j
m
j
/ ai ) log p(b j / ai )
（4）
p (b j / a i ) j
由(4)求出 j : log p(b j ) j C
（5）
p (b ) 2
j j j
m
m
j C
1
（6）
2 2
C j
m
j
C log 2
j m
0
m m p(b j / ai )log p(b j / ai ) p(b j / ai )log p(b j ) j 1 j 1 log e 0
p(b j / ai ) log p(b j / ai )
j 1
m
(1)
p(b j / ai ) log p(b j ) log e
log log(1 )
log (1 ) 1
2 3
C log 2
2
j 1
m
j
log 2
j C 1 C
1 1 (1 )
p (b j ) 2 p(b1 ) 2 1
都是可排列的，则称相应的信道为准对称
信道。例如下面的矩阵：
1 2 1 4
1 4 1 2
1 8 1 8
1 8 1 8
H (Y / X ) Hmi
C max [ H (Y ) Hmi]
p ( ai )
假设此时将矩阵的列分为S个子集，每 个子集的元素个数分别是m1，m2，……，
第1章：概述 第2章：信源熵
第3章：信道容量
第4章：信息率失真函数
第5章：信源编码
第6章：信道编码
第7章：密码体制的安全性测度
§3.1 信道容量的数学模型和 分类
§3.2 单符号离散信源 §3.3 多符号离散信源 §3.4 多用户信道
§3.5 信道编码定理
§3.1 信道的数学模型和分类
信道的数学模型： {X P(Y/X) Y}
b1 a1 pb2 a1 pb3 a1 0 0 0 0 0 b5 b6 b4 0 0 p a2 p a2 p a2 0 0 0 0 0 0 0 0 0 pb7 a3 pb8 a3
一个输入对应多个输出 此时，H(X/Y)=0，H(Y/X) 0， 且 H(X) <H(Y)。 此时，C = max H(X) = log n
C log2 e
(2)
将（2）代入（1），则有：
p (b
j m j
m
j
/ ai ) log p(b j / ai )
p(b j / ai ) log p(b j ) C p(b j / ai )[log p(b j ) C ] （3）
j m
令 j log p(b j ) C
1 0.8 0.6 0.4 0.2 0
0
0.2
0.4
0.6
0.8
1
二进制均匀信道容量曲线
三、对称离散信道的信道容量
矩阵中的每行都 是集合P = {p1, p2, ……, pn}中的诸元素的不同排列，称 矩阵的行是可排列的。
矩阵中的每列都是集合Q = {q1, q2, ……,qm}中的诸元素的不同排列，称 矩阵的列是可排列的。
令 0, 则有 : P(ai )
m p(b j ) log p(b j ) p(ai ) j 1 p(ai ) p(b j / ai ) log p(b j / ai ) p(ai ) 1 i 1 j 1 i 1
n Xn
H (Y / X ) p(ai ) p(b j / ai ) log p(b j / ai )
i j
n
n
p(ai ) p(b j / ai ) log p(b j / ai )
i j
n
n
p p (1 p) log( 1 p ) ( log )( n 1) n 1 n 1 n p p(ai )[(1 p) log( 1 p) p log ] n 1 i p [(1 p) log( 1 p) p log ] n 1 Hni
an
X、Y一一对应
000......01 000......10 ...... 010......00 100......00
C＝maxI(X;Y)＝log n
p(ai)
2、具有扩展功能的无噪信道
a1
b1
a2
b4 b5 b6
b2
b3
a3
b7
b8
X a1 , a2 ,an Y b1, b2 ,bm
p 1 p n 1 p 1 p n 1 ...... p p n 1 n 1
P：总体错误概率
p ...... n 1 p ...... n 1 ...... p 1 p n 1
对称离散信道的信道容量
H (Y / X ) p(ai ) p(b j / ai ) log p(b j / ai )
i 1 j 1 n n m
p(ai )[ p(b j / ai ) log p (b j / ai )]
i 1 j 1
m
Hmi
C max [ H (Y ) Hmi] log m Hmi
x
P(Y/X)
Y
有干扰 信道
信道的分类
无干扰 信道
有记忆 信道
信道的分类
无记忆 信道
单符号 信道
信道的分类
多符号 信道
单用户 信道
信道的分类
多用户 信道
信道的分类
半离散 信道
离散 信道
§3.1 信道的数学模型和分类
§3.2 单符号离散信道
§3.3 多符号离散信道
§3.4 多用户信道 §3.5 信道编码定理
p ( xi ) p ( xi ) p ( xi )
1 Ct max I ( X ; Y ) t p ( ai )
§3.2 单符号离散信道的信道容量
§3.2.1 信道容量的定义
§3.2.2 几种特殊离散信道的容量
§3.2 .3 离散信道容量的一般计算方法
§3.2.2 几种特殊离散信道的容量
一、离散无噪信道
C max I ( X ; Y )
p ( ai )
max [ H (Y ) H (Y / X )]
p ( ai ) p ( ai )
max [ H (Y ) Hn ]
i
log n Hni
1 相应的 p ( ai ) n
二进制均匀信道容量 C＝1－H(p),
其中 H(p)=-((1-p)log(1-p)+plogp)
ms。
H (Y ) P(b j ) log P(b j )
j m
＝－ P(b j1 ) log P(b j1 ) ...... P(b js ) log P(b js )
j1 js
m1
ms
§3.2 单符号离散信道
§3.2.1 信道容量的定义 §3.2.2 几种特殊离散信道的容量
§3.2 单符号离散信道的信道容量
§3.2.1 信道容量的定义
§3.2.2 几种特殊离散信道的容量 §3.2 .3 离散信道容量的一般计算方法
§3.2.1 信道容量的定义
X a1 , a2 ,an Y b1, b2 ,bm
x
p(yi/xi)
Y
i=1,2,…n
信道转移概率矩阵：（见下页）
p a1 , p a1 ,, p a1 b1 bm b2 p a2 , p a2 , , p a2 b1 bm b2 p an , p an ,, p an
b1 b2 bm
信道容量
C max I ( X ; Y ) max H ( X ) H ( X Y ) max H (Y ) H (Y X )
n m n
p ( b j ) p ( a i ) p (b j / a i )
i
n
dp(b j ) dp(ai )
p(b j / ai ) log x ln x log e
m p(b j / ai )log p(b j ) p(b j / ai )log e p(ai ) j p(b j / ai )log p(b j / ai )
p(ai)
3、具有归并性的无噪信道
x1
x2 x3
y1
y2
1 1 0 0 0