第三章信道容量——信息论与编码
信息论与编码理论-第3章信道容量-习题解答
信息论与编码理论-第3章信道容量-习题解答-071102(总11页)--本页仅作为文档封面，使用时请直接删除即可----内页可以根据需求调整合适字体及大小--第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
信息论与编码习题与答案第三章
由于 ，每个二元符号的信息量为1bit,14000个符号14000bit的信息，传输14000bit的信息需要时间
不能无失真的传输
=
bit/symbol
（3）当接收为 ，发为 时正确，如果发的是 则为错误，各自的概率为：
则错误概率为：
（4）
从接收端看平均错误概率为
（5）从发送端看的平均错误概率为：
（6）能看出此信道不好。原因是信源等概率分布，从转移信道来看正确发送的概率x1→y1的概率0.5有一半失真；x2→y2的概率0.3有严重失真；x3→y3的概率0完全失真。
(1)接收端收到一个符号后得到的信息量H(Y);
(2)计算噪声熵 ;
(3)计算接收端收到一个符号 的错误概率；
(4)计算从接收端看的平均错误概率；
(5)计算从发送端看的平均错误概率；
(6)从转移矩阵中能看出该新到的好坏吗？
(7)计算发送端的H(X)和 。
解：(1)
（2）联合概率 ，后验概率
H(Y/X)=
解：由题意可知该二元信道的转移概率矩阵为： 为一个BSC信道所以由BSC信道的信道容量计算公式得到：
3-6设有扰离散信道的传输情况分别如图3－17所示。求出该信道的信道容量。
解：信道转移概率矩阵为P= 该信道为离散对称信道DMC
3-7发送端有三种等概率符号 ， ,接收端收到三种符号 ，信道转移概率矩阵为
3.1设二元对称信道的传递矩阵为
(1)若P(0)= 3/4,P(1)= 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；
(2)求该信道的信道容
其最佳输入分布为
3.3在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。
《信息论与编码》习题解答-第三章
第三章 信道容量-习题答案3.1 设二元对称信道的传递矩阵为⎥⎦⎤⎢⎣⎡3/23/13/13/2 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C3.2 解：(1)αα-==1)(,)(21x p x p⎥⎦⎤⎢⎣⎡=4/14/12/102/12/1P ，⎥⎦⎤⎢⎣⎡---=4/)1(4/)1(2/)1(02/12/1)(αααααj i y x P 4/)1()(,4/14/)(,2/1)(321αα-=+==y p y p y p接收端的不确定度：))1(41log()1(41)4141log()4141()2log(21)(αααα---++-=Y H)1log(41)1log(4123αααα---++-= (2))4log()1(41)4log()1(41)2log()1(210)2log(21)2log(21)|(ααααα-+-+-+++=X Y H α2123-= (3))|()();(X Y H Y H Y X I -=);(max )()(Y X C i x p =α,0)(=ααC d d,得到5/3=α 161.0)5/3();max(===C Y X C 3.3∑==⨯++=+=21919.001.0log 01.099.0log 99.02log log )log(j ij ij p p m C0.919*1000=919bit/s 3.4⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=εεεε-10-10001ij p2/1)()(0)(321===a p a p a p 0)(1=b p2/12/1)1(2/100)|()(),()(222=⨯+-⨯+⨯===∑∑εεi ii ii a b p a p b a p b p2/1-12/12/100)|()(),()(333=⨯+⨯+⨯===∑∑）（εεi ii ii a b p a p b a p b p)()|(log)|();(j i j ji j i b p a b p a b p Y a I ∑=0);(1=Y a Iεεεε2log )1(2log )1(0)()|(log)|();(222+--+==∑j j jj b p a b p a b p Y a I )1(2log )1(2log 0)()|(log)|();(333εεεε--++==∑j j jj b p a b p a b p Y a I当0=ε，1=C 当2/1=ε，0=C 3.5两个信道均为准对称DMC 信道设输入符号概率αα-==1)(,)(21a p a p ， （1） 对于第一种信道的联合概率的矩阵为：⎥⎦⎤⎢⎣⎡---------)1(2)1)(1()1)((2)()1(αεαεαεεααεαεp p p p⎥⎦⎤⎢⎣⎡---)()1(εαεp p 3.6⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=2/1002/12/12/10002/12/10002/12/1P 121log 2121log 214log log )log(41=++=+=∑=ij j ij p p m C3.7解：(1)从已知条件可知：3,2,1,3/1)(==i x p i ，且转移概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=0109101103103525110321)|(i j x y p ，则联合概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡==010330110110115215110161)()|(i i j ij x p x y p p ，因为：),()(∑=ij i j y x p y p ，可计算得到31)(1=y p ，21)(2=y p ，61)(3=y p499.16log 612log 213log 31)(=++=Y H(2)175.1910log 10310log 301310log 101310log10125log 1525log 151310log 1012log 61)|(log )()|(=+++++++=-=∑iji j j i x y p y x p X Y H (3)当接收为2y ，发送为2x 时正确，如果发送为1x 和3x 为错误，各自的概率为： 5/1)|(21=y x p ，5/1)|(22=y x p ，5/3)|(23=y x p 它的错误概率为：5/4)|()|(2321=+=y x p y x p p e(4)从接收端看到的平均错误概率为：===∑∑≠≠ji ij ji j i j e p y x p y p p )|()(收733.010/115/110/310/130/115/2=+++++(5)从发送端看到的平均错误概率为：===∑∑≠≠ji ij ji i j i e p x y p x p p )|()(发733.010/115/110/310/130/115/2=+++++(6)此信道不好，因为信源等概率分布，从转移信道来看，正确发送的概率11y x >-为0.5，有一半失真；22y x >-为0.3，严重失真；33y x >-为0，完全失真。
信息论与编码 第三章：信道容量
3.1 信道的数学模型和分类
信道分类
从工程物理背景——传输媒介类型； 从数学描述方式——信号与干扰描述方式； 从信道本身的参数类型——恒参与变参； 从用户类型——单用户与多用户；
信道的数学模型和分类
离散 无记忆 连续 信号类型 半离散 有记忆 半连续 无干扰：干扰少到可忽略； 信号与干扰类型 无源热噪声 线性叠加干扰 有源散弹噪声 脉冲噪声 干扰类型 有干扰 交调 乘性干扰 衰落 码间干扰
信道的数学模型和分类
出 Y x1 xn y1 ym 入 X p( x ) p( x ) →信道→ p( y ) p( y ) p ( x) p( y ) 1 n 1 m
其中： xi X
C maxI ( X ; Y ) max[ H (Y )] ( p log p p log
p ( xi ) p ( xi )
p ) n 1
单符号离散信道的信道容量
强对称离散信道的信道容量
强对称信道的信道容量
1 H (Y ) log n，当p ( y j ) 时，H (Y )达到最大值 n n 要获得这一最大值，通过公式p( y j ) p( xi ) p( y j / xi ), j 1, 2,, n
C = max[ H (Y )] H (q1 , q2 , , qm )
p ( xi )
log m H (q1 , q2 , , qm )
?
单符号离散信道的信道容量
准对称离散信道的信道容量
将H(Y)中的m项分成s个子集M1, M2,…, Ms,各子集分别 有m 1, m 2,…, m s个元素（ m 1+ m 2+…+ m s= m ）,则
信息论与编码_第3章信道容量
0.5 0.5
条件熵: H(X|Y) =0, H(Y|X) ≠ 0 互信息量: I(X; Y)=H(X) < H(Y) 信道容量: C = log |A|=logn.
x2
0.6 0.3 0.1 x3 1
16
3.2 离散无记忆信道容量
例3-2-1 设离散无噪有损信道的转移概率矩阵为
x1 x2 x3 1 1 1 y1 y2 y3
条件熵: H(X|Y)= H(Y|X)=0 互信息量: I(X;Y)=H(Y)=H(X) 信道容量: C=log|A|=log|B|=logn.
14
3.2 离散无记忆信道容量
无噪有损信道 X与Y是多对一关系.
1 1 P(Y | X ) = 0 0 0 0 1 1 .
随机变量的取值分类 根据输入与输出 随机变量的取值分类 离散信道(数字信道 时间、取值离散 数字信道: 离散) 离散信道 数字信道 时间、取值离散 连续信道(模拟信道 取值连续 模拟信道: 连续) 连续信道 模拟信道 取值连续 半连续信道( 时间、取值一个离散，另一个连续 半连续信道 时间、取值一个离散， 一个连续) 离散 连续 波形信道(时间 取值连续 时间、 连续) 波形信道 时间、取值连续
j
25
3.2 离散无记忆信道容量
准对称信道的最佳分布是等概的 设准对称信道的转移概率矩阵能够被列分割为等个对称 子矩阵。 当输入符号为等概分布时，互信息量在集合 上的统计平均值为
I ( X = ai , Y ) = ∑ p (b j / ai ) log
j
p ( b j / ai )
=∑
s
j∈Ω s
C = log n + ∑ p (b j | ai ) log p (b j | ai ) − ∑ N s log M s
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，}注意单位3-4 设BSC 信道的转移概率矩阵为112211Q εεεε-⎡⎤=⎢⎥-⎣⎦1）写出信息熵()H Y 和条件熵(|)H Y X 的关于1()H ε和2()H ε表达式，其中()log (1)log(1)H εεεεε=----。
第3章信道与信道容量-信息论与编码(第3版)-曹雪虹-清华大学出版社
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
2
3.1.2 信道的数学模型
– 信道输入 X ( X1, X 2, Xi , ), Xi a1, , an – 信道输出 Y (Y1,Y2, Yj , ),Yj b1, ,bm
– 条件概率p(Y/X)来描述信道输入、输出信号之间 统计的依赖关系。
有干扰无记忆信道
– 离散无记忆信道（DMC)
p11 p12 p1m
a1 a2
b1 b2
P
p21
p22
p2m
an
bm
pn1
pn2
pnm
m
p(b j | ai ) 1,
j 1
i 1,2,, n
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
7
信道参数
有干扰无记忆信道
– 离散输入、连续输出信道
X
Y
+
Y＝X＋N
N
加性高斯白噪声 (AWGN) 信道：
pY ( y / ai )
1 e( yai )2 / 2 2
2
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
8
信道参数
有干扰无记忆信道
x(t)
– 波形信道
波形信道转化成多维连续信道，
pY ( y / x) pY ( y1, , yL / x1, , xL )
Cavg EH (C)
11
中断容量（Outage Capacity）：当信道 瞬时容量Cinst小于用户要求的速率时，信 道就会发生中断事件，这个事件的概率 称为中断概率Poutage。这个用户要求的速 率就定义为对应于该中断概率Poutage的中 断容量Coutage，即
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
1b 2b 3b 3a 2a 1a Y X 1b 2b 3a 2a 1a Y X 1b 2b 2a 1a Y X 3b 11111110.70.3第一种：无噪无损信道，其概率转移矩阵为： 1 0 0P=0 1 00 0 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦信道容量：()max (;)P X C I X Y @ bit/符号()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850 bit/符号输入最佳概率分布如下：111,,333⎧⎫⎨⎬⎩⎭第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号 第三种：有噪无损信道，由图可知：()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==输入为等概率分布时可达到信道容量，此时信道容量p(x)C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：11,22⎧⎫⎨⎬⎩⎭3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i εε===-===⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
14
信道容量
I(X;Y)是p(ai)的上凸函数，总能找到一个p(ai) 使得信息率最大。
信道容量：信道中最大的传输速率，C，
C max R max I (X ;Y )
p ( ai )
p ( ai )
单位：比特/信道符号
单位时间的信道容量，比特/秒
C max R 1 max I (X ;Y )
max[H (Y ) Hni] p(ai )
log n Hni
相应的
p(ai )
1 n
27
结论：
当输入等概率分布时，强对称离散信道能够传 输最大的平均信息量，达到信道容量。
0
p b6 a2 0
b4
b5
b6 b7
b8
0
0
p b7 a3
0
0
p
b8 a3
19
2、具有扩展功能的无噪信道
一个输入对应多个输出
此时，H(X/Y)=0，H(Y/X) 0，
且 H(X) <H(Y)。
所以，C = max H(X) = log n (p(ai)=1/n即等概) p(ai)
p ( ai )
t p(ai)
15
信道容量
C max I (X ;Y ) p(ai ) max H (X ) H (X Y ) p(ai ) max H (Y ) H (Y X ) p(ai )
1
Ct
t
max
p(ai )
I ( X ;Y )
16
几种特殊离散信道的容量
一、离散无噪信道
1、一一对应的无噪信道
第3章 信道容量
第3章：信道容量
信道的主要任务：以信号的形式传输和存储信 息。
问题：在什么条件下，通过信道的信息量最大， 即信道容量的问题。
2
3.1 信道的数学模型和分类
信道的数学模型： {X P(Y/X) Y}
x
P(Y/X)
Y
输入与输出之间一般不是确定的函数关系， 而是统计依赖的。
3
信道的分类
X、Y一一对应,此时H(X/Y)=0，H(Y/X)=0，
C＝maxI(X;Y)＝log n (p(ai)=1/n即等概) p(ai) 18
2、具有扩展功能的无噪信道
a1
p
b1
0
a1
0
p b2 a1 0 0
b1 b2 b3
p b3 a1 0 0
0
p b4 a2 0
a2
a3
0
p b5 a2 0
22
二、强对称(均匀)离散信道的信道容量
X
a1,
a2
,a n
1 p
p
n 1
p n 1 1 p
......
p
p
n 1 n 1
p：总体错误概率
Y b1,b2 ,bm
...... ......
p n p1
n 1
......
p
n 1 1 p n X n
23
特点及信道容量
每行、每列都是同一集合各元素的不同排列
传送的信息量，
1 Rt t I ( X ;Y )
13
信道容量
I (X ;Y )
n i 1
m
p(aibj ) log
j 1
p(bj ai ) p(bj )
n m
p(ai ) p(bj ai ) log n
p(bj ai )
i1 j1
p(bj ) p(bj ai )
i 1
I(X;Y)是p(ai)和p(bj/ai)的二元函数。当信道特性 p(bj/ai)固定后，I(X;Y)随信源概率分布p(ai)变化。
信道的分类
半离散信 道
离散 信道
4
信道的分类
信道的分类
单符号 信道
多符号 信道
5
信道的分类
信道的分类
单用户信 道
多用户信 道
6
信道的分类
信道的分类
有干扰信 道
无干扰信 道
7
信道的分类
信道的分类
有记忆信 道
无记忆信 道
8
3.2 单符号离散信道的信道容量
信道的输入和输出都取值于离散集合，且 都用一个随机变量来表示的信道就是单符 号离散信道。
12
信道的信息传输率
信源熵为H(X)，由于干扰的存在，一般只接 收到I(X;Y)。平均互信息 I (X ;Y) ：接收到 Y 后平均每个符号获得的关于 X 的信息量。
定义:平均每个符号能传送的消息总量为信道 的信息传输速率（信息率），R，
R=I(X;Y)
若平均传送一个符号为t秒，则信道每秒钟平均
25
信道容量
n
H (Y / X ) p(ai )Hni Hni i
I ( X ;Y ) H (Y ) Hni
C max H (Y ) Hni p ( ai )
？输入符号的概率如何分布，才能使得H（Y）
达到最大？？
26
信道容量
C max I ( X ;Y ) p(ai )
max[H (Y ) H (Y / X )] p(ai )
1
p,
n
p, 1
n
p ,... 1
n
p 1
I (X ;Y ) H (Y ) H (Y X )
nn
H (Y / X )
p(ai ) p(bj / ai ) log p(bj / ai )
ij
n
p(ai )Hni i
n
其中 Hni＝ p(bj / ai ) log p(bj / ai )
X
a1,
a2
,a n
Y
b1 ,
b2
,bn
a1
b1
a2
b2
……
an
bn
100......0
010......0
......
000......1
17
一一对应的无噪信道
a1
b1
a2
b2
……
an-1
bn-1
an
bn
000......01
000......10
......
010......00源自100......00 20
3、具有归并性的无噪信道
a1
b1
1
0
0
1
0
0
a2 a3
0
1
0
b2
0
1
0
0
0
1
a4
多个输入变成一个输出
a5
b3
H(X/Y) ≠ 0，H(Y/X) = 0
C = max H(Y) = log m p(ai) =？？
p(ai)
21
结论
无噪信道的信道容量只取决于信道的输入 符号数n或输出符号数m，与信源无关。 是表征信道特性的一个参量。
9
信道容量的定义
X
a1,
a2
,a n
Y
b1 ,
b2
,bm
x
p(bi/ai)
Y
i=1,2,…n
p(bi/ai）－信道的转移概率/信道传递概率
10
离散无记忆信道 (DMC)
11
9
信道转移概率矩阵：
转移概率矩阵
转移概率矩阵的每一行元素之和为1 对任意 j ∈ {0, 1, …, m } ，由全概率公式 有:
24
j
特点及信道容量
n
Hni＝ p(bj / ai ) log p(bj / ai )
j
固定X＝ai，对Y求和，即选定某一行，对各元素 自信息量加权求和。
Hni (1 p) log(1 p) ( p log p )(n 1) n 1 n 1
ai不同时，只是求和顺序不同，结果完全一样， 所以Hni与X无关，是常数。