第3章 信道模型和信道容量 习题课(2)
信息论与编码理论-第3章信道容量-习题解答
信息论与编码理论-第3章信道容量-习题解答-071102(总11页)--本页仅作为文档封面，使用时请直接删除即可----内页可以根据需求调整合适字体及大小--第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
第三章 信道与信道容量 习题解答
6
由于二元信源，等概率分布，信道对称，满足山农的理想观察者原理的三个假设条件，因此计算疑义度： 比特/消息
接收熵速率：
比特/秒
而系统要求的传信率为：
比特/秒，大于 1289比特/秒，故 10秒内无法无失真传递完。
11.已知一个平均功率受限的连续信号，通过带宽
的高斯白噪声信道，试求
（1） 若信噪比为 10，信道容量为多少？
（2） 若要保持信道容量不变，信噪比降为 5，信道带宽应为多少？
（3） 若要保持信道容量不变，信道带宽降为 0.5MHz，信号的功率信噪比应为多少？
（4） 其中有什么规律可总结？
解：根据香农公式：
（1） 信噪比为 10倍，信道容量： （2） 信噪比为 5倍，信道带宽：
比特/秒
（3） 信道带宽为 0.5MHz，信号的功率信噪比：
（2）信源熵速率： 接收熵速率： （3）一消息共有 4000个二元符号，该消息的信息量： 无失真地传递完该消息所需的时间：
10.有一个二元对称信道，其信道矩阵为
，设该信源以 1500符号/秒的速度传输输入符号。现
有一消息序列共有 14000个二元符号，并设其符号等概分布，问从信息传输的角度来考虑，10秒钟内能否 将这消息序列无失真地传递完？ 解：根据信道转移矩阵画出下图：
当
时，根据
，
得：
作业：1、3(2)、6、7(1)、8、9或 10、11、13、15、16(1)
mW/Hz、限频 、限输入
9
解：设将电阻按阻值分类看成概率空间 X：
，
按功耗分类看成概率空间 Y：
已知：
，
通过计算
， ，
，
得
通过测量阻值获得的关于瓦数的平均信息量：
信道与信道容量2
信道无噪声
C
信道强噪声
• 当p =1/2,
C1H(1,1)0 22
p
20
信道容量
• 定理：
• 给定转移概率矩阵P后,平均互信息I (X;Y)是输 入信源的概率分布p(ai)的 型上凸函数。
• 定理：
• 平均互信息I (X;Y)是信道传递概率p(bj|ai)的 型凸函数。
• 信能道 够容 传量 输是 的完最全大描信I(述息X;信量Y)道。 特i 性j p的(a参i)p量(bj,是|ai信)lo道gp(pb(jb|ja)i)
34
由 I (X ;Y ) 0 解得 1/2
• 将信道矩阵P的列划分成若干个互不相交的子 集mk,由mk为列组成的矩阵[P]k是对称矩阵。
1 1 1 1 1 1 1 1
P131
3 1
6 1
6113
16
13
16
6 3 6 3 6 3 3 6
• 它们满足对称性,所以P1所对应的信道为准对称
信道。
30
准对称信道的信道容量
• 准对称信道
0.70.20.1 0.70.2 0.1 P 20.20.10.7 0.20.7 0.1
• 离散信道可分成： • 无干扰(无噪)信道
– 无嗓无损信道 – 有噪无损信道 – 无噪有损信道
• 有干扰无记忆信道 • 有干扰有记忆信道
10
无干扰离散信道
• 无噪无损信道 C m p ( a i)I ( X ; a Y ) x m H ( X a ) m xH ( Y a ) lx 2 o n • 有噪无损信道(一对多)
– 信道矩阵中各列之和也等于1
14
对称DMC信道
• 对称离散信道的平均互信息为
第三章 信道模型和信道容量
这是可知疑义度H(X/Y)=0，平均交互信息量达到最大值 I(X,Y)=H(X)，C=logr。从平均意义上讲，这种信道可以把信源 的信息全部传递道信宿。这种每列只有一个非0元素的信道也 是一种无噪声信道，称为无噪声信道。
确定信道
这类信道的转移概率等于1或者等于0， 每一列的元素可有一个或多个1，可知其 噪声熵H(Y/X)=0，此时的平均交互信息 量达到最大值。
离散信道
X
P(Y/X)
Y
离散信道分类： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道
离散信道三种表达方式
概率空间描述 X={a1,a2,……ar} P(Y/X)={p(bj/ai)}
j=1,2,……s) Y={b1,b2,……bs} 0≤p(bj/ai)≤1
(i=1,2,……r;
转移矩阵描述
信道组合
串联信道 并联信道
4.4 时间离散的无记忆连续 信道
可加噪声信道
P(y|x)=p(y-x)=p(z)
Hc (Y | X ) Hc (Z ) I (X ;Y ) Hc (Y ) Hc (Z )
可加噪声信道
高斯噪声信道
I
(X
;Y
)
H
(Y
)
Hc
(X
)
1 2
log(1
2 x 2 z
)
例已知一个二元信源连接一个二元信道， 如图给出。X={x1,x2}, [p(xi)]={1/2,1/2}
求I(X；Y)，H(X,Y)，H(X/Y)，和H(Y/X)。
信道容量
C max R max I (X ;Y )bit / 符号
PX
PX
1
Ct
max PX
Rt
第3章 信道模型和信道容量 习题课(2)
3、解： （1）已知二元对称信道的传递矩阵，又已知输入的
3 1 概率分布 P (0) , P (1) , 就可以计算得出 Y 的概率 4 4
分布如下：
P ( y 0) P ( x ) P ( y 0 | x )
x
P( x 0) P( y 0 | x 0) P( x 1) P( y 0 | x 1)
0
1
0
1
1
1
(a)
2
解
( a ) 图，由信道线图可得转移概率矩阵如下：
1
1
该矩阵为行列排列阵，信道为准对称信道，可以把按列分 成两个子矩阵如下：
1
1
PS 10 log10 1 20 PN
得到
PS 1 100 PN
信道传送的最大信息速率
PS Ct W log(1 ) 3 103 log 2 100 19.93 103 bit/s PN
（1）
信道不变， Ct 仍应为 19.93 10 （比特/秒） ，而
21s?121lognkkkskmmcshppprr??????????????????????11222loglog1222211loglog12hh????????????????????????????????????设在平均功率受限高斯可加波形信道中信道带宽为3khz又设信号功率噪声功率噪声功率20db
•设在平均功率受限高斯可加波形信道 中，信道带宽为3kHz，又设（信号功 率+噪声功率）/噪声功率=20 dB。
（1）试计算该信道传送的最大信息率 （单位时间）19.93*103(bit/s)。 （2）若功率信噪比降为5dB，要达到 相同的最大信息传输率，信道带宽应 是多少(12KHz)。
第三章 信道模型和信道容量
信息论基础 武汉科技大学
信道的基本概念
例：信源输出二元符号(0,1)调制时如采用正负 方波的传输，正负方波分别表示0和1
输入/输出统计关系 输入 X
0
信道
输出 Y
1
噪声干扰 Z
信息论基础 武汉科技大学
信道的基本概念
１. 无噪声干扰
0
0
1
1
P(0|0)=P(1|1)=1
信息论基础 武汉科技大学
P(1|0)=P(0|1)=0
b 1 b 2 b 3 b s
0.7
有干扰无记忆信道
不仅仅是有干扰信道，而且是无记忆的。 无记忆的信道指的是在任一时刻的输出符 号只统计依赖于对应时刻的输入符号，而 与其它时刻的输入符号和其它时刻的输出 符号无关。
p( y n | x1 x2 xn y1 y 2 y n1 ) p( y n | xn )
p p
p p
信道线图
X 0 p
1
Y 0 1
p
信息论基础 武汉科技大学
离散单符号信道举例
二元删除信道（BEC） 输入的取值有2个为0、1，输出的取值有3 个为0、1、2(或者?)，定义正确概率p
p(0 | 0) p p(1 | 0) 0 p(2 | 0) p p(0 | 1) 0
b1
a1 a2 ar p (b1 | a1 ) p (b1 | a 2 ) p(b | a ) 1 r
b2
bs
p (bs | a1 ) p (bs | a 2 ) p(bs | a r )
p (b2 | a1 ) p (b2 | a 2 ) p (b2 | a r )
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，}注意单位3-4 设BSC 信道的转移概率矩阵为112211Q εεεε-⎡⎤=⎢⎥-⎣⎦1）写出信息熵()H Y 和条件熵(|)H Y X 的关于1()H ε和2()H ε表达式，其中()log (1)log(1)H εεεεε=----。
《信息论与编码》习题解答-第三章
第三章 信道容量-习题答案3.1 设二元对称信道的传递矩阵为⎥⎦⎤⎢⎣⎡3/23/13/13/2 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C3.2 解：(1)αα-==1)(,)(21x p x p⎥⎦⎤⎢⎣⎡=4/14/12/102/12/1P ，⎥⎦⎤⎢⎣⎡---=4/)1(4/)1(2/)1(02/12/1)(αααααj i y x P 4/)1()(,4/14/)(,2/1)(321αα-=+==y p y p y p接收端的不确定度：))1(41log()1(41)4141log()4141()2log(21)(αααα---++-=Y H)1log(41)1log(4123αααα---++-= (2))4log()1(41)4log()1(41)2log()1(210)2log(21)2log(21)|(ααααα-+-+-+++=X Y H α2123-= (3))|()();(X Y H Y H Y X I -=);(max )()(Y X C i x p =α,0)(=ααC d d,得到5/3=α 161.0)5/3();max(===C Y X C 3.3∑==⨯++=+=21919.001.0log 01.099.0log 99.02log log )log(j ij ij p p m C0.919*1000=919bit/s 3.4 3.5 3.6⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=2/1002/12/12/10002/12/10002/12/1P 121log 2121log 214log log )log(41=++=+=∑=ij j ij p p m C3.7(1)联合概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=010330110110115215110161ij p ，⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=0103101535152525121)|(j i y x p 31)(0=y p ，21)(1=y p ，61)(3=y p499.16log 612log 213log 31)(=++=Y H(2)175.1910log 30310log 301310log 101310log10152log 1525log 151310log 1012log 61)|(log )()|(=+++++++=-=∑ij i j j i x y p y x p X Y H (3)当接收为2y ，发送为2x 时正确，如果发送为1x 和3x 为错误，各自的概率为： 5/1)|(21=y x p ，5/1)|(22=y x p ，5/3)|(23=y x p它的错误概率为：5/4)|()|(2321=+=y x p y x p p e(4)平均错误概率为：733.010/115/110/310/130/115/2=+++++ (5)同样为0.733 (6)此信道不好，因为信源等概率分布，从转移信道来看，正确发送的概率11y x >-为0.5，有一半失真；22y x >-为0.3，严重失真；33y x >-为0，完全失真。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
输入信源熵为
1 3 H ( X ) H ( , ) 0.811 4 4
损失熵为
比特/符号
H ( X | Y ) P ( x ) P ( y | x ) log P ( x | y )
X Y
1 6 3 2 P( y 0) H ( , ) P( y 1) H ( , ) 0.7497 比特/符号 7 7 5 5
因为该信道为离散对称信道，故
所以
1 2 2 2 1 1 H (Y | X ) H ( , ) log log 3 3 3 3 3 3 0.390 0.528 0.918 比特/符号 I ( X ;Y ) H ( X ) H ( X | Y ) 0.062 比特/符号
选择题 若信道和信源均无记忆， 以下结论不成立的是_____ A. I ( X ; Y )
I(X
k 1
N
k
; Yk )
B． I ( X ; Y ) NI ( X ; Y ) C． I ( X ; Y ) D． C
N
I(X
k 1
N
k
; Yk )
NC
关于两个独立信道 Q1、 Q2 串联， 下列说法不正确的是_____
•设在平均功率受限高斯可加波形信道 中，信道带宽为3kHz，又设（信号功 率+噪声功率）/噪声功率=20 dB。
（1）试计算该信道传送的最大信息率 （单位时间）19.93*103(bit/s)。 （2）若功率信噪比降为5dB，要达到 相同的最大信息传输率，信道带宽应 是多少(12KHz)。
解： （1）平均功率受限高斯可加波形信道，其 W = 3kHz， 由题意可知
P C ( PS ) B log 1 S 已知香农公式 不能得出的结论是 N0 B ，
______ A. 在信噪比不变的前提下，增大频带，可增大信道容 量 B. 频带不变时，增大信噪比即可增大信道容量 C C. 在 PS 增大很多之后， 继续增大信号功率来实现信道 容量的增大是一个有效途径 D. 用扩频方法来增大信道容量，其作用是有限的
3、 设二元对称信道的转移概率矩阵为
2 3 1 3
1 3 2 3
(1) 若 P 0 3 4 ， P 1 1 4 ，求 H X ，
H X | Y ， H Y | X 和 I X ; Y ；
(2) 求该信道的信道容量及其达到信道容量 时的最佳输入概率分布。
（2）此信道为二元对称信道，所以信道容量
2 1 C 1 H ( p) 1 H ( , ) 0.082 bit/符号 3 3
根据二元对称信道的性质可知，输入符号为等
1 概率分布 ( 即 P(0) P(1) ) 时信道的信息 2
传输率可以达到这个信道容量值。
判断下图中各个信道是否对称，如 对称，求出其信道容量。
3、解： （1）Biblioteka 知二元对称信道的传递矩阵，又已知输入的
3 1 概率分布 P (0) , P (1) , 就可以计算得出 Y 的概率 4 4
分布如下：
P ( y 0) P ( x ) P ( y 0 | x )
x
P( x 0) P( y 0 | x 0) P( x 1) P( y 0 | x 1)
0
1
0
1
1
1
(a)
2
解
( a ) 图，由信道线图可得转移概率矩阵如下：
1
1
该矩阵为行列排列阵，信道为准对称信道，可以把按列分 成两个子矩阵如下：
1
1
第三章 习题课
填空题 1. 有记忆信道的当前输出不仅与______输入有关， 还与 ______输入有关。 2. 既代表__________，又代表__________，因此，通常 把 H(X|Y)称为信道的_____或_____ 3. 如果信道给定，那么 I(PX,PY|X)是输入概率 的_____ 凸函数。 如果信源给定， 那么 I(PX,PY|X)是转移概率 PY|X 的_____凸函数。 4. 衡量一个信息传递系统的好坏，有两个主要指标。其 一，_____；其二，_____。 5. 使得给定信道_____的输入分布，称为最佳输入(概率)
PX
* P 分布，记为 X
判断题 1. 信道容量 C 不仅与信道转移概率有关，也与信道的 输入分布有关。 （ ） 2. 噪声熵为 0 的信道称为确定信道。 （ ） 3. 离散对称信道输入等概率分布时，输出未必也等概 率分布。 （ ） 4. 一般 DMC 达到信道容量的充要条件为信源符号的 偏互信息均等于信道容量。 （ ） 5. 信道是 DMC 的充要条件是序列符号对之间的转移 概率等于各个时刻单个符号对转移概率之连乘。 （ ）
X
信道 I
Y
信道 II
Z
Q1
Q2
A. 串联信道的信道容量与组成串联信道的各分信道的信 道容量存在精确的定量关系 B．数据处理过程中，随着数据的不断处理，从处理后的数 据中所得的原始信息会愈来愈少 C． 串联信道的转移概率矩阵是各单元信道的转移概率矩阵 之积 D． XYZ 组成一个马尔可夫链
信源的输出与信道的输入匹配的目的不包括_____ A. 符号匹配；B. 信息匹配； C. 功率匹配；D. 降低信道剩余度 以下关于连续信道的说法中，不正确的是_____ A．连续信道是时间离散、幅值连续的信道 B．连续信道的统计特性由转移概率分布函数描述 C．加性噪声信道的转移概率密度函数等于噪声的概率 密度函数 D．对于无记忆加性噪声信道，若输入信号服从高斯分 布， 且噪声的平均功率受限， 则服从高斯分布的噪 声使信道平均互信息量达到最小
则
r 2 ； n 2 ； M1 1 ； M 2 2 ； s1 2 ； s2 1
Mk C sk r k 1
n
Mk log r
, p2 , H ( p1
) , ps
1 1 2 2 2 log log H (1 , , ) 2 2 2 2 1 1 log log H (1 , , ) 2
3 2 1 1 7 4 3 4 3 12
5 P( y 1) 1 P( y 0) 12
后验概率计算如下：
3 2 P ( x 0) P ( y 0 | x 0 ) 4 3 6 P( x 0 | y 0) 7 P ( y 0) 7 12 1 P( x 1| y 0) 1 P( x 0 | y 0) 7 3 1 P( x 0) P( y 1 | x 0) 4 3 3 P( x 0 | y 1) 5 P( y 1) 5 12 2 P( x 1| y 1) 1 P( x 1| y 0) 5
PS 10 log10 1 20 PN
得到
PS 1 100 PN
信道传送的最大信息速率
PS Ct W log(1 ) 3 103 log 2 100 19.93 103 bit/s PN
（1）
信道不变， Ct 仍应为 19.93 10 （比特/秒） ，而
3
PS 10 log10 1 5dB PN
可得
PS 1 3.16 PN
所以 得到
19.93 103 W log 2 3.16
W 12 KHz
由此可知，在传输相同的信息传输速率下，降低信噪比就需 要增加带宽。