第三章 信道容量练习题
一1. 2.3.4.5. 一、 填信道是传输无线的，并噪声和干扰信息的传输通常用信道随机特性。. 信道容量信道最大述信道特. 对一个给容量就是的平均互态。因而信道的信. 信息传递要知道传系为t C
=
如果信道矩排的；如果矩阵是列可对称信道。第三章填空题输信息的通并有多种传扰，而这些输。由于噪声道的转移概 量
C 是信道大信息“通行特性的信道转给定的信道是定值。当信互信息量在量而，计算匹配信道容量。 递速率C t 描传输一个符C t
，单矩阵P 的每果转移概率可排的；如如果信道章 信题 通道。在通信
传输媒介。信些噪声和干扰声和干扰具概率矩阵/前道的最大信息行”能力的转移概率有，描述信道信源为匹配量值上等于配信源分布描述的是信道号所需的时单位为比特/秒每一行都是第率矩阵P 的每果信道矩阵道矩阵P 仅满信道容
信系统中，信息在信道扰会叠加到具有随机特性向概率矩阵息传输率（的标志，因有关。
道特性的信配信源（信于信道容量布时，流经道在单位时时间t ，则信秒。 第一行诸元每一列都是阵P 同时满满足行可排容量练实际信道可道的传输过程到信息的载体性，从而使信阵这一概率（单位：比特此它与信源道转移概率源概率取最，即信道处信道的平均
时间内平均传信息传递速元素的不同排是第一列诸元满足行可排和排不满足列可练习题
可以是有线程中，不可体——信号信道也具有模型来描述特/符号）。源的概率分率就一定了最佳分布）处于最大信均互信息量传递信息多率C t 与信道排列，则称元素的不同和列可排，可排，则称线的，也可以可避免地会引号上，从而影有随机特 性述信道的这信道容量分布无关，只，因而其信时，通过信信息“通行”量，就可以求多少的能力道容量C 的
称该矩阵是行
同排列，则称则称该信道称该信道为准以是
引入影响性，一C 是
只描信道
信道”状求出，只
的关行可称该道为准对
称信道。
6. 具有一一对应关系的单符号离散无噪信道的信源熵符号数为n，则信道容量C
为()2log H X n =比特/符号，且达到匹配信源的条件是信源呈等概分布。这一结果表明，在信道无噪声和干扰时，信源符号承载的信息将全部通过信道，传递到信宿。
7. 具有归并特性的单符号离散无噪信道的信源熵符号数为n，信宿符号数目为m，
且m n <，则信道容量C 为()2log H Y m =比特/符号，且达到匹配信源的条件是使信宿呈等概分布的信源概率分布。这一结果表明，归并特性离信道虽然无噪声和干扰，但是由于存在信道疑义度()0H X Y ≠，造成信源符号承载的信息传递到信宿时，还存在一定的不确定度而损失掉部分信息
（()()()();0I X Y H Y H X H X =?=? ）。
8. 具有扩展特性的单符号离散有噪无损信道的信源符号数为n，信宿符号数目
为m，且n m <，由于信道疑义度()0H X Y =，信道噪声()0H Y X ≠，则信道容量C 为()2log H X n =比特/符号，且达到匹配信源的条件是等概分布的信源。这一结果表明，扩展特性的离散有噪无损信道虽然无噪声和干扰，但是由于存在信道噪声()0H Y X ≠，造成信源符号承载的信息传递到信宿时，还存在一定的不确定度而损失掉部分信息
（()()()();0I X Y H Y H Y X H X =?=? ）。
9. 一般离散信道容量的一般计算方法是，在信道矩阵固定的条件下，求()
;I X Y 对于所有输入概率分布的条件极大值问题，其理论依据是();I X Y 或平均互信息量是p (x ) 的上凸函数，存在极大值。
10. 离散无记忆N 次信道当信源也是无记忆的时，信道容量C=1N
i i C =∑（或者
各个时序的分信道容量和），当输入的序列是N 次扩展源时，信道容量C= i NC 。
11. 在平均功率受限条件，高斯加性连续信道的信道容量是21log (1)2X N
P C P =+（以信号和噪声的功率X P 和N P 表示）；在信道带宽为B 时，考虑到采样定理从上式出可以得到香农信道容量公式2log (1)X N
P C B P =+
（以信号和噪声的功率X P 和N P 表示） 二、 选择题
1. 关于信道量C 与平均互信息量，下列说法正确的是（ ）
A ．数量相等，单位相同；
B ．数量不相等，单位不同；
C ．在匹配信源时数量相等，单位不同，物理意义相同；
D ．在匹配信源时数量相等，单位相同，物理意义不相同；
2. 已知单符号离散无噪信道、信源H(X)和信宿熵H(Y)，下列说法正确的是（ ）
A ．信道容量C (X)H =；
B ．信道容量
C ()H Y =；
C ．信道容量{}C min (X),(Y)H H =；
D ．信道容量{}C max (X),(Y)H H =
3. 已知单符号离散无噪信道、信源符号数为n 和信宿符号数为m ，则信道容量
C 为（ ）
A ．信道容量2C log n =；
B ．信道容量2
C log m =；
C ．信道容量{}22C min log n,log m =；
D ．信道容量{}22C max log n,log m =
4. 已知单符号对称离散信道、信源符号数为n 和信宿符号数为m ，则信道容量C 为（ ）
A ．信道容量2C log mi n H =?；
B ．信道容量2
C log mi m H =?；
C ．信道容量(){}()C max ()i p x H Y H X =?；
D ．信道容量{}()
C max ()i p x H X H(Y X )=? 5. 已知单符号准对称离散信道、信源符号数为n 和信宿符号数为m ，则信道容量C 为（ ）
A ．信道容量2C log mi n H =?；
B ．信道容量2
C log mi m H =?；
C ．信道容量{}()C max ()i mi p x H Y H =?；
D ．信道容量{}()
C max ()i mi p x H X H =? 三、 问答题
1. 平均互信息量三个公式的物理含义？
2.
四、 计算题
1．教材P100 3.8题
2．教材P101 3.18题
3．例3.3 电话信道的带宽为3.3kHz ，若信噪功率比为30dB ，即SNR ＝1000，
求信道的容量。
()22log (1)3300log 100132.891X t N
P C W P bps
=+=×≈ Κ
4．例3.4 在图片传输中，每帧约有2.25106 个像素，为了能很好地重现图像，
能分16个亮度电平，并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信道的带宽（信噪功率比为30dB ）。
022log log 164/H n bit symbol ===
662.25104910I NH bit ==××=×
6
5910 1.510/60
t I C bit s t ×===× ()5222 1.510log 115049log 1001log 1t X
t N X N C P C W W Hz P P P ??×=+?==== ??????+????
信息论与编码理论-第3章信道容量-习题解答
第3章 信道容量 习题解答 3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3?? ???? 解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和 (;)I X Y 。 i i 2 i=1 3311 H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-?-=∑符号 111121********* j j j=1 32117 p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125 p(b )=p(a )p(b |a )+p(a )p(b |a )=434312 7755 H(Y)=p(b )log(b )=log()log()0.9799(/) 12121212bit ?+?= ?+?= ---=∑符号 22 i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a ) 2211 log()log()0.9183(/) 3333 i j j bit -=-=-?-?=∑∑符号 I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号) (2)求该信道的信道容量及其达到信道容量时的输入概率分布。 二进制对称信息的信道容量 H(P)=-plog(p)-(1-p)log(1-p) 1122 C =1-H(P)=1+log()+log()=0.0817(bit/) 3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，} 注意单位
最新第三章-信道容量-习题答案
精品文档 3.1 设信源??? ???=? ?????4.06.0)(21x x X P X 通过一干扰信道，接收符号为Y = { y1, y2 }，信道转移矩阵为??? ? ??????43416165，求： (1) 信源X 中事件x 1和事件x 2分别包含的自信息量； (2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息量。 解： 1) bit x p x I bit x p x I 322.14.0log )(log )( 737.06.0log )(log )(22222121=-=-==-=-= 2) bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04 .04 /3log )()/(log );( 263.16.04 /1log )()/(log );( 263.14.06 /1log )()/(log );( 474.06.06 /5log )()/(log );(4 .04 3 4.0616.0)/()()/()()(6 .041 4.0656.0)/()()/()()(22222 2221212122212221211121122212122121111===-===-=======?+?=+==?+?=+= 3) symbol bit y p y p Y H symbol bit x p x p X H j j j i i i / 971.010log )4.0log 4.06.0log 6.0()(log )()(/ 971.010log )4.0log 4.06.0log 6.0()(log )()(22=+-=-==+-=-=∑∑ 4) symbol bit Y H X Y H X H Y X H Y X H Y H X Y H X H symbol bit x y p x y p x p X Y H i j i j i j i / 715.0971.0715.0971.0 )()/()()/() /()()/()(/ 715.0 10 log )4 3 log 434.041log 414.061log 616.065log 656.0( ) /(log )/()()/(2=-+=-+=∴+=+=??+?+?+?-=-=∑∑
信息论与编码[第三章离散信道及其信道容量]山东大学期末考试知识点复习
第三章离散信道及其信道容量 3．1．1 信道的分类 在信息论中，信道是传输信息的通道，是信息传输系统的重要组成部分之一。信道的分类有： 按照信道输入端或输出端的个数可分为单用户信道和多用户信道。 按照信道输出端有无信号反馈到输入端可分为有反馈信道和无反馈信道。 按照信道的统计参数是否随时间变化可分为时变参数信道和固定参数信道。 按照信道输入／输出信号取值幅度集合以及取值时间集合的离散性和连续性可分为离散信道(数字信道)和波形信道(模拟信道)。 按照信道输入/输出信号取值幅度集合的离散性和连续性(取值时间是离散的)可分为离散信道和连续信道。 按照信道输入/输出信号在取值时刻上是否有依赖关系可分为有记忆信道和无记忆信道。 按照信道输入信号与输出信号之间是否统计依赖关系可分为有噪信道和无噪(无干扰)信道。 3．1．2 离散信道的数字模型 1．一般离散信道(多维离散信道) 一般离散信道输入/输出信号取值幅度和取值时刻都是离散的平稳随机矢量。其数学模型可用离散型概率空间[X，P(y|x)，Y]来描述。其中X=(X1X2…X N)为输入信号，Y= (Y1Y2…Y N)为输出信号。X中X i∈A={a1，a2，…，a r}，Y中Y i∈B={b1，b2，…，b s}。又P(y|x)(x∈X，y∈Y)是信道的传递概率(转移概率)，反映输入和输出信号之间统计依赖关系，并满足
概率空间[X，P(y|x)，Y]也可用图来描述。 2．基本离散信道(单符号离散信道) 单符号离散信道是离散信道中最基本的信道，其信道输入/输出信号都是取值离散的单个随机变量。数学模型是概率空间[X，P(y|x)，Y]，(或[X，P(b j|a i)，Y])，其中X∈A={a1，a2，…，a r}，Y∈B={b1，b2，…，b s)，P(y|x)=P(b j|a i)(i=1，2，…，r；j=1，2，…，s)并满足 概率空间[X，P(y|x)，Y]也可用图来描述，如图3．1所示。 若将传递概率排列成矩阵形式，则称其为传递矩阵(或称信道矩阵)P，即 3．无噪(无干扰信道) 若离散信道[X，P(y|x)，Y]满足
信息论与编码理论_第3章信道容量_习题解答_071102
.. .. ... . . 第3章 信道容量 习题解答 3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3?? ???? 解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和 (;)I X Y 。 i i 2 i=1 3311 H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-?-=∑符号 111121********* j j j=1 32117 p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125 p(b )=p(a )p(b |a )+p(a )p(b |a )=434312 7755 H(Y)=p(b )log(b )=log()log()0.9799(/) 12121212bit ?+?= ?+?= ---=∑符号 22 i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a ) 2211 log()log()0.9183(/) 3333 i j j bit -=-=-?-?=∑∑符号 I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号) (2)求该信道的信道容量及其达到信道容量时的输入概率分布。 二进制对称信息的信道容量 H(P)=-plog(p)-(1-p)log(1-p) 1122 C =1-H(P)=1+log()+log()=0.0817(bit/) 3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位
第三章 信道容量-1,2,6,7习题答案
3.1 设信源??? ???=??????4.06.0)(21x x X P X 通过一干扰信道，接收符号为Y = { y1, y2 }，信道转移矩阵为??? ? ? ?????43416165，求： (1) 信源X 中事件x 1和事件x 2分别包含的自信息量； (2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息量。 解： 1) bit x p x I bit x p x I 322.14.0log )(log )( 737.06.0log )(log )(22222121=-=-==-=-= 2) bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04 .04 /3log )()/(log );( 263.16.04 /1log )()/(log );( 263.14.06 /1log )()/(log );( 474.06.06 /5log )()/(log );(4 .04 3 4.0616.0)/()()/()()(6 .041 4.0656.0)/()()/()()(22222 2221212122212221211121122212122121111===-===-=======?+?=+==?+?=+= 3) sym bol bit y p y p Y H sym bol bit x p x p X H j j j i i i / 971.010log )4.0log 4.06.0log 6.0()(log )()(/ 971.010log )4.0log 4.06.0log 6.0()(log )()(22=+-=-==+-=-=∑∑ 4) sym bol bit Y H X Y H X H Y X H Y X H Y H X Y H X H sym bol bit x y p x y p x p X Y H i j i j i j i / 715.0971.0715.0971.0 )()/()()/()/()()/()(/ 715.0 10 log )4 3 log 434.041log 414.061log 616.065log 656.0( ) /(log )/()()/(2=-+=-+=∴+=+=??+?+?+?-=-=∑∑
第三章 信与信道容量
第三章信道与信道容量 主要内容：（1）信道的分类和表示参数；（2）离散单个符号信道及其容量；（3）离散序列信道及其容量；（4）连续信道及其容量。 重点：离散单个符号信道及其容量。 难点：连续信道及其容量。 说明：信道是构成信息流通系统的重要部分，其任务是以信号形式传输和存储信息。在物理信道一定的情况下，人们总是希望传输的信息越多越好。这不仅与物理信道本身的特性有关，还与载荷信息的信号形式和信源输出信号的统计特性有关。本章主要讨论在什么条件下，通过信道的信息量最大，即所谓的信道容量问题。本章概念和定理也较多，较为抽象，课堂教学时考虑多讲述一些例题，着重阐明定理和公式的物理意义，对较为繁琐的推倒过程做了部分省略。 作业：3．1，3．2。 课时分配：4课时。 板书及讲解要点： 本章首先讨论信道的分类及表示信道的参数，然后讨论各种信道的容量和计算方法。 3．1 信道的分类和表示参数 信道中存在的干扰使输出信号与输入信号之间没有固定的函数关系，只有统计依赖的关系。因此可以通过研究分析输入输出信号的统计特性来研究信道。 首先来看下一般信道的数学模型，这里我们采用了一种“黑箱”法来操作。通信系统模型，在信道编码器和信道解码器之间相隔着许多其他部件，如调制解调、放大、滤波、均衡等器件,以及各种物理信道。信道遭受各类噪声的干扰，使有用信息遭受损伤。从信道编码的角度，我们对信号在信道中具体如何传输的物理过程并不感兴趣，而仅对传输的结果感兴趣：送人什么信号,得到什么信号，如何从得到的信号中恢复出送入的信号，差错概率是多少。故将中间部分全部用信道来抽象。可得到下图表示的一般信道模型。 3．1． 1 信道的分类 图3－1 信道模型
第三章 信道容量习题答案.doc
3.1 设信源??? ???=? ?????4.06.0)(21x x X P X 通过一干扰信道，接收符号为Y = { y1, y2 }，信道转移矩阵为??? ? ??????43416165，求： (1) 信源X 中事件x 1和事件x 2分别包含的自信息量； (2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息量。 解： 1) bit x p x I bit x p x I 322.14.0log )(log )( 737.06.0log )(log )(22222121=-=-==-=-= 2) bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04 .04 /3log )()/(log );( 263.16.04 /1log )()/(log );( 263.14.06 /1log )()/(log );( 474.06.06 /5log )()/(log );(4 .04 3 4.0616.0)/()()/()()(6 .041 4.0656.0)/()()/()()(22222 2221212122212221211121122212122121111===-===-=======?+?=+==?+?=+= 3) symbol bit y p y p Y H symbol bit x p x p X H j j j i i i / 971.010log )4.0log 4.06.0log 6.0()(log )()(/ 971.010log )4.0log 4.06.0log 6.0()(log )()(22=+-=-==+-=-=∑∑ 4) symbol bit Y H X Y H X H Y X H Y X H Y H X Y H X H symbol bit x y p x y p x p X Y H i j i j i j i / 715.0971.0715.0971.0 )()/()()/() /()()/()(/ 715.0 10 log )4 3 log 434.041log 414.061log 616.065log 656.0( ) /(log )/()()/(2=-+=-+=∴+=+=??+?+?+?-=-=∑∑
第三章 信道容量练习题
一1. 2.3.4.5. 一、 填信道是传输无线的，并噪声和干扰信息的传输通常用信道随机特性。. 信道容量信道最大述信道特. 对一个给容量就是的平均互态。因而信道的信. 信息传递要知道传系为t C = 如果信道矩排的；如果矩阵是列可对称信道。第三章填空题输信息的通并有多种传扰，而这些输。由于噪声道的转移概 量 C 是信道大信息“通行特性的信道转给定的信道是定值。当信互信息量在量而，计算匹配信道容量。 递速率C t 描传输一个符C t ，单矩阵P 的每果转移概率可排的；如如果信道章 信题 通道。在通信 传输媒介。信些噪声和干扰声和干扰具概率矩阵/前道的最大信息行”能力的转移概率有，描述信道信源为匹配量值上等于配信源分布描述的是信道号所需的时单位为比特/秒每一行都是第率矩阵P 的每果信道矩阵道矩阵P 仅满信道容 信系统中，信息在信道扰会叠加到具有随机特性向概率矩阵息传输率（的标志，因有关。 道特性的信配信源（信于信道容量布时，流经道在单位时时间t ，则信秒。 第一行诸元每一列都是阵P 同时满满足行可排容量练实际信道可道的传输过程到信息的载体性，从而使信阵这一概率（单位：比特此它与信源道转移概率源概率取最，即信道处信道的平均 时间内平均传信息传递速元素的不同排是第一列诸元满足行可排和排不满足列可练习题 可以是有线程中，不可体——信号信道也具有模型来描述特/符号）。源的概率分率就一定了最佳分布）处于最大信均互信息量传递信息多率C t 与信道排列，则称元素的不同和列可排，可排，则称线的，也可以可避免地会引号上，从而影有随机特 性述信道的这信道容量分布无关，只，因而其信时，通过信信息“通行”量，就可以求多少的能力道容量C 的 称该矩阵是行 同排列，则称则称该信道称该信道为准以是 引入影响性，一C 是 只描信道 信道”状求出，只 的关行可称该道为准对
信息论与编码理论第3章信道容量习题解答071102
第3章 信道容量 习题解答 3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3?? ???? 解: (1) 若12()3/4,()1/4P a P a ==,求(),(),(|),(|)H X H Y H X Y H Y X 与 (;)I X Y 。 i i 2 i=1 3311 H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-?-=∑符号 111121********* j j j=1 32117 p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125 p(b )=p(a )p(b |a )+p(a )p(b |a )=434312 7755 H(Y)=p(b )log(b )=log()log()0.9799(/) 12121212bit ?+?= ?+?= ---=∑符号 22 i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a ) 2211 log()log()0.9183(/) 3333 i j j bit -=-=-?-?=∑∑符号 I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号) (2)求该信道的信道容量及其达到信道容量时的输入概率分布。 二进制对称信息的信道容量 H(P)=-plog(p)-(1-p)log(1-p) 1122 C =1-H(P)=1+log()+log()=0.0817(bit/) 3333符 BSC 信道达到信道容量时,输入为等概率分布,即:{0、5,0、5} 注意单位