最新第三章-信道容量-习题答案
3.1 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡4.06.0)(21x x X P X 通过一干扰信道，接收符号为Y = { y1, y2 }，信道转移矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡43416165，求：(1) 信源X 中事件x 1和事件x 2分别包含的自信息量；(2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵；(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息量。
解： 1)bitx p x I bit x p x I 322.14.0log )(log )( 737.06.0log )(log )(22222121=-=-==-=-=2)bity p x y p y x I bity p x y p y x I bity p x y p y x I bity p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04.04/3log )()/(log );( 263.16.04/1log )()/(log );( 263.14.06/1log )()/(log );( 474.06.06/5log )()/(log );(4.0434.0616.0)/()()/()()(6.0414.0656.0)/()()/()()(222222221212122212221211121122212122121111===-===-=======⨯+⨯=+==⨯+⨯=+=3)symbolbit y p y p Y H symbolbit x p x p X H jj j ii i / 971.010log )4.0log 4.06.0log 6.0()(log )()(/ 971.010log )4.0log 4.06.0log 6.0()(log )()(22=+-=-==+-=-=∑∑4)symbolbit Y H X Y H X H Y X H Y X H Y H X Y H X H symbolbit x y p x y p x p X Y H iji j i j i / 715.0971.0715.0971.0 )()/()()/()/()()/()(/ 715.0 10log )43log 434.041log 414.061log 616.065log 656.0( )/(log )/()()/(2=-+=-+=∴+=+=⨯⨯+⨯+⨯+⨯-=-=∑∑5)symbol bit Y X H X H Y X I / 256.0715.0971.0)/()();(=-=-=3.2 设二元对称信道的传递矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑ 2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C3.3 设有一批电阻，按阻值分70%是2K Ω，30%是5 K Ω；按瓦分64%是0.125W ，其余是0.25W 。
现已知2 K Ω阻值的电阻中80%是0.125W ，问通过测量阻值可以得到的关于瓦数的平均信息量是多少？解：对本题建立数学模型如下：);(求：2.0)/(,8.0)/(36.064.04/18/1)(瓦数 3.07.052)(阻值12112121Y X I x y p x y p y y Y P Y x x X P X ==⎭⎬⎫⎩⎨⎧===⎥⎦⎤⎢⎣⎡⎭⎬⎫⎩⎨⎧KΩ=KΩ==⎥⎦⎤⎢⎣⎡ 以下是求解过程：()()()symbolbit XY H Y H X H Y X I symbolbit y x p y x p XY H symbolbit y p Y H symbolbit x p X H y x p y p y x p y x p y x p y p y x p y p y x p y x p y x p y p x y p x p y x p x y p x p y x p ijj i j i jj ii / 186.0638.1943.0881.0)()()();(/ 638.1 22.0log 22.008.0log 08.014.0log 14.056.0log 56.0 )(log )()(/ 943.036.0log 36.064.0log 64.0)()(/ 881.03.0log 3.07.0log 7.0)()(22.014.036.0)()()()()()(08.056.064.0)()()()()()(14.02.07.0)/()()(56.08.07.0)/()()(22222222212222221211112121111212111111=-+=-+==⨯+⨯+⨯+⨯-=-==⨯+⨯-=-==⨯+⨯-=-==-=-=∴+==-=-=∴+==⨯===⨯==∑∑∑∑3.4 若X, Y, Z 是三个随机变量，试证明(1) I(X;YZ) = I(X;Y) + I(X;Z/Y) = I(X;Z) + I(X;Y/Z)；证明：)/;();( )/()/(log)()()/(log)( )/()()/()/(log)( )()/(log)();()/;();( )/()/(log)()()/(log)( )/()()/()/(log)( )()/(log)();(Z Y X I Z X I z x p z y x p z y x p x p z x p z y x p z x p x p z x p z y x p z y x p x p z y x p z y x p YZ X I Y Z X I Y X I y x p z y x p z y x p x p y x p z y x p y x p x p y x p z y x p z y x p x p z y x p z y x p YZ X I i j kk i k j i k j i ijki k i k j i ijkk i i k i k j i k j i ijki k j i k j i ijkj i k j i k j i ijki j i k j i ijkj i i j i k j i k j i ijki k j i k j i +=+===+=+===∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑(2) I(X;Y/Z) = I(Y;X/Z) = H(X/Z) – H(X/YZ)；证明：∑∑∑∑∑∑==ijkk j k i k j k j i k j i ijkk i k j i k j i z y p z x p z y p z y x p z y x p z x p z y x p z y x p Z Y X I )()/()()/(log)( )/()/(log)()/;()/()/( )/()/(log )( )/()/(log )( )/(log )()/(log )( )/()/(log)()/;()/;( )/()/(log)( )/()()(log)( )/()()(log)( )/()()/()(log)( YZ X H Z X H YZ X H z x p z x p YZ X H z x p z y x p z y x p z y x p z x p z y x p z x p z y x p z y x p Z Y X I Z X Y I z y p z x y p z y x p z y p z x p z y x p z y x p z y p z x p z y x p z y x p z y p z p z x p z y x p z y x p ikk i k i i k k i j k j i ijkk j i k j i ijkk i k j i ijkk i k j i k j i ijkk j k i j k j i ijkk j k i k j i k j i ijkk j k i k j i k j i ijkk j k k i k j i k j i -=--=-⎥⎦⎤⎢⎣⎡-=+-=======∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑(3) I(X;Y/Z) ≥0，当且仅当(X, Y, Z)是马氏链时等式成立。
证明：)/;(0 log 1)/( log 1)/()( log )()/()/()( log 1)/()/()( )/()/(log)()/;()/()/(log)()/;(2222≥∴=⎪⎭⎫⎝⎛-=⎪⎪⎭⎫ ⎝⎛-⎥⎦⎤⎢⎣⎡=⎪⎪⎭⎫ ⎝⎛-=⎪⎪⎭⎫⎝⎛-≤=-∴=∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑Z Y X I ez x p e z x p z y p e z y x p z y x p z x p z y x p ez y x p z x p z y x p z y x p z x p z y x p Z Y X I z x p z y x p z y x p Z Y X I i k i i k i j k k j i j k k j i i j k k j i k i k j i i j k k j i k i k j i ijkk j i k i k j i ijkk i k j i k j i当01)/()/(=-k j i k i z y x p z x p 时等式成立)/()/()/()(/)()/()/()()/()/()()()/()/()()/()/(k j i k i k j k k j i k i k j k j i k i k j k k j k j i k i k j k j i k i z y x p z x p z y p z p z y x p z x p z y p z y x p z x p z y p z p z y p z y x p z x p z y p z y x p z x p =⇒=⇒=⇒=⇒=⇒所以等式成立的条件是X, Y , Z 是马氏链3.5若三个随机变量，有如下关系：Z = X + Y ，其中X 和Y 相互独立，试证明：(1) I(X;Z) = H(Z) - H(Y)； (2) I(XY;Z) = H(Z)； (3) I(X;YZ) = H(X)； (4) I(Y;Z/X) = H(Y)；(5) I(X;Y/Z) = H(X/Z) = H(Y/Z)。
信息论与编码习题与答案第三章
由于 ，每个二元符号的信息量为1bit,14000个符号14000bit的信息，传输14000bit的信息需要时间
不能无失真的传输
=
bit/symbol
（3）当接收为 ，发为 时正确，如果发的是 则为错误，各自的概率为：
则错误概率为：
（4）
从接收端看平均错误概率为
（5）从发送端看的平均错误概率为：
（6）能看出此信道不好。原因是信源等概率分布，从转移信道来看正确发送的概率x1→y1的概率0.5有一半失真；x2→y2的概率0.3有严重失真；x3→y3的概率0完全失真。
(1)接收端收到一个符号后得到的信息量H(Y);
(2)计算噪声熵 ;
(3)计算接收端收到一个符号 的错误概率；
(4)计算从接收端看的平均错误概率；
(5)计算从发送端看的平均错误概率；
(6)从转移矩阵中能看出该新到的好坏吗？
(7)计算发送端的H(X)和 。
解：(1)
（2）联合概率 ，后验概率
H(Y/X)=
解：由题意可知该二元信道的转移概率矩阵为： 为一个BSC信道所以由BSC信道的信道容量计算公式得到：
3-6设有扰离散信道的传输情况分别如图3－17所示。求出该信道的信道容量。
解：信道转移概率矩阵为P= 该信道为离散对称信道DMC
3-7发送端有三种等概率符号 ， ,接收端收到三种符号 ，信道转移概率矩阵为
3.1设二元对称信道的传递矩阵为
(1)若P(0)= 3/4,P(1)= 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；
(2)求该信道的信道容
其最佳输入分布为
3.3在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。
第三章 信道与信道容量 习题解答
，
，求
，
，
和
；
（2） 求该信道的信道容量及其达到信道容量时的输入概率分布。
解：
（1）先写出
：
根据公式
计算联合概率：
信宿端符号分布概率：
根据公式
计算：
3
求各熵： 信源熵：
比特/消息
信宿熵：
比特/消息
可疑度：
平均互信息量： 噪声熵： （2）二元对称离散信道的信道容量：
比特/消息 比特/消息
比特/秒
信源等概分布时（
解：设下标 1为原状况，下标 2为改变后状况。由
可得：
，
倍
如果功率节省一半则
倍 ，为 了 使 功 率 节 省 一 半 又 不 损 失 信 息 量 I，根 据
，可以： （1） 加大信道带宽 W，用带宽换取信噪比
，
，
7
缺点是对设备要求高。 （2） 加大传输时间 T，用传输时间换取信噪比，同理可得：
缺点是传输速度降低了。
噪声熵：
（5）平均互信息量：
2．有一个生产 A、B、C、D四种消息的信源其出现的概率相等，通过某一通信系统传输时，B和 C无误，A 以 1/4概率传为 A，以 1/4概率误传为 B、C、D，而 D以 1/2概率正确传输，以 1/2概率误传为 C，
（1）试求其可疑度？（2）收到的信号中哪一个最可靠？（3）散布度为多少？ 解：（1）
，
将各数据代入： 解得：
如果
则
将各数据代入： 解得：
14.在理想系统中，若信道带宽与消息带宽的比为 10，当接收机输入端功率信噪比分别为 0.1和 10时，试
比较输出端功率信噪比的改善程度，并说明
与
之间是否存在阀值效应。
第三章 信道与信道容量 习题解答
6
由于二元信源，等概率分布，信道对称，满足山农的理想观察者原理的三个假设条件，因此计算疑义度： 比特/消息
接收熵速率：
比特/秒
而系统要求的传信率为：
比特/秒，大于 1289比特/秒，故 10秒内无法无失真传递完。
11.已知一个平均功率受限的连续信号，通过带宽
的高斯白噪声信道，试求
（1） 若信噪比为 10，信道容量为多少？
（2） 若要保持信道容量不变，信噪比降为 5，信道带宽应为多少？
（3） 若要保持信道容量不变，信道带宽降为 0.5MHz，信号的功率信噪比应为多少？
（4） 其中有什么规律可总结？
解：根据香农公式：
（1） 信噪比为 10倍，信道容量： （2） 信噪比为 5倍，信道带宽：
比特/秒
（3） 信道带宽为 0.5MHz，信号的功率信噪比：
（2）信源熵速率： 接收熵速率： （3）一消息共有 4000个二元符号，该消息的信息量： 无失真地传递完该消息所需的时间：
10.有一个二元对称信道，其信道矩阵为
，设该信源以 1500符号/秒的速度传输输入符号。现
有一消息序列共有 14000个二元符号，并设其符号等概分布，问从信息传输的角度来考虑，10秒钟内能否 将这消息序列无失真地传递完？ 解：根据信道转移矩阵画出下图：
当
时，根据
，
得：
作业：1、3(2)、6、7(1)、8、9或 10、11、13、15、16(1)
mW/Hz、限频 、限输入
9
解：设将电阻按阻值分类看成概率空间 X：
，
按功耗分类看成概率空间 Y：
已知：
，
通过计算
， ，
，
得
通过测量阻值获得的关于瓦数的平均信息量：
信息论第三章答案
信息论第三章答案3.2.设二元对称信道的传的矩阵32313132。
（1）、若P （0）=43,P(1)=41,求H(X),H(X/Y),H(Y/X)和I(X;Y); （2）、求该信道的信道容量及其达到信道容量时的输入概率分布。
解：(1)、H(X)=-symbol bit x p ii /81.0)41log 4143log 43()(=+?-=∑ H(Y/X) =-)/(log )/()(i j i j i j i x y p x y p x p ∑∑ =-(32log 324131log 314131log 314332log 3243?+?+?+?) = 0.92bit/symbolP )/()()/()()()()(21211112111x y p x p x y p x p y x p y x p y +=+= =31413243?+?=0.58 同理可得：p(2y )=0.42H (Y)=-(0.42×log0.42+0.58×l og0.58)=0.980bit/symbol得：H(X/Y)=H(X)-H(Y)+H(Y/X)=0.81-0.98+0.92=0.75bit/symbolI(X;Y)=H(X)-H(X/Y)=0.81-0.75=0.06bit/symbol(2)由题：C=maxI(X;Y)=logm-mi H =log2-(32log 3231log 31+)=0.082bit/symbol 因为信道容量达到最大值即X 等概率出现即：p(i x )=21 3.6、有一个二元对称信道，其信道矩阵为??098.02.002.098.0。
设该信源以1500二元符号/每秒的速度传输输入符号。
现有一消息序列共有14000个二元符号，并设P(0)=P(1)=21,问从消息传输的角度来考虑，10秒钟内能否将这些消息序列无失真的传递完？解：由题得：C=max[H(Y)-ni H ]=log2-ni H =1+0.98log0.98+0.02log0.02=0.859bit/symbol 即每输入一个信道符号，接收到的信息量是0.859bit,已知信源输入1500二元符号/每秒，那么每秒钟的信息量是：1I =(1500symbol/s )×0.859bit/symbol=1288bit/s10秒钟传输：2I =101I =12880bit传送14000个二元符号，P(0)=P(1)=21 则有：3I =14000×(21log 21×2)=14000bit 得出：2I ﹤3I 即10秒内不能将消息序列无失真传递完3.11、已知离散信源?=4.02.03.01.0)(4321x x x x X P X ，某信道的信道矩阵为2.04.03.01.02.01.02.05.01.01.02.06.04.01.03.02.0试求：（1）、“输入3x ，输出2y ”的概率；（2）、“输出4y ”的概率；（3）、“收到3y 的条件下推测输入2x ”的概率。
信息论与编码习题与答案第三章
(1)若P(0)= 3/4,P(1)= 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；
(2)求该信道的信道容量及其达到信道容量时的输入概率分布；
解：1)
（2)
其最佳输入分布为
3.3在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。
解：由题意可知该二元信道的转移概率矩阵为： 为一个BSC信道所以由BSC信道的信道容量计算公式得到：
3-6设有扰离散信道的传输情况分别如图3－17所示。求出该信道的信道容量。
解：信道转移概率矩阵为P= 该信道为离散对称信道DMC
3-7发送端有三种等概率符号 ， ,接收端收到三种符号 ，信道转移概率矩阵为
（7） bit/symbol
H(X/Y)=
i
bit/symbol
3-10一个平均功率受限制的连续信道，其通频带为1MHZ，信道上存在白色高斯噪声。
（1）已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；
（2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？
=
bit/symbol
（3）当接收为 ，发为 时正确，如果发的是 则为错误，各自的概率为：
则错误概率为：
（4）
从接收端看平均错误概率为
（5）从发送端看的平均错误概率为：
（6）能看出此信道不好。原因是信源等概率分布，从转移信道来看正确发送的概率x1→y1的概率0.5有一半失真；x2→y2的概率0.3有严重失真；x3→y3的概率0完全失真。
(1)接收端收到一个符号后得到的信息量H(Y);
《信息论与编码》习题解答-第三章
第三章 信道容量-习题答案3.1 设二元对称信道的传递矩阵为⎥⎦⎤⎢⎣⎡3/23/13/13/2 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C3.2 解：(1)αα-==1)(,)(21x p x p⎥⎦⎤⎢⎣⎡=4/14/12/102/12/1P ，⎥⎦⎤⎢⎣⎡---=4/)1(4/)1(2/)1(02/12/1)(αααααj i y x P 4/)1()(,4/14/)(,2/1)(321αα-=+==y p y p y p接收端的不确定度：))1(41log()1(41)4141log()4141()2log(21)(αααα---++-=Y H)1log(41)1log(4123αααα---++-= (2))4log()1(41)4log()1(41)2log()1(210)2log(21)2log(21)|(ααααα-+-+-+++=X Y H α2123-= (3))|()();(X Y H Y H Y X I -=);(max )()(Y X C i x p =α,0)(=ααC d d,得到5/3=α 161.0)5/3();max(===C Y X C 3.3∑==⨯++=+=21919.001.0log 01.099.0log 99.02log log )log(j ij ij p p m C0.919*1000=919bit/s 3.4⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=εεεε-10-10001ij p2/1)()(0)(321===a p a p a p 0)(1=b p2/12/1)1(2/100)|()(),()(222=⨯+-⨯+⨯===∑∑εεi ii ii a b p a p b a p b p2/1-12/12/100)|()(),()(333=⨯+⨯+⨯===∑∑）（εεi ii ii a b p a p b a p b p)()|(log)|();(j i j ji j i b p a b p a b p Y a I ∑=0);(1=Y a Iεεεε2log )1(2log )1(0)()|(log)|();(222+--+==∑j j jj b p a b p a b p Y a I )1(2log )1(2log 0)()|(log)|();(333εεεε--++==∑j j jj b p a b p a b p Y a I当0=ε，1=C 当2/1=ε，0=C 3.5两个信道均为准对称DMC 信道设输入符号概率αα-==1)(,)(21a p a p ， （1） 对于第一种信道的联合概率的矩阵为：⎥⎦⎤⎢⎣⎡---------)1(2)1)(1()1)((2)()1(αεαεαεεααεαεp p p p⎥⎦⎤⎢⎣⎡---)()1(εαεp p 3.6⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=2/1002/12/12/10002/12/10002/12/1P 121log 2121log 214log log )log(41=++=+=∑=ij j ij p p m C3.7解：(1)从已知条件可知：3,2,1,3/1)(==i x p i ，且转移概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=0109101103103525110321)|(i j x y p ，则联合概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡==010330110110115215110161)()|(i i j ij x p x y p p ，因为：),()(∑=ij i j y x p y p ，可计算得到31)(1=y p ，21)(2=y p ，61)(3=y p499.16log 612log 213log 31)(=++=Y H(2)175.1910log 10310log 301310log 101310log10125log 1525log 151310log 1012log 61)|(log )()|(=+++++++=-=∑iji j j i x y p y x p X Y H (3)当接收为2y ，发送为2x 时正确，如果发送为1x 和3x 为错误，各自的概率为： 5/1)|(21=y x p ，5/1)|(22=y x p ，5/3)|(23=y x p 它的错误概率为：5/4)|()|(2321=+=y x p y x p p e(4)从接收端看到的平均错误概率为：===∑∑≠≠ji ij ji j i j e p y x p y p p )|()(收733.010/115/110/310/130/115/2=+++++(5)从发送端看到的平均错误概率为：===∑∑≠≠ji ij ji i j i e p x y p x p p )|()(发733.010/115/110/310/130/115/2=+++++(6)此信道不好，因为信源等概率分布，从转移信道来看，正确发送的概率11y x >-为0.5，有一半失真；22y x >-为0.3，严重失真；33y x >-为0，完全失真。
第三章 信道容量-习题答案
3.1 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡4.06.0)(21x x X P X通过一干扰信道，接收符号为Y = { y1, y2 }，信道转移矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡43416165，求： (1) 信源X 中事件x 1和事件x 2分别包含的自信息量；(2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵；(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息量。
解： 1)bitx p x I bit x p x I 322.14.0log)(log)( 737.06.0log )(log )(22222121=-=-==-=-=2)bity p x y p y x I bit y p x y p y x I bit y p x y p y x I bity p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04.04/3log)()/(log);( 263.16.04/1log)()/(log );( 263.14.06/1log )()/(log );( 474.06.06/5log )()/(log );(4.0434.0616.0)/()()/()()(6.0414.0656.0)/()()/()()(222222221212122212221211121122212122121111===-===-=======⨯+⨯=+==⨯+⨯=+=3)symbolbit y p y p Y H symbolbit x p x p X H jj j ii i / 971.010log )4.0log 4.06.0log 6.0()(log )()(/ 971.010log )4.0log 4.06.0log 6.0()(log )()(22=+-=-==+-=-=∑∑4)symbolbit Y H X Y H X H Y X H Y X H Y H X Y H X H symbolbit x y p x y p x p X Y H iji j i j i / 715.0971.0715.0971.0 )()/()()/()/()()/()(/ 715.0 10log )43log434.041log414.061log616.065log656.0( )/(log )/()()/(2=-+=-+=∴+=+=⨯⨯+⨯+⨯+⨯-=-=∑∑5)symbol bit Y X H X H Y X I / 256.0715.0971.0)/()();(=-=-=3.2 设二元对称信道的传递矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbolbit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i ii / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log4167.05833.0log5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243()/(log )/()()/(/ 811.0)41log4143log43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log)32lg 3231lg 31(2loglog );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C3.3 设有一批电阻，按阻值分70%是2K Ω，30%是5 K Ω；按瓦分64%是0.125W ，其余是0.25W 。
信道容量课后习题
p( x1 y1 ) p( x1 ) p ( y1 / x1 ) 0.7 0.8 0.56 p( x1 y 2 ) p ( x1 ) p ( y 2 / x1 ) 0.7 0.2 0.14 p ( y1 ) p( x1 y1 ) p( x2 y1 ) p ( x2 y1 ) p( y1 ) p ( x1 y1 ) 0.64 0.56 0.08 p ( y 2 ) p ( x1 y 2 ) p ( x2 y 2 ) p ( x2 y 2 ) p( y 2 ) p ( x1 y 2 ) 0.36 0.14 0.22
3.4
若X, Y, Z是三个随机变量，试证明 (1)I(X;YZ) = I(X;Y) + I(X;Z/Y) = I(X;Z) + I(X;Y/Z)； (2)I(X;Y/Z) = I(Y;X/Z) = H(X/Z) – H(X/YZ)； (3)I(X;Y/Z) ≥0，当且仅当(X, Y, Z)是马氏链时等式成立。 证明: (1)I(X;YZ) = H(X) – H(X/YZ) = H(X) – H(X/Ｙ) ＋ H(X/Ｙ)－ H(X/YZ) = I(X;Y) + I(X;Z/Y) = I(X;Z) + I(X;Y/Z)； (2)可直接证明。
所以等式成立的条件是X, Y, Z是马氏链
3.5
若三个随机变量，有如下关系：Z = X + Y， 其中X和Y相互独立，试证明： (1) I(X;Z) = H(Z) - H(Y)； (2) I(XY;Z) = H(Z)； (3) I(X;YZ) = H(X)； (4) I(Y;Z/X) = H(Y)； (5) I(X;Y/Z) = H(X/Z) = H(Y/Z)。
数据与计算机通信答案(第3章)
而对于数字彩色电视机，相当不错了。如果不提高数据率，还可以通过降低分辨率或刷新速 率，来换取色彩数的提高，但这也不实用的方法。
已知视频带宽 B=5MHz，所以有 5=P/105，则每行的像素数 P=5x105=525。 然而，通常 CCIR-M/NTSC 制式每行只约有 450 像素，带宽 B=P/105=450/105=4.3MHz (实 际技术指标 4.2Hz) 。 带宽由 4.2MHz 增加到 5MHz 时，水平分辨率约增加 75 像素，增幅 16.7%。 （2）计算垂直分辨率的增幅 由于信号最高频率 fH=5MHz，即最短的信号周期 1/fH=0.2υs。 又因为每个最短周期包含 2 个像素，则有 225 周期/行。那么，每行扫描时间为 0.2υs×225=45υs。加上水平回扫 11υs，每行往返扫描时间为 56υs ，即 56x10-6 s， 假定每屏 V 行，每秒扫描 30 场（帧、屏），则每秒扫描行数为 30V。 因此对于画面刷新，有 30V×56x10-6 = 1s，V = 595 行/屏。目前 NSTL 制式每行只有 525 行。垂直分辨率增加了 70 行，增幅 13.3%。
cos 2 t = cos t cos t = 1 (cos 2t + cos 0) = 1 (cos 2t + 1)
2
2
所以， f (t) = (10 cos t)2 = 100 cos 2 t = 50 + 50 cos 2t
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，}注意单位3-4 设BSC 信道的转移概率矩阵为112211Q εεεε-⎡⎤=⎢⎥-⎣⎦1）写出信息熵()H Y 和条件熵(|)H Y X 的关于1()H ε和2()H ε表达式，其中()log (1)log(1)H εεεεε=----。