信息论基础与编码课后题答案(第三章)
信息论与编码（第3版）第3章部分习题答案
3.1设信源()12345670.20.190.180.170.150.10.01X a a a a a a a P X ⎛⎫⎧⎫=⎨⎬ ⎪⎩⎭⎝⎭ (1) 求信源熵()H X (2) 编二进制香农码(3) 计算平均码长及编码效率。
答：(1)根据信源熵公式()()()()21log 2.6087bit/symbol i i i H X p a p a ==−=∑(2)利用到3个关键公式：①根据()()()100,0i a i k k p a p a p a −===∑计算累加概率；②根据()()*22log 1log ,i i i i p a k p a k N −≤<−∈计算码长；③根据()a i p a 不断地乘m 取整（m 表示编码的进制），依次得到的i k 个整数就是i a 对应的码字根据①②③可得香农编码为(3)平均码长公式为()13.14i i i K p a k ===∑单符号信源L =1，以及二进制m =2, 根据信息率公式()2log bit/symbol m KR K L==编码效率()83.08%H X Rη==3.2对习题3.1的信源编二进制费诺码，计算其编码效率答：将概率从大到小排列，且进制m=2,因此，分成2组（每一组概率必须满足最接近相等）。
根据平均码长公式为()12.74i iiK p a k===∑单符号信源L=1，以及二进制m=2, 根据信息率公式()2log bit/symbolmKR KL==编码效率（信源熵看题3.1）()95.21%H XRη==3.3对习题3.1的信源编二进制赫夫曼码，计算平均码长和编码效率答：将n个信源符号的概率从大到小排列，且进制m=2。
从m个最小概率的“0”各自分配一个“0”和“1”，将其合成1个新的符号，与其余剩余的符号组成具有n-1个符号的新信源。
排列规则和继续分配码元的规则如上，直到分配完所有信源符号。
必须保证两点：(1)当合成后的信源符号与剩余的信源符号概率相等时，将合并后的新符号放在靠前的位置来分配码元【注：“0”位表示在前，“1”表示在后】，这样码长方差更小；(2)读取码字时是从后向前读取，确保码字是即时码。
信息论与编码第3版第3章习题解答
第3章 无失真离散信源编码习题3.1 设信源1234567()0.20.190.180.170.150.10.01X a a a a a a a P X(1) 求信源熵H (X )； (2) 编二进制香农码；(3) 计算其平均码长及编码效率。
解： (1)()()log ()(.log ..log ..log ..log ..log ..log ..log .).7212222222=-020201901901801801701701501501010010012609 i i i H X p a p a bit symbol(2)a i p (a i ) p a (a i ) k i 码字 a 1 0.2 0 3 000 a 2 0.19 0.2 3 001 a 3 0.18 0.39 3 011 a 4 0.17 0.57 3 100 a 5 0.15 0.74 3 101 a 6 0.1 0.89 4 1110 a 70.010.9971111110(3)()3(0.2+0.19+0.18+0.17+0.15)+40.1+70.01=3.1471i i i K k p a()() 2.609=83.1%3.14H X H X R K3.2 对习题3.1的信源编二进制费诺码，计算其编码效率。
解：a i p (a i ) 编 码 码字 k i a 1 0.2 000 2 a 2 0.19 1 0 010 3 a 3 0.18 1 011 3 a 4 0.17 110 2 a 5 0.15 10 110 3 a 6 0.1 10 1110 4 a 70.011 11114()2(0.2+0.17)+3(0.19+0.18+0.15)+4(0.1+0.01)=2.7471i i i K k p a()() 2.609=95.2%2.74H X H X R K3.3 对习题3.1的信源分别编二进制和三进制赫夫曼码，计算各自的平均码长及编码效率。
《信息论与编码》习题解答-第三章
第三章 信道容量-习题答案3.1 设二元对称信道的传递矩阵为⎥⎦⎤⎢⎣⎡3/23/13/13/2 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C3.2 解：(1)αα-==1)(,)(21x p x p⎥⎦⎤⎢⎣⎡=4/14/12/102/12/1P ，⎥⎦⎤⎢⎣⎡---=4/)1(4/)1(2/)1(02/12/1)(αααααj i y x P 4/)1()(,4/14/)(,2/1)(321αα-=+==y p y p y p接收端的不确定度：))1(41log()1(41)4141log()4141()2log(21)(αααα---++-=Y H)1log(41)1log(4123αααα---++-= (2))4log()1(41)4log()1(41)2log()1(210)2log(21)2log(21)|(ααααα-+-+-+++=X Y H α2123-= (3))|()();(X Y H Y H Y X I -=);(max )()(Y X C i x p =α,0)(=ααC d d,得到5/3=α 161.0)5/3();max(===C Y X C 3.3∑==⨯++=+=21919.001.0log 01.099.0log 99.02log log )log(j ij ij p p m C0.919*1000=919bit/s 3.4⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=εεεε-10-10001ij p2/1)()(0)(321===a p a p a p 0)(1=b p2/12/1)1(2/100)|()(),()(222=⨯+-⨯+⨯===∑∑εεi ii ii a b p a p b a p b p2/1-12/12/100)|()(),()(333=⨯+⨯+⨯===∑∑）（εεi ii ii a b p a p b a p b p)()|(log)|();(j i j ji j i b p a b p a b p Y a I ∑=0);(1=Y a Iεεεε2log )1(2log )1(0)()|(log)|();(222+--+==∑j j jj b p a b p a b p Y a I )1(2log )1(2log 0)()|(log)|();(333εεεε--++==∑j j jj b p a b p a b p Y a I当0=ε，1=C 当2/1=ε，0=C 3.5两个信道均为准对称DMC 信道设输入符号概率αα-==1)(,)(21a p a p ， （1） 对于第一种信道的联合概率的矩阵为：⎥⎦⎤⎢⎣⎡---------)1(2)1)(1()1)((2)()1(αεαεαεεααεαεp p p p⎥⎦⎤⎢⎣⎡---)()1(εαεp p 3.6⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=2/1002/12/12/10002/12/10002/12/1P 121log 2121log 214log log )log(41=++=+=∑=ij j ij p p m C3.7解：(1)从已知条件可知：3,2,1,3/1)(==i x p i ，且转移概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=0109101103103525110321)|(i j x y p ，则联合概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡==010330110110115215110161)()|(i i j ij x p x y p p ，因为：),()(∑=ij i j y x p y p ，可计算得到31)(1=y p ，21)(2=y p ，61)(3=y p499.16log 612log 213log 31)(=++=Y H(2)175.1910log 10310log 301310log 101310log10125log 1525log 151310log 1012log 61)|(log )()|(=+++++++=-=∑iji j j i x y p y x p X Y H (3)当接收为2y ，发送为2x 时正确，如果发送为1x 和3x 为错误，各自的概率为： 5/1)|(21=y x p ，5/1)|(22=y x p ，5/3)|(23=y x p 它的错误概率为：5/4)|()|(2321=+=y x p y x p p e(4)从接收端看到的平均错误概率为：===∑∑≠≠ji ij ji j i j e p y x p y p p )|()(收733.010/115/110/310/130/115/2=+++++(5)从发送端看到的平均错误概率为：===∑∑≠≠ji ij ji i j i e p x y p x p p )|()(发733.010/115/110/310/130/115/2=+++++(6)此信道不好，因为信源等概率分布，从转移信道来看，正确发送的概率11y x >-为0.5，有一半失真；22y x >-为0.3，严重失真；33y x >-为0，完全失真。
(完整版)信息论基础与编码课后题答案(第三章)
3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为51661344P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦，求： （1） 信源X 中事件1x 和2x 分别含有的自信息量；（2） 收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量； （3） 信源X 和信宿Y 的信息熵；（4） 信道疑义度(/)H X Y 和噪声熵(/)H Y X ； （5） 接收到消息Y 后获得的平均互信息量(;)I X Y 。
解：（1）12()0.737,() 1.322I x bit I x bit ==（2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-，22(;)0.907I x y bit =（3）()(0.6,0.4)0.971/H X H bit symbol ==()(0.6,0.4)0.971/H Y H bit symbol ==（4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol ==(/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol =（5）(;)0.9710.7140.257/I X Y bit symbol =-=3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。
该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。
验证在该信道上每个字母传输的平均信息量为0.21比特。
证明：信道传输矩阵为：11112666111162661111662611116662P ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦，信源信宿概率分布为：1111()(){,,,}4444P X P Y ==， H(Y/X)=1.79（bit/符号），I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.21（bit/符号）3-3 已知信源X 包含两种消息：12,x x ，且12()() 1/2P x P x ==，信道是有扰的，信宿收到的消息集合Y 包含12,y y 。
姜丹 信息论与编码习题参考答案
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bitP a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(3666样本空间：2221111616==-=∴====-=∴===⨯==(3)信源空间：bit x H 32.436log 3616236log 36215)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率 bitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论与编码习题答案-曹雪虹
3-14
信源 符号 xi x1 x2 x3 x4 x5 x6 x7
符号概 率 pi 1/3 1/3 1/9 1/9 1/27 1/27 1/27 1/3 1/3 1/9 1/9 2/27 1/27 1/3 1/3 1/9 1/9 1/9
编码过程
编码 1/3 1/3 1/3 2/3 1/3 00 01 100 101 111 1100 1101
得p0p1p223当p0或p1时信源熵为0第三章无失真信源编码31321因为abcd四个字母每个字母用两个码每个码为05ms所以每个字母用10ms当信源等概率分布时信源熵为hxlog42平均信息传递速率为2信源熵为hx0198bitms198bitsbitms200bits33与上题相同351hu12log2?14log4?18log8?116log16?132log32?164log64?1128log128?1128log128?1984111111112481632641281282每个信源使用3个二进制符号出现0的次数为出现1的次数为p0p134相应的香农编码信源符号xix1x2x3x4x5x6x7x8符号概率pi12141811613216411281128累加概率pi00507508750938096909840992logpxi12345677码长ki12345677码字010110111011110111110111111011111110相应的费诺码信源符号概符号xi率pix1x2x3x4x5x6x7x812141811613216411281128111第一次分组0第二次分组0第三次分组0第四次分组0第五次分组011第六次分组01第七次分组01二元码0101101110111101111101111110111111105香农码和费诺码相同平均码长为编码效率为
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论与编码技术第三章课后习题答案
Chap3 思考题与习题 参考答案3.1 设有一个信源，它产生0、1 序列的消息。
它在任意时间而且不论以前发生过什么符号，均按P(0)＝0.4，P(1)＝0.6 的概率发出符号。
(1) 试问这个信源是否平稳的? (2) 试计算H(X 2)，H(X 3/X 1X 2)及H ∞。
(3) 试计算H(X 4)，并写出X 4 信源中可能有的所有符号。
解：（1）根据题意，此信源在任何时刻发出的符号概率都是相同的，均按p(0)=0.4，p(1)=0.6，即信源发出符号的概率分布与时间平移无关，而且信源发出的序列之间也是彼此无信赖的。
所以这信源是平稳信源。
(2)23123121()2()2(0.4log 0.40.6log 0.6) 1.942(/)(|)()()log ()(0.4log 0.40.6log 0.6)0.971(/)lim (|)()0.971(/)i i iN N N N H X H X bit symbols H X X X H X p x p x bit symbol H H X X X X H X bit symbol ∞−→∞==−×+===−=−+====∑" (3)4()4()4(0.4log 0.40.6log 0.6) 3.884(/)H X H X bit symbols ==−×+=4X 的所有符号：0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 11113.2 在一个二进制的信道中，信源消息集X={0，1}且p(1)=p(0)，信宿的消息集Y={0，1}，信道传输概率(10)1/p y x ===4，(01)1/p y x ===8。
求：(1) 在接收端收到y=0后，所提供的关于传输消息x 的平均条件互信息I(X ；y=0)； (2) 该情况下所能提供的平均互信息量I(X ；Y)。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为51661344P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦，求： （1） 信源X 中事件1x 和2x 分别含有的自信息量；（2） 收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量； （3） 信源X 和信宿Y 的信息熵；（4） 信道疑义度(/)H X Y 和噪声熵(/)H Y X ； （5） 接收到消息Y 后获得的平均互信息量(;)I X Y 。
解：（1）12()0.737,() 1.322I x bit I x bit ==（2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-，22(;)0.907I x y bit =（3）()(0.6,0.4)0.971/H X H bit symbol ==()(0.6,0.4)0.971/H Y H bit symbol ==（4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol ==(/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol =（5）(;)0.9710.7140.257/I X Y bit symbol =-=3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。
该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。
验证在该信道上每个字母传输的平均信息量为0.21比特。
证明：信道传输矩阵为：11112666111162661111662611116662P ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦，信源信宿概率分布为：1111()(){,,,}4444P X P Y ==， H(Y/X)=1.79（bit/符号），I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.21（bit/符号）3-3 已知信源X 包含两种消息：12,x x ，且12()() 1/2P x P x ==，信道是有扰的，信宿收到的消息集合Y 包含12,y y 。
给定信道矩阵为：0.980.020.20.8P ⎡⎤=⎢⎥⎣⎦，求平均互信息(;)I X Y 。
解：I(X;Y)=H(X)+H(Y)-H(XY)H(X)=1 bit/符号,H(Y)=0.93 bit/符号,H(XY)=1.34 bit/符号, I(X;Y)=0.59 bit/符号。
3-4 设二元对称信道的传递矩阵为：21331233⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦， （1） 若P(0)=34，P(1)=14，求()H X ，(/)H X Y ，(/)H Y X 和(;)I X Y ； （2） 求该信道的信道容量及其达到信道容量时的输入概率分布。
解：（1）H(X)=0.811（bit/符号），H(XY)=1.73（bit/符号），H(Y)=0.98（bit/符号），H(X/Y)=0.75（bit/符号），H(Y/X)=0.92（bit/符号），I(X ；Y)=0.06（bit/符号）；（2）C ＝0.082（bit/符号），最佳输入分布为：11{}22X P = 3-5 求下列两个信道的信道容量，并加以比较：（1） 22p p p p εεεεεε⎡⎤--⎢⎥--⎢⎥⎣⎦ （2） 2002p p p p εεεεεε⎡⎤--⎢⎥--⎢⎥⎣⎦其中1p p +=。
解：（1）1log 2(,,2)(12)log(12)2log 41()log()()log()2log 2(12)log(12)2log 412()log()()log()(12)log(12)C H p p p p p p p p p p εεεεεεεεεεεεεεεεεεεεεεεε=-------=+--+--+----=-+--+-----（2）2log 2(,,2)(12)log(12)2log 21()log()()log()2log 2(12)log(12)2log 21()log()()log()(12)log(12)C H p p p p p p p p p p εεεεεεεεεεεεεεεεεεεεεεε=-------=+--+--+----=+--+-----两者的信道容量比较：212C C ε=+3-6 求题图3-6中信道的信道容量及最佳的输入概率分布。
并求当0ε=和12时的信道容量C 。
0012121ε-X Y题图 3-6解：由图知信道转移矩阵为：1000101P εεεε⎡⎤⎢⎥=-⎢⎥⎢⎥-⎣⎦，此信道非对称信道，也非准对称信道，不能利用其公式计算。
此信道也不能采用先假设一种输入分布，利用信道容量解的充要性来计算。
但此信道矩阵是非奇异矩阵，又r ＝s ，则可利用方程组求解：3311(/)(/)log (/),1,2,3ji j j i j i j j P ba Pb a P b a i β====∑∑，所以123230(1)(1)log(1)log (1)(1)log(1)log βεβεβεεεεεβεβεεεε=⎧⎪-+=--+⎨⎪+-=--+⎩ 解得：10β=，23(1)log(1)log ββεεεε==--+，所以1()log 2log[12]j H jC βε-==+∑，11()22C C p b β--==，2()2()22C H C p b βε---==，3()3()22C H C p b βε---==，根据31()()(/),1,2,3j iji i P b P a P ba j ===∑，得最佳输入分布为：11()()2C p a p b -==，()2323()()()()2H C p a p a p b p b ε--====，当ε＝0时，此信道为一一对应信道，1231log3,()()()3C p a p a p a ====；当ε＝0.5时，12311log 2,(),()()24C p a p a p a ====。
3-7 有一个二元对称信道，其信道矩阵为0.980.020.020.98⎡⎤⎢⎥⎣⎦。
设该信道以1500个二元符号每秒的速率传输输入符号。
现有一消息序列共有14000个二元符号，并设在这个消息中，(0)(1)1/2P P ==。
问从信息传输的角度来考虑，10秒内能否将这消息序列无失真地传送完？解：信道容量：C ＝0.859（bit/符号），15000.8591288(/)t C bit s =⨯=，10秒内最大信息传输能力＝12880 bits ，消息序列含有信息量＝14000 bits ，12880<14000，所以10秒内不能将这消息序列无失真地传送完。
3-8 有一离散信道，其信道转移概率如题图3-8所示，试求： （1） 信道容量C ；（2） 若2ε＝0，求信道容量。
11ε1εε--12题图 3-8解：（1）112212121(1)loglog (1)log(1)2C εεεεεεεε-=--++---- （2）若20ε=，则11C ε=- 3-9 设离散信道矩阵为：1111336611116363P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦， 求信道容量C 。
解：C ＝0.041（bit/符号）。
3-10 若有一离散非对称信道，其信道转移概率如题图3-10所示。
试求：111/21/21/43/4题图 3-10（1） 信道容量1C ；（2） 若将两个同样信道串接，求串接后的转移概率； （3） 求串接后信道的信道容量2C 。
答案：（1）此信道转移概率矩阵11221344P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦，信道容量1C ＝0.0487 bit/符号； （2）串接后的转移概率矩阵35885111616P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦；（3）串接后信道的信道容量2C ＝0.0033 bit/符号。
3-11 设有一离散级联信道如题图3-11所示。
试求：x 1x 0y 1y 0z 1z 2z 3434题图 3-11（1）X 与Y 间的信道容量1C ； （2） Y 与Z 间的信道容量2C ；（3）X 与Z 间的信道容量3C 及其输入分布()P x 。
答案：（1）11()C H ε=-（2）2C ＝0.75 （bit/符号） （3）X 、Z 间信道转移概率矩阵为313310(1)1444441313310(1)44444εεεεεεεε⎡⎤⎡⎤-⎢⎥⎢⎥-⎡⎤=⎢⎥⎢⎥⎢⎥-⎣⎦⎢⎥⎢⎥-⎢⎥⎢⎥⎣⎦⎣⎦它是准对称信道，当输入等概率分布时达到信道容量。
()p x ＝{0.5,0.5}333331.06(1)log (1)log 4444C εεεε=+--+3-12 若有两个串接的离散信道，它们的信道矩阵都是：00100011100220010P ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦， 并设第一个信道的输入符号1234{,,,}X a a a a ∈是等概率分布，求(;)I X Z 和(;)I X Y 并加以比较。
解：串接后信道矩阵为'000100010010000100010010111100010000222211000010001022P PP ⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥===⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦1111()[,,,]8842p Y =，(;)()(/) 1.5I X Y H Y H Y X =-= 比特/符号1111()[,,,]8824p Z =，(;)()(/) 1.5I X Z H Z H Z X =-= 比特/符号可见，(;)(;)I X Z I X Y =3-13 若X ，Y ，Z 是三个随机变量，试证明：（1）();(;)(;/)(;)(;/)I X YZ I X Y I X Z Y I X Z I X Y Z =+=+； （2）();/(;/)(/)(/)I X Y Z I Y X Z H X Z H X YZ ==-；（3）();/0I X Y Z ≥,当且仅当（X Y Z ，，）是马氏链时等式成立。
3-14 若三个离散随机变量有如下关系：X Y Z =+，其中X 和Y 相互独立，试证明： （1） (;)()()I X Z H Z H Y =-；（2） (;)()I XY Z H Z =； （3） ();()I X YZ H X =； （4） ();/()I Y Z X H Y =；（5）();/(/)(/)I X Y Z H X Z H Y Z ==。