信息论与编码习题参考答案
信息论与编码 陈运主编 完整版答案
2.9 设有一个信源，它产生 0，1 序列的信息。它在任意时间而且不论以前发生过什么符号， 均按 P(0) = 0.4，P(1) = 0.6 的概率发出符号。 (1) 试问这个信源是否是平稳的？ (2) 试计算H(X2), H(X3/X1X2)及H∞； (3) 试计算H(X4)并写出X4信源中可能有的所有符号。
+ p(e2 ) ) + p(e3
p(x1 / ) p(x2
e2 ) / e3
= p⋅ )= p
p(e1 ) ⋅ p(e2
+p )+
⋅ p
p(e2 ) ⋅ p(e3
=( )=
p + p) / 3 = 1/ 3 ( p + p) / 3 = 1/ 3
⎪ ⎪⎩
p(
x3
)
=
p(e3 ) p(x3
/ e3 ) +
p(xi1xi2 xi3 ) log
p ( xi 3 p(xi3 /
/ xi1) xi1xi2 )
∑ ∑ ∑ ≤
i1
i2
i3
p(xi1xi2 xi3 )⎜⎜⎝⎛
p( xi 3 p(xi3 /
/ xi1) xi1xi2 )
−1⎟⎟⎠⎞ log2
e
∑∑∑ ∑∑∑ = ⎜⎛ ⎝ i1
i2
i3
p(xi1xi2 ) p(xi3 / xi1) −
所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和 3 倍。
2.2 居住某地区的女孩子有 25%是大学生，在女大学生中有 75%是身高 160 厘米以上的，而女
孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大
姜丹 信息论与编码习题参考答案
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bitP a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(3666样本空间：2221111616==-=∴====-=∴===⨯==(3)信源空间：bit x H 32.436log 3616236log 36215)(=⨯⨯+⨯⨯=∴ (4)信源空间： bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率 bitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论与编码课后答案
2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p == (0|01)(10|01)p p == (0|11)(10|11)0.2p p == (0|10)(00|10)p p == (1|00)(01|00)0.2p p == (1|01)(11|01)p p==(1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.7 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫=⎪ ⎪⎝⎭⎝⎭（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：122118()log log 1.415()3I x bit p x === 同理可以求得233()2,()2,()3I x bit I x bit I x bit ===因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++= 平均每个符号携带的信息量为87.811.9545=bit/符号2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。
信息论与编码试题与答案
1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
信息论与编码习题答案
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。
5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。
6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。
7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。
若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。
二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
（√ ）2. 线性码一定包含全零码。
（√ ）3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。
姜丹信息论与编码习题参考答案
©H.F.
2002 Copyright EE Lab508
1.7 设某彩电系统， 除了满足对于黑白电视系统的上述要求外， 还必须有 30 个不同的色彩度。 试证明传输这种彩电系统的信息率要比黑白系统的信息率大 2.5 倍左右。 证:
增加30个不同色彩度, 在满足黑白电视系统要求下, 每个色彩度需要10个亮度, 所以每个像素需要用30 10 300bit 量化 每个像素的熵是： H( x1 ) p(bi ) log p(bi ) log 300bit / pels
H ( x ) 15
(4)信源空间： X P(x) 2 1/36
2 36 1 log 6 log 36 4.32bit 36 2 36
3 2/36 4 3/36 5 4/36 6 5/36 7 6/36 8 5/36 9 4/36 10 3/36 11 2/36 12 1/36
对于男士 : 回答“是”的信息量：I ( m y ) log P( m y ) log 7% 3.84bit 回答“不是”的信息量：I ( m n ) log P( m n ) log 93% 0.105bit 平均每个回答信息量：H ( m) P( m y ) log P( m y ) P( m n ) log P( m n ) -7% log7% - 93% log93% 0.366bit 对于女： 回答“是”的信息量：I ( w y ) log P( w y ) log 0.5% 回答“不是”的信息量：I ( m n ) log P( m n ) log 99.5% 平均每个回答信息量：H ( m) P( w y ) log P( w y ) P( w n ) log P( w n ) -0.5% log0.5% - 99.5% log99.5% 0.0454bit
《信息论与编码》部分课后习题参考答案
1 5 1 5 1 1 1 1 1 1 1 1 = − 2 × log + 2 × log + 2 × log + 2 × log + 2 × log + log 6 36 6 36 9 9 12 12 18 18 36 36 = 3.274 bit / symbol
2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几？”则答案中含有多 少信息量？如果你在已知今天是星期四的情况下提出同样的问题， 从别人的答案中你能获得 多少信息量（假设已知星期一至星期日得排序）？ 答：若不知道今天是星期几，则答案可能有 7 种，这 7 种都是有价值的，所以答案的信息量 为：
2.5 4 个等概率分布的消息 M1、M2、M3、M4 被送入如题所示的信道进行传输，通过编码 使 M1=00，M2=01、M3=10、M4=11.求输入是 M1 和输出的第一个符号是 0 的互信息量是多 少?如果知道第二个符号也是 0，这时带来多少附加信息量？ X 0 p p 1 1-p 1-p Y
I(X N ) I (Y )
=
2.1 × 106 13.29
= 1.58 ×105 字
2.4 某居住地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6 米以上的，而女 孩中身高 1.6 米以上的占总数一半。假如我们得知“身高 1.6 米以上的某女孩是大学生”的
消息，问获得多少信息量？ 答：设随机变量 X 代表女孩子学历 X x1（是大学生） x2（不是大学生） P(X) 0.25 0.75 设随机变量 Y 代表女孩子身高 Y y1（身高>160cm） P(Y) 0.5
第二章
2.1 同时掷两个骰子，设每个骰子各个面向上的概率都是 1/6。试求： （1）事件“2 和 6 同时出现”的自信息量； （2）事件“两个 3 同时出现”的自信息量； （3）事件“两个点数中至少有一个是 5”的自信息量； （4）两个点数之和的熵。 答： （1）事件“2 和 6 同时出现”的概率为：
信息论与编码理论习题答案
第二章 信息量和熵2.2八元编码系统，码长为3，第一个符号用于同步,每秒1000个码字,求它的信息速率.解:同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s2。
3 掷一对无偏骰子，告诉你得到的总的点数为:(a ） 7； （b) 12。
问各得到多少信息量.解:(1) 可能的组合为 {1，6｝，｛2，5}，｛3，4},{4，3｝,{5，2｝,｛6,1｝)(a p =366=61得到的信息量 =)(1loga p =6log =2。
585 bit (2） 可能的唯一，为 {6,6｝)(b p =361得到的信息量=)(1logb p =36log =5。
17 bit2.4 经过充分洗牌后的一副扑克(52张）,问：（a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量?解:（a ） )(a p =!521信息量=)(1loga p =!52log =225.58 bit （b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13。
208 bit2.9随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解:令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立,则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6 =3。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。
求传输此图象所需要的信息率（bit/s ）。
解：bit/s 104.98310661.130)/)(()/(R bit/frame10661.1322.3105)(H 105)(H bit/pels322.310log )(log )()(H 7665051010⨯=⨯⨯=⨯=∴⨯=⨯⨯=⨯⨯====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性：由于亮度电平等概出现1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。
试证明传输这种彩电系统的信息率要比黑白系统的信息率大2.5倍左右。
证:.5.2,,5.25.2477.210log 300log )(H )(H pels/bit 300log )(log )()(H bit 3001030,10,,300130011倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=⨯∑=x x b p b p x i i i1.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。
问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？ 解:个汉字最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量55665510322.6/10322.61.0log 101.2)()()()(,log H(c):1.0100001000symble /bit 101.2128log 103)(103)(:⨯∴⨯=-⨯=≥≤-=∴==⨯=⨯⨯=⨯⨯=frame c H X H n c nH X H n p p x H X H1.9给定一个概率分布),...,,(21n p p p 和一个整数m ，nm ≤≤0。
定义∑=-=mi im p q 11，证明：)log(),,...,,(),...,,(2121m n q q p p p H p p p H m m m n -+≤。
并说明等式何时成立？证：∑∑+==--=>-=<-=''-=''∴>-=''-=''>-=nm i iimi i i n pp p p p p p H x x x x f x ex x x f x x ex x x f x x x x f 1121log log ),...,,()0(log )( 0log )log ()(0 log )log ()()0(log )( 又为凸函数。
即又为凸函数，如下：先证明时等式成立。
当且仅当时等式成立。
当且仅当即可得：的算术平均值的函数，函数的平均值小于变量由凸函数的性质，变量n m m m m m n mm m i i i m m m m m mi i i nm i iimi i i n n m m m m m nm i iimm nm i inm i inm i inm i i nm i ii p p p m n q q p p p H p p p H q q p p q p p p H m n q q q p p pp p p p p p H p p p m n q q q pp mn qq m n p m n p m n m n p f m n mn p f m n pp ===-+≤--=-+--≤--=∴===-+-≤---=----=---≤---=-++==+==+++=+=+=+=+=+=∑∑∑∑∑∑∑∑∑∑...)log(),,...,,(),...,,(log log ),,...,,()log(log log log log ),...,,(...)log(log log log log )()()()()(log 21212112111121211111112.13把n 个二进制对称信道串接起来，每个二进制对称信道的错误传输概率为p(0<p<1)，试证明：整个串接信道的错误传输概率p n =0.5[1-(1-2p)n ]。
再证明：n →∞时，limI(X 0;X n )=0。
信道串接如下图所示：解：1log )( )()(log)()()(log)();(lim )10)(()(21)1( 21)10()0()00()0()0(:)10(1)1(,)0(:21])21(1[21lim lim 121])21(1[21])21(1[21])21(1[21])21(1[21])21(1[21])21(1[21 11])21(1[21])21(1[21])21(1[21])21(1[21][,])21(1[212222221221221111][:2:000000000000000====∴=∴=====•=+==•===<<-=====--=∴<---=--=∴⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-+-----+=⎥⎦⎤⎢⎣⎡--•⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-+-----+==--=-=∴⎥⎦⎤⎢⎣⎡-+-+--=⎥⎦⎤⎢⎣⎡--•⎥⎦⎤⎢⎣⎡--==∑∑∑∑∑∑X X p X p X X p X X p X p X X p X X p X X I x x x p x x p X p X X p X p X X p X p X p X a a X p a X p X p P p p P p P p p p p p p p p p p p p P k n p p p p p p pp p p p p p p p p p p p pP n 或取、则输出信源其中设输入信源空间故则时公式成立假设时由当用数学归纳法证明2.18试求下列各信道矩阵代表的信道的信道容量： (1)⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0010100000010100][ 432114321a a a a P b b b b(2)⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎣⎡=100100010010001001][b b b a a a a a a P(3)⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=3.01.02.04.000000000007.03.000000000004.03.02.01.0][b b b b b b b b b b 3213109876 54321a a a P解：bit/symble585.13log log :(3)bit/symble 585.13log log (2)symble /bit 24log log )1(======∴===∴r C s C r C 信道为扩张性无噪信道信道为归并性无噪信道系的无噪信道信道为一一对应确定关 2.19设二进制对称信道的信道矩阵为：⎥⎦⎤⎢⎣⎡=4/34/14/14/310][1 0 PX n(1) 若p(0)=2/3，p(1)=1/3，求H(X)，H(X/Y)，H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到的输入概率分布。
解：bit/symble8113.0)43log 433141log 413241log 413143log 4332( )(log )()()(log )()(bit/symble 9799.0)125log 125127log 127()(log )()(12543314132)1()()1(12741314332)0()()0(bit/symble9183.0)31log 3132log 32()(log )()()1(=⨯+⨯+⨯+⨯-=-=-==⨯+⨯-=-==⨯+⨯====⨯+⨯====⨯+⨯-=-=∑∑∑∑∑∑∑∑x y p x y p x p x y p y x p X Y H y p y p Y H x y p x p p x y p x p p x p x p X H.时达到信道容量21)1()0(即,信源输入为等概分布/1887.01log 25.0)25.0(2log )1log()(log 本信道为强对称信道7497.01686.09183.0);()()(1686.08113.09799.0)()();(C X p X p H r H r C Y X I X H Y X H X Y H Y H Y X I =====--=---=∴=-=-==-==∴symble bit (2)bit/symblebit/symble-εε2.21设某信道的信道矩阵为⎥⎦⎤⎢⎣⎡=3/13/16/16/16/16/13/13/1][ b b b b 214321a a P试求：(1)该信道的信道容量C ； (2)I(a 1;Y)； (3)I(a 2;Y)。
解:bymble/bit 0817.0);();()3()2(symble /bit 0817.0)61,61,31,31(4log ),,,(log 1214321====-=''''-=∴C Y a I Y a I H p p p p H s C 、道）本信道为对称离散信（2.27设某信道的信道矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=N p p p P0000][21其中P ,P ，…，P是N 个离散信道的信道矩阵。
令C ，C ，…，C 表示N 个离散信道的容量。
试证明，该信道的容量∑==Ni c iC 12log 比特/符号，且当每个信道i 的利用率p ＝2(i ＝1,2,…,N)时达其容量C 。
证明::)1(,]P [),](2log[)1(),2,1()/(log )/()/(),2,1(:11111可以改写为方程组特点由其中可得解出由方程组列行为设∑∑∑∑∑===========⨯Nm m N m m sj j sj i j i j sj j i j m m m l r k s C r i a b p a b p a b p N m k l P βββ]2log[),,2,1(222:]2log[])2(log[]2log[22),,,2,1](2log[)2(),2,1( )/(log )/()/()/(log )/()/()/(log )/()/(1)()2log (1)(11111111111221221111111∑∑∑∑∑∑∑∑∑∑∑∑∑∑=--∑=-====================∴====⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧===Nm C C C C k j C m Nm C Nm k j sj C k j k j m s j i j pn i j pn k j j pn ij pn s j i j p i j p k j j p i j p sj i j p i j p k j j p i j p C N m p C N m C r i a b p a b p a b p a b p a b p a b p a b p a b p a b p 时取得信道容量且在各信道利用率为即其中 ββββββββ第三章 多符号离散信源与信道3.1设X ＝X 1X 2…X N 是平稳离散有记忆信源，试证明：H(X 1X 2…X N )=H(X 1)+ H(X 2/ X 1)+H(X 3/ X 1 X 2)+…+H(X N / X 1 X 2…X N 1)。