信息论与编码理论1(B卷答案)

合集下载

信息论与编码理论习题答案

资料范本本资料为word版本，可以直接编辑和打印，感谢您的下载信息论与编码理论习题答案地点：__________________时间：__________________说明：本资料适用于约定双方经过谈判，协商而共同承认，共同遵守的责任与义务，仅供参考，文档可直接下载或修改，不需要的部分可直接删除，使用时请详细阅读内容第二章信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。

解：同步信息均相同，不含信息，因此每个码字的信息量为 2=23=6 bit因此，信息速率为 61000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。

问各得到多少信息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} ==得到的信息量 ===2.585 bit(2) 可能的唯一，为 {6，6}=得到的信息量===5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) =信息量===225.58 bit(b)==信息量==13.208 bit2.9 随机掷3颗骰子，X表示第一颗骰子的结果，Y表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求、、、、。

解：令第一第二第三颗骰子的结果分别为，，，相互独立，则，，==6=2.585 bit===2(36+18+12+9+)+6=3.2744 bit=-=-[-]而=，所以= 2-=1.8955 bit或=-=+-而= ，所以=2-=1.8955 bit===2.585 bit=+=1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。

奇数在传送过程中以0.5的概率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。

信息论与编码试卷及答案(多篇)

一、概念简答题（每题5分，共40分）1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

2.简述最大离散熵定理。

对于一个有m个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

最大熵值为。

3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？答：信息传输率R指信道中平均每个符号所能传送的信息量。

信道容量是一个信道所能达到的最大信息传输率。

信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。

平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。

4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。

答：通信系统模型如下：数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有，。

说明经数据处理后，一般只会增加信息的损失。

5.写出香农公式，并说明其物理意义。

当信道带宽为5000Hz，信噪比为30dB时求信道容量。

.答：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。

由得，则6.解释无失真变长信源编码定理。

.答：只要，当N足够长时，一定存在一种无失真编码。

7.解释有噪信道编码定理。

答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。

8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。

2）因为失真矩阵中每行都有一个0，所以有，而。

二、综合题（每题10分，共60分）1.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3，白色出现的概率为0.7。

信息理论与编码答案人民邮电出版社

第一章自我测试题一、填空题1. 在认识论层次上研究信息的时候，必须同时考虑到形式、__语义___和__语用___三个方面的因素。

2. 如果从随机不确定性的角度来定义信息，信息是用以消除__随机不确定性___的东西。

3. 信源编码的结果是__减小_冗余；而信道编码的手段是__增加___冗余。

4. _1948_年，香农发表了著名的论文__通信的数学理论__，标志着信息论诞生。

5. 信息商品是一种特殊商品，它有__保存性_性、_共享_性、_老化可能_性和知识创造性等特征。

二、判断题1. 信息传输系统模型表明，噪声仅仅来源于信道（×）2. 本体论层次信息表明，信息不依赖于人而存在（√）3. 信道编码与译码是一对可逆变换（×）4. 1976年，论文《密码学的新方向》的发表，标志着保密通信研究的开始（×）5. 基因组序列信息的提取和分析是生物信息学的研究内容之一（√）三、选择题1.下列表述中，属于从随机不确定性的角度来定义信息的是__D___ A ．信息是数据B ．信息是集合之间的变异度C ．信息是控制的指令D ．信息是收信者事先不知道的报道 2.___B__是最高层次的信息 A ．认识论 B ．本体论 C ．价值论 D ．唯物论 3.下列不属于狭义信息论的是__D___ A ．信息的测度 B ．信源编码 C ．信道容量 D ．计算机翻译 4.下列不属于信息论的研究内容的是__A___ A ．信息的产生 B ．信道传输能力 C ．文字的统计特性 D ．抗干扰编码 5.下列关于信息论发展历史描述不正确的是__B___A ．偶然性、熵函数引进物理学为信息论的产生提供了理论前提。

B ． 1952年，香农发展了信道容量的迭代算法C ．哈特莱用消息可能数目的对数来度量消息中所含有的信息量，为香农创立信息论提供了思路。

D ． 1959年，香农首先提出率失真函数和率失真信源编码定理，才发展成为信息率失真编码理论。

《信息论》期末考试B卷答案

第1 页共5 页北方民族大学试卷课程代码: 01100622 课程：信息理论及编码 B 卷答案说明：此卷为《信息理论及编码》B 卷答案一、概念简答题（每小题6分，共30分）1、比较平均自信息（信源熵）与平均互信息的异同.答：平均自信息为 ()()()1log qiii H X P a P a ==-∑,表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量.………………………………………(3分)平均互信息()()()(),;log X YyP x I X Y P xy P y =∑.表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量.………………………………………(3分)2、简述香农第一定理。

答：对于离散信源S 进行r 元编码,只要其满足()_log H s NNrL ≥，…………………（3分）当N 足够长，总可以实现无失真编码。

………………………………………(3分）3、简述唯一可译变长码的判断方法？答：将码C 中所有可能的尾随后缀组成一个集合F ，当且仅当集合F 中没有包含任一码字时，码C 为唯一可译变长码。

构成集合F 的方法：…………………(2分)首先，观察码C 中最短的码字是否是其他码字的前缀.若是，将其所有可能的尾随后缀排列出.而这些尾随后缀又可能是某些码字的前缀,再将由这些尾随后缀产生的新的尾随后缀列出。

依此下去，直至没有一个尾随后缀是码字的前缀或没有新的尾随后缀产生为止.…………………(2分）接着，按照上述步骤将次短的码字直至所有码字可能产生的尾随后缀全部列出，得到尾随后缀集合F 。

…………………(2分)4、简述最大离散熵定理.第2 页共5 页答：最大离散熵定理为：对于离散无记忆信源，当信源等概率分布时熵最大。

……（3分）对于有m 个符号的离散信源，其最大熵为log m 。

…………………………（3分)5、什么是汉明距离；两个二元序列1230210,0210210i j αβ==,求其汉明距离.答：长度相同的两个码字之间对应位置上不同的码元的个数,称为汉明距离。

信息论和编码理论习题集答案解析

信息论和编码理论习题集答案解析第二章信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。

解：同步信息均相同，不含信息，因此每个码字的信息量为2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。

问各得到多少信息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=61 得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=)(1log b p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521 信息量=)(1loga p =!52log =225.58 bit (b) 花色任选种点数任意排列13413!13)(b p =1352134!13A ?=1352134C 信息量=1313524log log -C =13.208 bit2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。

信息论与编码试题集与答案

信息论与编码试题集与答案1. 在⽆失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。

2. 要使通信系统做到传输信息有效、可靠和保密，必须⾸先信源编码，然后_____加密____编码，再______信道_____编码，最后送⼊信道。

3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的⾹农公式是log(1)C W SNR =+；当归⼀化信道容量C/W 趋近于零时，也即信道完全丧失了通信能⼒，此时E b /N 0为 -1.6 dB ，我们将它称作⾹农限，是⼀切编码⽅式所能达到的理论极限。

4. 保密系统的密钥量越⼩，密钥熵H (K )就越⼩，其密⽂中含有的关于明⽂的信息量I (M ；C )就越⼤。

5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。

6. 设输⼊符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。

输⼊信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001??；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010??。

7. 已知⽤户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。

若⽤户B 向⽤户A 发送m =2的加密消息，则该加密后的消息为 8 。

⼆、判断题1. 可以⽤克劳夫特不等式作为唯⼀可译码存在的判据。

（√ ）2. 线性码⼀定包含全零码。

（√ ）3. 算术编码是⼀种⽆失真的分组信源编码，其基本思想是将⼀定精度数值作为序列的编码，是以另外⼀种形式实现的最佳统计匹配编码。

信息论与编码试题集与答案(新)

1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。

2. 要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后_____加密____编码，再______信道_____编码，最后送入信道。

3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。

4. 保密系统的密钥量越小，密钥熵H (K )就越小，其密文中含有的关于明文的信息量I (M ；C )就越大。

5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。

6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。

输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。

7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。

若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。

二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。

（√ ）2. 线性码一定包含全零码。

（√ ）3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的编码，是以另外一种形式实现的最佳统计匹配编码。

信息理论与编码参考答案.docx

一副充分洗乱的牌（含52 ），：（1）任一特定排列所出的不确定性是多少（2）随机抽取 13 牌， 13 牌的点数互不相同的不确定性是多少解：（ 1） 52 扑克牌可以按不同的序排列，所有可能的不同排列数就是全排列种数，P5252528.0661067因扑克牌充分洗乱，任一特定排列出的概率相等，事件 A 任一特定排列，其生概率P A1 1.2410 6852可得，排列生所出的信息量I A log2 P A log 2 52225.58 bit67.91 dit（ 2）事件 B 从中抽取13 牌，所出的点数互不相同。

扑克牌 52 中抽取13 ，不考排列序，共有C5213种可能的合。

13 牌点数互不相同意味着点数包括A，2，⋯， K，而每一种点数有 4 种不同的花色意味着每个点数可以取 4 中花色。

所以13 牌中所有的点数都不相同的合数413。

因每种合都是等概率生的，所以P B4134131339 1.0568 10 4C521352生事件 B 所得到的信息量I B log P B log41313.208 bit2 C52133.976 dit在一只布袋中装有100 只人手的感完全相同的木球，每只上涂有 1 种色。

100只球的色有下列三种情况：(1)色球和白色球各 50 只；(2)色球 99 只，白色球 1 只；(3)，黄，，白色各 25 只。

求从布袋中随意取出一只球，猜其色所需要的信息量。

解：猜木球色所需要的信息量等于木球色的不确定性。

令R——“取到的是球”，W——“取到的是白球”，Y——“取到的是黄球”，B——“取到的是球” 。

（ 1）若布袋中有色球和白色球各50 只，即P R P W501 10021I R I W log2 2log 2 2 1 bit（ 2）若布袋中色球99 只，白色球 1 只，即P R99 0.99 P W10.01100100则I Rlog 2 P R log 2 0.99 0.0145 bitI Wlog 2 P Wlog 2 0.01 6.644 bit（ 3）若布袋中有红，黄，蓝，白色各25 只，即P RP YP BP W25 11004则1I RI YI BI Wlog242 bit设信源为Xx 1 x 2 x 3x 4x 5x 6P X0.20.190.18 0.17 0.16 0.1766求P x i log 2 P x i ，井解释为什么P x i log 2 P x ilog 2 6 ，不满足信源熵的ii极值性。

信息论与编码理论-习题答案-姜楠-王健-编著-清华大学

第1章绪论1.1 信源、编码器、信道、干扰、译码器、信宿 1.2 香农1.3 通信系统模型1.4信号是消息的表现形式，是物理的，比如电信号、光信号等。

消息是信息的载荷者，是信号的具体容，不是物理的，但是又比较具体，例如语言、文字、符号、图片等。

信息包含在消息中，是通信系统中被传送的对象，消息被人的大脑所理解就形成了信息。

1.5 略第2章信息的统计度量2.1 少2.2 y 的出现有助于肯定x 的出现、y 的出现有助于否定x 的出现、x 和y 相互独立 2.3 FTTTF 2.4 2.12比特2.5依题意，题中的过程可分为两步，一是取出一枚硬币恰好是重量不同的那一枚，设其发生的概率为1p ，由于每枚硬币被取出的概率是相同的，所以1181p =所需要的信息量()()1log 6.34I A p bit =-=二是确定它比其他硬币是重还是轻，设其发生的概率为2p ，则212p =总的概率12111812162p p p ==⨯=所需要的信息量()log log1627.34I p bit =-==2.6 设A 表示“大学生”这一事件，B 表示“身高1.60m 以上”这一事件，则()()()0.250.5|0.75p A p B p B A ===故()()()()()()|0.750.25|0.3750.5p AB p A p B A p A B p B p B ⨯====()()()11|loglog 1.42|0.375I A B bit p A B ===2.7 四进制波形所含的信息量为()log 42bit =，八进制波形所含信息量为()log 83bit =，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。

2.8()()()()()()2322log 3log 32log 3 1.585I p bit I p bit I I =-=-==故以3为底的信息单位是比特的1.585倍。

【西安电子科技大学】信息论与编码理论试题-l答案（供参考勿外传）

西安电子科技大学考试时间120分钟试题1.考试形式：闭卷；2.本试卷共七大题，满分100分。

班级学号姓名任课教师一（30分）基本概念题（1）请判断正误：平均互信息I （X ；Y ）不大于条件平均互信息I （X ；Y|Z ）。

（2）请给出Kraft 不等式，并说明它是否为判断唯一可译码的充要条件。

（3）请说明最大似然译码准则是否为最佳译码准则。

（4）请给出信息率失真函数R(D)的定义并解释其物理含义。

（5）请说明为什么对于平均功率受限的时间离散恒参可加噪声信道，高斯干扰是最坏的干扰及该结论在实际通信中的作用。

（6）设有一硬币，其正面出现的概率为1/3，令0表示正面，试说明在ε→0情况下一个典型序列应具备的特点，并给出这一序列出现的概率。

（7）若失真矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡130102，输入集合X 的概率为（1/3、1/3、1/3），请分别给出D min和D max 。

解：（1）该结论错误。

（2）craft 不等式：长度为n 1,n 2,…,n K 的D 元异字头码存在的充分必要条件是∑=-≤Kk knD11。

该不等式可以用来判断是否存在对应长度的唯一可译码，但是不能作为判断唯一可译码的充要条件。

（3）当先验等概时，最大似然准则等价于最佳译码准则；当先验不等概时，不符合最佳译码准则。

（4）信息率失真函数R (D )定义为在满足D 保真度准则下所有许可试验信道所对应的平均互信息的最小值。

其物理含义为：当给定失真度D 时，R(D)是满足保真度第2页共6页准则情况下传输信源信息速率的最低值，即信源压缩的下限。

（5）对平均功率受限的时间离散的恒参可加噪声信道容量C 满足：⎥⎦⎤⎢⎣⎡+≤≤⎪⎪⎭⎫ ⎝⎛+222log 211log 21σσσS C S 其中-2σ是噪声集Z 的熵功率。

由于在平均功率受限条件下，同样噪声功率时，高斯分布可以达到最大的熵功率，从而在高斯噪声时，上述C 取得最小值。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

2011-2012 信息论与编码理论1 B 卷答案
一、单项选择题（每题3分，总计15分） 1．当底为e 时，熵的单位为（ C ）。

A 奈特
B 哈特
C 奈特/符号
D 哈特/符号 2．下列关系式中( B )正确。

A )();(X I Y X I ≥
B );(),(Y X I Y X H ≥
C )|()|(X Y H Y X H ≥
D );();(Y X H Y X I ≤
3．下列（ D ）陈述是正确的。

A Shannon 编码是最优码
B LZ 编码是异字头码
C Huffman 编码可以不需要知道信源的分布
D 典型序列的数目不一定比非典型的多 4．下列数组中（ A ）不满足二个字母上的Kraft 不等式。

A (1，1，1)
B (2,2,2,2)
C (3,3,3)
D （4，4，4） 5．下列（ D ）是只对输出对称的。

A ⎪⎪⎪⎪
⎭
⎫ ⎝⎛316
121216131 B ⎪⎪⎪⎭⎫ ⎝⎛2.04.04.04.02.04.04.04.02.0 C ⎪⎪⎪⎪
⎪
⎪⎭
⎫ ⎝⎛32313132
3231 D ⎪⎪⎭
⎫ ⎝⎛2.04.04.04.02.02.0 二、填空题（每空2分，总计20分）
1．若二元离散无记忆中25.0)0(=p ，75.0)1(=p ，则当给出100比特的信源序列，其中有5个1，则其自信息为3log 52002-比特，整个序列的熵为)3log 4
3
2(1002-
比特/符号. 2．若某离散信道信道转移概率矩阵为⎥⎥
⎥⎦⎤⎢⎢⎢⎣⎡5.025.025.025.05.025.025.025.05.0，则其信道容量为5.13log 2-比
特/符号；转移概率矩阵为⎥⎥⎥⎦
⎤
⎢⎢⎢⎣⎡25.05.025.05.025.025.025.025.05.0，则其信道容量为5.13log 2-比特/符号。

3. 两个相同的BSC 做级联信道，其信道转移矩阵分别为⎥⎦⎤
⎢
⎣⎡--p p
p p 11 ，则级联信道的信道转移矩阵为⎥⎦⎤⎢⎣⎡+---+-22222212222221p p p
p p p p p ，无穷多个级联后的矩阵为⎥⎦⎤
⎢⎣⎡5.05.05.05.0。

4．若一个信道的输入熵为6.2)(=X H 比特/符号，输出熵为3.2)(=Y H 比特/符号，
7.1);(=Y X I 比特/符号，则=),(Y X H 3.2比特/符号，散布度为0.6比特/符号。

5．在二元LZ 编码中，若信源有K 个，某段信源序列共有M 个字典，则码长
⎡⎤⎡⎤K M 22log log +。

6．存在D 元唯一可译码，其平均码长必小于
1log )
(+D
U H 。

三、判断题（每题2分，总计10分） 1. 概率小的事件自信息大（√ ）
2. 若一个码字集合中的码字长度满足Kraft 不等式，则其必为逗点码。

（⨯ ）
3. 若码字都被配置在树的叶子节点处，则这种码一定是异字头码。

（ √ ）
4. 平均互信息是下凸函数。

（ ⨯ ）
5. 算数编码需要知道信源的分布。

（√）四、计算题（55分）
1）（15分）设随机变量Y X ,的联合概率分布如下：
XY Z =。

分别求);(),|(),(),(Z X I Y X H Y H X H 。

解: X 的分布率为
则1)(=X H 比特/符号.
Y 的分布率为
则3log 4
3
2)(2-=Y H 比特/符号.
)0()0,0()0|0(====
==Y P Y X p Y X p =1,)1()1,0()1|0(======Y P Y X p Y X p =3
1
)0()0,1()0|1(====
==Y P Y X p Y X p =0,)1()1,1()1|1(======Y P Y X p Y X p = 3
2
)1|0(log )1,0()0|0(log )0,0()|(22p p p p Y X H --=)1|1(log )1,1()0|1(log )0,1(22p p p p -- =32log 210log 031log 411log 412222----=2
1
3log 432-比特/符号.
)0()0,0()0|0(====
==Z P Z X p Z X p =1,)
1()
1,0()1|0(======Z P Z X p Z X p =0
)0()0,1()0|1(======Z P Z X p Z X p =0,)
1()
1,1()1|1(======Z P Z X p Z X p =1
则
)
1()
1|1(log )1,1()1()0|1(log )0,1()0()1|0(log )1,0()0()0|0(log )0,0();(2
222
=+=+=+==X p p p X p p p X p p p X p p p Z X I =0比特/符号.
2）（20分）若离散无记忆信源的概率分布为
⎪⎪⎭
⎫ ⎝⎛=4.03.02.01.0d c b a U
① 分别构造二元，三元Huffman 编码（要求码长方差最小，但不需求出），Shannon
编码，Fano 编码，Shannon-Fano-Elias 编码。

② 并求①中二元Huffman 编码的编码效率。

（只列出式子即可）
解:对信源按概率从大到小排序, ⎪⎪⎭
⎫ ⎝⎛=1.02.03.04
.0a b
c d
U ,建立码树则有二元Huffman 编码: ,000→a ,001→b ,01→c 1→d
要进行三元Huffman 编码,则需要添加一个空信源,成为⎪⎪⎭
⎫ ⎝⎛=01.02.03.04.0e a b c d
U ,
建立码树则有三元Huffman 编码: ,00→a ,01→b ,1→c 2→d
Shannon 编码如下:
③ Fano 编码如下:
④ Shannon-Fano-Elias 编码
⑤ 二元Huffman 编码的平均码长为l =4.013.022.031.03⨯+⨯+⨯+⨯=1.9 ⑥ 编码效率为9.1)4.0,3.0,2.0,1.0(2log )()(H l U H R U H ===η
3）（20分）若离散无记忆信道的信道转移矩阵为⎪⎪⎪⎪
⎭
⎫
⎝⎛434
1212
1，用两种方法求该信道容量。

方法一:
方法二: 令输入概率为)1,(p p -时达到了信道容量,则代入);(Y X I 中,得到关于p 的函数,另其导数为0,解得p =3429795.0,则当)1,(p p -=)6570205.0,
3429795.0(时达到信道容量,为0345.0.
⎥
⎦
⎤
⎢⎣⎡--=⎥⎦⎤⎢⎣⎡++=⎥⎦⎤⎢⎣⎡⎥⎦⎤⎢⎣⎡811281.0175.0log 75.025.0log 25.05.0log 5.05.0log 5.075.025.05.05.010ββ⎥⎦⎤⎢⎣⎡--=⎥⎦⎤⎢⎣⎡--⎥⎦⎤⎢⎣⎡--=⎥⎦⎤⎢⎣⎡--⎥⎦⎤⎢⎣
⎡=⎥⎦⎤⎢⎣⎡-622562.0377438.1811281.012123811281.0175.025.05.05.01
10ββ)
628082.0,371918.0()2,2())1(),0((10==--C C w w ββ0345
.0034536.1log )649773.0384763.0log()22log(10==+=+=ββC )6570205.0,3429795.0(75.025.05.05.0))1(),0(())1(),0((=⎥⎦⎤⎢⎣⎡=w w q q
（注：专业文档是经验性极强的领域，无法思考和涵盖全面，素材和资料部分来自网络，供参考。

可复制、编制，期待你的好评与关注）。