信息理论与编码试卷 A
考场座号
日
试卷类型
月
装
2011 ——2012 学年 第一学期
课程名称： 考试形式： 闭卷）考核方式： 考试） 课程名称：信息理论与编码 考试形式： 闭卷）考核方式： 考试） （ （
□A 卷
考试时间
年
题号 得分
一
二
三
四
五
六
七
八
总分
评阅人 签 名
学号
订
得 分
1．信息就是一种消息。
一、判断题(每空 1 分，共 10 分)
道可达到该 Dmax 和 Dmin 的失真度。
4．有一信源它有四种可能的输出，其概率分布如下图所示，表中给出了对应的码 A、B、 C、D 和 E 。 1）求这些码中哪些是非奇异码； 2）求这些码中哪些是唯一可译码； 3）求哪些是非延长码（即时码） 。 消息 a1 a2 a3 a4 概率 1/2 1/4 1/8 1/8 A 00 01 10 11 B 0 01 011 0111 C 0 10 110 1110 D 0 10 110 111 E 0 01 001 111
（ ）
8．信源变长编码的核心问题是寻找紧致码（或最佳码） ，霍夫曼编码方法构造的是最佳码。 （ 9．信息率失真数 R(D)是关于平均失真度 D 的上凸函数. ( ） )
10．设 P 为某马尔可夫信源的转移概率矩阵，若存在正整数 N 使得 PN 中的元素全都为 0， 则该马尔可夫信源存在稳态分布。 （ ）
订
2．在图片传输中，每帧约有 2 × 106 个像素，为了能很好地重现图像，每像素能分 256 个 亮度电平，并假设亮度电平等概分布。试计算每分钟传送两帧图片所需信道的带宽（信噪 功率比为 30dB）（其中 log 2 1001 ≈ 9.97 ） 。
线
第 3 页 共 6 页
试卷名称：08 电子本信息理论与编码试卷 A
（2） 、编二进制 Huffman 码，画出其码树图，并求平均码长及编码效率； （11 分） （3） 、编二进制费诺码，画出其码树图，并平均码长及编码效率。 （11 分）
第 6 页 共 6 页
试卷名称：08 电子本信息理论与编码试卷 A
7． 已知某线性分组码的最小汉明距离为 3， 那么这组码最多能检测出________个码元错误， 最多能纠正________个码元错误。
第 2 页 共 6 页
试卷名称：08 电子本信息理论与编码试卷 A
得 分
三、计算题（本题共 4 小题；第 1 小题 12 分，第 2 小题 14 分，第 3 小题 14 分，第 4 小题 8 分，共 48 分）
线
年级
1．试题可采用粘贴方式，请用 B5 纸打印，粘贴时不要超过边框。 2．本科课程的试题一般不留答题空间，答案写在专用答题纸上，专科课程试题一般要留答题空间，答 案直接做在试卷上。 命题教师签名： 吴燕 系主任签名： 日 期
第 1 页 共 6 页
试卷名称：08 电子本信息理论与编码试卷 A
7．非奇异码不一定是唯一可译码，唯一可译码一定是非奇异码。
第 4 页 共 6 页
试卷名称：08 电子本信息理论与编码试卷 A
得 分
小题， 四、证明题（本题共 2 小题，每小题 4 分， 证明题（ 共 8 分）
1．若 X、Y、Z 是三个随机变量，试证明： I ( X ; YZ ) = I ( X ; Y ) + I ( X ; Z / Y )
装
订
2．证明：有两个随机变量 X 和 Y，其和为 Z = X + Y（一般加法） ，若 X 和 Y 相互独立， 求证： H(X) ≤ H(Z)
线
第 5 页 共 6 页
试卷名称：08 电子本信息理论与编码试卷 A
得 分
五、综合题（共 24 分） 综合题（
1．已知 6 符号离散信源的出现概率为： 试计算： （1） 、求信源熵 H(X)； 分） （2
a1 1 / 2
a2 1/ 4
a3 1/ 8
a4 1 / 16
a5 1 / 32
， 1 / 32 a6
（ ）
2．信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有
姓名
效性和可靠性。 3．概率大的事件自信息量大。 4．互信息量可正、可负亦可为零。
（
）
（ ） （ ）
5．信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关
专业班级
系较小。
（ ）
6．对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。 （ ）
0 1 4．若信道矩阵为 0 0
0 0 0 1
1 0 0 0
0 0 ，求其代表的信道容量_______________。 1 0
C
5．设有一离散无记忆平稳信道，其信道容量为 C，只要待传送的信息传输率 R
（大于、小于或者等于） ，则存在一种编码，当输入序列长度 n 足够大，使译码错误概率 任意小。 6．对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是 。
(1) 假设图上黑白消息出现前后没有关联，求熵 H(X)；(2 分) (2) 假设消息前后有关联，其依赖关系为 P(白/白) = 0.9，P(黑/白) = 0.1，P(白/黑) = 0.2， P(黑/黑) = 0.8，求此一阶马尔可夫信源的熵 H2(X);（5 分） (3) 分别求上述两种信源的相对剩余度，比较 H(X)和 H2(X)的大小，并说明其物理含义。 （5 分）
3．若某无记忆信源
X − 1 = P( X ) 1 / 2
0 1/ 4
1 1 ，接收符号 Y = − , ，其失真 1 / 4 2 2 1
1 矩阵为 D = 1 2
2 1 。求信源的最大平均失真度和最小平均失真度，并求选择何种信 1
得 分
二、填空题(每空 1 分，共 10 分)
1．在现代通信系统中，信源编码主要用于解决信息传输中的 于解决信息传输中的 。 。
，信道编码主要用
2．若随机事件发生 a i 的概率为 1/2，那么它的自信息量为 3．某离散无记忆信源 X，其符号个数为 n，则当信源符号呈 熵取最大值 。
分布情况下，信源
1．黑白气象传真图的消息只有黑色和白色两种，即信源 X={黑，白}。设黑色出现的概率
装
为 P( 黑 ) = 0.3 ， 白 色 出 现 的 概 率 为 P( 白 ) = 0.7 。 其 中 − log 2 0.1 ≈ 3.322 ， （
− log 2 0.2 ≈ 2.322 ， − log 2 0.3 ≈ 1.738 ， − log 2 0.7 ≈ 0.515 ， − log 2 0.8 ≈ 0.322 ， − log 2 0.9 ≈ 0.152 ）
信息论与编码理论习题答案
信息论与编码理论习题答案LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】第二章 信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log = bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log = bit 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6= bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H = bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H = bit),|(Y X Z H =)|(Y Z H =)(X H = bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =+= bit设一个系统传送10个数字，0，1，…，9。
信息理论与编码-期末试卷A及答案
题号 一 二 三 四 总分 统分人 题分 35 10 23 32 100得分 一、填空题（每空1分，共35分） 得分| |阅卷人|1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和1234 0.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是 ，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ； 二、 。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡0100010000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。
（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
信息理论与编码-期末试卷A及答案
信息理论与编码-期末试卷A及答案⼀、填空题（每空1分，共35分）1、1948年，美国数学家发表了题为“通信的数学理论”的长篇论⽂，从⽽创⽴了信息论。
信息论的基础理论是，它属于狭义信息论。
2、信号是的载体，消息是的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的⾃信息量为 bit ，此信源的熵为 bit/符号。
4、某离散⽆记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P =???和12340.5122X x x x x w=，则其信源熵和加权熵分别为和。
5、信源的剩余度主要来⾃两个⽅⾯，⼀是，⼆是。
6、平均互信息量与信息熵、联合熵的关系是。
7、信道的输出仅与信道当前输⼊有关，⽽与过去输⼊⽆关的信道称为信道。
8、马尔可夫信源需要满⾜两个条件：⼀、；⼆、。
9、若某信道矩阵为010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为和。
11、信源编码的概率匹配原则是：概率⼤的信源符号⽤，概率⼩的信源符号⽤。
（填短码或长码）12、在现代通信系统中，信源编码主要⽤于解决信息传输中的性，信道编码主要⽤于解决信息传输中的性，保密密编码主要⽤于解决信息传输中的安全性。
13、差错控制的基本⽅式⼤致可以分为、和混合纠错。
14、某线性分组码的最⼩汉明距dmin=4，则该码最多能检测出个随机错，最多能纠正个随机错。
15、码字1、0、1之间的最⼩汉明距离为。
16、对于密码系统安全性的评价，通常分为和两种标准。
17、单密钥体制是指。
18、现代数据加密体制主要分为和两种体制。
19、评价密码体制安全性有不同的途径，包括⽆条件安全性、和。
20、时间戳根据产⽣⽅式的不同分为两类：即和。
信息理论与编码-期末试卷A及答案
一、填空题（每空1分，共35分） 1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ； 二、。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
16、对于密码系统安全性的评价，通常分为 和 两种标准。
17、单密钥体制是指 。
18、现代数据加密体制主要分为 和 两种体制。
19、评价密码体制安全性有不同的途径，包括无条件安全性、 和 。
信息论与编码理论1(A卷答案)
2012-2013 (2) 信息论与编码理论1 A 卷答案一、 单项选择题（每题3分，总计15分） 1．当底为e 时，平均互信息的单位为（ C ）。
A 奈特B 哈特C 奈特/符号D 哈特/符号 2．下列量当Y X ,交换位置时（ C ）没有对称性。
A );(Y X IB ),(Y X HC )|(Y X HD )|,(Z Y X I3．下列（ A ）陈述是错误的。
A 算术编码不需要知道信源的分布B LZ 编码不需要知道信源的分布C 游程编码不需要知道信源的分布D KY 编码不需要知道信源的分布 4．下列数组中（ A ）不满足两个字母上的Kraft 不等式。
A (1，2，1)B (2,2)C (1,2,3)D （3，3，3） 5．下列译码法则中（ A ）一定是错误概率最小的。
A 最大后验概率译码准则B 最大似然译码准则C 最小距离译码准则D 最大先验概率译码准则 二、填空题（每空2分，总计12分）1．若某离散信道转移概率矩阵为⎥⎦⎤⎢⎣⎡125.0125.05.025.0125.0125.025.05.0，则其信道容量为43log 352-比特/符号。
2．若一个信道的输入熵为8.1)(=X H 比特/符号，输出熵为2.2)(=Y H 比特/符号，6.0);(=Y X I 比特/符号，则=),(Y X H __3.4比特/符号__，疑义度为1.2比特/符号_。
3．平均互信息对信源概率分布是上凸函数，对信道的状态转移概率分布是下凸函数。
4．对信源U 任一个D 元唯一可译码的平均码长必大于等于DU H log )(。
三、计算题（73分）1）（15分）设随机变量Y X ,的联合概率分布如下：Y X Z ⊕=，⊕为模2加。
分别求);(),|(),(),(Z X I Y X H Y H X H 。
解: X 的分布率为则1)(=X H 比特/符号..3分Y 的分布率为则3log 432)(2-=Y H =0.811比特/符号. …………………………………………………..……..6分)0()0,0()0|0(======Y P Y X p Y X p =1,)1()1,0()1|0(======Y P Y X p Y X p =31)0()0,1()0|1(======Y P Y X p Y X p =0,)1()1,1()1|1(======Y P Y X p Y X p = 32)1|0(log )1,0()0|0(log )0,0()|(22p p p p Y X H --=)1|1(log )1,1()0|1(log )0,1(22p p p p --=32log 210log 031log 411log 412222----=213log 432-=0.688比特/符号. ……………..10分)0()0,0()0|0(======Z P Z X p Z X p =31,)1()1,0()1|0(======Z P Z X p Z X p =1 )0()0,1()0|1(======Z P Z X p Z X p =32,)1()1,1()1|1(======Z P Z X p Z X p =0则)1()1|1(log )1,1()1()0|1(log )0,1()0()1|0(log )1,0()0()0|0(log )0,0();(2222=+=+=+==X p p p X p p p X p p p X p p p Z X I =210log 02132log 41211log 412131log 412222+++=9log 4112-=0.2075比特/符号. …………………..15分2）（22分）若离散无记忆信源的概率分布为⎪⎪⎭⎫ ⎝⎛=3.01.04.005.005.01.0654321a a a a a a U① 分别构造二元，三元Huffman 编码（要求码长方差最小，但不需求出），Shannon 编码，Fano编码，Shannon-Fano-Elias 编码。
计算机科学技术：信息论与编码真题
计算机科学技术：信息论与编码真题1、判断题（江南博哥）狭义的信道编码既是指：信道的检、纠错编码。
答案：对2、填空题信源的消息通过信道传输后的误差或失真越大道传输消息所需的信息率（）。
答案：也越小3、填空题互信息I（X；Y）与信息熵H（Y）的关系为：I（X；Y）（）（大于、小于或者等于）H（Y）。
答案：小于4、判断题互信息量I（X；Y）表示收到Y后仍对信源X的不确定度。
答案：对5、填空题线性分组码是同时具有（）的纠错码。
答案：分组特性和线性特性6、填空题连续信源或模拟信号的信源编码的理论基础是（）。
答案：限失真信源编码定理7、填空题设有一个离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R（）C（大于、小于或者等于），则存在一种编码，当输入序列长度n 足够大，使译码错误概率任意小。
答案：小于8、名词解释香农信息答案：信息是事物运动状态或存在方式的不确定性的描述。
9、名词解释码距答案：两个等长码字之间对应码元不相同的数目，称为码距10、单选一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。
一人随手取出3颗，经测量恰好找出了假珠，不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，这一事件给出的信息量（）。
A.0bitB.log6bitC.6bitD.log240bit答案：A11、填空题平均失真度的下限取0的条件是失真矩阵的（）。
答案：每一行至少有一个零元素12、判断题信源编码是提高通信有效性为目的的编码。
答案：对13、判断题最大信息传输速率，即：选择某一信源的概率分布（p（xi）），使信道所能传送的信息率的最大值。
答案：错14、填空题一般情况下，信源编码可以分为（）、（）和（）。
答案：离散信源编码;连续信源编码;相关信源编码15、判断题游程序列的熵（“0”游程序列的熵与“1”游程序列的熵的和）大于等于原二元序列的熵。
信息论与编码试卷及答案
一、(11’）填空题（1）1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论.（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H（X）等于2。
5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
（7）已知某线性分组码的最小汉明距离为3,那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，其信道容量为C,只要待传送的信息传输率R__小于___C（大于、小于或者等于)，则存在一种编码，当输入序列长度n足够大,使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关,还与___译码规则____________和___编码方法___有关三、(5'）居住在某地区的女孩中有25％是大学生，在女大学生中有75%是身高1。
6米以上的，而女孩中身高1。
6米以上的占总数的一半。
假如我们得知“身高1。
6米以上的某女孩是大学生”的消息，问获得多少信息量?解：设A表示“大学生"这一事件，B表示“身高1.60以上”这一事件，则P（A）=0。
25 p（B）=0。
5 p(B|A）=0.75 （2分）故 p（A｜B)=p(AB）/p（B）=p（A)p（B｜A）/p(B）=0.75*0。
25/0.5=0.375 （2分）I（A｜B)=—log0.375=1。
42bit （1分）四、(5'）证明：平均互信息量同信息熵之间满足I(X；Y）=H（X)+H（Y)—H（XY）证明：()()()()()()()()()()Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i XYi j i j i -=⎥⎦⎤⎢⎣⎡---==∑∑∑∑∑∑log log log; (2分）同理()()()X Y H Y H Y X I -=; (1分) 则()()()Y X I Y H X Y H ;-= 因为()()()X Y H X H XY H += (1分） 故()()()()Y X I Y H X H XY H ;-+=即()()()()XY H Y H X H Y X I -+=; (1分）五、（18’）。
信息理论与编码习题
解：
(1) /符号
/符号
(2)
=
= /符号
= /符号
= /符号
= /符号
(3) /符号
/符号
(4)、(5)
/符号
/符号
/符号
/符号
又根据
= /符号
3.3设有一批电阻，按阻值分：70%是2 ，30%是5 ；按功率分：64%是1/8 ，其余是1/4 。现已知2 阻值的电阻中80%是1/8 。问通过测量阻值可以平均得到的关于瓦数的信息量是多少？
答案：王虹
解：设电视图像每个像素取128个不同的亮度点平，并设电平等概率出现，每个像素的亮度信源为
得每个像素亮度含有的信息量为：
一帧中像素均是独立变化的，则每帧图像信源就是离散亮度信源的无记忆 次扩展信源。得每帧图像含有的信息量为
广播口述时，广播员是从10 000个汉字字汇中选取的，假设汉字字汇是等概率分布的，则汉字字汇信源是
由 得
由对称性可得
（2）
H p ㏒ p =-
H =H -H
H =H -H
H =H -H
H =H -H
H =H -H
H =H -H
H =H -H
H =H -H
H =H -H
(3)
2.5 联合熵和条件熵
2.10任意三个离散随机变量 、 和 ，求证：
(1)
证明：
（1）方法一：利用定义证明。
左边=
=
右边=
=
在输入等概率分布下，计算得
，满足
然后计算
=
=
=
又 =
=
=
可见 ，当 时。
所以，根据信道容量解的充要性（参考书[1]定理3.3）得
信息理论与编码
1、单选题下列不属于消息的是( ）。
2分文字信号图像语言标准答案： B2、单选题设有一个无记忆信源发出符号A和B，已知[如图1]，发出二重符号序列消息的信源，无记忆信源熵[如图2]为( ）。
2分图1图20.81bit/二重符号1.62bit/二重符号0.93 bit/二重符号1.86 bit/二重符号标准答案： B3、单选题同时扔两个正常的骰子,即各面呈现的概率都是1/6,若点数之和为12，则得到的自信息为( ）。
2分－log36bitlog36bit－log（11/36）bitlog（11/36)bit标准答案： B4、单选题二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件，x0: 发出一个0 、x1: 发出一个1、y0 ：收到一个0、y1：收到一个1 ，则已知收到的符号，被告知发出的符号能得到的信息量是( ）。
2分H（X/Y)H(Y/X)H（X，Y)H(XY）标准答案： A5、单选题一个随即变量x的概率密度函数P（x）= x /2,[如图1]，则信源的相对熵为( ）。
2分图10.5bit0.72bit1bit1.44bit标准答案： C6、单选题下面哪一项不属于熵的性质：( ）。
2分非负性完备性对称性确定性标准答案： B7、单选题根据树图法构成规则，( ）。
2分在树根上安排码字在树枝上安排码字在中间节点上安排码字在终端节点上安排码字标准答案： D8、单选题下列组合中不属于即时码的是( ）。
2分｛0，01,011}｛0，10，110｝｛00，10，11}｛1,01，00}标准答案： A9、单选题已知某（6,3）线性分组码的生成矩阵[如图1]，则不用计算就可判断出下列码中不是该码集里的码是( ）。
2分图1000000110001011101111111标准答案： D10、单选题下列保密编码中属于现代密码体制的是( ）2分凯撒密码Vigenere密码韦维纳姆密码DES加密算法标准答案： D11、单选题1948年，美国数学家( ）发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息理论与编码-期末试卷A及答案
一、填空题（每空1分，共35分）1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是 ，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ；二、 。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。
（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字1、0、1之间的最小汉明距离为 。
16、对于密码系统安全性的评价，通常分为 和 两种标准。
17、单密钥体制是指 。
18、现代数据加密体制主要分为 和 两种体制。