信息论与编码考试试卷C
(完整word版)信息论与编码选择题
单项选择题1.下面表达式中正确的是（A ）。
A.∑=j i j x y p 1)/( B.∑=i i j x y p 1)/( C.∑=j j j iy y x p )(),(ω D.∑=ii j i x q y x p )(),( 2.彩色电视显像管的屏幕上有5×105 个像元，设每个像元有64种彩色度，每种彩度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个组合之间相互独立。
每秒传送25帧图像所需要的信道容量（C ）。
A. 50⨯106B. 75⨯106C. 125⨯106D. 250⨯1063.已知某无记忆三符号信源a,b,c 等概分布，接收端为二符号集，其失真矩阵为d=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡1 21 12 1,则信源的最大平均失真度max D 为（ D ）。
A. 1/3B. 2/3C. 3/3D. 4/34.线性分组码不具有的性质是（ C ）。
A.任意多个码字的线性组合仍是码字B.最小汉明距离等于最小非0重量C.最小汉明距离为3D.任一码字和其校验矩阵的乘积c m H T =05.率失真函数的下限为（ B ）。
A .H(U) B.0 C.I(U; V) D.没有下限6.纠错编码中，下列哪种措施不能减小差错概率（ D ）。
A. 增大信道容量B. 增大码长C. 减小码率D. 减小带宽7.一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。
一人随手取出3颗，经测量恰好找出了假珠，不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，这一事件给出的信息量（ A ）。
A. 0bitB. log6bitC. 6bitD. log240bit8.下列陈述中，不正确的是（ D ）。
A.离散无记忆信道中，H （Y ）是输入概率向量的凸函数B.满足格拉夫特不等式的码字为惟一可译码C.一般地说，线性码的最小距离越大，意味着任意码字间的差别越大，则码的检错、纠错能力越强D.满足格拉夫特不等式的信源是惟一可译码9.一个随即变量x 的概率密度函数P(x)= x /2，V 20≤≤x ，则信源的相对熵为（ C ）。
信息论与编码试卷及答案(多篇)
一、概念简答题（每题5分，共40分）1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2.简述最大离散熵定理。
对于一个有m个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
最大熵值为。
3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？答：信息传输率R指信道中平均每个符号所能传送的信息量。
信道容量是一个信道所能达到的最大信息传输率。
信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。
4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
答：通信系统模型如下：数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有，。
说明经数据处理后，一般只会增加信息的损失。
5.写出香农公式，并说明其物理意义。
当信道带宽为5000Hz，信噪比为30dB时求信道容量。
.答：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。
由得，则6.解释无失真变长信源编码定理。
.答：只要，当N足够长时，一定存在一种无失真编码。
7.解释有噪信道编码定理。
答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。
2）因为失真矩阵中每行都有一个0，所以有，而。
二、综合题（每题10分，共60分）1.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3，白色出现的概率为0.7。
信息论与编码期末考试题
信息论与编码期末考试题信息论与编码期末考试题（一）一、判断题.1.当随机变量和相互独立时，条件熵等于信源熵.（）2.由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集.（）3.一般情况下，用变长编码得到的平均码长比定长编码大得多.（）4.只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信.（）5.各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件.（）6.连续信源和离散信源的熵都具有非负性.（）7.信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小.8.汉明码是一种线性分组码.（）9.率失真函数的最小值是.（）10.必然事件和不可能事件的自信息量都是.（）二、填空题1、码的检、纠错能力取决于.2、信源编码的目的是；信道编码的目的是.3、把信息组原封不动地搬到码字前位的码就叫做.4、香农信息论中的三大极限定理是、、.5、设信道的输入与输出随机序列分别为和，则成立的条件..6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是.7、某二元信源，其失真矩阵，则该信源的= .三、计算题.1、某信源发送端有2种符号,；接收端有3种符号，转移概率矩阵为.（1）计算接收端的平均不确定度；（2）计算由于噪声产生的不确定度；（3）计算信道容量以及最佳入口分布.2、一阶马尔可夫信源的状态转移图如右图所示，信源的符号集为.（1）求信源平稳后的概率分布；（2）求此信源的熵；（3）近似地认为此信源为无记忆时，符号的概率分布为平稳分布.求近似信源的熵并与进行比较.3、设码符号为，信源空间为试构造一种三元紧致码.4、设二元线性分组码的生成矩阵为.（1）给出该码的一致校验矩阵，写出所有的陪集首和与之相对应的伴随式；（2）若接收矢量，试计算出其对应的伴随式并按照最小距离译码准则试着对其译码.（二）一、填空题1、信源编码的主要目的是，信道编码的主要目的是2、信源的剩余度主要来自两个方面，一是，二是3、三进制信源的最小熵为，最大熵为4、无失真信源编码的平均码长最小理论极限制为5、当时，信源与信道达到匹配。
信息论与编码试题与答案
1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
信息论与编码题库（最新整理六套）
信息论与编码题库（最新整理六套）（⼀）⼀、填空题1. 在⽆失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须⾸先信源编码，然后_____加密____编码，再______信道_____编码，最后送⼊信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的⾹农公式是log(1)C W SNR =+；当归⼀化信道容量C/W 趋近于零时，也即信道完全丧失了通信能⼒，此时E b /N 0为 -1.6 dB ，我们将它称作⾹农限，是⼀切编码⽅式所能达到的理论极限。
4. 保密系统的密钥量越⼩，密钥熵H (K )就越⼩，其密⽂中含有的关于明⽂的信息量I (M ；C )就越⼤。
5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式h(x)= 31x x ++ 。
6. 设输⼊符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输⼊信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001??；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010??。
7. 已知⽤户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。
若⽤户B 向⽤户A 发送m =2的加密消息，则该加密后的消息为 8 。
⼆、判断题1. 可以⽤克劳夫特不等式作为唯⼀可译码存在的判据。
（√ ）2. 线性码⼀定包含全零码。
（√ ）3. 算术编码是⼀种⽆失真的分组信源编码，其基本思想是将⼀定精度数值作为序列的编码，是以另外⼀种形式实现的最佳统计匹配编码。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln（2 ⅇ 2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
湘大信息论与编码试卷及答案
一、填空题（每空1分，共30分）（1）在现代通信系统中，信源编码主要用于解决信息传输中的有效性，信道编码主要用于解决信息传输中的可靠性，加密编码主要用于解决信息传输中的安全性。
（2）不可能事件的自信息量是____∞___,必然事件的自信息是0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。
（4）在信息处理中，随着处理级数的增加，输入和输出消息之间的平均互信息量会减少。
（5）若一离散无记忆信源的信源熵H（X）等于 2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 。
（6）假设每个消息的发出都是等概率的，四进制脉冲所含信息量是二进制脉冲的 2 倍。
（7）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
霍夫曼编码方法构造的是最佳码。
（8）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2___个码元错误，最多能纠正___1__个码元错误。
（9）设有一个离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R_小于_C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（10）平均错误概率不仅与信道本身的统计特性有关，还与_译码规则和编码方法有关（11）互信息I(X。
Y)与信息熵H(Y)的关系为：I(X。
Y)_小于__（大于、小于或者等于）H(Y)。
（12）克劳夫特不等式是唯一可译码__存在___的充要条件。
{00，01，10，11}是否是唯一可译码？___是____。
（13）差错控制的基本方式大致可以分为前向纠错、反馈重发和混合纠错。
（14）如果所有码字都配置在二进制码树的叶节点，则该码字为唯一可译码。
（15）设信道输入端的熵为H(X)，输出端的熵为H(Y)，该信道为无噪有损信道，则该信道的容量为 Max H（Y）。
（16）某离散无记忆信源X，其符号个数为n，则当信源符号呈等概_____分布情况下，信源熵取最大值___log（n）。
信息论与编码试卷及答案分解
信息论与编码试卷及答案分解⼀、（11’）填空题（1）1948年，美国数学家⾹农发表了题为“通信的数学理论”的长篇论⽂，从⽽创⽴了信息论。
（2）必然事件的⾃信息是0 。
（3）离散平稳⽆记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。
（4）对于离散⽆记忆信源，当信源熵有最⼤值时，满⾜条件为__信源符号等概分布_。
（5）若⼀离散⽆记忆信源的信源熵H（X）等于2.5，对信源进⾏等长的⽆失真⼆进制编码，则编码长度⾄少为 3 。
（6）对于⾹农编码、费诺编码和霍夫曼编码，编码⽅法惟⼀的是⾹农编码。
（7）已知某线性分组码的最⼩汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有⼀离散⽆记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__⼩于___C（⼤于、⼩于或者等于），则存在⼀种编码，当输⼊序列长度n⾜够⼤，使译码错误概率任意⼩。
（9）平均错误概率不仅与信道本⾝的统计特性有关，还与___译码规则____________和___编码⽅法___有关三、（5'）居住在某地区的⼥孩中有25%是⼤学⽣，在⼥⼤学⽣中有75%是⾝⾼1.6⽶以上的，⽽⼥孩中⾝⾼1.6⽶以上的占总数的⼀半。
假如我们得知“⾝⾼1.6⽶以上的某⼥孩是⼤学⽣”的消息，问获得多少信息量？解：设A表⽰“⼤学⽣”这⼀事件，B表⽰“⾝⾼1.60以上”这⼀事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分）I(A|B)=-log0.375=1.42bit （1分）四、（5'）证明：平均互信息量同信息熵之间满⾜I(X;Y)=H(X)+H(Y)-H(XY)证明：()()()()()()()()()()Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i XYi j i j i -=---==∑∑∑∑∑∑log log log; （2分）同理()()()X Y H Y H Y X I -=; （1分）则()()()Y X I Y H X Y H ;-= 因为()()()X Y H X H XY H += （1分）故()()()()Y X I Y H X H XY H ;-+=即()()()()XY H Y H X H Y X I -+=; （1分）五、（18’）.⿊⽩⽓象传真图的消息只有⿊⾊和⽩⾊两种，求：1）⿊⾊出现的概率为0.3，⽩⾊出现的概率为0.7。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第7页 共 页
第8页 共 页
得分
评卷人
复核人
七、
———— —————
装
得分
评卷人
复核人
六、
—————
订
—————— —————— —————— ——————
线 外 不 要
—————
答
———
题
第9页 共 页
第 10 页 共 页
学部
专业年级
学号
姓名
考场号
座位号
第 11 页 共 页
第 12 页 共 页
卷人
复核人
二 40 分
题
1
题 25 分+2
题 15 分
座位号
题 号 应得分 实得分
一 20
二 40
三 40
四
五
六
七
八
九
十
合计 复核人 100
1 P
X Y {0 1} XY 1 00 = P 01 6
合
= 1 3 P 10
：
=P ,计 11 = 1 4
log 2 3 = 1.585, log 2 5 = 2.322, log 2 7 = 2.807
卷人 复核人 一 题 题4分 20 分
1 H X H H XY Y H X/Y
：
—————
线
考场号
得分
合
信息 I X Y 信息量 式
—————— —————— —————— ——————
外 不 要 答
姓名
式
信息量
学号
一
量 H c ( X ) = log 2 (b − a )
分
时
H c ( X ) = log 2 (a − b)
2010 201 10— 期末课程 湖南涉外经济学院 2010—2011 学年度第 1 学期期末课程
———— —————
装 订
《信息论与编码》考核试卷 信息论与编码》
专业班级： 考核方式： 考试时量： 专业班级： 电子信息工程 考核方式：闭卷 考试时量： 120 分钟 试卷类型： 试卷类型： C
得分
专业年级
信 号 时 A R
：
一 信息
信 时
信
量 一 方
信
—————
题
C
B
R
C
———
第1页 共 4 页 第2页 共 4 页
学部
2. 求下列信道的信道容量和最佳分布。( log 2 3 = 1.585 )
1 3 1 6 , 1 2 , 0 , 1 2 1 6 1 , 3
1. 某连续信道的带宽为 8 kHz，信噪比为 3∶1，现在要以 R= 10 5 比特/秒以速度
信噪比的最小值为多少？ (212.5= 传输信息， 能否实现？ 如果要实现信息传输， 5792.6)
第3页 共 4 页
第4页 共 4 页
第5页 共 页
第6页 共 页
得分
评卷人
复核人 四、
得分
评卷人
复核人 五、
P
( Y
/
X
)
=
, 0 ,
2. 已知二进制符号信源：
X p ( X
)
=
0 ,1 p ,1
−
p
(1)求 H（X）表达式，并画出曲线； (2)求 H（X）的极值； (3)求 p=0 和 p=1 时的 H（X）值。
得分
评卷人
复核人 三、综合题（每小题 20 分，共 40 分）