信息论与编码试题-精选.
信息论与编码试题集
信息论与编码试题集题目一：1. 请解释以下术语的含义：a) 信源熵b) 信源编码c) 香农定理d) 奈奎斯特准则e) 奇偶校验码2. 在一个二进制对称信道中，如果发送方发送的比特为0，接收方接收到的比特也为0的概率为0.9，发送方发送的比特为1，接收方接收到的比特也为1的概率为0.8。
请计算该信道的信道容量。
题目二：1. 在一个具有4个等概率输出符号的信源中，计算该信源的熵。
2. 一个典型的英文字母出现的概率如下：P(A) = 0.4, P(B) = 0.3, P(C) = 0.2, P(D) = 0.1。
请计算该信源的平均码长以及编码效率。
题目三：1. 请解释Huffman编码的原理及步骤。
2. 使用Huffman编码对以下信源的输出编码：A: 0.3，B: 0.2，C: 0.15，D: 0.1，E: 0.1，F: 0.05，G: 0.05，H: 0.05。
计算编码的平均码长和编码效率。
题目四：1. 请解释线性分组码和卷积码的区别。
2. 针对一个二进制码串11001011，使用以下生成矩阵计算该码串的卷积码：G = [1 1 0 1; 1 0 1 0]。
给出计算过程和最终编码结果。
题目五：1. 请解释码激励方法。
2. 针对一个码激励线性分组码，当收到的码字为101010时，给出该码字的输入和输出码字。
题目六：1. 请解释BCH编码的原理及应用场景。
2. 对一个BCH(n, k)码，当n=15，k=11时，请给出该BCH码的生成矩阵。
题目七：1. 请解释LDPC码以及LDPC码的译码方法。
2. 对于一个n=7，k=4的LDPC码，给出该LDPC码的校验矩阵。
题目八：1. 请比较分组密码与流密码的特点和应用场景。
2. 使用RC4流密码算法对明文"HELLO"进行加密，已知初始密钥为"KEY"，给出加密后的密文。
题目九：1. 请解释区块密码与流密码的工作原理和区别。
信息论与编码试题集与答案(新)
一填空题（本题20分，每小题2分）1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
信息论与编码试题集与答案
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。
5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。
6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。
7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。
若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。
四、计算题1.已知(),X Y 的联合概率(),p x y 为： 求()H X ，()H Y ，(),H X Y ，();I X Y解: (0)2/3p x == (1)1/3p x == (0)1/3p y == (1)2/3p y == ()()(1/3,2/3)H X H Y H ===0.918 bit/symbol(),(1/3,1/3,1/3)H X Y H ==1.585 bit/symbol ();()()(,)I X Y H X H Y H X Y =+-=0.251 bit/symbol2.某系统（7，4）码)()(01201230123456c c c m m m m c c c c c c c ==c 其三位校验位与信息位的关系为：231013210210c m m m c m m m c m m m=++⎧⎪=++⎨⎪=++⎩ 01X Y011/31/301/3（1）求对应的生成矩阵和校验矩阵； （2）计算该码的最小距离；（3）列出可纠差错图案和对应的伴随式； （4）若接收码字R =1110011，求发码。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln（2 ⅇ 2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码试卷及问题详解
一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是 0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分）I(A|B)=-log0.375=1.42bit （1分）四、（5'）证明：平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY)证明：()()()()()()()()()()Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i XYi j i j i -=⎥⎦⎤⎢⎣⎡---==∑∑∑∑∑∑log log log; （2分）同理()()()X Y H Y H Y X I -=; （1分） 则()()()Y X I Y H X Y H ;-= 因为()()()X Y H X H XY H += （1分） 故()()()()Y X I Y H X H XY H ;-+=即()()()()XY H Y H X H Y X I -+=; （1分）五、（18’）.黑白气象传真图的消息只有黑色和白色两种，求：1） 黑色出现的概率为0.3，白色出现的概率为0.7。
信息论与编码期末考试题(全套)
《信息论基础》参考答案一、填空题（共15分，每空1分）1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为32log bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。
5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。
6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。
7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()222xf x σ-=时，信源具有最大熵，其值为值21log 22e πσ。
9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈” （1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。
（2）()()1222H X X H X =≥()()12333H X X X H X =（3）假设信道输入用X 表示，信道输出用Y 表示。
在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。
二、（6分）若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。
()1,2640,x f x ⎧≤≤⎪=⎨⎪⎩其它()()()62log f x f x dx ∴=-⎰相对熵h x=2bit/自由度 该信源的绝对熵为无穷大。
三、（16分）已知信源1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（6分）（2）计算平均码长L ;（4分）（3）计算编码信息率R ';（2分）（4）计算编码后信息传输率R ;（2分） （5）计算编码效率η。
信息论与编码试卷_信息论与编码试卷题目及答案
最大熵值为组成一个马尔可夫链，且有，。
说明经数据处理后，一般只会增加信息的损失。
，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于由得，则解释无失真变长信源编码定理。
只要，当什么是保真度准则？对二元信源，其失真矩阵，求和？答：，所以有，而。
息出现前后没有关联，求熵；）假设黑白消息出现前后有关联，其依赖关系为：，，，，求其熵；）信源模型为）由得则）若，，求和；）），最佳输入概率分布为等概率分布。
信源空间为答：1）二元码的码字依序为：10，11，010，011，1010，1011，1000，1001。
平均码长，编码效率2）三元码的码字依序为：1，00，02，20，21，22，010，011。
平均码长，编码效率4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。
答：1）最小似然译码准则下，有，2）最大错误概率准则下，有，5.已知一（8，5）线性分组码的生成矩阵为。
求：1）输入为全00011和10100时该码的码字；2）最小码距。
6.设某一信号的信息传输率为5.6kbit/s，在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。
试求：（1）无差错传输需要的最小输入功率是多少？（2）此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。
7.答：1）无错传输时，有即则2）在时，最大熵对应的输入概率密度函数为2）最大错误概率准则下，有，6.答：1）无错传输时，有即则2）在时，最大熵对应的输入概率密度函数为。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln （2πⅇσ2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
模拟试题一
一、概念简答题（共10题，每题5分）
1.简述离散信源和连续信源的最大熵定理。
2.什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。
3.解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？
4.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。
5.设某二元码字C={111000，001011，010110，101110}，
①假设码字等概率分布，计算此码的编码效率？
②采用最小距离译码准则，当接收序列为110110时，应译成什么码字？
6.一平稳二元信源，它在任意时间，不论以前发出过什么符号，都按
发出符号，求
和平均符号熵
7.分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。
8.二元无记忆信源，有求：（1）某一信源序列由100个二元符号组成，其中有m个“1”，求其自信息量？（2）求100个符号构成的信源序列的熵。
9.求以下三个信道的信道容量：
，，
10.已知一（3，1，3）卷积码编码器，输入输出关系为：
试给出其编码原理框图。
二、综合题（共5题，每题10分）
1.二元平稳马氏链，已知P（0/0）=0.9，P（1/1）=0.8，求：
（1）求该马氏信源的符号熵。
（2）每三个符号合成一个来编二进制Huffman码,试建立新信源的模型，给出编码结果。
（3）求每符号对应的平均码长和编码效率。
2.设有一离散信道，其信道矩阵为，求：（1）最佳概率分布？
（2）当，
时，求平均互信息
信道疑义度
（3）输入为等概率分布时，试写出一译码规则，使平均译码错误率
最小，并求此
3.设线性分组码的生成矩阵为，求：
（1）此（n，k）码的n=？ k=？，写出此（n，k）码的所有码字。
（2）求其对应的一致校验矩阵H。
（3）确定最小码距，问此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式。
（4）若接收码字为000110，用伴随式法求译码结果。
4.二元对称信道的信道矩阵为，信道传输速度为1500二元符号/秒，设信源为等概率分布，信源消息序列共有13000个二元符号，问：
（1）试计算能否在10秒内将信源消息序列无失真传送完？
（2）若信源概率分布为，求无失真传送以上信源消息序列至少需要多长时间？
5.已知（7，4）循环码的生成多项式，求：
（1）求该码的编码效率？
（2）求其对应的一致校验多项式
（3）写出该码的生成矩阵，校验矩阵。
（4）若消息码式为，求其码字。
模拟试题一答案
一、概念简答题（共10题，每题5分）
1.答：离散无记忆信源，等概率分布时熵最大。
连续信源，峰值功率受限时，均匀分布的熵最大。
平均功率受限时，高斯分布的熵最大。
均值受限时，指数分布的熵最大。
2.答：平均自信息为
表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息为
表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
3.答：等长信源编码定理：对于任意，只要
，则当L足够长时必可使译码差错。
变长信源编码定理：只要，一定存在一种无失真编码。
等长码和变长码的最小平均码长均为，编码效率最高可达100%。
4.答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。
最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。
最小距离译码准则下，将接收序列译为与其距离最小的码字。
三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。
在二元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。
5.答：1）
2）令接收序列为，则有
，
，
，
，故接收序列应译为010110。
6.答：
7.答：平均互信息相对于信源概率分布为上凸函数，相对于信道传递概率分布为下凹函数。
平均互信息的最大值为信道容量。
8.答：1）
2）
9.答：P1为一一对应确定信道，因此有。
P2为具有归并性能的信道，因此有。
P3为具有发散性能的信道，因此有。
10.答：
二、综合题（共5题，每题10分）
1.答：1）由得极限概率：则符号熵为
2）新信源共8个序列，各序列的概率为信源模型为
一种编码结果（依信源模型中的序列次序）为0，11，1001，1010，1011，10000，100010，100011 3）
2.答：1）是准对称信道，因此其最佳输入概率分布为。
2）当，
时，有
则
3）此时可用最大似然译码准则，译码规则为
且有
3.答：1）n=6，k=3，由C=mG可得所有码字为：
000000，001011，010110，011101，100101，101110，110011，111000
2）此码是系统码，由G知，，则3）由H可知，其任意2列线性无关，而有3列线性相关，故有
，能纠一位错。
错误图样E 伴随式
100000 101
010000 110
001000 011
000100 100
000010 010
000001 001
4）由知E＝010000，则
4.答：1）信道容量为信源序列信息量为
而10秒内信道能传递的信息量为故不能无失真地传送完。
2）此时信源序列信息量为
信息传输率为
则
5.答：1）2）
3），而4）
最新文件仅供参考已改成word文本。
方便更改。