《信息论与编码技术》模拟试卷2
信息论与编码试卷
三, 简答题(22 分)
1.简述信息传输系统的五个组成部分及其作用. (10 分) 2.简述 Shannon 关于信息论的三大定理. 分) (6 3.写出 Fano 不等式,并说明其物理意义. 分) (6
四.编码题(共 12 分)
x X 1 1 对信源 = q( x) 6 均码长和编码效率. x2 1 6 x3 1 8 x4 1 8 x5 1 8 x6 1 8 x 7 x8 1 1 设计 D=3 的霍夫曼编码,并求出平 12 12
6. 通信系统形式上传输的是消息,实质上传输的是信息,消息中包含信息. (
第 1 页 共 3页
7. 利用标准阵列进行译码时,译码正确的概率大小与陪集首的选择无关. ( 0.5 0.5 0 8. 信道 p ( y / x) = 是准对称信道. 0 0.5 0.5 (
) )
9. 对于同一个信源,香农,费诺和霍夫曼三种编码方法中,费诺编码得到的编码效率 最高. ( ) 10. R(D)=0 表示信源无任何失真. ( )
五.计算题(每小题 8 分,共 24 分)
X x1 x 2 x3 1. 给定信源分布 = ,失真测度矩阵 q( x) 0.3 0.5 0.2
3 2 0 [d ] = 1 0 2 ,求率失真函数的定义域和值域 0 3 1
1 2.已知离散无记忆信道分布 [ p( y / x)] = 3 1 6
对于某个含有 7 个消息的信源, 其熵的最大值为
, 对应为
分布. 型凸函数. ,要纠正
4. 当信道给定,平均互信息量 I(X;Y)是信源概率分布 q(x)的 5. (n,k)线性分组码,要检测 e 个错误,则码的最小距离 d≥
t 个错误,码的最小距离 d≥
. . . 译码
计算机科学技术：信息论与编码考试题库二
计算机科学技术：信息论与编码考试题库二1、问答题（江南博哥）请给出平均码长界定定理及其物理意义。
答案：2、填空题多用户信道的信道容量用（）来表示。
答案：多维空间的一个区域的界限3、判断题狭义的信道编码既是指：信道的检、纠错编码。
答案：对4、判断题互信息量I（X；Y）表示收到Y后仍对信源X的不确定度。
答案：对5、判断题对于具有归并性能的无燥信道，当信源等概率分布时（p（xi）=1/n），达到信道容量。
答案：错6、问答?有两个二元随机变量X和Y，它们的联合概率为P[X=0，Y=0]=1/8，P[X=0，Y=1]=3/8，P[X=1，Y=1]=1/8，P[X=1，Y=0]=3/8。
定义另一随机变量Z=XY，试计算：（1）H（X），H（Y），H（Z），H（XZ），H（YZ），H（XYZ）；（2）H（X/Y），H（Y/X），H（X/Z），H（Z/X），H（Y/Z），H（Z/Y），H （X/YZ），H（Y/XZ），H（Z/XY）；（3）I（X；Y），I（X；Z），I（Y；Z），I（X；Y/Z），I（Y；Z/X），I（X；Z/Y）。
答案：7、填空题平均互信息量I（X；Y）与信源熵和条件熵之间的关系是（）。
答案：（X;Y)=H(X)-H(X/Y）8、填空题根据输入输出信号的特点，可将信道分成离散信道、连续信道、（）信道。
答案：半离散或半连续9、填空题单符号离散信源一般用随机变量描述，而多符号离散信源一般用（）描述。
答案：随机矢量10、填空题信源编码的目的是提高通信的（），信道编码的目的是提高通信的（），加密编码的目的是保证通信的（）。
答案：有效性；可靠性；安全性11、填空题某离散无记忆信源X，其符号个数为n，则当信源符号呈（）分布情况下，信源熵取最大值（）。
答案：等概；log（n）12、名词解释前向纠错（FEC）答案：是指差错控制过程中是单向的，无须差错信息的反馈。
13、名词解释信源编码答案：就是针对信源输出符号序列的统计特性，通过概率匹配的编码方法，将出现概率大的信源符号尽可能编为短码，从而使信源输出的符号序列变换为最短的码字序列针对信源输出符号序列的统计特性，通过概率匹配的编码方法，将出现概率大的信源符号尽可能编为短码，从而使信源输出的符号序列变换为最短的码字序列。
信息论与编码期末复习试题2套含答案(大学期末复习资料)
莆田学院期末考试试卷（A）卷2011 — 2012 学年第一学期课程名称：信息论与编码适用年级/专业： 09/电信（通信）试卷类别开卷（）闭卷（√）学历层次本科考试用时 120分钟《．考生注意：答案要全部抄到答题纸上，做在试卷上不给分．．．．．．．．．．．．．．．．．．．．．．．．．》．一、简答题（每小题8分，共32分）1.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
2. 香农信息论研究了哪些内容？试讲述香农第二编码定理。
3. 什么是唯一可译码？什么是即时码（前缀码）？构造唯一可译码的充要条件？（10分）4. 什么是信源编码？什么是信道编码？为何要进行这两者编码？二、证明题（每小题6分，共6分）对于任意的事件X、Y，试证明下列不等式成立：H(X|Y)<=H(X),并说明等式成立的条件。
三、计算题（第1、5题各16分，第2题12分，第3题10分，第4题8分，共62分）1.（16分）一黑白气象传真图的消息只有黑色和白色两种，即信源X={黑,白}。
设黑色出现的概率为P(黑)=0.3，白色的出现概率P(白)=0.7。
求（1）假设图上黑白消息出现前后没有关联，求熵H(X)；（2）假设消息前后有关联，其依赖关系为P(白/白)=0.9，P(黑/白)=0.1，P(白/黑)=0.2，P(黑/黑)=0.8，求此一阶马尔可夫信源的熵H2(X)；（3）分别求上述两种信源的剩余度，比较和的大小，并说明其物理意义。
2.（12分）一信源产生概率为P(1)=0.005, P(0)=0.995的统计独立二进制数符。
这些数符组成长度为100的数符组。
我们为每一个少于3个“1”的源数符组提供一个二进制码字，所有码字的长度相等。
（1）求出为所规定的所有源符组都提供码字所需的最小码长。
（2）求信源发出一数符组，而编码器无相应码字的概率。
3.（10分）已知一个（6，3）线性分组码的全部码字为001011，110011，010110，101110，100101，111000，011101，000000。
信息论与编码题库
信息论与编码 模拟题一 、填空题1、已知 8 个码组为（000000）、（001110）、（010101）、（011011）、（100011）、（101101）、 （110110）、（111000）。
则该码组的最小码距是 3 ，若只用于检错可检测 2 位错码，若只用于纠错可纠正 1 位错码。
2、同时掷两个正常的骰子，也就是各面呈现的概率都是 1/6，则“两个 1 同时出现”这一事件的自信息量为 5.17 比特。
3、已知信源的各个符号分别为字母A ，B ，C ，D ，现用四进制码元表示，每个码元的宽度为10ms ，如果每个符号出现的概率分别为1/5，1/4，1/4，3/10，则信源熵H （x ）为 1.985 比特/符号，在无扰离散信道上的平均信息传输速率为 198 bit/s 。
4．1948 年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
5．对离散无记忆信源来说，当信源呈____________分布情况下，信源熵取最大值。
6、对于某离散信道，具有3 x 5的转移矩阵，矩阵每行有且仅有一非零元素，则该信道噪声熵为 ；最大信息传输率为 。
7、二元删除信道BEC(0.01)的信道转移矩阵为 ，信道容量为 ；信道矩阵为100001010001010⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦的DMC 的信道容量为 。
8．数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
9.(7,3)码监督矩阵有 4 行,生成矩阵有 3 行。
10.对线性分组码,若要求它能纠正3个随机差错,则它的最小码重为 7 ,若要求它能在纠错2位的同时检错3位,则它的最小码重为 8 。
11．汉明码是一种线性分组码，其最小码距为 3 。
12.信道编码的目的是提高数字信息传输的 可靠性 ,其代价是降低了信息传输的 有效性。
13.在通信系统中,纠检错的工作方式有 反馈重发纠错 、 前向纠错 、 混合纠错 等。
信息论与编码题集
信息论与编码题集一、选择题1. 下列关于信息量的说法中，正确的是（）A. 信息量是对信息不确定性的度量，不确定性越大，信息量越大B. 信息量与事件发生的概率成正比，概率越大，信息量越大C. 信息量的单位是比特，一个二进制符号所含的信息量为1比特D. 信息量只与信息的内容有关，与信息的形式和传递方式无关答案：A解释：信息量是对信息不确定性的度量，不确定性越大，信息量越大，A选项正确；信息量与事件发生的概率成反比，概率越小，信息量越大，B选项错误；信息量的单位是比特，一个二进制符号所含的信息量为1比特，这只是信息量的一种常见表示方式，实际上信息量的单位可以根据具体情况而定，C选项表述不全面；信息量不仅与信息的内容有关，还与信息的形式和传递方式有关，D选项错误。
2. 在信息论中，信息熵是用于描述（）A. 信息的不确定性B. 信息的准确性C. 信息的冗余度D. 信息的有效性答案：A解释：信息熵是用于描述信息的不确定性，它表示信息的平均不确定性程度，A选项正确；信息熵与信息的准确性无关，B选项错误；信息熵可以反映信息的冗余度，但它本身并不是用于描述冗余度的，C 选项不准确；信息熵主要用于描述信息的不确定性，而不是有效性，D选项错误。
3. 假设一个随机事件有四种可能的结果，它们发生的概率分别为0.2、0.3、0.4和0.1，那么该事件的信息熵为（）A. 1.5比特B. 1.8比特C. 2.0比特D. 2.5比特答案：B解释：信息熵的计算公式为H(X) = Σp(x)log₂p(x)，其中p(x)为事件发生的概率。
将概率代入公式计算可得：H(X) = (0.2log₂0.2 + 0.3log₂0.3 + 0.4log₂0.4 + 0.1log₂0.1) ≈ 1.8比特，B选项正确。
4. 对于两个相互独立的随机事件A和B，它们的信息熵分别为H(A)和H(B)，那么事件A和B同时发生的信息熵为（）A. H(A) + H(B)B. H(A) H(B)C. H(A) × H(B)D. H(A) + H(B) H(A × B)答案：A解释：对于两个相互独立的随机事件A和B，它们同时发生的信息熵等于它们各自信息熵的和，即H(A, B) = H(A) + H(B)，A选项正确。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln （2πⅇσ2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码考试试题
信息论与编码考试试题一、选择题（每题 5 分，共 30 分）1、以下关于信息熵的说法，错误的是（）A 信息熵是对信息不确定性的度量B 信息熵越大，信息量越大C 信息熵只与信源的概率分布有关D 信息熵的值可以为负数2、设信源符号集为｛A, B, C, D}，对应的概率分别为 1/2, 1/4, 1/8, 1/8，则该信源的熵为（）A 175 比特/符号B 15 比特/符号C 125 比特/符号D 2 比特/符号3、无失真信源编码的平均码长（）信源熵。
A 小于B 大于C 等于D 以上都有可能4、在哈夫曼编码中，出现概率越大的符号，编码长度（）A 越长B 越短C 不确定D 与概率无关5、以下哪种编码是唯一可译码（）A 00, 01, 10, 11B 0, 10, 11C 0, 00, 1D 0, 01, 106、对于一个离散无记忆信道，其信道容量与（）有关。
A 输入概率分布B 输出概率分布C 转移概率矩阵D 以上都是二、填空题（每题 5 分，共 30 分）1、信息论的奠基人是__________。
2、若信源的概率分布为 P(X) ＝｛02, 03, 01, 04}，则信源的熵为__________比特/符号。
3、香农第一定理指出，对于离散无记忆平稳信源，当信源熵小于信道容量时，可以通过编码实现__________传输。
4、已知某二元对称信道的错误概率为 01，则其信道容量为__________比特/符号。
5、一个码组为{000, 111, 010, 101}，其最小码距为__________。
6、线性分组码的监督矩阵与生成矩阵之间满足__________关系。
三、简答题（每题 10 分，共 20 分）1、简述信息熵的物理意义，并举例说明。
信息熵是用来度量信息不确定性的一个重要概念。
它反映了信源输出符号的平均不确定性。
物理意义在于，熵越大，说明信源的不确定性越大，需要更多的信息来消除这种不确定性。
例如，抛硬币的结果只有正反两面，其概率各为 05。
信息论与编码(第2版)题库
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《信息论与编码技术》模拟试卷（2）
1. （5分）简述信源编码、信道编码和保密编码三种编码的联系。
2. （10分）已知一离散无记忆信源
⎥⎦
⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡1.01.01.01.01.015.015.02.0)(87654321u u u u u u u u u p u ，
试利用三元码编成霍夫曼码，用两种方法使得它们有相同的最小码长但方差不相同，并说明哪种编码实用性更好。
3. （10分）已知二元信源⎥⎦
⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/78/110)(u p u ，试对序列11110111110进行算术编码，并对结果进行译码。
4. （10分）下面以码字集合的形式给出5种不同的编码，第一个码的码符号集合为{x, y, z}，其它4个码都是二进制：
（1）{xx, xz, y, zz, xyz}；
（2）{000, 10, 00, 11}；
（3）{100, 101, 0, 11}；
（4）{01, 100, 011,00,111,1010, 1011, 1101}；
（5）{01, 111, 011, 00, 010, 110}。
对于上面列出的5种编码，分别回答下述问题：
（a ）此码的码长分布是否满足Kraft-McMilian 不等式？
（b ）此码是否是即时码？如果不是，请给出反例。
（c ）此码是否唯一可译？如果不是，请给出反例。
5. （10分）设有一个离散信道，其信道矩阵为⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡=2/14/14/14/12/14/14/14/12/1321321b b b a a a P ， （1）当信源X 的概率分布为p (a 1)=2/3，p (a 2)=p (a 3)=1/6时，按最大后验概率准则选择译码函数，并计算其平均错误译码概率p e 。
（2）当信源是等概信源时，按最大似然译码准则选择译码函数，并计算其平均错误译码概率p e 。
6. （10分）已知(7, 4)循环码的生成多项式1)(3
++=x x x g ，若已知接收码的最高位码元发生错误，求其伴随多项式；若已知接收码字为0111000，求发送码字。
7. （10分）设(3, 1, 2)卷积码的生成子矩阵g 1=[1 1 1]，g 2=[0 1 0]，g 3=[0 0 1]。
（1）求卷积码的生成矩阵G ∞。
（2）若输入信息序列U=[1 0 1 1 0 1 0 1 0 0...]时，求卷积码的输出码字序列。
8. （5分）什么是对称密码体制和非对称密码体制？各有何优缺点？
9. （30分）网络信息论研究的主要问题是什么？目前的研究热点主要之中在哪几个问题上？它们与历史上相关的研究成果有哪些不同？采用的模型和分析技术是什么？。