信息论试卷及解答
信息论考试题及答案
1.有二元对称信道编码：1)已知信源X,41,4310==p p ，求H(X),H(X|Y),I(X,Y)。
2)求信道容量C 。
解：由题意可知，（X,Y ）服从如下的联合分布Y,X0101/21/1211/41/6X 的边际分布是（3/4,1/4），Y 的边际分布是（7/12,5/12）)(811.03log 432)41log 4143log 43(log )(210bit p p X H i i i =-=+-=-=∑=)bit (749.07log 1275log 1253log 433252,53(125)71,76(127)|()()|(22210=++--=+====∑=H H i Y X H i Y p Y X H i )bit (062.07log 1275log 12538)|()(),(22=--=-=Y X H X H Y X I )(082.03log 35)31(1)(12bit H p H C =-=-=-=2.最小熵。
求出)(),...,,(21p H p p p H n =最小值是多少，因为p 的范围是在n 维概率向量集合上的最小值是多少？找到所有达到这个最小值时的p。
解：我们希望找到所有的概率向量),...,,(21n p p p p =，让∑-=i ii p p p H log )(达到最小，现在有时等式成立或当且仅当10,0log =≥-i i i p p p ，因此，唯一可能使得H(p)最小化的概率向量是对于某些i 和j 满足.,0,1i j p p j i ≠==这里有n 个这样的向量，比如)1,...,0,0(),0,...,1,0(),0,...,0,1（，此时H(p)的最小值为0。
3.赫夫曼码。
考虑随机变量⎪⎪⎭⎫ ⎝⎛=02.003.004.004.012.026.049.07654321x x x x x x x X （a）求X 的二元赫夫曼码。
最新《信息论》试题及答案
期终练习一、某地区的人群中，10％是胖子，80％不胖不瘦，10％是瘦子。
已知胖子得高血压的概率是15％，不胖不瘦者得高血压的概率是10％，瘦子得高血压的概率是5％，则“该地区的某一位高血压者是胖子”这句话包含了多少信息量。
解：设事件A ：某人是胖子； B ：某人是不胖不瘦 C ：某人是瘦子 D ：某人是高血压者根据题意，可知：P （A ）=0.1 P （B ）=0.8 P （C ）=0.1 P （D|A ）=0.15 P （D|B ）=0.1 P （D|C ）=0.05而“该地区的某一位高血压者是胖子” 这一消息表明在D 事件发生的条件下，A 事件的发生，故其概率为P （A|D ）根据贝叶斯定律，可得：P （D ）＝P （A ）* P （D|A ）＋P （B ）* P （D|B ）＋P （C ）* P （D|C ）＝0.1 P （A|D ）＝P （AD ）/P （D ）＝P （D|A ）*P （A ）/ P （D ）＝0.15*0.1/0.1＝0.15 故得知“该地区的某一位高血压者是胖子”这一消息获得的多少信息量为： I （A|D ） = - logP （A|D ）=log （0.15）≈2.73 （bit ） 二、设有一个马尔可夫信源，它的状态集为{S 1，S 2，S 3}，符号集为{a 1，a 2，a 3}，以及在某状态下发出符号集的概率是(|)k i p a s （i ，k=1，2，3），如图所示（1）求图中马尔可夫信源的状态极限概率并找出符号的极限概率（2）计算信源处在某一状态下输出符号的条件熵H(X|S=j) (j=s 1，s 2，s 3) （3）求出马尔可夫信源熵H ∞解：（1）该信源达到平稳后，有以下关系成立：13212312123()()31()()()4211()()()42()()()1Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E =⎧⎪⎪=+⎪⎨⎪=+⎪⎪++=⎩可得1232()73()72()7Q E Q E Q E ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩3111322133313()()(|)72()()(|)73()()(|)7i i i i i i i i i p a Q E p a E p a Q E p a E p a Q E p a E =========∑∑∑（2）311113222133331(|)(|)log (|) 1.5bit/(|)(|)log (|)1bit/(|)(|)log (|)0bit/k k k kk k k k k H X S p a S p a S H X S p aS p a S H X S p a S p a S ====-==-==-=∑∑∑（符号）（符号）（符号）（3）31()(|)2/7*3/23/7*12/7*06/7iii H Q E H X E ∞==⨯=++=∑（比特/符号）三、二元对称信道的传递矩阵为0.60.40.40.6⎡⎤⎢⎥⎣⎦（1）若P(0)=3/4，P(1)=1/4，求H （X ），H （X|Y ）和I （X ；Y ）（2）求该信道的信道容量及其最大信道容量对应的最佳输入分布 解：⑴()H X =21()log ()iii p x p x ==-∑=0.75log 750.25log 25--≈0.811(比特/符号)1111212()()(|)()(|)p y p x p y x p x p y x =+=0.75*0.6+0.25*0.4=0.55 2121222()()(|)()(|)p y p x p y x p x p y x =+=0.75*0.4+0.25*0.6=0.45()0.55log0.550.45log0.45H Y =--=≈0.992(比特/符号)122(|)()(|)()(|)0.75(0.6,0.4)0.25(0.4,0.6)(0.6log 0.60.4log 0.4)0.971/H Y X p x H Y x p x H Y x H H =+=⨯+⨯=-+≈（比特符号）(|)()()()(|)()H X Y H XY H Y H X H Y X H Y =-=+-≈0.811+0.971-0.992=0.79 (比特/符号)I (X ;Y )=H (X )-H (X =0.811-0.79=0.021(比特/符号)（2）此信道为二元对称信道，所以信道容量为C=1-H(p)=1-H(0.6)=1-0.971=0.029(比特/符号) 当输入等概分布时达到信道容量四、求信道22042240p p p p εεεεεε⎡⎤-- ⎢⎥-- ⎢⎥⎣⎦的信道容量，其中1p p =-。
《信息论》期末考试试题( 卷)标准答案
2．（共 10 分）有两枚硬币，第一枚是正常的硬币，它的一面是国徽，另一面是 面值；第二枚是不正常的硬币，它的两面都是面值。现随机地抽取一枚硬币，进 行 2 次抛掷试验，观察硬币朝上的一面，其结果为：面值、面值。
1）求该试验结果与事件“取出的是第一枚硬币”之间的互信息；（4 分）
=
E( XS + αS 2 ) σ SσU
=
αQ σ SσU
I (U ; S) = H (U ) + H (S ) − H (US )
=
1 2
log
2πe σ
2 U
+
1 2
log
2πeσ
2 S
+
log 2πeσUσ S
1− ρ2
=
1 2
log
σ
σ σ2 2
SU
σ2 2
US
− (αQ)
2
=
1 log P + α 2Q
2 1 d = 1 0 7）若失真矩阵为 3 1 ，输入等概，则 Dmin = 2/3 ， Dmax = 2/3 。
三、简答题（6 分）
1．仙农第二定理指出了“高效率、高可靠性”的信道编码存在性，
1）“高效率”的含义是什么？
（1 分）
2）“高可靠性” 的含义是什么？
（1 分）
3）存在这种信道编码的必要条件是什么？
1− ρ2
=
1 log
σ
2 U
σ
2 Y
2
σ
2 U
σ
2 Y
−
(P
+ αQ)2
=
1 log
(P + Q + N )(P + α 2Q)
湘大信息论与编码试卷及答案
一、填空题（每空1分，共30分）（1）在现代通信系统中，信源编码主要用于解决信息传输中的有效性，信道编码主要用于解决信息传输中的可靠性，加密编码主要用于解决信息传输中的安全性。
（2）不可能事件的自信息量是____∞___,必然事件的自信息是0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。
（4）在信息处理中，随着处理级数的增加，输入和输出消息之间的平均互信息量会减少。
（5）若一离散无记忆信源的信源熵H（X）等于 2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 。
（6）假设每个消息的发出都是等概率的，四进制脉冲所含信息量是二进制脉冲的 2 倍。
（7）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
霍夫曼编码方法构造的是最佳码。
（8）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2___个码元错误，最多能纠正___1__个码元错误。
（9）设有一个离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R_小于_C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（10）平均错误概率不仅与信道本身的统计特性有关，还与_译码规则和编码方法有关（11）互信息I(X。
Y)与信息熵H(Y)的关系为：I(X。
Y)_小于__（大于、小于或者等于）H(Y)。
（12）克劳夫特不等式是唯一可译码__存在___的充要条件。
{00，01，10，11}是否是唯一可译码？___是____。
（13）差错控制的基本方式大致可以分为前向纠错、反馈重发和混合纠错。
（14）如果所有码字都配置在二进制码树的叶节点，则该码字为唯一可译码。
（15）设信道输入端的熵为H(X)，输出端的熵为H(Y)，该信道为无噪有损信道，则该信道的容量为 Max H（Y）。
（16）某离散无记忆信源X，其符号个数为n，则当信源符号呈等概_____分布情况下，信源熵取最大值___log（n）。
信息论测试题及答案
一、设X 、Y 就是两个相互统计独立的二元随机变量,其取-1或1的概率相等。
定义另一个二元随机变量Z,取Z=YX(一般乘积)。
试计算:1、H(Y)、H(Z);2、H(YZ);3、I(X;Y)、I(Y;Z); 二、如图所示为一个三状态马尔科夫信源的转移概率矩阵1. 绘制状态转移图; 2、 求该马尔科夫信源的稳态分布;3、 求极限熵;三、在干扰离散对称信道上传输符号1与0,已知P(0)=1/4,P(1)=3/4,试求:1. 信道转移概率矩阵P 2、信道疑义度 3、信道容量以及其输入概率分布 四、某信道的转移矩阵⎥⎦⎤⎢⎣⎡=1.006.03.001.03.06.0P ,求信道容量,最佳输入概率分布。
五、求下列各离散信道的容量(其条件概率P(Y/X)如下:)六、求以下各信道矩阵代表的信道的容量答案一、设X 、Y 就是两个相互统计独立的二元随机变量,其取-1或1的概率相等。
定义另一个二元随机变量Z,取Z=YX(一般乘积)。
试计算:1、H(Y)、H(Z);2、H(XY)、H(YZ);3、I(X;Y)、I(Y;Z); 解:1、 2i 11111H Y P y logP y log log 2222i i =⎡⎤=-+⎢⎥⎣⎦∑（）=-（）（）=1bit/符号 Z=YX 而且X 与Y 相互独立∴ 1(1)(1)(1)PP X P Y P X ⋅=+=-⋅=-（Z =1）=P(Y=1)= 1111122222⨯+⨯= 2(1)(1)(1)P P X P Y P X ⋅=-+=-⋅=（Z =-1）=P(Y=1)= 1111122222⨯+⨯=故H(Z)= i2i1(z )log (z )i P P =-∑=1bit/符号2、从上式可以瞧出:Y 与X 的联合概率分布为:H(YZ)=H(X)+H(Y)=1+1=2bit/符号 3、X 与Y 相互独立,故H(X|Y)=H(X)=1bit/符号∴I(X;Y)=H(X)-H(X|Y)=1-1=0bit/符号I(Y;Z)=H(Y)-H(Y|Z)=H(Y)-[H(YZ)-H(Z)]=0 bit/符号 二、如图所示为一个三状态马尔科夫信源的转移概率矩阵2. 绘制状态转移图; 2、 求该马尔科夫信源的稳态分布; 3、 求极限熵;解:1、状态转移图如右图 2、由公式31()()(|)j iji i p E P E P EE ==∑,可得其三个状态的稳态概率为:1123223313123111()()()()22411()()()2211()()()24()()()1P E P E P E P E P E P E P E P E P E P E P E P E P E ⎧=++⎪⎪⎪=+⎪⎨⎪=+⎪⎪⎪++=⎩1233()72()72()7P E P E P E ⎧=⎪⎪⎪⇒=⎨⎪⎪=⎪⎩ 3、其极限熵:3i i 13112112111H = -|E =0+0+72272274243228=1+1+ 1.5=bit/7777i P H H H H ∞=⨯⨯⨯⨯⨯⨯∑（E ）（X ）（，，）（，，）（，，）符号三、在干扰离散对称信道上传输符号1与0,已知P(0)=1/4,P(1)=3/4,试求:2. 信道转移概率矩阵P 2、信道疑义度 3、信道容量以及其输入概率分布解:1、该转移概率矩阵为 P=0.90.10.10.9⎡⎤⎢⎥⎣⎦2、根据P(XY)=P(Y|X)⋅P(X),可得联合概率由P(X|Y)=P(X|Y)/P(Y)可得H(X|Y)=-i jiji j(x y )log x |y =0.09+0.12+0.15+0.035=0.4bit/P P∑，（）符号 3、该信道就是对称信道,其容量为:C=logs-H=log2-H(0、9,0、1)=1-0、469=0、531bit/符号这时,输入符号服从等概率分布,即0111()22X P X ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦四、某信道的转移矩阵⎥⎦⎤⎢⎣⎡=1.006.03.001.03.06.0P ,求信道容量,最佳输入概率分布。
信息论试卷及解答
=
log 2 −
1+ε 2 2
log(1+ ε
2)
− εε
log ε
−ε
log ε
I (X
; Y1Y2
)
=
H
(X
)
+
H (Y1Y2
)
−
H ( XY1Y2
)
=
log
2
−
1+ε 2
2
log(1 +
ε
2
)
−
ε
(2
−
ε
) log ε
其中ε = 1 − ε
5
五、（22 分）一离散无记忆信道如图 3 所示：
1/2
01
10
0
0
εε 2
P y1 y2 (01)=
εε 2
εε 2
P y1 y2 (10)=
εε 2
11
0
ε2 2
P y1 y2 (11)=
ε2 2
∴ H (XY1Y2 ) = log 2 − ε 2 log ε − εε log εε − ε 2 log ε = log 2 + H (ε ) ；
H (Y1Y2 )
信息量为：
I(z
=
1/
x
=
0)
=
− log2
2 9
=
2.170
比特
（2） p(x = 1/ z = 0) = p(x = 1) p(z = 0 / x = 1) p(z = 0)
1
=
p( x = 1) p(z = 0 / x = 1)
p(x = 0) p(z = 0 / x = 0) + p(x = 1) p(z = 0 / x = 1)
信息论与编码试卷_信息论与编码试卷题目及答案
最大熵值为组成一个马尔可夫链，且有，。
说明经数据处理后，一般只会增加信息的损失。
，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于由得，则解释无失真变长信源编码定理。
只要，当什么是保真度准则？对二元信源，其失真矩阵，求和？答：，所以有，而。
息出现前后没有关联，求熵；）假设黑白消息出现前后有关联，其依赖关系为：，，，，求其熵；）信源模型为）由得则）若，，求和；）），最佳输入概率分布为等概率分布。
信源空间为答：1）二元码的码字依序为：10，11，010，011，1010，1011，1000，1001。
平均码长，编码效率2）三元码的码字依序为：1，00，02，20，21，22，010，011。
平均码长，编码效率4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。
答：1）最小似然译码准则下，有，2）最大错误概率准则下，有，5.已知一（8，5）线性分组码的生成矩阵为。
求：1）输入为全00011和10100时该码的码字；2）最小码距。
6.设某一信号的信息传输率为5.6kbit/s，在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。
试求：（1）无差错传输需要的最小输入功率是多少？（2）此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。
7.答：1）无错传输时，有即则2）在时，最大熵对应的输入概率密度函数为2）最大错误概率准则下，有，6.答：1）无错传输时，有即则2）在时，最大熵对应的输入概率密度函数为。
信息论考试卷及答案
信息论考试卷及答案考试科⽬名称：信息论⼀. 单选（每空2分，共20分）1.信道编码的⽬的是（C ），加密编码的⽬的是（D ）。
A．保证⽆失真传输B．压缩信源的冗余度，提⾼通信有效性C．提⾼信息传输的可靠性D．提⾼通信系统的安全性2.下列各量不⼀定为正值的是（D ）A．信源熵B．⾃信息量C．信宿熵D．互信息量3.下列各图所⽰信道是有噪⽆损信道的是（B ）A．B．C．D．4.下表中符合等长编码的是（ A ）5.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系正确的是（A ）A．H（XY）＝H（X）＋H（Y／X）B．H（XY）＝H（X）＋H（X／Y）C．H（XY）＝H（Y）＋H（X）D．若X和Y相互独⽴，H（Y）=H（YX）6.⼀个n位的⼆进制数，该数的每⼀位可从等概率出现的⼆进制码元（0，1）中任取⼀个，这个n位的⼆进制数的⾃信息量为（C ）A．n2B．1 bitC．n bitnD．27.已知发送26个英⽂字母和空格，其最⼤信源熵为H0 = log27 = 4.76⽐特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03⽐特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32⽐特/符号；以此类推，极限熵H=1.5⽐特/符号。
问若⽤⼀般传送⽅式，冗余度为（ B ）∞A．0.32B．0.68C ．0.63D ．0.378. 某对称离散信道的信道矩阵为，信道容量为（ B ）A ．)61,61,31,31(24log H C -= B ．)61,61,31,31(4log H C -= C ．)61,61,31,31(2log H C -= D ．)61,31(2log H C -= 9. 下⾯不属于最佳变长编码的是（ D ）A ．⾹农编码和哈夫曼编码B ．费诺编码和哈夫曼编码C ．费诺编码和⾹农编码D ．算术编码和游程编码⼆. 综合（共80分）1. （10分）试写出信源编码的分类，并叙述各种分类编码的概念和特性。
信息论与编码试题集与答案(新)
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。
5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。
6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。
7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。
若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。
二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
（√ ）2. 线性码一定包含全零码。
（√ ）3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。
《信息论》期末考试试题(A 卷) 标准答案
a8 a16 中的任何一个；采用汉明失真测度；
(1) 求信源符号与恢复符号之间的转移概率矩阵；
(6 分)
(2) 求信源编码器的码率；
(5 分)
(3) 求信源编码的平均失真；
(2 分)
(4) 已知在汉明失真测度下，包含 n 个符号的离散无记忆等概率信源的
R(D) 函数表达式为：
(2 分)
R(
D)
=
log
L
0
1/ 3 1/ 3
9 1/ 3 1/ 3 0 0 10 1/ 3 1/ 3 1/ 3 0
0L0 0L 0
0 1/ 3 0 0
(2) 该信道是对称信道。
(3 分)
(3) C = log11− H (1/ 3,1/ 3,1/ 3) = log11− log 3 ≈ 1.8745 比特/符号，达到信道
pE3 = ω(1− p) / 2 + ω(1− p) / 2 + p / 2 = ω(1− p) + p / 2 。 pE3 = ω(1− p) + p / 2 = ω + (1/ 2 − ω) p ≥ ω = pE1 ， pE3 = ω(1− p) + p / 2 ≥ p / 2 = pE2 。 结论：信道串联使得平均译码错误率增加(不减)。
信源编码器码率： R = l = 1+ (7 + 4 + 3 + 2×3) /16 = 9 / 4 = 2.25 比特；
(3) 根据信源符号与恢复符号之间的转移概率矩阵，求得信源编码的平均失
真为： D = (1/ 16)[8× (1/ 9)]× 9 = 1/ 2 ；
(2 分)
(4) 求为达到与现有编码器相同失真每信源符号理论上所需最少比特数：