信息论考题及答案
信息论考试题及答案
1.有二元对称信道编码：1)已知信源X,41,4310==p p ，求H(X),H(X|Y),I(X,Y)。
2)求信道容量C 。
解：由题意可知，（X,Y ）服从如下的联合分布Y,X0101/21/1211/41/6X 的边际分布是（3/4,1/4），Y 的边际分布是（7/12,5/12）)(811.03log 432)41log 4143log 43(log )(210bit p p X H i i i =-=+-=-=∑=)bit (749.07log 1275log 1253log 433252,53(125)71,76(127)|()()|(22210=++--=+====∑=H H i Y X H i Y p Y X H i )bit (062.07log 1275log 12538)|()(),(22=--=-=Y X H X H Y X I )(082.03log 35)31(1)(12bit H p H C =-=-=-=2.最小熵。
求出)(),...,,(21p H p p p H n =最小值是多少，因为p 的范围是在n 维概率向量集合上的最小值是多少？找到所有达到这个最小值时的p。
解：我们希望找到所有的概率向量),...,,(21n p p p p =，让∑-=i ii p p p H log )(达到最小，现在有时等式成立或当且仅当10,0log =≥-i i i p p p ，因此，唯一可能使得H(p)最小化的概率向量是对于某些i 和j 满足.,0,1i j p p j i ≠==这里有n 个这样的向量，比如)1,...,0,0(),0,...,1,0(),0,...,0,1（，此时H(p)的最小值为0。
3.赫夫曼码。
考虑随机变量⎪⎪⎭⎫ ⎝⎛=02.003.004.004.012.026.049.07654321x x x x x x x X （a）求X 的二元赫夫曼码。
信息论试卷含答案资料讲解
《信息论基础》参考答案一、填空题（共15分，每空1分）1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为32log bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。
5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。
6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。
7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()222x f x σ-=时，信源具有最大熵，其值为值21log 22e πσ。
9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。
（2）()()1222H X X H X =≥()()12333H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。
在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。
二、（6分）若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。
()1,2640,x f x ⎧≤≤⎪=⎨⎪⎩Q 其它()()()62log f x f x dx ∴=-⎰相对熵h x=2bit/自由度该信源的绝对熵为无穷大。
三、（16分）已知信源1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长L ;（4分）（3）计算编码信息率R ';（2分）（4）计算编码后信息传输率R ;（2分） （5）计算编码效率η。
信息论部分习题及解答
2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“3和5同时出现” 这事件的自信息量。
（2）“两个1同时出现” 这事件的自信息量。
（3）两个点数的各种组合（无序对）的熵或平均信息量。
（4）两个点数之和（即2，3，…，12构成的子集）的熵。
（5）两个点数中至少有一个是1的自信息。
解：（1）设X 为‘3和5同时出现’这一事件，则P （X ）=1/18，因此 17.418log)(log)(22==-=x p X I (比特)（2）设‘两个1同时出现’这一事件为X ，则P （X ）=1/36，因此 17.536log)(log)(22==-=x p X I (比特)(3 ) “两个相同点数出现”这一事件的概率为1/36,其他事件的概率为1/18,则 337.418log181536log366)(22=+=X H (比特/组合)（4）222222111111()[log 36log 18()log 12()log 936181836181811136111()log ]2()log 6 3.44(/)1818365181818H X =++++++++⨯+++=比特两个点数之和（5）两个点数至少有一个为1的概率为P （X ）= 11/36 71.13611log)(2=-=X I （比特）2-6设有一离散无记忆信源，其概率空间为⎪⎪⎭⎫⎝⎛=====⎪⎪⎭⎫⎝⎛8/134/124/118/304321x x x x PX该信源发出的信息符号序列为（202 120 130 213 001 203 210 110 321 010 021 032 011 223 210），求：（1） 此信息的自信息量是多少？（2） 在此信息中平均每个符号携带的信息量是多少？ 解：（1）由无记忆性，可得序列）（比特/18.87)3(6)2(12)1(13)0(14=+++=I I I I（2）符号）（比特/91.145/==I H 2-9在一个袋中放有5个黑球、10个白球，以摸一个球为一次实验，摸出的球不再放进去。
信息论基础试题及答案
信息论基础试题及答案信息论基础试题及答案填空题（每题2分）1、信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。
（考点：信息论的研究目的）2、电视屏上约有500×600=3×105个格点，按每点有10个不同的灰度等级考虑，则可组成103?10个不同的画面。
按等概计算，平均每个画面可提供的信息量约为（106bit/画面）。
（考点：信息量的概念及计算）3、按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。
（考点：信道按噪声统计特性的分类）4、英文电报有32个符号（26个英文字母加上6个字符），即q=32。
若r=2，N=1，即对信源S的逐个符号进行二元编码，则每个英文电报符号至少要用（5）位二元符号编码才行。
（考点：等长码编码位数的计算）5、如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。
（考点：错误概率和译码准则的'概念）6、按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。
（考点：纠错码的分类）7、码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4，2））线性分组码。
（考点：线性分组码的基本概念）8、和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输速率，称之为（信道容量）。
（考点：连续信道和波形信道的信道容量）9、对于一个（n,k）分组码，其最小距离为d，那么，若能纠正t 个随机错误，同时能检测e（e≥t）个随机错误，则要求（d≥t+e+1）。
（考点：线性分组码的纠检错能力概念）判断题（每题2分）1、信源剩余度的大小能很好地反映离散信源输出的符号序列中符号之间依赖关系的强弱，剩余度越大，表示信源的实际熵越小。
信息论基础理论与应用考试题及答案
信息论基础理论与应用考试题及答案信息论基础理论与应用考试题一﹑填空题（每题2分，共20分）1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。
（考点：信息论的研究目的）2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成531010⨯个不同的画面。
按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。
（考点：信息量的概念及计算）3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。
（考点：信道按噪声统计特性的分类）4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。
若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。
（考点：等长码编码位数的计算）5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。
（考点：错误概率和译码准则的概念）6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。
（考点：纠错码的分类）7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4，2））线性分组码。
（考点：线性分组码的基本概念）8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =⎡⎤==-⎢⎥⎣⎦∑）。
（考点：平均信息量的定义）9.对于一个（n,k）分组码，其最小距离为d，那么，若能纠正t个随机错误，同时能检测e（e≥t）个随机错误，则要求（d≥t+e+1）。
（考点：线性分组码的纠检错能力概念）10.和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输速率，称之为（信道容量）。
最新《信息论》试题及答案
期终练习一、某地区的人群中，10％是胖子，80％不胖不瘦，10％是瘦子。
已知胖子得高血压的概率是15％，不胖不瘦者得高血压的概率是10％，瘦子得高血压的概率是5％，则“该地区的某一位高血压者是胖子”这句话包含了多少信息量。
解：设事件A ：某人是胖子； B ：某人是不胖不瘦 C ：某人是瘦子 D ：某人是高血压者根据题意，可知：P （A ）=0.1 P （B ）=0.8 P （C ）=0.1 P （D|A ）=0.15 P （D|B ）=0.1 P （D|C ）=0.05而“该地区的某一位高血压者是胖子” 这一消息表明在D 事件发生的条件下，A 事件的发生，故其概率为P （A|D ）根据贝叶斯定律，可得：P （D ）＝P （A ）* P （D|A ）＋P （B ）* P （D|B ）＋P （C ）* P （D|C ）＝0.1 P （A|D ）＝P （AD ）/P （D ）＝P （D|A ）*P （A ）/ P （D ）＝0.15*0.1/0.1＝0.15 故得知“该地区的某一位高血压者是胖子”这一消息获得的多少信息量为： I （A|D ） = - logP （A|D ）=log （0.15）≈2.73 （bit ） 二、设有一个马尔可夫信源，它的状态集为{S 1，S 2，S 3}，符号集为{a 1，a 2，a 3}，以及在某状态下发出符号集的概率是(|)k i p a s （i ，k=1，2，3），如图所示（1）求图中马尔可夫信源的状态极限概率并找出符号的极限概率（2）计算信源处在某一状态下输出符号的条件熵H(X|S=j) (j=s 1，s 2，s 3) （3）求出马尔可夫信源熵H ∞解：（1）该信源达到平稳后，有以下关系成立：13212312123()()31()()()4211()()()42()()()1Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E =⎧⎪⎪=+⎪⎨⎪=+⎪⎪++=⎩可得1232()73()72()7Q E Q E Q E ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩3111322133313()()(|)72()()(|)73()()(|)7i i i i i i i i i p a Q E p a E p a Q E p a E p a Q E p a E =========∑∑∑（2）311113222133331(|)(|)log (|) 1.5bit/(|)(|)log (|)1bit/(|)(|)log (|)0bit/k k k kk k k k k H X S p a S p a S H X S p aS p a S H X S p a S p a S ====-==-==-=∑∑∑（符号）（符号）（符号）（3）31()(|)2/7*3/23/7*12/7*06/7iii H Q E H X E ∞==⨯=++=∑（比特/符号）三、二元对称信道的传递矩阵为0.60.40.40.6⎡⎤⎢⎥⎣⎦（1）若P(0)=3/4，P(1)=1/4，求H （X ），H （X|Y ）和I （X ；Y ）（2）求该信道的信道容量及其最大信道容量对应的最佳输入分布 解：⑴()H X =21()log ()iii p x p x ==-∑=0.75log 750.25log 25--≈0.811(比特/符号)1111212()()(|)()(|)p y p x p y x p x p y x =+=0.75*0.6+0.25*0.4=0.55 2121222()()(|)()(|)p y p x p y x p x p y x =+=0.75*0.4+0.25*0.6=0.45()0.55log0.550.45log0.45H Y =--=≈0.992(比特/符号)122(|)()(|)()(|)0.75(0.6,0.4)0.25(0.4,0.6)(0.6log 0.60.4log 0.4)0.971/H Y X p x H Y x p x H Y x H H =+=⨯+⨯=-+≈（比特符号）(|)()()()(|)()H X Y H XY H Y H X H Y X H Y =-=+-≈0.811+0.971-0.992=0.79 (比特/符号)I (X ;Y )=H (X )-H (X =0.811-0.79=0.021(比特/符号)（2）此信道为二元对称信道，所以信道容量为C=1-H(p)=1-H(0.6)=1-0.971=0.029(比特/符号) 当输入等概分布时达到信道容量四、求信道22042240p p p p εεεεεε⎡⎤-- ⎢⎥-- ⎢⎥⎣⎦的信道容量，其中1p p =-。
信息论测试题及答案
一、设X 、Y 是两个相互统计独立的二元随机变量，其取-1或1的概率相等。
定义另一个二元随机变量Z ，取Z=YX （一般乘积）。
试计算：1.H （Y ）、H （Z ）；2.H （YZ ）；3.I （X;Y ）、I （Y;Z ）； 二、如图所示为一个三状态马尔科夫信源的转移概率矩阵1. 绘制状态转移图；2. 求该马尔科夫信源的稳态分布；3. 求极限熵；三、在干扰离散对称信道上传输符号1和0，已知P （0）=1/4,P(1)=3/4,试求：1. 信道转移概率矩阵P2.信道疑义度3.信道容量以及其输入概率分布 四、某信道的转移矩阵⎥⎦⎤⎢⎣⎡=1.006.03.001.03.06.0P ，求信道容量，最佳输入概率分布。
五、求下列各离散信道的容量（其条件概率P(Y/X)如下：）六、求以下各信道矩阵代表的信道的容量答案一、设X 、Y 是两个相互统计独立的二元随机变量，其取-1或1的概率相等。
定义另一个二元随机变量Z ，取Z=YX （一般乘积）。
试计算：1.H （Y ）、H （Z ）；2.H （XY ）、H （YZ ）；3.I （X;Y ）、I （Y;Z ）； 解：1. 2i 11111H Y P y logP y log log 2222i i =⎡⎤=-+⎢⎥⎣⎦∑（）=-（）（）=1bit/符号 Z=YX 而且X 和Y 相互独立∴ 1(1)(1)(1)PP X P Y P X ⋅=+=-⋅=-（Z =1）=P(Y=1)= 1111122222⨯+⨯= 2(1)(1)(1)P P X P Y P X ⋅=-+=-⋅=（Z =-1）=P(Y=1)= 1111122222⨯+⨯=故H(Z)= i2i1(z )log (z )i P P =-∑=1bit/符号2.从上式可以看出:Y 与X 的联合概率分布为:H(YZ)=H(X)+H(Y)=1+1=2bit/符号 3.X 与Y 相互独立，故H(X|Y)=H(X)=1bit/符号∴I （X;Y ）=H(X)-H(X|Y)=1-1=0bit/符号I(Y;Z)=H(Y)-H(Y|Z)=H(Y)-[H(YZ)-H(Z)]=0 bit/符号二、如图所示为一个三状态马尔科夫信源的转移概率矩阵2. 绘制状态转移图； 2. 求该马尔科夫信源的稳态分布；3. 求极限熵；解：1.状态转移图如右图 2.由公式31()()(|)j iji i p E P E P EE ==∑,可得其三个状态的稳态概率为：1123223313123111()()()()22411()()()2211()()()24()()()1P E P E P E P E P E P E P E P E P E P E P E P E P E ⎧=++⎪⎪⎪=+⎪⎨⎪=+⎪⎪⎪++=⎩1233()72()72()7P E P E P E ⎧=⎪⎪⎪⇒=⎨⎪⎪=⎪⎩3.其极限熵:3i i 13112112111H = -|E =0+0+72272274243228=1+1+ 1.5=bit/7777i P H H H H ∞=⨯⨯⨯⨯⨯⨯∑（E ）（X ）（，，）（，，）（，，）符号三、在干扰离散对称信道上传输符号1和0，已知P （0）=1/4,P(1)=3/4,试求：2. 信道转移概率矩阵P 2.信道疑义度3.信道容量以及其输入概率分布解：1.该转移概率矩阵为 P=0.90.10.10.9⎡⎤⎢⎥⎣⎦2.根据P （XY ）=P （Y|X ）⋅P （X ），可得联合概率由P （X|Y ）=P(X|Y)/P(Y)可得H(X|Y)=-i jiji j(x y )log x |y =0.09+0.12+0.15+0.035=0.4bit/P P∑，（）符号 3.该信道是对称信道，其容量为：C=logs-H=log2-H （0.9,0.1）=1-0.469=0.531bit/符号这时，输入符号服从等概率分布，即01 11()22XP X⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦四、某信道的转移矩阵⎥⎦⎤⎢⎣⎡=1.06.03.01.03.06.0P，求信道容量，最佳输入概率分布。
信息论典型试题及答案
3.1设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。
(1)试问这个信源是否是平稳的？
(2)试计算H(X2),H(X3/X1X2)及H∞；
(3)试计算H(X4)并写出X4信源中可能有的所有符号。
解：
(1)这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间而且不论以前发生过什么符号……”
(1)计算接收端的平均不确定性；
(2)计算由于噪声产生的不确定性H(Y/X)；
解：(1)
(2)
(3)两个点数的排列如下：
11
12
13
14
15
16
21
22
23
24
25
26
31
32
33
34
35
36
41
42
43
44
45
46
51
52
53
54
55
56
61
62
63
64
65
66
共有21种组合：
其中11，22，33，44，55，66的概率是
其他15个组合的概率是
(4)
参考上面的两个点数的排列，可以得出两个点数求和的概 Nhomakorabea分布如下：
解：
(1)
（2）黑白气象传真图的消息前后有关联时，由其前后的依赖关系可知，黑色白色同时出现的联合概率为：
则信源的联合熵为：
H(X1X2)=1.426bit/symbol
H2(X)=1/2*H(X1X2)=0.713 bit/symbol
（3）上述两种信源的剩余度分别为：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一、（25分）如果X 和Y 相互独立，证明X 和Y 的熵满足可加性，即 H(Y)H(X)Y)H(X,+= 证明：设P(x,y)=P(x)P(y),则有
1
H(X,Y)()()log
P()()11()()log
()()log ()()11()log
()log ()()
()()
xy
xy
xy x
y P x P y x P y P x P y P x P y P x P y P x P y P x P y H X H Y ==+=+=+∑∑∑∑∑
二、（50分）联合总体X ，Y 具有如下联合分布。
X
Y
分别计算
(1) 联合熵H(X,Y)是多少？ (2)边缘熵H(X)和H(Y)是多少?
(3)对于每一个y 值，条件熵H(X ︱y)是多少？ (4)条件熵H(X ︱Y)是多少？ (5)X 和Y 之间的互信息是多少？ 解答：(1) H(X,Y)=3.375
(2) H(X)=2, H(Y)=1.75
(3) H(X|y=1)=2,H(X|y=1)=1.875,H(X|y=1)=1.875, H(X|y=4)=0.5
(4)H(X|Y)=1.1264
(5)I(X;Y)=H(X)-H(X|Y)=2-1.1264=0.8736 三、（25分）考虑一个差错概率为f=0.15的二进制对称信道。
输入总体为x Ω:{0P =0.9，1p =0.1}，假设观察到y=1，请计算(1|1)P x y ==？ 解：
(1|1)P x y ===
(1|1)(1)
(1|)()
x
P y x P x P y x P x ===∑=
=
9.015.01.085.01
.085.0⨯+⨯⨯
=22
.0085
.0=0.39
一、（25分）如果X 和Y 相互独立，证明X 和Y 的熵满足可加性，即 H(Y)H(X)Y)H(X,+=
二、（50分）联合总体X ，Y 具有如下联合分布。
X
Y
分别计算
(1) 联合熵H(X,Y)是多少？ (2)边缘熵H(X)和H(Y)是多少?
(3)对于每一个y 值，条件熵H(X ︱y)是多少？ (4)条件熵H(X ︱Y)是多少？ (5)X 和Y 之间的互信息是多少？
三、（25分）考虑一个差错概率为f=0.15的二进制对称信道。
输入总体为
x Ω:{0P =0.9，1p =0.1}，假设观察到y=1，请计算(1|1)P x y ==？。