信息论试题及答案
期终练习
一、某地区的人群中，10％是胖子，80％不胖不瘦，10％是瘦子。
已知胖子得高血压的概率是15％，不胖不瘦者得高血压的概率是10％，瘦子得高血压的概率是5％，则“该地区的某一位高血压者是胖子”这句话包含了多少信息量。
解：设事件A ：某人是胖子； B ：某人是不胖不瘦 C ：某人是瘦子 D ：某人是高血压者
根据题意，可知：P （A ）= P （B ）= P （C ）= P （D|A ）= P （D|B ）= P （D|C ）=
而“该地区的某一位高血压者是胖子” 这一消息表明在D 事件发生的条件下，A 事件的发生，故其概率为P （A|D ）
根据贝叶斯定律，可得：
P （D ）＝P （A ）* P （D|A ）＋P （B ）* P （D|B ）＋P （C ）* P （D|C ）＝ P （A|D ）＝P （AD ）/P （D ）＝P （D|A ）*P （A ）/ P （D ）＝*＝
故得知“该地区的某一位高血压者是胖子”这一消息获得的多少信息量为：
I （A|D ） = - logP （A|D ）=log （）≈ （bit ）
二、设有一个马尔可夫信源，它的状态集为{S 1，S 2，S 3}，符号集为{a 1，a 2，a 3}，以及在某状态下发出符号集的概率是(|)k i p a s （i ，k=1，2，3），如图所示 （1）求图中马尔可夫信源的状态极限概率并找出符号的极限概率
（2）计算信源处在某一状态下输出符号的条件熵H(X|S=j) (j=s 1，s 2，s 3) （3）求出马尔可夫信源熵H ∞
解：（1）该信源达到平稳后，有以下关系成立：
13212312
123()()31()()()42
11()()()42
()()()1Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E =⎧⎪⎪=+⎪⎨⎪=+⎪⎪++=⎩
可得1232()73()72()7Q E Q E Q E ⎧
=⎪⎪
⎪=⎨⎪
⎪=⎪⎩
（2）3
1111322213
3331
(|)(|)log (|) 1.5bit/(|)(|)log (|)1bit/(|)(|)log (|)0bit/k k k k k k k k k H X S p a S p a S H X S p a S p a S H X S p a S p a S ====-==-==-=∑∑∑（符号）
（符号）（符号）
（3）3
1
()(|)2/7*3/23/7*12/7*06/7i i i H Q E H X E ∞==⨯=++=∑（比特/符号）
三、二元对称信道的传递矩阵为0.60.40.40.6⎡⎤
⎢⎥
⎣⎦
（1）若P(0)=3/4，P(1)=1/4，求H （X ），H （X|Y ）和I （X ；Y ）
（2）求该信道的信道容量及其最大信道容量对应的最佳输入分布 解：⑴()H X =2
1()log ()i i i p x p x ==-∑=0.75log 750.25log 25--≈(比特/符号)
1111212()()(|)()(|)p y p x p y x p x p y x =+=*+*= 2121222()()(|)()(|)p y p x p y x p x p y x =+=*+*=
()0.55log0.550.45log0.45H Y =--=≈(比特/符号) ≈+ (比特/符号)
I(X;Y)=H(X)-H(X|Y)=比特/符号) （2）此信道为二元对称信道，所以信道容量为
C=1-H(p)=1-H==(比特/符号) 当输入等概分布时达到信道容量 四、求信道
22042240p p p p εεεε
ε
ε⎡⎤
-- ⎢⎥-- ⎢⎥⎣⎦
的信道容量，其中1p p =-。
解：这是一个准对称信道，可把信道矩阵分为：2222p p p p ε
εε
ε⎡⎤--⎢
⎥--⎢⎥⎣⎦，0
440εε
⎡⎤
⎢⎥⎣⎦
1114N M ε==-，224,4N M εε==
故2
1
log (2,2,0,4)log log 2(2,2,0,4)(14)log(14)4log 41(2,2,4)(14)log(14)4log 4(/k k
k C r H p p N M H p p H p p εεεεεεεεεε
εεεεεεε==----=-------=-------∑比特符号）
当输入等概分布时达到信道容量。
1
五、信源123456()0.4x x x x x x X P x ⎡⎤
⎡⎤=⎢⎥⎢⎥
0.2 0.2 0.1 0.05 0.05⎣⎦⎣⎦
（1）利用霍夫曼码编成二元变长的惟一可译码，并求其L （2）利用费诺码编成二元变长的惟一可译码，并求其L （3）利用香农码编成二元变长的惟一可译码，并求其
L =×2＋×3＋×3＋×4＋×5＋×5＝(码元/信源符号)
η＝H(X)/( L logr)==（2）霍夫曼编码：
L =×2+×2×2+×3+×4×2=(码元/信源符号)
η＝H(X)/( L logr)=
(3)费诺编码：
L =×2+×2×2+×3+×4×2=(码元/信源符号)
η＝H(X)/( L logr)=
六、设有一离散信道，传递矩阵为111236111
623111362⎡⎤ ⎢⎥⎢⎥⎢⎥ ⎢⎥⎢⎥⎢⎥ ⎢⎥⎣⎦
设P(x 1)= P(x 2)=1/4，P(x 3)=1/2，试分别按最小错误概率准则和最大似然译码准则确定译
码规则，并相应的计算机平均错误概率的大小。
解：（1）按最大似然译码准则
F(y1)=x1 F(y2)=x2 F(y3)=x3
P(E)=1/2(1/3+1/6)+1/4×2×(1/3+1/6)=1/2
(2) 联合概率矩阵为，则按最小错误概率准
1
1181224111248121114612⎡⎤⎢⎥⎢⎥⎢
⎥⎢⎥⎢⎥⎢⎥⎥⎢⎦⎣
F(y1)=x3 F(y2)=x2 F(y3)=x3 P(E)= 1/8+1/24+2/12 +1/24+1/12=11/24
八、一个三元对称信源0,1,2111()33
3U P u ⎡⎤
⎡⎤⎢⎥=⎢⎥
⎢⎥
, , ⎣⎦⎣⎦ 接收符号为V ＝{0，1，2}，其失真矩阵为011101110 ⎡⎤
⎢⎥ ⎢⎥⎢⎥ ⎣⎦
（1）求D max 和D min 及信源的R(D)函数。
（2）求出达到()R D 的正向试验信道的传递概率
解：（1）max 12
D )(,)13
U
P
d u v r =-=∑V
＝min （u 因为是三元对称信源，又是等概分布，所以根据r 元离散对称信源可得 R （D ）＝log3－Dlog2－H （D ）＝log3－D －H （D ） 0<=D<=2/3 ＝0 D>2/3
（2）满足R （D ）函数的信道其反向传递概率为
根据根据贝叶斯定律，可得该信道的正向传递概率为： 九、设二元码为C=[11100，01001，10010，00111] （1）求此码的最小距离min d ；
（2）采用最小距离译码准则，试问接收序列10000，01100和00100应译成什么码字？ （3）此码能纠正几位码元的错误？ 解：（1）码距如左图
00111
11100010011001011100
01001
10010
00111
334
43
3
故d min ＝
3
（2）码距如右图
故10000译为10010，01100译为11100，00100译为11100或00111 （3）根据min 21d e ≥+,知此码能纠正一位码元的错误。
信息论考试题及答案
1.有二元对称信道编码：1)已知信源X,41,4310==p p ，求H(X),H(X|Y),I(X,Y)。
2)求信道容量C 。
解：由题意可知，（X,Y ）服从如下的联合分布Y,X0101/21/1211/41/6X 的边际分布是（3/4,1/4），Y 的边际分布是（7/12,5/12）)(811.03log 432)41log 4143log 43(log )(210bit p p X H i i i =-=+-=-=∑=)bit (749.07log 1275log 1253log 433252,53(125)71,76(127)|()()|(22210=++--=+====∑=H H i Y X H i Y p Y X H i )bit (062.07log 1275log 12538)|()(),(22=--=-=Y X H X H Y X I )(082.03log 35)31(1)(12bit H p H C =-=-=-=2.最小熵。
求出)(),...,,(21p H p p p H n =最小值是多少，因为p 的范围是在n 维概率向量集合上的最小值是多少？找到所有达到这个最小值时的p。
解：我们希望找到所有的概率向量),...,,(21n p p p p =，让∑-=i ii p p p H log )(达到最小，现在有时等式成立或当且仅当10,0log =≥-i i i p p p ，因此，唯一可能使得H(p)最小化的概率向量是对于某些i 和j 满足.,0,1i j p p j i ≠==这里有n 个这样的向量，比如)1,...,0,0(),0,...,1,0(),0,...,0,1（，此时H(p)的最小值为0。
3.赫夫曼码。
考虑随机变量⎪⎪⎭⎫ ⎝⎛=02.003.004.004.012.026.049.07654321x x x x x x x X （a）求X 的二元赫夫曼码。
信息论试题8
《信息论基础》模拟试题一、填空题（本大题共10小空，每小空2分，共20分）1.按信源发出符号所对应的随机变量之间有无统计依赖关系，可将离散信源分为和。
2.一个八进制信源的最大熵为。
3.信源冗余度存在的原因是。
4．设有一连续随机变量X表示信号x(t)的幅度，其幅值在[-4V,4V]均匀分布，那么该信源的熵h(x)= ，则该信源的绝对熵是。
5.若某一连续信源X，其平均功率受限为8W，其概率密度函数是高斯分布时，差熵的最大值为，与其熵相等的非高斯分布信源的功率为。
6.对称离散信道的转移概率矩阵P的特点是二、掷两粒骰子，各面出现的概率都是1/6，计算信息量：1.两骰子面朝上点数之和为2，该消息包含的信息量是多少？（3分）2.两骰子面朝上点数之和为8时，该消息包含的信息量是多少？（3分）3.两骰子面朝上点数是3和4，该消息包含的信息量是多少？（3分）三、设X,Y是二个相互统计独立的二元随机变量，其取-1或1的概率相等。
定义另一个二元随机变量Z，取Z=X+Y。
试计算：1．H(Y)、H(Z); (6分)2．H(XY); (3分)3．I(X;Y),I(Y;Z). (8分)四、一阶马尔可夫链信源有3个符号｛a,b,c｝,转移概率为：P（a/a）=1/2，p(b/a)=1/4，p(c/a)=1/4,p(a/b)=1/2,p(b/b)=0,p(c/b)=1/2,p(a/c)=1/2, p(b/c)=1/2,p(c/c)=0。
1.画出状态图；写出转移概率矩阵；（6分）2.求出各符号稳态概率；（6分）3.计算其极限滴；（4分）五、在干扰离散对称信道上传输符号1和0，已知p(0)=1/4,p(1)=3/4，试求：1 该信道的转移概率矩阵P（3分）2 该信道的信道容量及其输入概率分布（7分）六、某信道的转移矩阵0.50.30.200.30.500.2 p⎡⎤=⎢⎥⎣⎦试求：该信道的信道容量及最佳输入概率分布。
（6分）七、设在平均功率受限高斯可加波形信道中，信道宽带为5KHZ，又设信噪比为20db1 试计算该信道的信道容量；（3分）2 若功率信噪比降为10db,要达到相同的最大信息传输率，信道带宽应是多少？（3分）八、信源符号X有6种字母，概率为0.25，0.2，0.16，0.15，0.1，0.07，0.04，0.03. 用霍夫曼编码法编成二进制变长码，写出编程过程并计算：（共16分）1.编码前信源X的信源剩余度，2.平均码长3.编码效率。
北邮信息论期末考试试题标准答案
l 如果对数的底不定，可以不写单位。
9
8
C = C1 = log2 (5 / 3) 比特/自由度 （共 4 分,步骤酌情给分）
信道输入概率分布为
p(x) =
1
− x2
e 18
3 2π
（2 分）
信道输入的熵为
h( X ) =
1 log(2π e ×9) = 2
1 2
log
2
(18π
e)
比特/自由度
（2 分）
注：
l 对数可以化到最简，不必算出结果；
北京邮电大学 2008——2009 学年第 一 学期
《信息论》期末考试试题（B 卷）标准答案
姓名
班级
学号
分数
注：所有答案均写在答题纸上，试卷和答题纸一起上交。
一、判断题（正确打√，错误打×）（共 10 分，每小题 1 分）
（1） 差熵为零的连续信源的输出平均不确定性为零； （2） 在通过一一对应的变换后，连续信源的差熵一定会变化；
=
∫
p( x)[ 1 2
log(2π
e
×
9)]dx
=
1 2
log2 (18π
e)
比特/自由度
(4 分)
（3）
I ( X ;Y ) = h(Y ) − h(Y | X )
C = max h(Y ) − h(Y | X )
Y 为高斯分布时达到容量
C = 1 log(2π e× 25) − 1 log(2π e ×9)
ML 准则确定译码函数，并求信息传输速率和平均译码错误率；
（2+2+2 分）
（4） 如果利用 n 长重复码传送 0、1 符号，求信息传输速率和平均译码错
信息安全概论期末测试题及答案
一、单选题1、PDRR模型中的D代表的含义是( )。
A.检测B.响应C.关系D.安全正确答案：A2、信息的可用性指（）。
A.信息系统能够及时和正确地提供服务B.信息系统有电C.信息系统本身没有病毒D.信息系统可以对抗自然灾害正确答案：A3、信息系统的完整性指（）。
A.信息没有被非法修改B.信息系统不缺少零件C.信息是机密的内容D.信息的生产者不能否认信息的生产正确答案：A4、下列关于DES算法描述错误的是（）。
A. DES算法的密钥是64bitB.DES算法的密钥是56bitC.DES算法的加密的明文是64bitD.DES算法的生产的密文是64bit正确答案：A5、关于网络蠕虫，下列说法错误的是（）。
A. 网络蠕虫可以感染任何设备B.网络蠕虫的传播通常需要依赖计算机漏洞C. 网络蠕虫可能堵塞网络D.网络蠕虫可以感染很多联网计算机，并能把它们作为新的感染源正确答案：A6、关于信息的机密性的描述，错误的是( )。
A.信息的机密性只能通过加密算法实现B. 信息的机密性可以通过使用加密算法实现C.信息的机密性可以通过访问控制实现D.信息的机密性可以通过信息隐藏实现正确答案：A7、PDRR模型中的P代表的含义是( )。
A.检测B.响应C.保护D.安全正确答案：C8、下列选项中，关于AES描述错误的是( )A.AES是加密算法B.AES主要用途是做数字签名C..AES的密钥长度通常是128bit，明文数据通常是128bitD.AES是美国政府的加密标准正确答案：B9、数字签名的描述，错误的是( )A.数字签名可以用作信息的非否认性保护B.数字签名中通常应用散列函数C.数字签名中通常需要非对称密码学D.数字签名主要用于信息保密正确答案：D10、互联网电子邮件服务提供者对用户的（）没有保密的义务。
A.个人注册信息B.用户的电子邮件地址C.用户的来往电子邮件的内容D.用户通讯录中的联系人正确答案：B11、计算机病毒是一种破坏计算机功能或者毁坏计算机中所存储数据的（）A.程序代码B.微生物病菌C.计算机专家D.黑客正确答案：A12、通常意义上的网络黑客是指通过互联网利用非正常手段A.上网的人B.入侵他人计算机系统的人C.在网络上行骗的人。
信息论考试题(填空简答)
一.填空题（每空1分，共20分）1.香农信息论的三个基本概念分别为_______________ 、_____________ 、 ____________ 。
2•对离散无记忆信源来说，当信源呈_______________ 分布情况下，信源熵取最大值。
3•写出平均互信息的三种表达公式________________ 、_____________ 、 ____________ 。
4.若连续信源输出的平均功率和均值被限定，则其输出信号幅度的概率密度函数为______________ 时，信源具有最大熵值；若连续信源输出非负信号的均值受限，则其输出信号幅度呈____________ 分布时，信源具有最大熵值。
5. ________________________________ 信道容量是为了解决通信的_________________________ 问题，而信息率失真函数是为了解决通信的___________ 问题。
6. ______________________________________________________ 费诺编码比较适合于的信源。
7•无记忆编码信道的每一个二元符号输出可以用多个比特表示，理想情况下为实数，此时的无记忆二进制信道又称为__________________________ 。
&差错控制的4种基本方式是：_________________ 、_____________ 、 ____________ 、______________ 。
9 . （n,k）线性码能纠t个错误，并能发现I个错误（l>t）,码的最小距离为：10.循环码码矢的i次循环移位等效于将码多项式乘___________________ 后再模______________ 。
二.简答题（每小题5分，共30分）1 •分别说明平均符号熵与极限熵的物理含义并写出它们的数学表达式。
2•写出二进制均匀信道的数学表达式，并画出信道容量C与信道转移概率 p的曲线图。
《信息论》期末考试试题( 卷)标准答案
。
4) R(D)是满足 D 准则下平均传送每信源符号的所需的最少比特数，它是定义域 上的严格递减函数。
5) AWGN 信道下实现可靠通信的信噪比下界为－1.59dB，此时对应的频谱利用率 为 0。
6）若某离散无记忆信源有 N 个符号，并且每个符号等概出现，对这个信源进行 二元 Huffman 编码，当 N = 2i （i 是正整数）时，每个码字的长度是 i ，平 均码长是 i 。
2 1) 求此马氏源的平稳分布；（4 分） 2) 求此马氏源的熵；（3 分） 3）求平稳马氏源的二次扩展源的所有符号概率；（3 分） 4）对此二次扩展源进行二元 Huffman 编码并求编码后平均码长和编码效率。 (3+2 分)
解：
1) 此马氏源的平稳分布： (π1
π2
π3
) =(1 3
1 3
1 3
)
3 × 1 × (− 1 log 1 − 1 log 1 − 1 log 1) = 1.5比特/信源符号 2) 此马氏源的熵： 3 2 2 4 4 4 4
3）平稳马氏源的二次扩展源的所有符号及概率为： p(x1x2 ) = p(x1 ) p(x2 x1)
1 00: 6
1 11: 6
1 22: 6
编码效率为： l 19
2．（共 10 分）有两枚硬币，第一枚是正常的硬币，它的一面是国徽，另一面是 面值；第二枚是不正常的硬币，它的两面都是面值。现随机地抽取一枚硬币，进 行 2 次抛掷试验，观察硬币朝上的一面，其结果为：面值、面值。
1）求该试验结果与事件“取出的是第一枚硬币”之间的互信息；（4 分）
1) 求该信道的信道容量；（2 分）
2) 当传输速率达到容量时，确定 M 与 n 的关系。（2 分）
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln（2 ⅇ 2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
最新《信息论》试题及答案
期终练习一、某地区的人群中，10％是胖子，80％不胖不瘦，10％是瘦子。
已知胖子得高血压的概率是15％，不胖不瘦者得高血压的概率是10％，瘦子得高血压的概率是5％，则“该地区的某一位高血压者是胖子”这句话包含了多少信息量。
解：设事件A ：某人是胖子； B ：某人是不胖不瘦 C ：某人是瘦子 D ：某人是高血压者根据题意，可知：P （A ）=0.1 P （B ）=0.8 P （C ）=0.1 P （D|A ）=0.15 P （D|B ）=0.1 P （D|C ）=0.05而“该地区的某一位高血压者是胖子” 这一消息表明在D 事件发生的条件下，A 事件的发生，故其概率为P （A|D ）根据贝叶斯定律，可得：P （D ）＝P （A ）* P （D|A ）＋P （B ）* P （D|B ）＋P （C ）* P （D|C ）＝0.1 P （A|D ）＝P （AD ）/P （D ）＝P （D|A ）*P （A ）/ P （D ）＝0.15*0.1/0.1＝0.15 故得知“该地区的某一位高血压者是胖子”这一消息获得的多少信息量为： I （A|D ） = - logP （A|D ）=log （0.15）≈2.73 （bit ） 二、设有一个马尔可夫信源，它的状态集为{S 1，S 2，S 3}，符号集为{a 1，a 2，a 3}，以及在某状态下发出符号集的概率是(|)k i p a s （i ，k=1，2，3），如图所示（1）求图中马尔可夫信源的状态极限概率并找出符号的极限概率（2）计算信源处在某一状态下输出符号的条件熵H(X|S=j) (j=s 1，s 2，s 3) （3）求出马尔可夫信源熵H ∞解：（1）该信源达到平稳后，有以下关系成立：13212312123()()31()()()4211()()()42()()()1Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E =⎧⎪⎪=+⎪⎨⎪=+⎪⎪++=⎩可得1232()73()72()7Q E Q E Q E ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩3111322133313()()(|)72()()(|)73()()(|)7i i i i i i i i i p a Q E p a E p a Q E p a E p a Q E p a E =========∑∑∑（2）311113222133331(|)(|)log (|) 1.5bit/(|)(|)log (|)1bit/(|)(|)log (|)0bit/k k k kk k k k k H X S p a S p a S H X S p aS p a S H X S p a S p a S ====-==-==-=∑∑∑（符号）（符号）（符号）（3）31()(|)2/7*3/23/7*12/7*06/7iii H Q E H X E ∞==⨯=++=∑（比特/符号）三、二元对称信道的传递矩阵为0.60.40.40.6⎡⎤⎢⎥⎣⎦（1）若P(0)=3/4，P(1)=1/4，求H （X ），H （X|Y ）和I （X ；Y ）（2）求该信道的信道容量及其最大信道容量对应的最佳输入分布 解：⑴()H X =21()log ()iii p x p x ==-∑=0.75log 750.25log 25--≈0.811(比特/符号)1111212()()(|)()(|)p y p x p y x p x p y x =+=0.75*0.6+0.25*0.4=0.55 2121222()()(|)()(|)p y p x p y x p x p y x =+=0.75*0.4+0.25*0.6=0.45()0.55log0.550.45log0.45H Y =--=≈0.992(比特/符号)122(|)()(|)()(|)0.75(0.6,0.4)0.25(0.4,0.6)(0.6log 0.60.4log 0.4)0.971/H Y X p x H Y x p x H Y x H H =+=⨯+⨯=-+≈（比特符号）(|)()()()(|)()H X Y H XY H Y H X H Y X H Y =-=+-≈0.811+0.971-0.992=0.79 (比特/符号)I (X ;Y )=H (X )-H (X =0.811-0.79=0.021(比特/符号)（2）此信道为二元对称信道，所以信道容量为C=1-H(p)=1-H(0.6)=1-0.971=0.029(比特/符号) 当输入等概分布时达到信道容量四、求信道22042240p p p p εεεεεε⎡⎤-- ⎢⎥-- ⎢⎥⎣⎦的信道容量，其中1p p =-。
信息论试题6
一、填空题（共15分，每空1分）1、当 时，信源与信道达到匹配。
2、若高斯白噪声的平均功率为6 W ，则噪声熵为 。
如果一个平均功率为9 W 的连续信源的熵等于该噪声熵，则该连续信源的熵功率为 。
3、信源符号的相关程度越大，信源的符号熵越 ，信源的剩余度越 。
4、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。
根据信源符号的统计特性，对概率 的符号用短码，对概率 的符号用长码，从而减少平均码长，提高编码效率。
8、香农第一编码定理指出平均码长的理论极限值为 ，此时编码效率为 。
4、在下面空格中选择填入数学符号“=，≥，≤，>”或“<” （1）()()2212X X H H =X ()X 3H = ()3321X X X H（2）()XY H ()()Y X H Y H |+ ()()X H Y H +。
9、有一信源X ，其概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡818141214321xx x x P X ，若对该信源进行１００次扩展，则每扩展符号的平均信息量是 。
11、当时，信源熵为最大值。
８进制信源的最大熵为。
二、判断题（正确打√，错误打×）（共5分，每小题1分）1）噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大。
（）2）即时码可以在一个码字后面添上一些码元构成另一个码字。
（）3）连续信源的熵可正、可负、可为零，（）4）平均互信息始终是非负的。
（）5）信道容量C只与信道的统计特性有关，而与输入信源的概率分布无关。
（）三、（10分）计算机终端发出A 、B 、C 、D 、E 五种符号，出现概率分别为1/16，1/16，1/8，1/4，1/2。
通过一条带宽为18kHz 的信道传输数据，假设信道输出信噪比为2047，试计算：1） 香农信道容量；2） 无误码传输的最高符号速率。
四、（10分）有一信源发出恒定宽度，但不同幅度的脉冲，幅度值x 处在1a 和2a 之间。
信息论试题
信息论试题一、选择题1. 信息论的创始人是（）。
A. 克劳德·香农B. 艾伦·图灵C. 约翰·冯·诺伊曼D. 阿兰·麦席森2. 下列哪个选项是信息论中信息熵的计算公式？（）。
A. H(X) = -ΣP(x)log_2P(x)B. H(X) = ΣP(x)xC. H(X) = 1/ΣP(x)D. H(X) = log_2(1/P(x))3. 在信息论中，互信息用于衡量两个随机变量之间的（）。
A. 独立性B. 相关性C. 非线性D. 周期性4. 以下哪个不是信息论的应用领域？（）。
A. 通信系统B. 密码学C. 机器学习D. 生物遗传学5. 香农极限是指（）。
A. 信息传输的最大速率B. 信息压缩的最小冗余度C. 信道容量的理论上限D. 编码长度的最优解二、填空题1. 信息论中的信息熵是衡量信息的不确定性或________的度量。
2. 互信息表示两个随机变量之间共享的信息量，它是衡量两个变量之间________的指标。
3. 香农在1948年发表的论文《________》奠定了信息论的基础。
4. 在数字通信中，信道容量可以通过公式________来计算。
5. 信息论不仅在通信领域有广泛应用，它还对________、数据分析等产生了深远影响。
三、简答题1. 简述信息论的基本原理及其在现代通信中的作用。
2. 描述香农信息论中的主要概念及其相互之间的关系。
3. 说明信息论如何应用于数据压缩技术，并给出一个实际例子。
4. 讨论信息论对于密码学和信息安全的贡献。
四、论述题1. 论述信息论对于人工智能和机器学习领域的影响及其潜在的应用前景。
2. 分析信息论在生物信息学中的应用，以及如何帮助我们更好地理解生物系统的复杂性。
3. 探讨信息论在社会网络分析中的应用，以及它如何帮助我们理解和预测社会行为模式。
4. 评述信息论在量子通信和量子计算中的潜在作用及其对未来科技发展的意义。