信息论考试试题集

1、自信息量的公式为（ )(log )(2i i a p a I -= ）。

2、连续信源输出信号的峰值功率受限时，（均匀）分布的熵最大；连续信源输出信号的平

均功率受限时，（正态）分布的熵最大。 3、当X 和Y 相互独立时，互信息为（ 0 ）。 A 、 1 B 、 0 C 、某一个正数 4、信源为X ，信宿为Y ，条件熵H （X|Y ）称为（信道损失熵）。

5、信道编码定理：对于一个离散无记忆信道，若其信道容量为C ，输入信源符号长度为L ，当信息传输速率（ R 〈 C ）时，总可以找到一种编码方法，当L 足够长时，译码的错误概率为任意小正数。

1．已知X ，Y ∈{0，1}，XY 构成的联合概率为：P （00）=P （11）=

，P （01）=P （10）=

，( 585.13log 2= ), 计算：（1）熵H （X ），H （Y ）；（2）条件熵H （X/Y ），H （Y/X ）；（3）互信息I （X ；Y ）。

解：1) p(x=0)=p(x=1)=p(y=0)=p(y=1)=0.5 H(X)=H(Y)=1(6分) 2) H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y) (6分) H(XY)=-2(8

log 8381log 8122

+)=1.8113 H(Y|X)= H(X|Y)= 1.8113-1=0.8113(8分) 3) I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)=2-1.8113=0.1887 (5分 2. 求下列信道的信道容量和最佳分布。( 585.13log 2= )

????????

3131,

6161

21P(Y/X)

该信道为对称信道，最佳分布是等概率分布p(X)={ 3

31,31 }(6分)

信道容量：C=5409.0)61

,31,21(4log ),...,,(log 2212=-=-H p p p H s s (9分)

1. 某连续信道的带宽为8 kHz ，信噪比为3∶1，现在要以R =5

10比特/秒以速度传输信息，

能否实现？如果要实现信息传输，信噪比的最小值为多少？ (212.5= 5792.6) 解：香农定理：5

2210

16000)31(log *8000)

1(log *=<=+=+=R SNR W C (8分) 这时通信传输不能实现。

210)1(log *8000=>+=R SNR C SNR 最小值为5791.6(2分)

2．

投掷一个正常的硬币直到正面出现为止，令变量X 表示投掷次数。

求：1列出随机变量X 的概率分布；计算熵H (X )。

1） ???

?????=?

?????,...21,...,21,21,...,...,2,1)(2n n

X p X 2） H （X ）=2(10分)

1条件自信息量的公式为（ )|(log )|(2i j i j a b p a b I -= ）。

2离散无记忆信源输出n 个不同的消息符号，当信源呈等概率分布情况下，信源熵取最大值，且为H （X ）=（ n 2log ）。

3、平均互信息I （X ；Y ）是输入信源概率分布{p(a i ),i=1,2,…,n}的（ C ）。 A 、非凸函数 B 、下凸函数 C 、上凸函数

4、I （X ；Y ）=H （X ）+H （Y ）-H （XY ），说明信道两端随机变量X 和Y 之间的平均互信息量等于通信前、后整个系统不确定度（ A 减小）的量。

5、当（ B ）条件，传递最大互信息称之为信道容量。 A 、固定信源特性，改变信道特性 B 、改变信源特性，固定信道特性

C 、信源特性和信道特性都变化

一、已知X ，Y ∈{0，1}，XY 构成的联合概率为：

P （00）=31，P （10）=61，P （01）=P （11）=4

，

（ 807.27log ,322.25log ,585.13log 222=== ），计算：（1）熵H （X ），H （Y ）；（2）联合熵H （XY ），条件熵H （X/Y ）；（3）互信息I （X ；Y ）。

解：1) p(x=0)=127，p(x=1)= 125，p(y=0)= 21，p(y=1)= 2

H(X)=0.9799， H(Y)=1(6分)

2) H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y) (4分) H(XY)=-(16

log 6131log 3122

++)=1.9591 H(X|Y)= 1.9591-1=0.9591(4分) 3) I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)=0.9799-0.9591=0.0208 (5

二、求下列信道的信道容量和最佳分布。( 585.13log 2= )

????

???????=31,61,31,6161,61,31

,31)/(X Y P

该信道为对称信道，最佳分布是等概率分布p(X)={ 2

,21 }(6分)

信道容量：

0409

.06

log 6132log 3121log 21)61,61,31,31(2log log ),...,,(log 22221

2212=----=--=∑H M N p p p H r C n

k s

三、设电话信号的信息率为4

106.5?比特/秒，在一个噪声功率谱为

Hz mW N /10560-?=、限频W 、限输入功率P 的高斯信道中传送。

1）若W=4kHz ，问无差错传输所需的最小功率P 是多少瓦？(214= 16384)

2）若W 趋于无穷大时，则P 是多少瓦？(ln2=0.6931)

解：香农定理：)1(log *02W

N P

W C += (4分)

1）瓦5601024000/105--?=??=Hz Hz mW W N R

2) 40106.52

?=>=

∞R In N P

C (6分)

P 最小值为瓦4

109408.1-?(2分)

四、一阶马尔可夫信源的状态转移图如下，信源符号集合为{0，1，2}。

求: 1) 列出一阶马尔可夫信源的状态转移矩阵； 2) 信源的平稳分布； 3) 信源熵∞H 。

解： 1） ????

??????---=p p p p p p P ,0,11,,00,1, (10分) 2） ]3

1,31,31[=W (4分)

3) )1log()1(log p p p p H ----=∞(6分)

信息论与编码理论习题答案

信息论与编码理论习题答案 LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】

第二章信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。解：同步信息均相同，不含信息，因此每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log = bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log = bit 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =! 521 信息量=) (1 log a p =!52log = bit (b) ? ??????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和， Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、 )|,(Y Z X H 、)|(X Z H 。

信息论考题及答案

一、（25分）如果X 和Y 相互独立，证明X 和Y 的熵满足可加性，即 H(Y)H(X)Y)H(X,+= 证明：设P(x,y)=P(x)P(y),则有 1 H(X,Y)()()log P()()11()()log ()()log ()()11()log ()log ()() ()() xy xy xy x y P x P y x P y P x P y P x P y P x P y P x P y P x P y H X H Y ==+=+=+∑∑∑∑∑ 二、（50分）联合总体X ，Y 具有如下联合分布。 X Y 分别计算 (1) 联合熵H(X,Y)是多少？ (2)边缘熵H(X)和H(Y)是多少? (3)对于每一个y 值，条件熵H(X ︱y)是多少？ (4)条件熵H(X ︱Y)是多少？ (5)X 和Y 之间的互信息是多少？解答：(1) H(X,Y)=3.375 (2) H(X)=2, H(Y)=1.75 (3) H(X|y=1)=2,H(X|y=1)=1.875,H(X|y=1)=1.875, H(X|y=4)=0.5 (4)H(X|Y)=1.1264 (5)I(X;Y)=H(X)-H(X|Y)=2-1.1264=0.8736 三、（25分）考虑一个差错概率为f=0.15的二进制对称信道。输入总体为x Ω:{0P =0.9，1p =0.1}，假设观察到y=1，请计算(1|1)P x y ==？解： (1|1)P x y === (1|1)(1) (1|)() x P y x P x P y x P x ===∑= = 9.015.01.085.01 .085.0?+?? =22 .0085 .0=0.39

信息论编码》模拟试题一及参考答案

模拟试题一一、概念简答题（共10题，每题5分） 1.简述离散信源和连续信源的最大熵定理。 2.什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。 3.解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？ 4.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。 5.设某二元码字C={111000，001011，010110，101110}， ①假设码字等概率分布，计算此码的编码效率？ ②采用最小距离译码准则，当接收序列为110110时，应译成什么码字？ 6.一平稳二元信源，它在任意时间，不论以前发出过什么符号，都按发出符号，求

和平均符号熵 7.分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。 8.二元无记忆信源，有求：（1）某一信源序列由100个二元符号组成，其中有m个“1”，求其自信息量？

（2）求100个符号构成的信源序列的熵。 9.求以下三个信道的信道容量：，，10.已知一（3，1，3）卷积码编码器，输入输出关系为：

试给出其编码原理框图。二、综合题（共5题，每题10分） 1.二元平稳马氏链，已知P（0/0）=0.9，P（1/1）=0.8，求：（1）求该马氏信源的符号熵。（2）每三个符号合成一个来编二进制Huffman码,试建立新信源的模型，给出编码结果。（3）求每符号对应的平均码长和编码效率。 2.设有一离散信道，其信道矩阵为，求：（1）最佳概率分布？

信息论习题集(陈运).doc

信息论习题集一、名词解释（25道） 1、“本体论”的信息（P2） 2、“认识论”信息（P2） 3、离散信源（P7） 4、自信息量（P9） 5、离散平稳无记忆信源（P39） 6、马尔可夫信源（P46） 7、信源冗余度（P51） 8、连续信源（P52） 9、信道容量（P73） 10、强对称信道（P75-76） 11、对称信道（P78）12、多符号离散信道（P83） 13、连续信道（P95） 14、平均失真度（P105） 15、实验信道（P107） 16、率失真函数（P107） 17、信息价值率（P127） 18、游程序列（P143） 19、游程变换（P143） 20、L-D 编码（P146）、 21、冗余变换（P146） 22、BSC 信道（P171） 23、码的最小距离（P174）24、线性分组码（P175） 25、循环码（P188）二、填空（100道） 1、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 2、 1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 3、按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。 4、按照信息的地位，可以把信息分成客观信息和主观信息。 5、人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。 6、信息的可度量性是建立信息论的基础。 7、统计度量是信息度量最常用的方法。 8、熵是香农信息论最基本最重要的概念。 9、事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。 18、离散平稳有记忆信源的极限熵，=∞H ) /(lim 121-∞→N N N X X X X H Λ。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log 2（b-a ）。 21、平均功率为P 的高斯分布的连续信源，其信源熵，H c （X ）=eP π2log 212。 22、对于限峰值功率的N 维连续信源，当概率密度均匀分布时连续信源熵具有最大值。 23、对于限平均功率的一维连续信源，当概率密度高斯分布时，信源熵有最大值。 24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P 和信源的熵功率P 之比。 25、若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 26、m 元长度为k i ，i=1，2，···n 的异前置码存在的充要条件是：∑=-≤n i k i m 11。

信息论与编码习题参考答案(全)

信息论与编码习题参考答案第一章单符号离散信源同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。解： bit P a I N n P bit P a I N n P c c N 17.536log log )(36 1 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： * (3)信源空间： bit x H 32.436log 36 16236log 36215)(=??+?? =∴

bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴== ? 如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。（1）若仅有质点A ，求A 落入任一方格的平均信息量；（2）若已知A 已落入，求B 落入的平均信息量；（3）若A ，B 是可辨认的，求A ，B 落入的平均信息量。解：！ bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量平均每个回答中各含有多少信息量如果你问一位女士，则她的答案中含有多少平均信息量解：

信息论测试题及答案

一、设X 、Y 就是两个相互统计独立的二元随机变量,其取-1或1的概率相等。定义另一个二元随机变量Z,取Z=YX(一般乘积)。试计算: 1、H(Y)、H(Z); 2、H(YZ); 3、I(X;Y)、I(Y;Z); 二、如图所示为一个三状态马尔科夫信源的转移概率矩阵 1. 绘制状态转移图; 2、求该马尔科夫信源的稳态分布; 3、求极限熵 ; 三、在干扰离散对称信道上传输符号1与0,已知P(0)=1/4,P(1)=3/4,试求: 1. 信道转移概率矩阵P 2、信道疑义度 3、信道容量以及其输入概率分布四、某信道的转移矩阵?? ????=1.006.03.001.03.06.0P ,求信道容量,最佳输入概率分布。五、求下列各离散信道的容量(其条件概率P(Y/X)如下 :) 六、求以下各信道矩阵代表的信道的容量

答案一、设X 、Y 就是两个相互统计独立的二元随机变量,其取-1或1的概率相等。定义另一个二元随机变量Z,取Z=YX(一般乘积)。试计算: 1、H(Y)、H(Z); 2、H(XY)、H(YZ); 3、I(X;Y)、I(Y;Z); 解:1、 2 i 11111H Y P y logP y log log 2222i i =??=-+????∑（）=-（）（）=1bit/符号 Z=YX 而且X 与Y 相互独立 ∴ 1(1)(1)(1)P P X P Y P X ?=+=-?=-（Z =1）=P(Y=1)= 1111122222 ?+?= 2(1)(1)(1)P P X P Y P X ?=-+=-?=（Z =-1）=P(Y=1)= 1111122222 ?+?= 故H(Z)= i 2i 1(z )log (z )i P P =- ∑=1bit/符号 2、从上式可以瞧出:Y 与X 的联合概率分布为:

信息论考试题

2009-2010学年第二学期末考试试题信息论与编码理论一、（共10分）简述最大熵原理与最小鉴别信息原理,并说明两者之间的关系。二、（共12分）某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。 1) 求符号的平均熵； 2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式； 3) 计算2)中序列的熵。

三、（共12分）一阶马尔可夫信源的状态图如下图所示。信源X 的符号集为{0, 1, 2}。 1) 求平稳后信源的概率分布； 2) 求)(X H ； 3) 求上述一阶马尔可夫信源的冗余度。 P P

四、（共10分）设离散型随机变量XYZ 的联合概率满足xyz ?)()()()(y z p x y p x p xyz p =。求证：);();(Z Y X I Y X I ≥ 五、（共12分）设有一离散无记忆信道，输入信号为321,,x x x ，输出为321,,y y y ，其信道转移矩阵为???? ??????=214141412141414121Q ，61)(,32)(21==x P x P 。试分别按理想译码准则与最大似然译码准则确定译码规则，并计算相应的平均译码差错概率。

六、（共14分）设有一离散信道，输入X ，输出Y ，其信道转移矩阵为?? ????7.01.02.02.01.07.0，求：1）信道的信道容量及达到信道容量时的输入分布？ 2）当输入X 分布为7.0)(1=x P 3.0)(2=x P 时，求平均互信息);(Y X I 及信道疑义度)(X Y H 。

信息论与编码试卷与答案

一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。（2）必然事件的自信息是 0 。（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分） I(A|B)=-log0.375=1.42bit （1分）四、（5'）证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明：

信息论考试卷及答案分析

考试科目名称：信息论一. 单选（每空2分，共20分） 1.信道编码的目的是（C ），加密编码的目的是（D ）。 A．保证无失真传输 B．压缩信源的冗余度，提高通信有效性 C．提高信息传输的可靠性 D．提高通信系统的安全性 2.下列各量不一定为正值的是（D ） A．信源熵 B．自信息量 C．信宿熵 D．互信息量 3.下列各图所示信道是有噪无损信道的是（B ） A． B．

C． D． 4.下表中符合等长编码的是（ A ）

5.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系正确的是（A ） A．H（XY）＝H（X）＋H（Y／X） B．H（XY）＝H（X）＋H（X／Y） C．H（XY）＝H（Y）＋H（X） D．若X和Y相互独立，H（Y）=H（YX） 6.一个n位的二进制数，该数的每一位可从等概率出现的二进制码元（0， 1）中任取一个，这个n位的二进制数的自信息量为（C ） A．n2 B．1 bit C．n bit n D．2 7.已知发送26个英文字母和空格，其最大信源熵为H0 = log27 = 4.76比特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03比特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32比特/符号；以此类推，极限熵H =1.5比特/符号。问若用一般传送方式，冗余度为（ B ）∞ A．0.32 B．0.68

C ．0.63 D ．0.37 8. 某对称离散信道的信道矩阵为，信道容量为（ B ） A ． )6 1 ,61,31,31(24log H C -= B ． )61 ,61,31,31(4log H C -= C ． )61 ,61,31,31(2log H C -= D ． )6 1 ,31(2log H C -= 9. 下面不属于最佳变长编码的是（ D ） A ．香农编码和哈夫曼编码 B ．费诺编码和哈夫曼编码 C ．费诺编码和香农编码 D ．算术编码和游程编码二. 综合（共80分） 1. （10分）试写出信源编码的分类，并叙述各种分类编码的概念和特性。（1分）将信源消息分成若干组，即符号序列xi ， xi ＝(xi1xi2…xil …xiL)， { 非分组码分组码 { 奇异码非奇异码 { 非唯一可译码唯一可译码 { 非即时码即时码（非延长码）码（5分）

信息论与编码试题集与答案

一填空题（本题20分，每小题2分） 1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。按照信息的地位，可以把信息分成客观信息和主观信息。人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。信息的可度量性是建立信息论的基础。统计度量是信息度量最常用的方法。熵是香农信息论最基本最重要的概念。事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是∞。 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 18、离散平稳有记忆信源的极限熵，。 19、对于n元m阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X在[a，b]区间内均匀分布时，其信源熵为 log2（b-a）。

信息论与编码试卷及答案

一、概念简答题（每题5分，共40分） 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？平均自信息为：表示信源的平均不确定度，表示平均每个信源消息所提供的信息量。平均互信息：表示从Y获得的关于每个X的平均信息量；表示发X前后Y的平均不确定性减少的量；表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。最大熵值为 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有，。说明经数据处理后，一般只会增加信息的损失。

5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。由得，则 6.解释无失真变长信源编码定理。只要，当N足够长时，一定存在一种无失真编码。 7.解释有噪信道编码定理。答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。 2）因为失真矩阵中每行都有一个0，所以有，而。二、综合题（每题10分，共60分） 1.黑白气象传真图的消息只有黑色和白色两种，求： 1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵；

信息论试卷题目及标准答案

信息论试卷题目及答案

————————————————————————————————作者：————————————————————————————————日期： 2

中国海洋大学2008—2009学年第一学期一、填空题（每空2分，共20分） 1、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 2、信源编码的目的是提高通信的有效性。信道编码的最终目的是提高信号传输的可靠性。 3、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍。 4、对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是香农编码。 5、信道输入与输出间的平均互信息是信道转移概率的下凸函数，是输入概率的上凸函数。 6、信道矩阵??????10002/12/1代表的信道的信道容量C=符号/1bit ，达到信道容量的条件是输入符号等概分布。 7、设某二进制码｛00011，10110，01101，11000，10010，10001｝，则码的最小距离是2 ，假设码字等概分布，则该码的码率为 0.517比特/符号，这时若通过二元对称信道接收码字为01100和00110时，应译为01101 ， 10110 。。二、判断题（每题2分，共10分） 1、必然事件和不可能事件的自信息量都是0 。（错） 2、最大后验概率准则与最大似然准则是等价的。（错） 3、如果信息传输速率大于信道容量，就不存在使传输差错率任意小的信道编码。（对） 4、连续信源和离散信源的熵都具有非负性。（错） 5、相同功率的噪声中，高斯噪声使信道容量最小。（对）三、简答题（第1、2题各6分，第三题10分，共22分） 1、简述最大离散熵定理。对于一个有m 个符号的离散信源，其最大熵是什么？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 (3分) 最大熵值为 m H 2max log = (3分) 2、对于任意概率事件集X 、Y 、Z ，证明下述三角不等式成立()()()Z X H Z Y H Y X H ≥+ 证：因为)|()|(Y X H YZ X H ≤ ，(3分) 所以： ) |()|()|() |,() |()|()|()|(Z Y H XZ Y H Z Y H Z Y X I YZ X H Z X H Y X H Z X H ≤-==-≤-(3分)

信息论试题1

一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为和 2.一个八进制信源的最大熵为 3.有一信源X ，其概率分布为??? ? ? ???=??? ???414 12 1 321 x x x P X ，其信源剩余度为；若对该信源进行十次扩展，则每十个符号的平均信息量是。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是；其能在每个自由度熵的最大熵是；若放大器的最高频率为F ，则单位时间内输出的最大信息量是 . 5. 若某一信源X ，其平均功率受限为16w ，其概率密度函数是高斯分布时，差熵的最大值为；与其熵相等的非高斯分布信源的功率为 6、信源编码的主要目的是，信道编码的主要目的是。 7、无失真信源编码的平均码长最小理论极限制为 . 8、当时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为和。

10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY） H(X)+H(X/Y)。（2）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y) 0, H(Y/X) 0,I(X;Y) H(X)。二、（8分）掷两粒骰子，各面出现的概率都是1/6，计算信息量： 1.当点数和为3时，该消息包含的信息量是多少？ 2.当点数和为7是，该消息包含的信息量是多少？ 3.两个点数中没有一个是1的自信息是多少？三、（12分）设X、Y是两个相互统计独立的二元随机变量，其取-1或1的概率相等。定义另一个二元随机变量Z，取Z=YX（一般乘积）。试计算： 1.H（Y）、H（Z）； 2.H（XY）、H（YZ）； 3.I（X;Y）、I（Y;Z）；四、(15分)如图所示为一个三状态马尔科夫信源的转移概率矩阵 P= 11 22 11 0 22 111 424?? ? ? ? ? ? ? ??? 1.绘制状态转移图； 2.求该马尔科夫信源的稳态分布； 3.求极限熵；五、（12分）在干扰离散对称信道上传输符号1和0，已知P（0）=1/4,P(1)=3/4,

信息论习题集

信息论习题集一、填空题 1、人们研究信息论的目的是为了高效、可靠安全地交换和利用各种各样的信息。 2、单符号离散信源输出的消息一般用随机变量描述，而符号序列离散信源输出的消息一般用随机矢量描述。 3、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 4、连续信源或模拟信号的信源编码的理论基础是限失真信源编码定理。 5、必然事件的自信息是 0 ，不可能事件的自信息量是∞。 6、信道的输出仅与信道当前的输入有关，而与过去输入无关的信道称为无记忆信道。 d，则可以纠正任意小于等于t= -1 7、若纠错码的最小距离为{ EMBED Equation.3 |min 个差错。 8、必然事件的自信息量是 0 ，不可能事件的自信息量是∞。 9、一信源有五种符号{a，b，c，d，e}，先验概率分别为=0.5，=0.25，=0.125，==0.0625。符号“a”的自信息量为__1__bit，此信源的熵为____1.875____bit/符号。 10、已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出 2 个码元错误，最多能纠正 1 个码元错误。 11、克劳夫特不等式是唯一可译码存在的充要条件。{00，01，10，11} 是否是唯一可译码？是。 12、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 13、对于离散无记忆信源，当信源熵有最大值时，满足条件为信源符号等概分布。二、选择题 1、下面哪一项不属于最简单的通信系统模型：（B） A．信源B．加密C．信道D．信宿 2、信道编码的目的是（ B ）。 A 提高通信系统的可靠性 B 提高通信系统的有效性 C 提高通信系统的保密性 D 提高通信系统的实时性 3、给定x i条件下随机事件y j所包含的不确定度和条件自信息量I(y j /x i)，（ C ） A数量上不等，含义不同 B 数量上不等，含义相同 C 数量上相等，含义不同 D 数量上相等，含义相同 4、下面哪一项不是增加信道容量的途径：（D） A 减小信道噪声功率 B 增大信号功率 C 增加码长 D 增加带宽 5、平均互信息量 I(X;Y)与信源熵和条件熵之间的关系是（ A ）。 A B C D 6、克劳夫特不等式是___A______的充要条件。 A判断唯一可译码 B 判断即时码

信息论试卷含答案

《信息论基础》模拟试卷一、填空题（共15分，每空1分） 1、信源编码的主要目的是，信道编码的主要目的是。 2、信源的剩余度主要来自两个方面，一是，二是。 3、三进制信源的最小熵为，最大熵为。 4、无失真信源编码的平均码长最小理论极限制为。 5、当时，信源与信道达到匹配。 6、根据信道特性是否随时间变化，信道可以分为和。 7、根据是否允许失真，信源编码可分为和。 8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是时，信源具有最大熵，其值为值。 9、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” （1）当X 和Y 相互独立时，H （XY ） H(X)+H(X/Y) H(Y)+H(X)。（2）()() 1222 H X X H X = ()()12333H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y) 0, H(Y/X) 0,I(X;Y) H(X)。二、（6分）若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。三、（16分）已知信源 1234560.20.20.20.20.10.1S s s s s s s P ????=???????? （1）用霍夫曼编码法编成二进制变长码；（6分）（2）计算平均码长L ;（4分）（3）计算编码信息率R ';（2分）（4）计算编码后信息传输率R ;（2分）（5）计算编码效率η。（2分）四、（10分）某信源输出A 、B 、C 、D 、E 五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/8。如果符号的码元宽度为0.5s μ。计算：（1）信息传输速率t R 。（5分）（2）将这些数据通过一个带宽为B=2000kHz 的加性白高斯噪声信道传输，噪声的单边功率谱密度为 6010W n Hz -=。试计算正确传输这些数据最少需要的发送功率P 。（5分）

信息论与编码试题集与答案(新)

" 1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越小，其密文中含有的关于明文的信息量I (M ；C )就越大。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. ? 7. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 8. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。（） 2. 线性码一定包含全零码。（） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的编码，是以另外一种形式实现的最佳统计匹配编码。（×） 4. " 5. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。（×） 6. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。（×） 7. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具有最大熵。（） 8. 循环码的码集中的任何一个码字的循环移位仍是码字。（） 9. 信道容量是信道中能够传输的最小信息量。（×） 10. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。（×） 11. ！ 12. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方

信息论习题解答

第二章信息量与熵 2、2 八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它的信息速率。解:同步信息均相同,不含信息,因此每个码字的信息量为 2?8log =2?3=6 bit 因此,信息速率为 6?1000=6000 bit/s 2、3 掷一对无偏骰子,告诉您得到的总的点数为:(a) 7; (b) 12。问各得到多少信息量。解:(1) 可能的组合为 {1,6},{2,5},{3,4},{4,3},{5,2},{6,1} )(a p =366=6 1 得到的信息量 =)(1log a p =6log =2、585 bit (2) 可能的唯一,为 {6,6} )(b p =36 1 得到的信息量=)(1log b p =36log =5、17 bit 2、4 经过充分洗牌后的一副扑克(52张),问: (a) 任何一种特定的排列所给出的信息量就是多少？ (b) 若从中抽取13张牌,所给出的点数都不相同时得到多少信息量？解:(a) )(a p =! 521 信息量=) (1log a p =!52log =225、58 bit (b) ???????花色任选种点数任意排列 13413!13 )(b p =1352 134!13A ?=135213 4C 信息量=1313524log log -C =13、208 bit 2、9 随机掷3颗骰子,X 表示第一颗骰子的结果,Y 表示第一与第二颗骰子的点数之与,Z 表示3颗骰子的点数之与,试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。解:令第一第二第三颗骰子的结果分别为321,,x x x ,1x ,2x ,3x 相互独立,则 1x X =,21x x Y +=,321x x x Z ++= )|(Y Z H =)(3x H =log 6=2、585 bit )|(X Z H =)(32x x H +=)(Y H =2?(361log 36+362log 18+363log 12+364log 9+365log 536)+36 6log 6 =3、2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ,所以)|(Y X H = 2)(X H -)(Y H =1、8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ,所以)|(Y X H =2)(X H -)(Y H =1、8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2、585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1、8955+2、585=4、4805 bit

信息论基础理论与应用考试题及答案

信息论基础理论与应用考试题一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。（考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。（考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。（考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用（5）位二元符号编码才行。（考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。（考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。（考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。（考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。

信息论与编码试题集与答案(新)

1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越小，其密文中含有的关于明文的信息量I (M ；C )就越大。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。（√ ） 2. 线性码一定包含全零码。（√ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的编码，是以另外一种形式实现的最佳统计匹配编码。（×） 4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。（×） 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。（×） 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具有最大熵。（√ ） 7. 循环码的码集中的任何一个码字的循环移位仍是码字。（√ ） 8. 信道容量是信道中能够传输的最小信息量。（×） 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。（×） 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方法叫做最佳译码。（√ ）