12级信息论复习题
1、求基本高斯信源的差熵。
2、一个随机变量x 的概率密度函数为kx x p =)(，V x 20≤≤。
试求该信源的相对熵。
3、一个随机变量x 的概率密度函数为2
)(kx x p =，V x 20≤≤。
试求该信源的相对熵。
4、黑白气象传真图的消息只有黑色和白色两种，即信源{
}黑，白=X ，设黑色的出现概率为3.0(=黑）
P ，白色的出现概率为7.0(=白）P 。
（1）假设图上黑白消息出现前后没有关联，求熵)(X H 。
（2）假设消息前后有关联，其依赖关系为9.0/(=白）
白P ，1.0/(=白）黑P ，2.0/(=黑）白P ，8.0/(=黑）黑P ，求此平稳离散信源的熵)(2X H 。
（3）分别求上述两种信源的剩余度，比较)(X H 和)(2X H 的大小。
5、给出求一般离散信道的信道容量的计算步骤并用拉格朗日乘子法加以证明。
6、给出离散无记忆信源的信息率失真函数的参量表述并用拉格朗日乘子法加以证明。
7、给出R(D)的定义域的一般表达式并加以证明。
8、证明R(D)是平均失真度D 的下凸函数。
9、在平方误差失真下，给出高斯信源的信息率失真函数的表达式并加以证明。
10、若信道的输入和输出分别是N 长序列X 和Y ，且信道是无记忆的，则 ∑=≤N
k k k Y X I Y X I 1),();(，这里k X 和k Y 分别是序列X 和Y 中第k 位随机变量；并且证明当
且仅当信源也是无记忆信源时等号成立。
11、有一并联高斯加性信道，各子信道的噪声均值为0，方差为2
i σ： 21σ=，22σ=，23σ=，24σ=，25σ=，26σ=，27σ=，28σ=，29σ=，210σ=（W ）。
输
入信号X 是10个相互统计独立、均值为0、方差为i P 的高斯变量，且满足：
)(1101W P i i =∑=。
求各子信道的信号功率分配方案。
12、给定语音信号样值x 的概率密度函数为x e x p λλ-=2
1)(，∞<<∞-x ，求)(X H c ，并比较)(X H c 与具有同样方差的正态变量的连续熵的大小。
13、某二元信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡5.05.010)(x p X ，其失真矩阵定义为⎥⎦
⎤⎢⎣⎡=00a a D ，求该信源的max D ，min D 和该信源的信息率失真函数)(D R 。
14、设连续信源X ，其概率密度函数为x a e a x p -=
2
)(，失真度为y x y x d -=),(，试求此信源的)(D R 函数。
15、一个二进制非等概信源，符号集}1,0{=A ，p p p ==1)0(，p p p -==1)1(2，试验信道输出符号集}1,0{=B ，失真函数为汉明失真。
求该信源的信息率失真函数)(D R 。
16、设一个四元等概信源⎥⎦
⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡25.025.025.025.03210)(x p X ，接收符号集为}3,2,1,0{=Y A ，失真矩阵定义为⎥⎥⎥⎥⎦⎤
⎢⎢⎢⎢⎣⎡=0111
101111011110D ，求max D ，min D 及信源的)(D R 函数，并作出率失真函数曲线（取4到5个点）。
17、信源符号X 有6种字母，概率为，，，，，。
(1) 求符号熵)(X H 。
(2)
用香农编码法编成二进制变长码，计算其编码效率。
(3)
用费诺编码法编成二进制变长码，计算其编码效率。
(4)
用霍夫曼编码法编成二进制变长码，计算其编码效率。
(5) 用霍夫曼编码法编成三进制变长码，计算其编码效率。
18、信源符号X 有6种字母，概率为，，，，，。
a) 求符号熵)(X H 。
b) 用香农编码法编成二进制变长码，计算其编码效率。
c) 用费诺编码法编成二进制变长码，计算其编码效率。
d) 用霍夫曼编码法编成二进制变长码，计算其编码效率。
e) 用霍夫曼编码法编成三进制变长码，计算其编码效率。
19、有一个n 元等概率、平稳无记忆信源}1,,1,0{-=n X ，接收符号集为}1,,1,0{-=n Y ，且规定失真矩阵为
⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎣⎡=011101110][ d 求率失真函数)(D R 。
20、设高斯信源X 的概率密度函数为
()⎥⎦
⎤⎢⎣⎡--=222exp 21)(σσπm x x p 且失真函数定义为差方失真，()22),(z y x y x d =-=。
求该信源的率失真函数的香农
下限。
21、设有多维无记忆加性连续信道，输入信号序列为：()L x x x x ,,,21 =，输出信号序列为：()L y y y y ,,,21 =，其噪声为高斯噪声，噪声序列()L n n n n ,,,21 =中的各分量是均值为0，方差为2i σ的高斯噪声，分两种情况计算其信道容量：
（1）在各单元时刻（L i ,,2,1 =）上的噪声都是均值为0、方差为2σ的高斯噪声；
（2）在各单元时刻（L i ,,2,1 =）上的噪声都是均值为0、方差为2i σ的
高斯噪声，但输入信号的总平均功率受限，其约束条件为：
[]
P P x E x E L i i L i i L i i ===⎥⎦⎤⎢⎣⎡∑∑∑===11212
22、设二进制对称信道的转移概率矩阵为
⎥⎦
⎤⎢⎣⎡=3/23/13/13/2P （1）若4/3)(0=x p ，4/1)(1=x p ，求)(X H ，)/(Y X H ，)/(X Y H 和);(Y X I ；
（2）求该信道的信道容量及其达到信道容量时的输入概率分布。
23、某信源发送端有两个符号：2,1,=i x i ，a x p =)(1，每秒发出一个符号。
接收端有三种符号：3,2,1,=j y j ，转移概率矩阵
⎥⎦
⎤⎢⎣⎡=4/14/12/102/12/1P （1）计算接收端的平均不确定性；
（2）计算由于噪声产生的不确定性)/(X Y H ；
（3）计算信道容量。
24、在干扰离散信道上传输符号1和0，在传输过程中每100个符号发生一个错传的符号。
已知2/1)1()0(==p p ，信道每秒内允许传输1000个符号。
求此信道的容量。
25、发送端有三种等概率符号),,(321x x x ，3/1)(=i x p ，接收端收到三种符号
),,(321y y y ，信道转移概率矩阵为
⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡=09.01.03.03.04.02.03.05.0P （1）计算接收端收到一个符号后得到的信息量)(Y H ；
（2）计算噪声熵)/(X Y H ；
（3）计算接收端收到一个符号2y 的错误概率；
（4）计算从接收端看的平均错误概率；
（5）计算从发送端看的平均错误概率；
（6）从转移矩阵中能看出该信道的好坏吗
（7）计算发送端的)(X H 和)/(Y X H 。
26、设无记忆信源⎥⎦
⎤⎢⎣⎡-=⎥⎦⎤⎢⎣⎡3/1,3/1,3/11,0,1)(x p X ，接收符号集⎭⎬⎫⎩⎨⎧-=21,21Y ，失真矩阵⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡=121121D ，试求：max D 和min D 及达到max D 、min D 时的转移概率矩阵。
27、已知二元信源⎥⎦⎤⎢⎣⎡-=⎥⎦⎤⎢⎣⎡p p x p X 1,1,0)(以及失真矩阵[]
⎥⎦⎤⎢⎣⎡=0110ij d ，试求： （1）min D ；（2）max D ；（3）)(D R 。
28、某信源有8个符号{}8321,,,,a a a a ，概率分别为1/2，1/4，1/8，1/16，1/32，1/64，1/128，1/128，试编成这样的码：000，001，010，011，100，101，110，111的码。
求
（1）信源的符号熵)(X H 。
（2）出现一个1或一个0的概率。
（3）这种码的编码效率。
（4）相应的香农码及其编码效率。
（5）相应的费诺码及其编码效率。
29、已知符号集合{} ,,,321x x x 为无限离散消息集合，它们出现的概率分别为2/1)(1=x p ，4/1)(2=x p ，8/1)(3=x p ，i i x p 2/1)(=等。
（1）用香农编码方法写出各个符号消息的码字。
（2）计算码字的平均信息传输速率；
（3）计算信源编码效率。
30、已知一信源包含8个消息符号，其出现的概率为
{}
.0,1.0
18
)
P。
X
(=
.0,4.0,
.0,
05
07
04
.0,
06
.0,1.0,
（1）若该信源在每秒内发出一个符号，求该信源的熵和信息传输速率。
（2）对这8个符号作霍夫曼编码，写出相应码字，并求出编码效率。
（3）采用香农编码，写出相应码字，求出编码效率。
（4）采用费诺编码，写出相应码字，求出编码效率。
100页例4.3.3，例。
217页，，，。
信息论复习习题共32页文档
51、山气日夕佳，飞鸟相与还。 52、木欣欣以向荣，泉涓涓而始流。
53、富贵非吾愿，帝乡不可期。 54、雄发指危冠，猛气冲长缨。 55、土地平旷，屋舍俨然，有良田美 池桑竹 之属， 阡陌交 通，鸡 犬相闻 。
▪
26、要使整个人生都过得舒适、愉快，这是不可能的，因为人类必须具备一种能应付逆境的态度。——卢梭
▪
27、只有把抱怨环境的心情，化为上进的力量，才是成功的保证。——罗曼·罗兰
▪
28、知之者不如好之者，好之者不如乐之者。——孔子
▪
29、勇猛、大胆和坚定的决心能够抵得上武器的精良。——达·芬奇
▪
30、意志是一个强壮的盲人，倚靠在明眼的跛子肩上。——叔本华
谢谢！
32
信息论考试题
一．填空１．设Ｘ的取值受限于有限区间［a,b ］，则X 服从 均匀 分布时，其熵达到最大；如X 的均值为μ，方差受限为2σ，则X 服从 高斯 分布时，其熵达到最大。
2．信息论不等式：对于任意实数0>z ，有1ln -≤z z ，当且仅当1=z 时等式成立。
3．设信源为X={0，1}，P （0）=1/8，则信源的熵为 )8/7(log 8/78log 8/122+比特/符号，如信源发出由m 个“0”和（100-m ）个“1”构成的序列，序列的自信息量为)8/7(log )100(8log22m m -+比特/符号。
4．离散对称信道输入等概率时，输出为 等概 分布。
5．根据码字所含的码元的个数，编码可分为 定长 编码和 变长 编码。
6．设DMS 为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡03.007.010.018.025.037.0.654321u u u u u u P U U ，用二元符号表}1,0{21===x x X 对其进行定长编码，若所编的码为{000，001，010，011，100，101}，则编码器输出码元的一维概率=)(1x P 0.747 , =)(2x P 0.253 。
12设有ＤＭＣ，其转移矩阵为[]⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=2/16/13/13/12/16/16/13/12/1|XY P ，若信道输入概率为[][]25.025.05.0=X P ，试确定最佳译码规则和极大似然译码规则，并计算出相应的平均差错率。
解：⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=8/124/112/112/18/124/112/16/14/1][XYP最佳译码规则：⎪⎩⎪⎨⎧===331211)()()(ab F a b F a b F ，平均差错率为1-1/4-1/6-1/8=11/24；极大似然规则：⎪⎩⎪⎨⎧===332211)()()(ab F a b F a b F ，平均差错率为1-1/4-1/8-1/8=1/2。
信息论复习必考题
第一天：
1、请问什么是信息
答案：消除不确定因素
2、信息论的奠基人是谁，为什么？
答案：香农，香农三大定律
3、单个信源符号的自信息量的计算方法
答案：概率的倒数的对数
4、信源的离散熵怎么计算，熵的物理含义是什么
答案：熵代表离散程度，离散程度越大，熵值越大。
第二天：
1、请问一个随机变量在什么概率分布的时候，它的熵值最大？怎么和生活中进行对接
答案：概率分布均匀的时候熵值最大
2、请问互信息熵的计算和物理含义是什么？想想一条河流
3、数据处理定理是什么？在数据处理当中，丢失了什么？获得了什么？为什么要数据处理呢？（从通信系统的角度来考虑）沙里淘金
第三天：
1、离散的无记忆信源序列的熵值该怎么计算，它又有什么作用呢？
2、离散的有记忆序列的熵值该怎样计算？
3、极限熵的物理含义是什么？
4、编码的一些基本概念（等长和变长，奇异和非奇异，唯一可译码、平均编码长度、码树、前缀码和非前缀码等）
5、仔细体会从等长编码和变长编码，针对什么样的信源，有什么优缺点
第四天：
1、请问香农第一定理是什么？其含义是什么？如何理解？（信源符号的个数和码字个数之间的关系）
2、。
(完整word版)信息论试卷
一、选择题1、下列那位创立了信息论.(C)A.牛顿B.高斯C.香农D.哈夫曼2、下列不属于消息的是。
(B)A.文字B.信号C.图像D.语言3、同时扔两个正常的骰子,即各面呈现的概率都是1/6，若点数之和为2，则得到的自信息量为(B）。
A.-log36 bitB.log36 bitC.-log18 bitD.log18 bit4、下列说法不正确的是(C)A.异字头码肯定是唯一可译的B.逗点码是唯一可译的C.唯一可译码不必满足Kraft 不等式D.无逗点码可以唯一可译5、下述编码中那个可能是任何概率分布对应的Huffman编码(A)A.｛0，10,11}B.{00，01,10，110}C.｛01，10｝D.{001，011，100，101｝6、下列物理量不满足非负性的是（D)A.H(X)B.I(X；Y）C.H(Y|X)D.I（x j;y j）7、信源的输出与信道的输入匹配的目的不包括（D)A.符号匹配B.信息匹配C.降低信道剩余度D.功率匹配8、在串联系统中,有效信息量的值（B)A.趋于变大B.趋于变小C.不变D.不确定二、判断题1、信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
（T)2、信息是先验概率和后验概率的函数，信息量是事件数目的指数函数。
（F）提示：对数函数3、两个事件之间的互信息量可正,可负，也可能为0。
(T）4、在通讯系统中，无论对接收到的信息怎样处理，信息只会减少，绝不可能增加。
(T ）5、Huffman 编码是唯一的.（F)提示：不唯一6、概率大的事件自信息量大。
（F ）提示：小7、在事件个数相同条件下，事件等概率出现情况下的熵值最大。
（T)8、平稳的离散无记忆信道不可用一维概率描述。
(F)提示：可以三、填空题1、必然事件的自信息是 0 .2、根据码字所含的码元的个数，编码可分为 等长 编码和 不等长 编码。
3、不等长D 元码，码字最长限定为N,则至多有 D(D N - 1）/(D — 1） 个码字。
信息论习题集
信息论习题集第一章、判断题1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。
（√）2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。
（√）3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√）4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。
（√）5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。
（√）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。
（√）7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。
（×）第二章一、判断题1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。
（√）2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。
（×）3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。
（×）4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。
（×）5、信源熵具有极值性，是信源概率分布P 的下凸函数，当信源概率分布为等概率分布时取得最大值。
（×）6、离散无记忆信源的N 次扩展信源，其熵值为扩展前信源熵值的N 倍。
（√）7、互信息的统计平均为平均互信息量，都具有非负性。
（×）8、信源剩余度越大，通信效率越高，抗干扰能力越强。
（×）9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。
（×）10、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。
（×）11、在信息处理过程中，熵是不会增加的。
（√）12、熵函数是严格上凸的。
（√）13、信道疑义度永远是非负的。
（√）14、对于离散平稳信源，其极限熵等于最小平均符号熵。
信息论试题
信息论试题一、选择题1. 信息论的创始人是（）。
A. 克劳德·香农B. 艾伦·图灵C. 约翰·冯·诺伊曼D. 阿兰·麦席森2. 下列哪个选项是信息论中信息熵的计算公式？（）。
A. H(X) = -ΣP(x)log_2P(x)B. H(X) = ΣP(x)xC. H(X) = 1/ΣP(x)D. H(X) = log_2(1/P(x))3. 在信息论中，互信息用于衡量两个随机变量之间的（）。
A. 独立性B. 相关性C. 非线性D. 周期性4. 以下哪个不是信息论的应用领域？（）。
A. 通信系统B. 密码学C. 机器学习D. 生物遗传学5. 香农极限是指（）。
A. 信息传输的最大速率B. 信息压缩的最小冗余度C. 信道容量的理论上限D. 编码长度的最优解二、填空题1. 信息论中的信息熵是衡量信息的不确定性或________的度量。
2. 互信息表示两个随机变量之间共享的信息量，它是衡量两个变量之间________的指标。
3. 香农在1948年发表的论文《________》奠定了信息论的基础。
4. 在数字通信中，信道容量可以通过公式________来计算。
5. 信息论不仅在通信领域有广泛应用，它还对________、数据分析等产生了深远影响。
三、简答题1. 简述信息论的基本原理及其在现代通信中的作用。
2. 描述香农信息论中的主要概念及其相互之间的关系。
3. 说明信息论如何应用于数据压缩技术，并给出一个实际例子。
4. 讨论信息论对于密码学和信息安全的贡献。
四、论述题1. 论述信息论对于人工智能和机器学习领域的影响及其潜在的应用前景。
2. 分析信息论在生物信息学中的应用，以及如何帮助我们更好地理解生物系统的复杂性。
3. 探讨信息论在社会网络分析中的应用，以及它如何帮助我们理解和预测社会行为模式。
4. 评述信息论在量子通信和量子计算中的潜在作用及其对未来科技发展的意义。
信息论典型试题及答案
第五章
5.1将下表所列的信源进行六种不同的二进制编码。
（1）求这些码中哪些是惟一可译码。
（2）哪些码是非延长码
（3）对所有惟一可译码求出其平均码长 。
消息
C1
C2
C3
C4
C5
C6
1/2
000
0
0
0
0
0
1/4
001
01
10
10
10
100
1/16
010
011
110
110
1100
101
27.能够描述无失真信源编码定理
例1：.黑白气象传真图的消息只有黑色和白色两种，求：
1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵H(X)；
2）假设黑白消息出现前后有关联，其依赖关系为：P(白/白)=0.9，P(黑/白)＝0.1，P(白/黑)＝0.2，P(黑/黑)＝0.8，求其熵H2(X)；
10.互信息的性质是什么？
11.熵的表达式、单位、含义是什么？
12.单符号离散信源最大熵是多少？信源概率如何分布时能达到？
13.熵的性质是什么？
14.联合熵、条件熵和熵的关系。
15.平均互信息的定义是什么？平均互信息的表达式怎么推导？
16.平均互信息的含义？
17.信道疑义度、损失熵和噪声熵的含义？
18.平均互信息的性质？（能够证明，并说明每个性质的含义）
解：
由题意可知该二元信道的转移概率矩阵为：
为一个BSC信道
所以由BSC信道的信道容量计算公式得到：
3.14电视图像编码中，若每帧为500行，每行划分为600个像素，每个像素采用8电平量化，且每秒传送30帧图像。试求所需的信息速率(bit/s)。
11_12信息论参考答案模板A
莆田学院期末考试参考答案及评分标准2011 —2012 学年第一学期（A）卷课程名称：信息论与编码适用年级/专业：09/电信（通信）试卷类别开卷（）闭卷（√）学历层次本科考试用时120 分钟一、简答题（每小题8分，共32分）1. 信息论研究的对象是通信系统(3分)，其系统模型如下：（3分）数据处理定理：信息通过多级处理后，信息只减不增。
（2分）2. 答：香农信息论讲述了三大定理，香农第一定理，香农第二定理和香农第三定理。
（3分）香农第二编码定理又称为有噪信道编码定理，其内容为：设有一个离散无记忆平稳信道，其信道容量为C。
当信息传输率R<C，只要码长n足够长，则总存在一种编码，可以使平均译码错误概率任意小。
（5分）3. . 若码的任意一串有限长的码符号序列只能被唯一的译成所对应的信源符号序列，则称此码为唯一可译码（2分）；在译码是无须参考后面的码字就可以作出判断的唯一可译码叫做即时码（2分）；构造唯一可译码的充要条件是克拉夫特（Kraft）不等式，即各码字的长度ki要满足;r是进制数，q是信源符号数。
（4分）4.信源编码是把信源发出的符号序列转化到适合在信道上传输的符号序列（2分）；信道编码是把信源编码器发出的无规律的符号序列通过增加多余的码元使其成为有规律的符号序列（2分）；由于信源存在着剩余度的问题，所以需要通过信源编码提高信息传输的有效性；信息传输的过程中可能发生错误，为了提高信息传输的可靠性，所以要进行信道编码（4分）二、证明题（每小题6分，共6分）(4分)当条件概率和先验概率相等时等式成立。
（2分）三、计算题（第1、5题各16分，第2题12分，第3题10分，第4题8分，共62分）1．答：（16分）（3分）（2）（4分）（3分）（3）（6分）2．解：（1）含有1个“1”的个数为；不含有“1”的个数为；含有2个“1”的个数为；所以，含少于3个“1”的源符组个数为M = 1+100+4950 = 5051 （3分）所需最小码长为，因为是二元码所以D＝2（3分）（2）首先求信源发出一源符组，有码字与之对应的概率。
信息论复习题
信息论复习题信息论复习题第一、二章一、填空1、 1948年，美国数学家发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
2、信息、与信号，是通信理论中常用的三个既有联系又有区别的概念。
信息是系统中的对象，它包含在中。
消息是比较具体的概念，但不是物理的。
信号是表示的物理量。
在通信系统中，传送的本质内容是信息，发送时需要将信息表示成具体的消息，再将消息载至上，才能在实际的通信系统中传输。
3、不考虑加密处理，常用通信系统的物理模型包括信源、信源编码器、信道编码器、信道、和、、信宿七部分。
其中，信源负责向通信系统提供消息；，是消息传递的对象，即接收消息的人或机器；信道是传递消息的，是负责传送物理信号的设施。
4、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为。
5、自信息量的单位一般有。
6、必然事件的自信息是。
7、不可能事件的自信息量是。
8、两个相互独立的随机变量的联合自信息量等于。
9、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量。
10、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的。
11、若信源当前时刻发出的符号只与前m 个符号有关联，而与更前面的符号无关，则称这种信源为信源；若该信源的条件转移概率与时间起点无关，则进一步可称其为信源。
经过足够长时间，该信源处于什么状态已与初始状态无关，此时每种状态出现的概率达到了一种。
12、一维连续随机变量X 在[a ，b]区间内均匀分布时，其信源熵为。
13、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是。
14、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为。
15、对于离散信源，当时其信源熵具有最大值。
16、对于限平均功率的一维连续信源，当概率密度时，信源熵有最大值。
二、判断1、必然事件和不可能事件的自信息量都是0 。
《信息论》期末考试B卷答案
第1 页 共5 页北方民族大学试卷课程代码: 01100622 课程： 信息理论及编码 B 卷答案说明：此卷为《信息理论及编码》B 卷答案一、概念简答题（每小题6分，共30分）1、比较平均自信息（信源熵）与平均互信息的异同.答：平均自信息为 ()()()1log qiii H X P a P a ==-∑,表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量.………………………………………(3分)平均互信息()()()(),;log X YyP x I X Y P xy P y =∑.表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量.………………………………………(3分)2、简述香农第一定理。
答：对于离散信源S 进行r 元编码,只要其满足()_log H s NNrL ≥，…………………（3分） 当N 足够长，总可以实现无失真编码。
………………………………………(3分）3、简述唯一可译变长码的判断方法？答：将码C 中所有可能的尾随后缀组成一个集合F ，当且仅当集合F 中没有包含任一码字时，码C 为唯一可译变长码。
构成集合F 的方法：…………………(2分)首先，观察码C 中最短的码字是否是其他码字的前缀.若是，将其所有可能的尾随后缀排列出.而这些尾随后缀又可能是某些码字的前缀,再将由这些尾随后缀产生的新的尾随后缀列出。
依此下去，直至没有一个尾随后缀是码字的前缀或没有新的尾随后缀产生为止.…………………(2分） 接着，按照上述步骤将次短的码字直至所有码字可能产生的尾随后缀全部列出，得到尾随后缀集合F 。
…………………(2分)4、简述最大离散熵定理.第2 页 共5 页答：最大离散熵定理为：对于离散无记忆信源，当信源等概率分布时熵最大。
……（3分）对于有m 个符号的离散信源，其最大熵为log m 。
…………………………（3分)5、什么是汉明距离；两个二元序列1230210,0210210i j αβ==,求其汉明距离.答：长度相同的两个码字之间对应位置上不同的码元的个数,称为汉明距离。