桂林电子科技大学信息论与编码试卷
二、综合题（每题10分，共60分）
1.黑白气象传真图的消息只有黑色和白色两种，求：
1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵；
2）假设黑白消息出现前后有关联，其依赖关系为：，，
，，求其熵；
2.二元对称信道如图。；
1）若，，求和；
2）求该信道的信道容量和最佳输入分布。
3.信源空间为，试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。
4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。
5.已知一（8，5）线性分组码的生成矩阵为。
求：1）输入为全00011和10100时该码的码字；2）最小码距。
6.设某一信号的信息传输率为5.6kbit/s，在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。试求：
（1）无差错传输需要的最小输入功率是多少？
（2）此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。
一、概念简答题（每题5分，共40分）
1.答：平均自信息为
表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息
表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2.答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
最大熵值为。
3.答：信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。
4.答：通信系统模型如下：
数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有，
。说明经数据处理后，一般只会增加信息的损失。
5.答：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。
由得，则
6.答：只要，当N足够长时，一定存在一种无失真编码。
7.答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8.答：1）保真度准则为：平均失真度不大于允许的失真度。
2）因为失真矩阵中每行都有一个0，所以有，而。
二、综合题（每题10分，共60分）
1.答：1）信源模型为
2）由得
则
2.答：1）
2），最佳输入概率分布为等概率分布。
3.答：1）二元码的码字依序为：10，11，010，011，1010，1011，1000，1001。
平均码长，编码效率
2）三元码的码字依序为：1，00，02，20，21，22，010，011。
平均码长，编码效率
4.答：1）最小似然译码准则下，有，
2）最大错误概率准则下，有，
5.答：1）输入为00011时，码字为00011110；输入为10100时，码字为10100101。2）
6.答：1）无错传输时，有
即则
2）在时，最大熵
对应的输入概率密度函数为
信息论习题集
一、名词解释（每词2分）（25道）
1、“本体论”的信息（P3）
2、“认识论”信息（P3）
3、离散信源（11）
4、自信息量（12）
5、离散平稳无记忆信源（49）
6、马尔可夫信源（58）
7、信源冗余度（66）8、连续信源（68）9、信道容量（95）
10、强对称信道（99）11、对称信道（101-102）12、多符号离散信道（109）
13、连续信道（124）14、平均失真度（136）15、实验信道（138）
16、率失真函数（139）17、信息价值率（163）18、游程序列（181）
19、游程变换（181）20、L-D编码（184）、21、冗余变换（184）
22、BSC信道（189）23、码的最小距离（193）24、线性分组码（195）
25、循环码（213）
二、填空（每空1分）（100道）
1、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
2、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
3、按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
4、按照信息的地位，可以把信息分成客观信息和主观信息。
5、人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
6、信息的可度量性是建立信息论的基础。
7、统计度量是信息度量最常用的方法。
8、熵是香农信息论最基本最重要的概念。
9、事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有比特、奈特和哈特。
13、必然事件的自信息是0 。
14、不可能事件的自信息量是∞。
15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。
17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。
18、离散平稳有记忆信源的极限熵，
=
∞
H)
/
(
lim
1
2
1-
∞
→
N
N
N
X
X
X
X
H
。
19、对于n元m阶马尔可夫信源，其状态空间共有n m个不同的状态。
20、一维连续随即变量X在[a，b]区间内均匀分布时，其信源熵为log2（b-a）。
21、平均功率为P的高斯分布的连续信源，其信源熵，H c（X）=
eP
π2
log
2
1
2
。
22、对于限峰值功率的N维连续信源，当概率密度均匀分布时连续信源熵具有最大值。
23、对于限平均功率的一维连续信源，当概率密度高斯分布时，信源熵有最大值。
24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P和信源的熵功率P 之比。
25、若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。
26、m元长度为k i，i=1，2，···n的异前置码存在的充要条件是：∑
=
-≤
n
i
k i
m
1
1
。
27、若把掷骰子的结果作为一离散信源，则其信源熵为log26 。
28、同时掷两个正常的骰子，各面呈现的概率都为1/65同时出现”这件事的自信息量是log218（1+2 log23）。
29、若一维随即变量X的取值区间是[0，∞]，其概率密度函数为
m
x
e
m
x
p-
=
1
)
(
，其中：0
≥
x，m是
X的数学期望，则X的信源熵
=
)
(X
H
C
me
2
log。
30、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，
则其信源熵为
52 log
2。
31、根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续信道。
32、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为无记忆信道。
33、具有一一对应关系的无噪信道的信道容量C= log2n 。
34、强对称信道的信道容量C= log2n-H ni 。
35、对称信道的信道容量C= log2m-H mi 。
36C N= NC 。
37、对于N个对立并联信道，其信道容量C N = ∑
=
N
k
k
C
1。
38、多用户信道的信道容量用多维空间的一个区域的界限来表示。
39、多用户信道可以分成几种最基本的类型：多址接入信道、广播信道和相关信源信道。
40、广播信道是只有一个输入端和多个输出端的信道。
41、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时，此信道称为加性连续信道。
42、高斯加性信道的信道容量C=
)
1(
log
2
1
2
N
X
P
P
+
。
43、信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是信息率小于信道容量。
44、信道矩阵
?
?
?
?
?
?
1
2/1
2/1
代表的信道的信道容量C= 1 。
45、信道矩阵
?
?
?
?
?
?
?
?
?
?
1
1
1
代表的信道的信道容量C= 1 。
46、高斯加性噪声信道中，信道带宽3kHz，信噪比为7，则该信道的最大信息传输速率C t= 9 kHz 。
47、对于具有归并性能的无燥信道，达到信道容量的条件是p（y j）=1/m）。
48、信道矩阵
?
?
?
?
?
?
1
1
代表的信道，若每分钟可以传递6*105个符号，则该信道的最大信息传输速率C t=
10kHz 。
49、信息率失真理论是量化、数模转换、频带压缩和数据压缩的理论基础。
50、求解率失真函数的问题，即：在给定失真度的情况下，求信息率的 极小值 。
51、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就 越大 ，获得的信息量就越小。
52、信源的消息通过信道传输后的误差或失真越大道传输消息所需的信息率 也越小 。
53、单符号的失真度或失真函数d （x i ，y j ）表示信源发出一个符号x i ，信宿再现y j 所引起的 误差或失真 。
54、汉明失真函数 d （x i ，y j ）=??
?≠=j i j i 10 。
55、平方误差失真函数d （x i ，y j ）=（y j - x i ）2。
56d （x i ，y j ）在X 和Y 的 联合概率空间P （XY ）中 的统计平均值。
57、如果信源和失真度一定，则平均失真度是 信道统计特性 的函数。
58、如果规定平均失真度D 不能超过某一限定的值D ，即：D D ≤。我们把D D ≤称为 保真度准则 。
59、离散无记忆N 次扩展信源通过离散无记忆N 次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度的 N 倍。
60、试验信道的集合用P D 来表示，则P D =
{}m j n i D D x y p i j ,,2,1,,,2,1;:)/( ==≤ 。
61、信息率失真函数，简称为率失真函数，即：试验信道中的平均互信息量的 最小值 。
62、平均失真度的下限取0的条件是失真矩阵的 每一行至少有一个零元素 。
63、平均失真度的上限D max 取{D j ：j=1，2，···，m}中的 最小值 。
64、率失真函数对允许的平均失真度是 单调递减和连续的 。
65、对于离散无记忆信源的率失真函数的最大值是 log 2n 。
66、当失真度大于平均失真度的上限时D max R （D ）= 0 。 67、连续信源X 的率失真函数R （D ）=
);()/(Y X I P x y p Inf
D ∈ 。 68、当2σ≤D 时，高斯信源在均方差失真度下的信息率失真函数为
=)(D R D 22log 21σ 。
69、保真度准则下的信源编码定理的条件是 信源的信息率R 大于率失真函数R （D ） 。 70、某二元信源??????=??????2/12/110)(X P X 其失真矩阵D=?????
?00a a ，则该信源的D max = a/2 。 71、某二元信源??????=?????
?2/12/110)(X P X 其失真矩阵D=??????00a a ，则该信源的D min = 0 。 72、某二元信源??????=??????2/12/110)(X P X 其失真矩阵D=??????00a a ，则该信源的R （D ）= 1-H （D/a ） 。
73、按照不同的编码目的，编码可以分为三类：分别是 信源编码、信道编码和安全编码 。
74、信源编码的目的是： 提高通信的有效性 。
75、一般情况下，信源编码可以分为 离散信源编码、连续信源编码和相关信源编码 。
76、连续信源或模拟信号的信源编码的理论基础是 限失真信源编码定理 。
77、在香农编码中，第i 个码字的长度k i 和p （x i ）之间有 )(log 1)(log 22i i i x p k x p -<≤- 关系。
78、对信源??????=?????
?16/116/116/116/18/18/14/14/1(87654321x x x x x x x x X P X ）进行二进制费诺编码，其编码效率为 1 。 79、对具有8个消息的单符号离散无记忆信源进行4进制哈夫曼编码时，为使平均码长最短，应增加 2 个概率为0的消息。
80、对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是 香农编码 。
81、对于二元序列0011100000011111001111000001111111，其相应的游程序列是 23652457 。
82、设无记忆二元序列中，“0”和“1”的概率分别是p 0和p 1，则“0”游程长度L （0）的概率为 11)0(0)]0([p p L p L -= 。
83、游程序列的熵 等于 原二元序列的熵。
84、若“0”游程的哈夫吗编码效率为η0，“1”游程的哈夫吗编码效率为η1，且η0>η1对应的二元序列的编码效率为η，则三者的关系是 η0>η>η 1 。
85 截断 处理的方法。
86、“0”游程和“1”游程可以分别进行哈夫曼编码，两个码表中的码字可以重复，但 C 码 必须不同。 87、在多符号的消息序列中，大量的重复出现的，只起占时作用的符号称为 冗余位 。
88、“冗余变换”即：将一个冗余序列转换成一个二元序列和一个 缩短了的多元序列 。
89、L-D 编码是一种 分帧传送冗余位序列 的方法。
90、L-D 编码适合于冗余位 较多或较少 的情况。
91、信道编码的最终目的是 提高信号传输的可靠性 。
92、狭义的信道编码即：检、纠错编码 。
93、BSC 信道即：无记忆二进制对称信道 。
94、n 位重复码的编码效率是 1/n 。
95、等重码可以检验 全部的奇数位错和部分的偶数位错 。
96、任意两个码字之间的最小汉明距离有称为码的最小距d min ，则d min =)',(min 'c c d c c ≠。
97、若纠错码的最小距离为d min ，则可以纠正任意小于等于t=
??????-21min d 个差错。
98、若检错码的最小距离为d min ，则可以检测出任意小于等于l= d min -1 个差错。 99、线性分组码是同时具有 分组特性和线性特性 的纠错码。
100、循环码即是采用 循环移位特性界定 的一类线性分组码。
三、判断（每题1分）（50道）
1、 必然事件和不可能事件的自信息量都是0 。错
2、 自信息量是)(i x p 的单调递减函数。对
3、 单符号离散信源的自信息和信源熵都具有非负性。对
4、 单符号离散信源的自信息和信源熵都是一个确定值。错
5、 单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的。对
6、 自信息量、条件自信息量和联合自信息量之间有如下关系：
)/()()/()()(j i j i j i j i y x I y I x y I x I y x I +=+= 对
7、 自信息量、条件自信息量和互信息量之间有如下关系： )/()()/()();(i j j j i i j i x y I y I y x I x I y x I -=-= 对
8、 当随即变量X 和Y 相互独立时，条件熵等于信源熵。对
9、 当随即变量X 和Y 相互独立时，I （X ；Y ）=H （X ） 。错
10、信源熵具有严格的下凸性。错
11、平均互信息量I （X ；Y ）对于信源概率分布p （x i ）和条件概率分布p （y j /x i ）都具有凸函数性。 对
12、m 阶马尔可夫信源和消息长度为m 的有记忆信源，其所含符号的依赖关系相同。 错
13、利用状态极限概率和状态一步转移概率来求m 阶马尔可夫信源的极限熵。 对
14、N 维统计独立均匀分布连续信源的熵是N 维区域体积的对数。 对
15、一维高斯分布的连续信源，其信源熵只与其均值和方差有关。 错
16、连续信源和离散信源的熵都具有非负性。 错
17、连续信源和离散信源都具有可加性。 对
18、连续信源和离散信源的平均互信息都具有非负性。 对
19、定长编码的效率一般小于不定长编码的效率。 对
20、若对一离散信源（熵为H （X ））进行二进制无失真编码，设定长码子长度为K ，变长码子平均长度为K ，一般K >K 。 错
21、信道容量C 是I （X ；Y ）关于p （x i ）的条件极大值。 对
22、离散无噪信道的信道容量等于log 2n ，其中n 是信源X 的消息个数。 错
23、对于准对称信道，当
m y p j 1)(=时，可达到信道容量C 。错
24、多用户信道的信道容量不能用一个数来代表。 对
25、多用户信道的信道容量不能用一个数来代表，但信道的信息率可以用一个数来表示。错
26、高斯加性信道的信道容量只与信道的信噪有关。 对
27、信道无失真传递信息的条件是信息率小于信道容量。对
28、最大信息传输速率，即：选择某一信源的概率分布（p （x i ）），使信道所能传送的信息率的最大值。 错
29、对于具有归并性能的无燥信道，当信源等概率分布时（p （x i ）=1/n ），达到信道容量。 错
30、求解率失真函数的问题，即：在给定失真度的情况下，求信息率的极小值。对
31、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小。 错
32、当p （x i ）、p （y j /x i ）和d （x i ，y j ）给定后，平均失真度是一个随即变量。 错
33、率失真函数对允许的平均失真度具有上凸性。对
34、率失真函数没有最大值。 错
35、率失真函数的最小值是0 。对
36、率失真函数的值与信源的输入概率无关。错
37、信源编码是提高通信有效性为目的的编码。 对
38、信源编码通常是通过压缩信源的冗余度来实现的。 对
39、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。 错
40、一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。 对
41、在编m （m>2）进制的哈夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短。
对 42、游程序列的熵（“0”游程序列的熵与“1”游程序列的熵的和）大于等于原二元序列的熵。 错
43、在游程编码过程中，“0”游程和“1”游程应分别编码，因此，它们的码字不能重复。 错
44、L-D 编码适合于冗余位较多和较少的情况，否则，不但不能压缩码率，反而使其扩张。 对
45、狭义的信道编码既是指：信道的检、纠错编码。 对
46、对于BSC 信道，信道编码应当是一对一的编码，因此，消息m 的长度等于码字c 的长度。 错
47、等重码和奇（偶）校验码都可以检出全部的奇数位错。 对
48、汉明码是一种线性分组码。对
49、循环码也是一种线性分组码。 对
50、卷积码是一种特殊的线性分组码。 错
四、简答（每题4分）（20道）
1、 信息的主要特征有哪些？（4）
2、 信息的重要性质有哪些？（4）
3、 简述几种信息分类的准则和方法。（5）
4、 信息论研究的内容主要有哪些？（8）
5、 简述自信息的性质。（13）
6、 简述信源熵的基本性质。（23）
7、 简述信源熵、条件熵、联合熵和交互熵之间的关系。（48）
8、 信道的分类方法有哪些？（93-94）
9、 简述一般离散信道容量的计算步骤。（107）
10、简述多用户信道的分类。（115-116）
11、简述信道编码定理。（128）
12、简述率失真函数的性质。（140-145）
13、简述求解一般离散信源率失真函数的步骤。（146-149）
14、试比较信道容量与信息率失真函数。（164）
15、简述编码的分累及各种编码的目的。（168）
16、简述费诺编码的编码步骤。（170）
17、简述二元哈夫曼编码的编码步骤。（173）
18、简述广义的信道编码的分类及各类编码的作用。（188）
19、简述线性分组码的性质。（196）
20、简述循环码的系统码构造过程。（221）
“信息论与编码”试题 2007级硕士研究生
2008年6月14日
一、基本概念题（闭卷部分，每题4分，共40分。1小时内完成并交卷）
1.试证明n 维随机变量的共熵，不大于它们各自的熵之和。
证明：
即证明∑=≤n
i i n H ,,,H 121)()(X X X X
因为 0 ≤ I (X ; Y ) = H (X ) – H (X /Y )，
所以 H (X /Y ) ≤H (X )。
由共熵的定义和熵的链接准则，有
H (X 1, X 2) = H (X 1) +H (X 2/ X 1) )()(21X X H H +≤
H (X 1, X 2, X 3) = H (X 1)+H (X 2, X 3/ X 1)
= H (X 1)+H (X 2/ X 1)+H (X 3/ X 2, X 1) ≤ H (X 1)+H (X 2) +H (X 3)
…
∑=≤∑=-=n i i H n i i i H n H 1)(1)1,,1/(),,2,1(X X X X X X X
证毕。
2.请给出信源编码器的主要任务以及对信源编码的基本要求。解：信源编码器的主要任务是完成输入消息集合与输出代码集合之间的映射。
对信源编码有如下基本要求：
（1）选择合适的信道基本符号，以使映射后的代码适应信道。例如，ASCII 码选用了16进制数。
（2）寻求一种方法，把信源发出的消息变换成相应的代码组。这种方法就是编码，变换成的代码就是码字。
（3）编码应使消息集合与代码组集合中的元素一一对应。
3.请给出平均码长界定定理及其物理意义。解：平均码长界定定理：若一个离散无记忆信源X ，具有熵H (X )，对其编码用D 种基本符号，则总可以找到一种无失真信源编码，构成单义可译码，使其平均码长满足
1log )(log )(+≤≤D
H b D H X X 平均码长界定定理的物理意义：
编码所追求的，是在单义可译前提下寻求尽可能小的平均码长。平均码长界定定理指出，平均码长的下界值D
H b log )(min X =。对于给定信源空间{X ，P (X )}的离散信源，其熵H (X )是确定的数值，如果信道基本符号也是确定的，即D 也是给定的，则min b 也就定了。这意味着，如果不改变信源的统计特性，减小b 的潜力，到了其下界值也就到了极限了。因此，如果要进一步提高编码效率，必须对信源本身进行研究，例如改变信源本身的统计特性，对其进行扩展。
4.请给出连续信源分别为均匀分布、高斯分布和指数分布时信源的相对熵。解：（1）均匀分布连续信源的相对熵为
)log()(log )()(a b dx x p x p x h b a -=-=?
（2）高斯分布连续信源X 的相对熵为
2
2
2
2
2
2
2
2
2
()()ln()
()
()ln
2
()
()ln()
2
2
11
ln(2π)
22
11
ln(2π)ln e
22
1
ln(2πe)
2
h x p x p x dx
x m
p x dx
x m
p x p x dx
σ
σ
σ
σ
σ
σ
σ
∞
-∞
∞
-∞
∞∞
-∞-∞
=-
??
??
-?
=--?
??
?
???
-
=-+
=
=+
=+
=
?
?
??
中间步骤可以省略（3）指数分布连续信源X的相对熵为
ae
e
a
x
xe
a
x
e
a
a
x
e
a
e
a
x
x
p
x
p
x
h
a
x
a
x
a
x
a
x
ln
ln
ln
d
1
d
ln
1
d
1
ln
1
d)
(
ln
)
(
)
(
2
=
+
=
+
?
=
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
=
-
=
?
?
?
?
∞-
∞-
-
∞-
∞
中间步骤可以省略
5.请给出失真函数、平均失真度、保真度准则、信息率失真函数的定义。解：失真函数定义：对于有失真的信息传输系统，对应于每一对（a i,b j）（n = 1, 2, …r；j=1, 2, …, s），定义一个非负实值函数
(,)0(1,2,;1,2,)
i j
d a b i r j s
≥=???=???
表示信源发出符号a i而经信道传输后再现成信道输出符号集合中的b j所引起的误差或失真，称之为a i和b j之间的失真函数（Distortion Function），简写为d ij。
平均失真度定义：若信源和信宿的消息集合分别为X:{a1, a2, …, a r}和Y:{b1, b2, …, b s}，其概率分别为P (a i)和P (b j) (i=1, 2, …, r ; j=1, 2, …, s )，信道的转移概率为P (b j /a i)，失真函数为d (a i, b j)，则称随机变量X和Y的联合概率P (a i b j )对失真函数d (a i, b j)的统计平均值为该通信系统的平均失真度D。
保真度准则定义：从平均的意义上来说，信道每传送一个符号所引起的平均失真，不能超过某一给定的限定值D，即要求D D
≤，称这种对于失真的限制条件为保真度准则。
信息率失真函数定义：用给定的失真D为自变量来描述的信息传输速率，称为信息率失真函数，用R(D)表示。
6. 试证明(n, k)循环码的生成多项式g(x)是x n+1的因式。
证明：将生成多项式g (x)乘以k x，得
()
()()()(1)
k k n
x g x g x q x x
=++
由于()k x g x 次数为n ，故上式中q (x ) = 1，而()()k g x 是g (x )循环左移k 次所得，它是g (x )的倍式，设()()()()k g x u x g x =，故有1[()]()()()n k x x u x g x f x g x +=+=
证毕。
7. 请给出域的定义并说明集合{0, 1, 2}可否构成域及其理由。
解：域的定义：非空元素集合F ，若在F 中定义了加和乘两种运算，且满足
(1) F 关于加法构成Abel 群，其加法恒元记为0；
(2) F 中非零元素全体对乘法构成Abel 群，其乘法恒元记为1；
(3) 加法和乘法间有如下分配律：a (b +c )=ab +ac ，(b +c )a =ba +ca ，
则称F 是一个域。
或者说，域是一个可换的、有单位元的、非零元素有逆元的环。
集合{0, 1, 2}可以构成域。对该集合中的元素定义模3加和模3乘这两种运算，完全符合域必须满足的3个条件。
8. 请给出本原多项式的定义，并用一个实例来说明它的性质。
解：本原多项式的定义：若m 次既约多项式p (x )除尽的x n +1的最小正整数n 满足n =2m –1，称p (x )为本原多项式。
用实例来说明本原多项式有如下性质：
1）本原多项式一定是既约的（因为它是用既约多项式来定义的），但既约多项式不一定是本原的。
例如：4次既约多项式x 4+x +1能除尽x 15 +1，但除不尽任何1 ≤ n < 15的x n +1，所以x 4 +x +1是本原的；但同样是4次既约多项式x 4+x 3 +x 2+x +1，能除尽x 15 +1，但也能除尽 x 5+1，所以x 4+x 3 +x 2+x +1是既约的但不是本原的。
2）对于给定的m ，可能有不止一个m 次本原多项式。
例如，对于m = 5，x 5+x 3 +1是本原多项式，x 5 +x 2 +1也是。
9. 试说明(,)n k 循环码对突发错误的检测能力。
解：（1）(,)n k 循环码能检测长为n – k 或更短的任何突发错误，包括首尾相接突发错误。
（2）(,)n k 循环码对n – k +1位长的突发错误不能被检出所占的概率最大是2– ( n – k +1)。
（3）如果l > n – k +1，则(,)n k 循环码不能检测长为l 的突发错误所占的比值为2 – ( n – k )。
因此，循环码检测突发错误非常有效。
10. 请给出最佳自由距离卷积码的定义并简要说明如何获得具有最佳自由距离的卷积码。
解：最佳自由距离卷积码的定义：对于相同的码率R 和相同的电路复杂性（存储单元总数m 等）的各种卷积码，使得自由距离d f 最大的编码称为最佳自由距离（OFD ，Optimal Free Distance ）码。
为了得到各种OFD 码，通常采用计算机搜索的方法，即对于给定的存储单元总数m 所有可能的卷积码编码器，首先排除恶性卷积码，然后对应每一可能的卷积码编码器求其自由距离d f ，逐一比较得到自由距离d f 最大者即为最佳自由距离卷积码编码器。
二、综合题（开卷部分，每题10分，共60分。闭卷部分交卷后方可参阅参考资料）
1. 某通信系统的信源输出仅有2个符号a 、b ，拟采用Lempel-Ziv 编码后送信道传输，若某次通信需传输的符号序列为“aaaaaaa bbbbbbb aaaaaaaa bbbbbbb a b aaaaaa bbbbbbb aaaaaaaaaaaaaaaaab ”，请给出其Lempel-Ziv 编码结果并简要说明该编码的性能。 解：
编码结果
如果把a、b看作为1、0，对编码结果（即每个编码包）可以用4+4+1=9-bit表示，传输该序列用5个编码包即45-bit，而该序列有62-bit，因此该编码起到压缩作用。
2．若题1信源符合a、b的出现概率分别为0.9和0.1，拟对其采用3重扩展后再进行霍夫曼编码，请给出编码过程及结果，并求该种信源编码的效率。
解：
aaa：0.729 aab：0.081 aba：0.081 abb：0.009 baa：0.081 bab：0.009 bba：0.009 bbb：0.001
设aaa、aab、···bbb分别为x1、x2、···x9，按照概率大小依此排列，有
x1
x2
x3
x5
x4
x6
x7
x8
具体编码过程、结果、编码效率―略。
3. 为了在有噪信道中获得可靠的通信，拟对题2的霍夫曼编码结果再进行信道编码，若霍夫曼编码的输出序列为aabb baaa baba bbaa bbba abbb abab···，试给出采用戈莱码（23，12）编码的第一个码字；如果信道编码不是采用戈莱码而是采用缩短的BCH（120，78）编码，试给出构造该种编码的生成多项式的方法以及缩短的方法，分析其纠错和检错能力，简述其编码和译码过程。
解：
（1）对戈莱码（23，12）采用生成多项式为g(x) = x11+ x10+ x6+ x5+ x4 + x2+1，即110001110101
令a＝1，b＝0，则要编码的序列为1100 0111 0101 0011 0001 1000 1010 ···；由于戈莱码是非本原BCH码，其编码规则与BCH码相同，现采用系统码，第一个码字的编码过程如下：
110001110101 00000000000
110001110101
―――――――――――――
00000000000
因此第一个戈莱码码字为110001110101 00000000000，即监督位为全0（11位）。
（2）缩短的BCH（120，78）原码为BCH（127，85），构造该种编码的生成多项式，可以由
g(x) =LCM{φ1(x) +φ2(x) +φ3(x) x6+···+φ2 t (x)}
对于本题，127＝27，φi(x)是GF(27)上的元素αi的最小多项式，求出α、α3、α5、α7的最小多项式，将它们相乘即得到该种编码能够纠5个错的生成多项式（次数为127－85＝42）。
缩短的方法取原码BCH（127，85）中的一个子集，其消息位的前7位均为0，编码方
法与原码相同，只是传输时前7位0不要传送。
由求其生成多项式的过程已知该种编码的原码能够纠5个随机错误，至少能够检测10个随机错误，由于其监督位的个数位42，它能够检测42个突发错误并依概率检测大于42个突发错误。
其编码方法上面已经说明，可以采用系统码的编码方法，只是传输时前7位0不要传送。
解码时通常先补上缩短的0的位数，再按照原码的译码方法进行译码，通常采用伴随式译码方法。即：先求出接收序列的伴随式；然后根据伴随式求错误位置，本题用查表法将很复杂，拟采用错误位置多项式的方法来求错误位置；得到错误位置后纠正之。
4. 假设对题2的霍夫曼编码输出进行卷积编码，采用的卷积码编码器为（3，1，2），请给出你设计的卷积码编码器并说明其是最佳自由距离卷积码，用状态图方法给出输入序列（aabbabab ···）的编码输出和用网格图方法给出接收序列（aba abb aab baa abb aba ···）的译码输出。
解：
可以将教材中图12.7变成系统卷积码，说明它不是恶性卷积码并通过与其他各类抽头方式比较知它的自由距离为最大，故是最佳自由距离卷积码。
具体的编码器、状态图、网格图―略。
5. （1）试根据香农第二定理说明为什么交织虽然没有注入冗余度但却提高了纠突发错误能力；（2）试给出利用信息加密技术进行保密通信的系统框图（加密信道模型）并简述其工作原理，说明为什么非通信对像虽然收到了密文但在不能成功破译时其获得的信息量为0。
解：（1）设交织深度为λ，则交织的结果等效为编码长度扩大了λ 倍，其禁用码组与许用码组之比也扩大了λ 倍，根据香农第二定理，在R （2）信息加密技术进行保密通信的系统框图如图所示（教材图14.1）。 其工作原理为：明码文本M 利用密钥，通过某种可逆变换E K 加密成密文C ，即C =E K （M ）；密文通过不安全的或公共信道进行传输，在传输过程中可能出现密文截取（截取密文又称为攻击或入侵），当合法用户得到C 后，用逆变换D K = E K -1进行解密得到原来的明码文本消息，即[]M M E E C D K K K ==-)()(1 ；参数K 是由码元或字符组成的密钥，它规定了密码变换集合中特定的一种加密变换E K 。 ) 密钥 图14.1 加密信道模型 非通信对像收到了密文但在不能成功破译时，其不确定性集合中的元素没有任何变化，根据自信息量和平均互信息量的定义，他所获得的信息量为0。 6. 试从收、发双方联合优化的出发点来说明为什么信源编码通常其编码较为复杂而信道编码通常其译码较为复杂的原因。 解： 通常信源编码的信道基本符号数目较少，而根据收发联合优化的考虑，克服信道产生的影响（对数字通信而言主要表现在误码上）主要由信道编码完成，故对信源译码没有提出纠错或检错的要求，因此在收端有一个与发端完全相同的信道基本符号集合就足以完成译码；因为单译可译的编码工作在发端完成而收端只要按照编码规则对收到的码进行比对就可以了，因此通常编码比译码要复杂些。 对于信道编码，选定编码规则后，编码所要处理的主要是消息序列（把消息序列映射为码字），以分组码为例共2k个；而译码需要处理的是所有可能接收到的序列（仍以分组码为例则共有2n个），考虑到信道的复杂性，译码均依从最大似然准则，故其比对过程比编码的映射运算复杂很多。 一、（11’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是 0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 （6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。 （8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关 三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分） 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分） I(A|B)=-log0.375=1.42bit （1分） 四、（5'）证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明： 桂林电子科技大学信息科技学院试卷 2009-2010 学年第 1 学期课号 课程名称单片机原理与应用技术（ A卷; 笔试, 闭卷）适用班级（或年级、专业） 07级电信、信息 一、单项选择题（每小题3分，共45分） 1、 - 10的补码为（）。 A: F5H B：F6H C：0AH D：0BH 2、单片机复位后的SP与P0的内容是（）。 A：SP=00H，P0=00H B: SP=00H，P0=FFH C：SP=07H，P0=00H D：SP=07H，P0=FFH 3、单片机中WR的功能是选通是（）。 A：片外数据RAM B：片内数据RAM C：片外程序ROM D：片内程序ROM 4、在下列指令中，正确的MCS-51单片机指令是（）。 A：INC C B： ADD A，B C：SUB A , R2 D：MOVX @R2, A 5、能同时将TF0清零的跳转指令是（）。 A：JB TF0，LOOP B：JBC TF0，LOOP C：JNB TF0，LOOP D：JZ LOOP 6、当R0的地址为10H时，PSW中的RS1、RS0两位是（）。 A：00 B：01 C：10 D：11 7、片内没有上拉电阻的并口是（）。 A：P3 B：P2 C：P1 D：P0 8、外部中断1的中断服务程序入口地址是（）。 A：0003H B：000BH C：0013H D：0023H 9、用12MHz晶体时，T1做一次定时的最长时间为（）。 A：256 μS B：512 μS C： 65536μS D：131072 μS 10、在串口控制寄存器SCON中，REN是（）。 A：串行接收中断标志位B：串行接收允许位 C：串行发送中断标志位D：串行发送允许位 11、定时器T1的溢出中断标志是（）。 A：IT1 B：TI C：TF1 D：IE1 12、EOC信号在ADC0809中起到的作用是（） A．启动AD转换 C. ADC0809的片选信号 B． AD转换结束标志 D. 不能确定 13、已知(00H)= 06H, (01H) = 08H, 有这样的定义char data *p; 其中p = 0x01;则*p = （） A．00H C．01H B．06H D．08H 14、已知C语言程序 p = 0x30; *p = 0x48与之等价的汇编语言程序为（） A．MOV 30H,#48H C．MOV 30H,48H B．MOV 30H,#48 D．MOV 30H,48 15、DAC0832的工作方式不包括以下哪一种（） A．直通C．单缓冲 B．双缓冲D．双极性 二、阅读程序填空（每小题5分，共25分） 1、设PSW=00H, R0=49H、B＝0EDH，问：执行下列程序后PSW= ?R0= ？B= ？ MOV SP, #6FH PUSH 0F0H PUSH 00H PUSH PSW POP PSW POP 0F0H POP 00H 2、分别写出若A=57H，执行下列程序后A= ？若A=0F2H, 执行下列程序后 A= ？ CJNE A, #80H , LOOP1 ; 1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 341)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为 用霍夫曼编码方法 代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3 一、概念简答题（每题5分，共40分） 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？ 答：平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？ 答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 最大熵值为。 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？ 答：信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。 平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。 答：通信系统模型如下： 数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有， 。说明经数据处理后，一般只会增加信息的损失。 5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。 .答：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。 由得，则 6.解释无失真变长信源编码定理。 .答：只要，当N足够长时，一定存在一种无失真编码。 7.解释有噪信道编码定理。 答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？ 答：1）保真度准则为：平均失真度不大于允许的失真度。 2）因为失真矩阵中每行都有一个0，所以有，而。 二、综合题（每题10分，共60分） 1.黑白气象传真图的消息只有黑色和白色两种，求： 桂林电子科技大学试卷 2009-2010 学年第 2 学期课号 课程名称c语言程序设计A（B卷; 开、闭卷）适用班级（或年级、专业）7院09级 考试时间120 分钟班级学号姓名 题号一二三四五六七八九十成绩满分 得分 评卷人 一、单选题（每空2分，共50分） 1、以下所列的C语言常量中，错误的是（）。 A) 0xFF B) 1.2e0.5 C) 2L D) '\72' 2、以下4组用户定义标识符中，全部合法的一组是（）。 A) _main B) If C) txt D) int Enclude -max REAL k_2 sin turbo 3COM _001 3、若有定义：int a=8, b=5, c；执行语句c = a/b+0.4 ；后，c的值为（）。 A) 1.4 B) 1 C) 2.0 D) 2 4、以下程序中，while 循环的次数是（）。 #include 信息论与编码理论习题解 第二章-信息量和熵 解: 平均每个符号长为:154 4.0312.032= ?+?秒 每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号 所以信息速率为444.34 15 9183.0=?比特/秒 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=?比特/秒 解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特 解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以 比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???? ??37种排法，Y 表示梧桐树可以栽 种的位置，它有???? ??58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有 两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得 信息论与编码期中试题答案 一、（10’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 二、（10?）判断题 （1）信息就是一种消息。（? ） （2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（? ） （3）概率大的事件自信息量大。（? ） （4）互信息量可正、可负亦可为零。（? ） （5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。 （? ） （6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。（? ） （7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。（? ） （8）信源变长编码的核心问题是寻找紧致码（或最佳码）。 （? ） （9）信息率失真函数R(D)是关于平均失真度D的上凸函数. ( ? ) 三、（10?）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （5分） 故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （4分） I(A|B)=-log0.375=1.42bit （1分） 桂林电子科技大学应用科技学院试卷 课程名称工程力学(闭卷） 题号一二三四五六七八九十成绩满分30 10 30 30 100 得分 （注：请将答案直接写在试卷上，写在其它纸上无效。） 一、填空题（30分，每空1.5分） 1. 作用于刚体上的二力，使刚体保持平衡状态的必要与充分条件是：此二 力大小______、方向______、且在________； 2. 力偶对刚体的（平动或旋转）______运动不会产生任何影响，力与力偶相互(能或不能)______平衡； 3. 力偶的三要素是______、______、______； 4. 平面汇交力系平衡的几何条件是_____________________________； 5. 二矩式方程∑Y=0，∑M A（F）=0，∑M B（F）=0 的使用补充条件为 __________________________； 6. 静不定指的是____________________________________； 7. 平面三力汇交定理是指________________________________________； 8. 约束基本类型为______、______、______、______； 9. 摩擦按运动类型可分为______、______、______； 10. 倾角为α的斜面，其最大静摩擦系数为fs，则其自锁条件为______； 二、是非题（10分，每题1分） 1. 二力杆指的是直杆（）； 2. 约束反力总是与其所能阻碍的物体的运动方向相反（）； 3. 力系平衡的几何条件是具有封闭的力的多边形（）； 4. 力偶是一对平行力（）； 5. 力对点的矩在某轴上的投影就是力对该轴的矩（）； 6. 桁架分析时其中所有杆件都是二力杆（）； 7.一般情况下，摩擦系数排序为fs≥fd≥δ（）； 8. 分力就是投影（）； 9. 作用与反作用力是一对平衡力（）； 10. 柔性体约束的约束反力总是指向受力体（）。 三、作图题（30分，每题10分） 1.作下图所示各构件的受力图，并用几何法求解约束反力。 一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态 的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p == 一填空题（本题20分，每小题2分） 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。 按照信息的地位，可以把信息分成客观信息和主观信息。 人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。 信息的可度量性是建立信息论的基础。 统计度量是信息度量最常用的方法。 熵是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是∞。 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 18、离散平稳有记忆信源的极限熵，。 19、对于n元m阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X在[a，b]区间内均匀分布时，其信源熵为 log2（b-a）。 桂林电子科技大学信息科技学院试卷2009-2010 学年第1 学期课号 课程名称单片机原理与应用技术（A卷; 笔试, 闭卷）适用班级（或年级、专业）07级电信、信息 一、单项选择题（每小题3分，共45分） 1、- 10的补码为（）。 A: F5H B：F6H C：0AH D：0BH 2、单片机复位后的SP与P0的内容是（）。 A：SP=00H，P0=00H B: SP=00H，P0=FFH C：SP=07H，P0=00H D：SP=07H，P0=FFH 3、单片机中WR的功能是选通是（）。 A：片外数据RAM B：片内数据RAM C：片外程序ROM D：片内程序ROM 4、在下列指令中，正确的MCS-51单片机指令是（）。 A：INC C B：ADD A，B C：SUB A , R2 D：MOVX @R2, A 5、能同时将TF0清零的跳转指令是（）。 A：JB TF0，LOOP B：JBC TF0，LOOP C：JNB TF0，LOOP D：JZ LOOP 6、当R0的地址为10H时，PSW中的RS1、RS0两位是（）。 A：00 B：01 C：10 D：11 7、片内没有上拉电阻的并口是（）。 A：P3 B：P2 C：P1 D：P0 8、外部中断1的中断服务程序入口地址是（）。 A：0003H B：000BH C：0013H D：0023H 9、用12MHz晶体时，T1做一次定时的最长时间为（）。 A：256 μS B：512 μS C：65536μS D：131072 μS 10、在串口控制寄存器SCON中，REN是（）。 A：串行接收中断标志位B：串行接收允许位 C：串行发送中断标志位D：串行发送允许位 11、定时器T1的溢出中断标志是（）。 A：IT1 B：TI C：TF1 D：IE1 12、EOC信号在ADC0809中起到的作用是（） A．启动AD转换 C. ADC0809的片选信号 B．AD转换结束标志 D. 不能确定 13、已知(00H)= 06H, (01H) = 08H, 有这样的定义char data *p; 其中p = 0x01;则*p = （） A．00H C．01H B．06H D．08H 14、已知C语言程序p = 0x30; *p = 0x48与之等价的汇编语言程序为（） A．MOV 30H,#48H C．MOV 30H,48H B．MOV 30H,#48 D．MOV 30H,48 15、DAC0832的工作方式不包括以下哪一种（） A．直通C．单缓冲 B．双缓冲D．双极性 二、阅读程序填空（每小题5分，共25分） 1、设PSW=00H, R0=49H、B＝0EDH，问：执行下列程序后PSW= ?R0= ？B= ？ MOV SP, #6FH PUSH 0F0H PUSH 00H PUSH PSW POP P SW POP 0F0H POP 00H 2、分别写出若A=57H，执行下列程序后A= ？若A=0F2H, 执行下列程序后 A= ？ CJNE A, #80H , LOOP1 ; LJMP NEXT 《信息论与编码（第二版）》曹雪虹答案 第二章 2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =? ? ?=?? 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2， (1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。画出 状态图，并计算各状态的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p == 专升本《信息论与编码》 一、（共48题,共150分） 1. H(X)____________0，小概率事件对熵的贡献____________，确定事件的信息量____________0。（6分） .标准答案：1. >= ;2. 小;3. =; 2. 确定信道的H(Y/X) ____0，H(X/Y) ____0。（4分） .标准答案：1. =;2. ; 3. 霍夫曼编码可以编出不同的码，这些码的平均码长________，.编码效率 ________，码长方差________。（6分） .标准答案：1. 一样;2. 一样;3. 不一定一样; 4. N个独立并联的信道，每个信道的信道容量为C，为了达到总的信道容量NC，所有信道的输入要________________，.所有信道的输入概率分布是各自信道的 ________________。（4分） .标准答案：1. 相互独立;2. 最佳分布; 5. 通信系统中的编码器包括____________________，____________________， ____________________。（6分） .标准答案：1. 信源编码器;2. 纠错编码器;3. 调制器; 6. 率失真函数R（D）的最大值为________________，最小值为 ________________。（4分） .标准答案：1. H(X);2. 0; 7. 某事件的概率为p(x)，则自信息量为（）。（2分） A.-p(x) B.1/ p(x) C.-log p(x) D.log p(x) .标准答案：C 8. 有事件x，y，I(x)=2 bit，I(x/y)=1 bit，则互信息量I(x；y)的值为（）。（2分） A.1 bit B.2 bit C.3 bit D.4 bit .标准答案：A 9. 下列关于条件熵的结论，不成立的是（）（2分） A.H(X/Y)C.H(X/Y).标准答案：B 10. 使I(X;Y)=0成立的条件是（）: （2分） A.X和Y相互独立 B.H (X) =H(Y) C.X和Y的概率分布相同 .标准答案：A 11. 以下关于离散无记忆信源（熵为H(X)）的结论，不正确的是（）: （2分） A.是平稳信源 B.其N次无记忆扩展信源的熵是NH(X) C.其极限熵大于H(X) .标准答案：C 12. 以下关于信道容量C和信息传输率R间的关系，正确的是（）: （2分） A.C R B.C=R C.C R .标准答案：A 13. 某信源有8个符号，其信源熵为2.4 bit，进行二元定长编码（不扩展），则其编码效率至少可达（）（2分） A.80% B.85% C.90% D.95% .标准答案：A 14. 在准对称信道中，要达到信道容量，要求（）: （2分） A.信源和信宿的概率分布一致 B.信源为等概分布 C.信宿为等概分布 .标准答案：B 15. 在信道编码中，简单重复编码可以（）: （2分） A.减小但降低了信息传输率 B.提高了信息传输率，但增大了PE C.减小并提高了信息传输率 .标准答案：A 16. 二元码C={(000),(011),(101),(110)，该码的最小码距是（）:。（2分） A.1 B.2 C.3 D.4 .标准答案：B 17. 率失真函数R(D)的取值与（）无关（2分） A.信源的概率分布 B.保真度D C.失真函数 D.信道转移矩阵 .标准答案：D 18. 熵函数是信源概率分布的________函数，函数值________0。（4分） .标准答案：1. 上凸;2. ; 19. I(x i,y j) ____ I(y j,x i)，I(x i,y j) ____ I(x i)，I(x i,y j) ____ I(y j)。（6分） .标准答案：1. =;2. ;3. ; 信息论与编码理论习题答案全解 第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少 信息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit 2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 信道 X Y 9,7,5,3,1=i 8,6,4,2,0=i √Χ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知， 一、填空题（每空1分，共35分） 1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。信息论的基础理论是 ，它属于狭义信息论。 2、信号是 的载体，消息是 的载体。 3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。 4、某离散无记忆信源X ，其概率空间和重量空间分别为1 234 0.50.250.1250.125X x x x x P ????=??? ?????和1234 0.5122X x x x x w ???? =??????? ? ，则其信源熵和加权熵分别为 和 。 5、信源的剩余度主要来自两个方面，一是 ，二是 。 6、平均互信息量与信息熵、联合熵的关系是 。 7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。 8、马尔可夫信源需要满足两个条件：一、 ； 二、 。 9、若某信道矩阵为????? ????? ??01000 1 000001 100，则该信道的信道容量C=__________。 10、根据是否允许失真，信源编码可分为 和 。 11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。（填 短码或长码） 12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。 13、差错控制的基本方式大致可以分为 、 和混合纠错。 14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。 15、码字101111101、011111101、100111001之间的最小汉明距离为 。 16、对于密码系统安全性的评价，通常分为 和 两种标准。 17、单密钥体制是指 。 18、现代数据加密体制主要分为 和 两种体制。 19、评价密码体制安全性有不同的途径，包括无条件安全性、 和 。 20、时间戳根据产生方式的不同分为两类：即 和 。 二、选择题（每小题1分，共10分） 1、下列不属于消息的是（ ）。 A. 文字 B. 信号 C. 图像 D. 语言 2、设有一个无记忆信源发出符号A 和B ，已知4341)(,)(==B p A p ，发出二重符号序列消息的信源， 无记忆信源熵)(2X H 为（ ）。 A. 0.81bit/二重符号 B. 1.62bit/二重符号 C. 0.93 bit/二重符号 D . 1.86 bit/二重符号 3、 同时扔两个正常的骰子，即各面呈现的概率都是1/6，若点数之和为12，则得到的自信息为（ ）。 A. －log36bit B. log36bit C. －log (11/36)bit D. log (11/36)bit 4、 二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件，x0: 发出一个0 、 x1: 发出一个1、 y0 : 收到一个0、 y1: 收到一个1 ，则已知收到的符号，被告知发出的符号能得到的信息量是（ ）。 A. H(X/Y) B. H(Y/X) C. H( X, Y) D. H(XY) 5、一个随即变量x 的概率密度函数P(x)= x /2，V 20≤≤x ，则信源的相对熵为（ ）。 A . 0.5bit B. 0.72bit C. 1bit D. 1.44bit 6、 下面哪一项不属于熵的性质： （ ） A ．非负性 B ．完备性 C ．对称性 D ．确定性 信息论与编码 信息论与编码 I (X ;Y=1)= P(x/Y 1)I(x;Y 1) x P(x/Y 1)log P(x/Y 1) P(x) = P(X 0/Y 1)log P(X 0/Y 1) P(X 0) P(X 1/Y 1)log P(X 1/Y 1) P(X 1) 部分答案，仅供参考。 信息速率是指平均每秒传输的信息量点和划出现的信息量分别为log3Jog3， 2’ 一秒钟点和划出现的次数平均为 1 15 2 1 ~4 0.20.4 - 3 3 一秒钟点和划分别出现的次数平均为巴5 4 4 那么根据两者出现的次数，可以计算一秒钟其信息量平均为10 log 3 5 竺 5 4 2 4 4 2 解： ⑻骰子A和B，掷出7点有以下6种可能： A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量 -log(1/6)=1+log3 ~ bit (b)骰子A和B,掷出12点只有1种可能： A=6,B=6 概率为1/36，所以信息量 -log(1/36)=2+log9 ~ bit 解： 出现各点数的概率和信息量： 1 点：1/21 , log21 ?bit ; 2 点：2/21 , log21-1 ?bit ; 3 点：1/7 , log7 4 点：4/21 , log21-2 5 点：5/21 , log (21/5 )~; 6 点：2/ 7 , log(7/2)? 平均信息量： (1/21) X +(2/21) X +(1/7) X +(4/21) X +(5/21) X +(2/7) 解： X=1:考生被录取；X=0考生未被录取； Y=1：考生来自本市；Y=0考生来自外地； Z=1:考生学过英语；z=o：考生未学过英语 P(X=1)=1/4, P( X=q=3/4; P( Y=1/ X=1)=1/2 ；P( Y=1/ X=0)=1/10 ；P(Z=1/ Y=1 )=1, P( Z=1/ X=0, Y=0 )=, P( Z=1/ X=1, Y=0 )=, P(Z=1/Y=0)= (a)P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)= P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)= P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)= 信息论与编码试卷 以下是为大家整理的信息论与编码试卷的相关范文，本文关键词为信息论,编码,试卷,，您可以从右上方搜索框检索更多相关文章，如果您觉得有用，请继续关注我们并推荐给您的好友，您可以在综合文库中查看更多范文。 RT 信息论与编码试卷 一、概念简答题（每题5分，共40分） 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异 同？2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？ 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？ 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。 5.写出香农公式，并说明其物理意义。当信道带宽为5000hz，信噪比为30db时求信道容量。 6.解释无失真变长信源编码定理。 7.解释有噪信道编码定理。 8.什么是保真度准则？对二元信源时率失真函数的 和 ？ ，其失真矩阵，求a>0 二、综合题（每题10分，共60分） 1.黑白气象传真图的消息只有黑色和白色两种，求： 1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源x的数学模型。假设图上黑白消息出现前后没有关联，求熵 ； 2）假设黑白消息出现前后有关联，其依赖关系为： ， ，求其熵 ； ，， 2.二元对称信道如图。； 1）若，，求和； 2）求该信道的信道容量和最佳输入分布。 3.信源空间为 曼码，计算其平均码长和编码效率。 ，试分别构造二元和三元霍夫 4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。 5.已知一（8，5）线性分组码的生成矩阵为。 求：1）输入为全00011和10100时该码的码字；2）最小码距。 6.设某一信号的信息传输率为5.6kbit/s，在带宽为4khz的高斯信道中传输，噪声功率谱no=5×10－6mw/hz。试求： （1）无差错传输需要的最小输入功率是多少？ （2）此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。 一、概念简答题（每题5分，共40分） 1.答：平均自信息为 模拟试题一 一、概念简答题（共10题，每题5分） 1.简述离散信源和连续信源的最大熵定理。 2.什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。 3.解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？ 4.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。 5.设某二元码字C={111000，001011，010110，101110}， ①假设码字等概率分布，计算此码的编码效率？ ②采用最小距离译码准则，当接收序列为110110时，应译成什么码字？ 6.一平稳二元信源，它在任意时间，不论以前发出过什么符号，都按发出符 号，求和平均符号熵 7.分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。 8.二元无记忆信源，有求： （1）某一信源序列由100个二元符号组成，其中有m个“1”，求其自信息量？ （2）求100个符号构成的信源序列的熵。 9.求以下三个信道的信道容量： ，， 10.已知一（3，1，3）卷积码编码器，输入输出关系为： 试给出其编码原理框图。 二、综合题（共5题，每题10分） 1.二元平稳马氏链，已知P（0/0）=0.9，P（1/1）=0.8，求： （1）求该马氏信源的符号熵。 （2）每三个符号合成一个来编二进制Huffman码,试建立新信源的模型，给出编码结果。 （3）求每符号对应的平均码长和编码效率。 2.设有一离散信道，其信道矩阵为，求： （1）最佳概率分布？ （2）当，时，求平均互信息信道疑义度 （3）输入为等概率分布时，试写出一译码规则，使平均译码错误率最小，并求此 3.设线性分组码的生成矩阵为，求： （1）此（n，k）码的n=？ k=？，写出此（n，k）码的所有码字。 （2）求其对应的一致校验矩阵H。 （3）确定最小码距，问此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式。 （4）若接收码字为000110，用伴随式法求译码结果。 4.二元对称信道的信道矩阵为，信道传输速度为1500二元符号/秒，设信源为等概率分布，信源消息序列共有13000个二元符号，问： （1）试计算能否在10秒内将信源消息序列无失真传送完？ （2）若信源概率分布为，求无失真传送以上信源消息序列至少需要多长时间？ 5.已知（7，4）循环码的生成多项式，求： （1）求该码的编码效率？ （2）求其对应的一致校验多项式信息论与编码试卷与答案
桂林电子科技大学单片机试卷
信息论与编码课后习题答案
信息论与编码试卷及答案(多篇)
桂林电子科技大学10年c语言试卷B
信息论与编码理论课后习题答案高等教育出版社
信息论与编码期中试卷及答案
桂林电子科技大学静力学试卷
信息论与编码课后答案
信息论与编码试题集与答案
桂林电子科技大学单片机试卷
信息论与编码(第二版)曹雪虹(最全版本)答案
专升本《信息论与编码》_试卷_答案
信息论与编码理论习题答案全解
信息理论与编码期末试卷A及答案
信息论与编码理论第二章习题答案
信息论与编码试卷
信息论与编码试题