信息论基础复习提纲

哈尔滨医科大学生物信息科学与技术学院

第一章绪论

1、什么是信息？香农对于信息是如何定义的。

答：信息是事物运动状态或存在方式的不确定性的描述(Information

isameasureofone'sfreedomofchoice whenoneselectsamessage)。

2、简述通信系统模型的组成及各部分的含义。

答：（1）、信源：信源是产生消息

的源。信源产生信息的速率---熵率。

（2）、编码器：编码器是将消

息变成适合于信道传送的信号的设

备。包括信源编码器（提高传输效率）、信道编码器（提高传输可靠性）、调制器。

（3）、信道：信道是信息传输和存储的媒介。

（4）、译码器：译码是编码的逆变换，分为信道译码和信源译码。

（5）、信宿：信宿是消息的接收者（人或机器）。

3、简述香农信息论的核心及其特点。

答：（1）、香农信息论的核心：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并

得出了信源编码定理和信道编码定理。

（2）、特点：①、以概率论、随机过程为基本研究工具。

②、研究的是通信系统的整个过程，而不是单个环节，并以编、译码器为重点。

③、关心的是最优系统的性能和怎样达到这个性能（并不具体设计系统）。

④、要求信源为随机过程，不研究信宿。

第二章信息的度量

2.1自信息和互信息

1、自信息（量）：

（1）、定义：一个事件（消息）本身所包含的信

息量，它

Ixi

1 logpxilog

pxi

是由事件的不确定性决定的。某个消息xi出现的不确定性

的大小定义为自信息，用这个消息出现的概率的对数的负值来表示：

信息论基础第-1- 页共11页

哈尔滨医科大学生物信息科学与技术学院

（2）、性质：①、I xi是pxi的严格递减函数。当px1 px2时

Ix1 Ix2概率越小，事件发生的不确定性越大，事件发生以后所包

含的自信息量越大。

②、极限情况下，当pxi 0时Ixi ；当

pxi 1时，Ixi 0。

③、两个相对独立的不同的消息所提供的信息量应等于它们分别提供的信息量之和，即自信息论满足可加性。px1x2px1px2;Ix1x2Ix1Ix2。

（3）、例2.1：

①、英文字母中“a”出现的概率为0.064，“c”出现的概率为0.022，分别

计算他们的自信息量。

②、假定前后字母出现是互相独立的，计算“ac”的自信息。

③、假定前后字母出现不是互相独立的，当“a”出现以后，“c”出现的概率为0.04，计

算“a”出现以后，“c”出现的自信息量。

2、互信息：一个事

件

yj所给出关于另一个

事件

x i的信息定义为互信息，

用I

xi;y

j 表示：

ij i i j px|y j ji py |x pxy

Ix;yI x Ix|y

Iy Iy|x

j i i j log log log

pyj pxi pyj pxi

2.2平均自信息

1、定义：随机变量X的每一个可能取值的自信息Ixi H(X) E[I(x i)] p(x i)log2p(x i)

的统计平均值定义为随机变量 X的平均自信息量。

2、熵函数的性质：

（1）、对称性：（2）、确定性：（3）、非负性：（4）、扩展性：（5）、连续性：（6）、递推性：（7）、极值性：（8）、上凸性：H(p1,p2,p q)H(p2,p1,p q)H(p q,p1,p q1)

H(1,0) H(1,0，0) H(1,0, 0)=0

H(p)H(p1,p2,p q)0

limH

(p,p, p , ) H

(p,p, p)

0 12 q

,p q

1 2 q

limH(p1,p2, p q1 ) H (p1,p2,p q) 0

pnH(q1,q2, q m) H(p1,p2, pn1,q1,q2 qm) H(p1,p2, pn)

H(p1,p2, p n) pH (1,1, 1)log2n

p n p n p n f[x1(1 )x2]

nn n

)f(x2)

f(x1)(1

3、联合熵：联合自信息的

n m n m

H(XY) p(x i y j)I(x i y j) p(x i y j)log2p(x i y j)

数学期望。它是二维随

机i1 j1 i1 j1 变量XY的不确定性的度

量。

由于不同的

x i ，是变化的，对的所有可能值进行统计平均，

4、条件熵：H(Y/x i) H(Y/x i)

就得出给定X时，Y的条件熵

H(Y/X) p(x i y j)log2p(y j/x i)H(X/Y) p(x i y j)log2p(x i/y j)

i j信息论基础第-2-页共11页i j

哈尔滨医科大学生物信息科学与技术学院

5、各类熵之间的关系：

（1）、联合熵与信息熵、条件熵之间的关系： H(XY) H(X)

H(Y/X)。

推广：H

X1X2

HX1

2/X 1

HXN/X1X2 XN1;

当二维随机变量

X,Y 相互独立时，联合熵等于 X,Y 各自熵之和。H(XY) H(X) H(Y)。

（2）、条件熵与信息熵的关

系： H(X/Y) H(X); H(Y/X) H(Y) 。（3）、联合熵与信息熵的关系：H(XY)H(X) H(Y)当X 、Y 相互独立时等号成

立。推广到N 个随机变量：HX1X2

HX1

HX2

HXN 。

6、例2.5：随机变量X ，Y 的联合概率分布如表

2.1所示，求联合熵

XY 和条件熵HY|X 。

表2.1X,Y 的联合概率

分布 PXY

表2.2条件概率分布PY|X

pxi Y X

0 1

X 0 1 0 1/

4 1/4

1/2 0 1/2 1/2 1 1/

2 0 1/2 1 1 0 3/

4 1/4 1 pyj

2.3平均互信息

1、定义：从整体上表示从一个随机变量 Y 所给出关于另一个随机变量 X 的信息量，定义互信息 I xi;yj 在XY 的联合空间中的统计平均值为随机变量 X 和Y 间的平均互信

息。

n m n m pxi|yj n m

IX;Y i j i j i j i j px;y Ix;y px;y log px;y

log i1 j1 i1 j1 px i i1 j1 i

px n m 1 pxi;yjlog H X H X|Y |yj i1 j1 pxi

条件熵H X|Y 表示给定随机变量 Y 后，对随机变量 X 仍然存在的不确定度。所以 Y 关于X 的平均

互

信息是收到

Y 前后关于X 的不确定度减少的量，也

就是从 Y 获得的关于X 的平均信息量。

2、平均互信息的性质：

（1）、非负性：IX;Y 0；

信息论基础第-3- 页共11页

哈尔滨医科大学生物信息科学与技术学院（2）、互易性（对称性）：I X;Y IY;X；

（3）、平均互信息与各类熵之间的关系：

IX;Y HX HX/Y HY HY/X HX HY ；当X,Y统计独立时，IX;Y 0。（请补充完善右图）

（

4 ）、极值性：IX;Y H X,IX;YHY ；

（

5 ）、凸函数性：

①、当条件概率分布{py|x }给定时，平均互

信息IX;Y是输入分布

j i

②、对于固定的输入

分布{pxi}，平均互信息量I X;Y是条件概率分

布

HXY

{pxi}的上凸函数。

{pyj|xi}的下凸函数。

3、例2.15：给定X,Y的联合概率分布，如表所示。求：

(1)、H(X),H(Y)；(2)、H(X|Y),H(Y|X) ；(3)、H(XY)；

(4)、H(Y)-H(Y|X) ；(5)、I(X;Y) ；

第三章信源及信源熵

3.1信源的分类

（弄清楚以下信源分类的标准）

离散无记忆信源

离散平稳信源记忆长度无限

随机过程：波形信源平稳信源离散有记忆信源

记忆长度有限马尔科夫信源连续平稳信源

非平稳信

源

3.3离散多符号信源

1、离散平稳信源的特

征：统计特性不随时间推移而变化。

2、熵率：随机变量序列中，对前N个随机变量的联合熵

求平均：H N X1HX1X2XN称为平均

符号熵。如果当N 时上式极限存在，则lim H N X称为熵率，或称为极限熵，记为

HlimH N X。

3、离散平稳信源的几点结论

（小题）：

信息论基础第-4- 页共11页

哈尔滨医科大学生物信息科学与技术学院

（1）、条件熵HX N |X 1X 2X N1随N 的增加是递减的（即已知条件越多，不确定性越少）；

（2）、N 给定时平均符号熵大于等于条件熵，即HNXHXN|X1X2 X N1；

（3）、平均符号熵H N

X 随N 的增加是递减的；

（4）、如果HX 1 ，则H limH N X

存在，并且

H limH N X lim H X N |X 1X 2

XN1； N

4、马尔科夫信源：信源在某一时刻发出某一符号的概率除与该符号有关外，

只与此前发出的有限个

符号有

关。M 阶马尔可夫信源只与前面发出的 m 个符号有关，1阶马尔可夫信源只与前面一个符号有关。 5、例题3.3：信源X 的信源模型为

x1 x2

11 P(X) 4

输出符号序列中，只有前后两个符号有记忆，条件概率PX2|X1 给出，求熵率，并比较 HX 2|X 1、 1

HX 1X 2

和HX

的大小。

第五章无失真信源编码

5.1信源编码的相关概念

1、各种码的分

类：

非分组码

（1）、分组码和非分

组码：

奇异码

①、分组码:将信源符号集中的每个信源符号 si 固定地射成

码

非唯一可译码一个码字wi 。（一个信源符号→一个

码字）

分组码

非奇异

码及时码

②、非分组码:又称树码，编码器输出的码符号通常与

编码

唯一可译码非及时码

器的所有信源符号都有

关。

（2）、奇异码与非奇

异码：

定义若一种分组码中的所有码字都不相同，则称此分组码为非奇异码，否则称为奇

异码。非奇异码是分组

码能够正确译码的必要条件，而不是充分条件。

（3）、唯一可译码与非唯一可译码：

定义任意有限长的码元序列，如果只能唯一地分割成一个个码字，便称为唯一可译码。

条件：①、此码本身是非奇异的；②、对于任意有限的整数N,其N次扩展码均为非奇异的。唯一可译码首

先是非奇异码，且任意有限长的码字序列不会雷同。

信息论基础第-5- 页共11页

哈尔滨医科大学生物信息科学与技术学院

（4）、即时码与非即时码：

定义无需考虑后续的码符号就可以从码符号序列中译出码字，这样的唯一可译码称为即时码。条件：①、此码是唯一可译码；②、不需要通过接收到后面的码字才能译出前面的码字，在收到一个完整的码字后即可以及时译出。一个唯一可译码成为即时码的充要条件是其中任何一个码字都不是其他码字的前缀。

5.3、变长码及变长信源编码定理

1、Kraft不等式McMillan不等

式：

（1）、Kraft不等式：设信源符号集为S={s1,s2,?sq},码符号集为

X={x1,x2, ?xr},

对信源进行编

码，得

l i1这称为Kraft

到的码为C={w1,w2,?wq},码长分别为l1，

，

?lq.

即时码存在的充要条件

是r

不等式（其中r 是被编码的符号个

数；

q是信源个数；li是码的长度）。这也就意味着即时码存在

于二叉树

的叶子节点

处。

l i 1，条件并不比即时

（2）、McMillan 不等式：判断唯一可译码的条件与即时码条件一致，

都是r

i 1

码判断条件宽松。

2、唯一可译码的判别准则：

定理一个码是唯一可译码的充要条件是F1,F2,?的并集中没有C中的

码字。

设C为码字集合，我们要构造尾随后缀的

集合F1，F2，?和F。

（1）、F1是C中所有码字尾随后缀的集

合：若C中的码字w j是码字w i的前缀，即w i=w j A，则将尾随后缀A列为F1中的元素，所有这样的尾随后缀

构成了F1；

（2）、考查C和Fi两个集合，若C中任意码字是Fi中元素的前缀，或者Fi 中任意元素是C中码字的前

缀，

则将其相应的尾随后缀放入集合F i1；

（3）、F F i（即F为码C的尾随后缀集合）；

（4）、若F中出现了C中的元素，则算法终止，判断C不是唯一可译码；若

出现F i1为空集或F i1中的元

素在F中已经全部存在了，则算法终止，判断C是唯一可译码。

总而言之，判断一个码是唯一可译码的充

要条件是F中不含有C中的码字。

3、例5.4：设消息集合共有7个元素{s1,s2,s3,s4,s5,s6,s7}, 他们分别被编码为{a，c，ad，abb，bad，

deb，bbcde}，判断是否为唯一可译码。

5.4变长码的编码方法1、香农编码的方法：

（1）、信源的q个消息概率从大到小排序，ps1ps2ps q；

信息论基础第-6- 页共11页

哈尔滨医科大学生物信息科学与技术学院

（2）.计算各个信源符号的累加概率Fs i ps k i1,2,,q；

（3）.按公式li log i1,2,,q计算第i个消息的码长l i；

ps i

（4）.将累加概率

F s i 变换成二进制小数得到其码字。将累加概率

Fs i

变换成二进制小数，取

小数点

后l

i位数作为第i个信源符号的码字。

2、列5.6：参照下表按以上步骤对一个有7个信源符号的信源进行编码。例如当i 4时，先求第四个信

源符号的二元码码长l

4：l4logps43，因此码长取3.

香农编码

信源符号si概率ps

i累加概率Fs i logps i码长l i二元码S1 0.20 0 2.34 3000

S2 0.19 0.20 2.41 3001

S3 0.18 0.39 2.48 3011

S4 0.17 0.57 2.56 3100

S5 0.15 0.74 2.74 3101

S6 0.10 0.89 3.34 41110

S7 0.01 0.99 6.66 71111110

3、二元霍夫曼编码的方

法：

（1）、信源的q个消息概率从大到小排序ps1ps2ps q。

（2）、0，1码分别代表概率最小的两个信源符号，并将这两个概率最小的信源符号

合并成一个，从而得到只包括q-1个符号的新信源。

（3 ）、将新信源仍按概率从大到小排序，再将最后两个概率最小的信源符

号分别用

0和1码符号表

示，合

并成一个新符号，这样形

成了q-2个符号的新信源。

（4 ）、依次继续下去，直至信源最后只剩下两个信源符号为止。将这最后

两个信源符号用

0和1表

示。

（5）、从最后一级缩减信源开始，进行回溯，将每次标注的码符号连接起来就得

到各信源符号所对应的码符号序列，即相应的码字。

4、例5.7：以例5.6为例编制二元霍夫曼码。

霍夫曼编码

码字信源符号编码过程码长10S1 0.20 0.20 0.26 0.35 0.39 0.61 0 2 11s2 0.19 0.19 0.20 0.26 0.35 00.39 1 2 000 s3 0.18 0.18 0.19 0.20 0 0.26 1 3

信息论基础第-7- 页共11页

哈尔滨医科大学生物信息科学与技术

学院

001 s4 0.17 0.17 0.18 0 0.19 1 3 010 s5 0.15 0.15 0 0.17 1 3 0110 s6 0.10 0 0.11 1 4 0111 s7 0.01 1 4 5、费诺编码的过程：

（

1 ）、信源的q个消息概率从大到小排序。即ps1ps2ps q。

（2 ）、将依次排列的信源符号以概率分为两组，使两组的概率和基本相

等。并赋予符号

0和

1。

（3 ）、再分组，使划分后的两组的概率和基本相等，并

赋予符号0和1。

（4）、重复，直至每组只剩下一个信源符号为止。（5）、信源符号对应的码符号序列即为费诺码。

6、例5.9：信源与例5.6和例5.7相同，请编制费诺

码。

费诺码

信源符号概率第1次分组第2次分组第3次分组第4次分组二元码码长S1 0.20 0 002

S2 0.19 0 1 0010 3

S3 0.18 1011 3

S4 0.17 0 102

S5 0.15 10110 3

S6 0.10 1 101110 4

S7 0.01 11111 4

7、总结：霍夫曼码是即时码，他的两个特点：

（1）保证了概率大的信源符号对应的码长小，概率小的信源符号对应的码长大，充分利用了短码；（2）每次缩减信源的最长两个码字有相同的码长，最后一位码符号不同。（码长相差的小）

编码最短，传输效率最高。

8、习题5.8：下面是4种不同的编码：

{000,10,00,11} ；{100,101,0,11} ；

{01,100,011,00,111,1010,1011,1101} ；{01,111,011,00,010,110} ；请计算：（1）、此码的码长分布是否满足Kraft-McMillan 不等式？

（2）、此码是否为即时码？如果不是，请说明。

（3）、此码是否为唯一可译码？如果不是，请说明（可以画出树图说明）。

5.5实用的无失真编码方法

各种编码的应用（小题）：

（1）、游程编码（REL,REC）应用于：BMPTIFAVI；

（2）、LZW码应用于：GIFZIPARC；

（3）、算术编码应用于：JPEG2000；

参考答案

信息论基础第-8- 页共11页

哈尔滨医科大学生物信息科学与技术学院

I(a) log20.064 3.96bit

例2.1：①、

I(c) log20.022 5.51bit

②、由于前后字母出现是互相独立的，“ac”出现的概率为

0.064*0.022 ，所以

I(ac) log2(0.064*0.022) (log20.064log20.022) I(a)+I(c)=9.47bit 即两个相对独立的事件的自信息量满足可加性，也就是由两个相对独立的事件的积事件所提供的信息量应

等于他们分别提供的信息量之和。

I(c)log

20.044.64bit

③、“a”出现的条件下，“c”出现的频率变大，它的不确定性

变小。 a

例2.5：

HXY 1log 1 1log 1 1log 1 2log41log2 2 2 113比特/联合符号

4 1/4 4 1/4 2 1/2 4 2 4 2 2

由联合概率分布得X的边缘概率分

布：P{X0} 1,P{X1} 1

和条件概率分

布pyj|xi（如

2 2

1 1 1

表2.2所示），得到HY|X 0 1,HY|X 1 0和HY|X 1

2 0。

2 2

注意到HY H10.8113 1 HY|X 。

4 2

例2.15：由X,Y 的联合概率分布求

出

X,Y的边缘概率分布如下图表

所示：

例3.3：

（

1 ）、熵率：H H

2 HX

0.870 比特/符号；

（2 ）、如果不考虑符号间的相

关性，

则信源熵

为H X

1 4 911 36 比特/符

号

log4 log log 1.542

4 9 436 11

由此可见，HX2|X

1HX HX2，这是由于X1、X2之间存在统计依赖关系，

在X1已知

信息论基础第-9- 页共11页

哈尔滨医科大学生物信息科学与技术学院

的情况下，

X 2的不确定性减少，即条件熵 HX 2|X 1小于无条件熵 HX 。因此在考虑序

列符号之

间相关性之后，序列的熵减小。

如果信源输出的符号序列看成是分组发出的，每两个符号作为一组，这样可以把符号序列看成是由一个新信源发出的，新信源每次发出的是由两个符号构成的消息。新信源的数学模型是一个二维的随机变量，新

信源的熵为

H X 1X 2 H X 1HX 2|X 11.542

0.870 2.412比特/两个符号，平均符号熵为 1 X 1X 2 HX 2 |X 1 1

H 1.206 比特/符号，由此可见大小关系为

2 2

为H X X 2 考虑了同一组的两个符号之间的相关性，因此 HX 1 X 2 小于不考虑符号间相关性时的

信源

1 熵HX ，但是HX 1X

2 没有考虑前一组的后一符号与后一组的前一符号之间的关联，因此 1 HX 2|X 1

1X 2。 2

例5.4：按照步骤构造如下图所示的尾随后缀表集：

C F1 F2 F3 F4 F5 a d eb de

ad c bb

cde

bcde

ad abb bad deb

bbcde F5中第一个元素正好是 C 中的第三个码字，所以 C 不是唯一可译码。

习题5.8：

信息论基础第-10- 页共11页

信息论基础各章参考答案

各章参考答案 2．1．（1）4.17比特；（2）5.17比特；（3）1.17比特；（4）3.17比特 2．2． 1.42比特 2．3．（1）225.6比特；（2）13.2比特 2．4．（1）24.07比特；（2）31.02比特 2．5．（1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。如果我们使每次实验所获得的信息量最大。那么所需要的总实验次数就最少。用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。因为3log3=log27>log24。所以在理论上用3次称重能够鉴别硬币并判断其轻或重。每次实验应使结果具有最大的熵。其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。（2）第三次称重类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时, 第三步用一个真币与其中一个称重比较即可。对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息. 2．6．（1）215 log ＝15比特；（2） 1比特；（3）15个问题 2． 7. 证明：（略） 2．8．证明：（略） 2．9． 31)(11= b a p ，121 )(21=b a p ， 121 )(31= b a p ， 61)()(1312= =b a b a p p ， 241)()()()(33233222= ===b a b a b a b a p p p p 。 2．10．证明：（略） 2．11. 证明：（略）

信息论基础论文

信息论基础发展史信息论（information theory）是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。是专门研究信息的有效处理和可靠传输的一般规律的科学，是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。信息论从诞生到今天，已有五十多年历史，是在20世纪40年代后期从长期通讯实践中总结出来的，现已成为一门独立的理论科学，回顾它的发展历史，我们可以知道理论是如何从实践中经过抽象、概括、提高而逐步形成的。它是在长期的通信工程实践和理论研究的基础上发展起来的。通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工具和通信系统，这方面的社会实践是悠久漫长的。电的通信系统(电信系统)已有100多年的历史了。在一百余年的发展过程中，一个很有意义的历史事实是：当物理学中的电磁理论以及后来的电子学理论一旦有某些进展，很快就会促进电信系统的创造发明或改进。当法拉第(M．Faraday)于1820年--1830年期间发现电磁感应的基本规律后，不久莫尔斯(F．B．Morse)就建立起电报系统(1832—1835)。1876年，贝尔(A．G．BELL)又发明了电话系统。1864年麦克斯韦(Maxell)预言了电磁波的存在，1888年赫兹(H．Hertz)用实验证明了这一预言。接着1895年英国的马可尼(G.Marconi)和俄国的波波夫(A．C．ΠoΠoB)就发明了无线电通信。本世纪初(1907年)，根据电子运动的规律，福雷斯特(1，Forest)发明了能把电磁波

信息论基础》试卷(期末A卷

《信息论基础》答案一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X ，其概率分布为1 23x x x X 1 11P 244?? ?? ? =?? ????? ，其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit 。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log （b-a ）bit/自由度；若放大器的最高频率为F ，则单位时间内输出的最大信息量是 2Flog （b-a ）bit/s. 5. 若某一信源X ，其平均功率受限为16w ，其概率密度函数是高斯分布时，差熵的最大值为 1 log32e 2 π；与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。 8、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” （1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)。（2）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论基础及答案

《信息论基础》试卷第1页《信息论基础》试卷答案一、填空题（共25分，每空1分） 1、连续信源的绝对熵为无穷大。（或()()lg lim lg p x p x dx +∞-∞ ?→∞ --?? ） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指信源先后发生的符号彼此统计独立。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用短码，对概率小的符号用长码，这样平均码长就可以降低，从而提高有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用信源编码，为了提高系统的可靠性可以采用信道编码。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为高斯分布(或()0,1x N 2 2 x - )时，信源具有最大熵，其值为 0.6155hart(或 1.625bit 或 1lg 22 e π)。 8、即时码是指任一码字都不是其它码字的前缀。 9、无失真信源编码定理指出平均码长的理论极限值为信源熵(或H r (S)或()lg H s r )，此时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号。 11、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号概率分布的不均匀性。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)

信息论基础总结

?? ? ???=??????)()()()(2 211 I I x q x x q x x q x X q X Λ Λ∑==I i i x q 1 1 )(?? ? ???=??????)()()()(2211 m q q q q x x x x x x X X m ΛΛ∏ =N i i x q 1 )(第1章信息论基础信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。消息是能被人们感觉器官感知的客观物质和主观思维的运动状态或存在状态。通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。狭义信息论信息论研究的范畴：实用信息论广义信息论信息传输系统信息传输系统的五个组成部分及功能： 1. 信源信源是产生消息的源。 2. 编码器编码器是将消息变换成适合于信道传送的信号的设备。编码器分为信源编码器和信道编码器两种。 3. 信道信道是信息传输和存储的媒介，如光纤、电缆、无线电波等。 4. 译码器译码器是编码器的逆变换，分为信道译码器和信源译码器。 5. 信宿信宿是消息的接收者，可以是人，也可以是机器。离散信源及其数学模型离散信源—消息集X 为离散集合，即时间和空间均离散的信源。连续信源—时间离散而空间连续的信源。波形信源—时间和空间均连续的信源。无记忆信源—X 的各时刻取值相互独立。有记忆信源—X 的各时刻取值互相有关联。离散无记忆信源的数学模型—离散型的概率空间： x i ∈{a 1,a 2,…,a k } 1≤i ≤I 0≤q(x i )≤1 离散无记忆N 维扩展信源的数学模型： x ＝x 1x 2…x N x i ∈{a 1,a 2,…,a k } 1≤i ≤N q (x )＝q (x 1x 2 … x N )＝离散信道及其数学模型离散信道—信道的输入和输出都是时间上离散、取值离散的随机序列。离散信道有时也称为数字信道。连续信道—信道的输入和输出都是时间上离散、取值连续的随机序列，又称为模拟信道。半连续信道—输入序列和输出序列一个是离散的，而另一个是连续的。波形信道—信道的输入和输出都是时间上连续，并且取值也连续的随机信号。无记忆信道—信道的输出y 只与当前时刻的输入x 有关。有记忆信道—信道的输出y 不仅与当前时刻的输入x 有关，还与以前的输入有统计关系。

信息论基础理论与应用考试题及答案

信息论基础理论与应用考试题一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。（考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。（考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。（考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用（5）位二元符号编码才行。（考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。（考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。（考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。（考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。

信息论基础》试卷(期末A卷

重庆邮电大学2007/2008学年2学期《信息论基础》试卷（期末）（A卷）（半开卷）一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X，其概率分布为 123 x x x X 111 P 244 ?? ?? ? = ?? ? ?? ?? ，其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高频率为F，则单位时间内输出的最大信息量是 2Flog（b-a）bit/s. 5. 若某一信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵的最大值为1 log32e 2 π；与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r(S)）。 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。（2）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论基础答案2

《信息论基础》答案一、填空题（共15分，每空1分） 1、若一连续消息通过某放大器，该放大器输出的最大瞬时电压为b,最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是无穷大；其能在每个自由度熵的最大熵是log b-a 。 2、高斯白噪声信道是指信道噪声服从正态分布，且功率谱为常数。 3、若连续信源的平均功率为 5 W,则最大熵为1.2 Iog10 e ，达到最大值的条件是高斯信道。 4、离散信源存在剩余度的原因是信源有记忆（或输岀符号之间存在相关性）和不等概。 5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 6、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用短码,对概率小的符号用长码,这样平均码长就可以降低，从而提高编码效率。 7、八进制信源的最小熵为0 ，最大熵为3bit 。 8、一个事件发生概率为，则自信息量为3bit 。 9、在下面空格中选择填入数字符号“，，，”或“ <” H XY 二HY HXY HY H X 二、判断题（正确打"，错误打X）（共5分，每小题1分） 1）离散无（"）记忆等概信源的剩余度为0 。 2) 离散无记忆信源N次扩展源的熵是原信息熵的N倍(") 3) 互信息可正、可负、可为零。 (") 4) 信源的真正功率P 永远不会大于熵功率P ，即P P (X ) 5) 信道容量与信源输出符号的概率分布有关。 (X ) 、（5分）已知信源的概率密度函数p x如下图所示，求信源的相对熵

* p x 0.5 4 h x 2 p x log p x dx 1bit自由度四、（15分）设一个离散无记忆信源的概率空间为P x 0.5 0.5 它们通过干扰信道，信道输出端的接收信号集为丫= 示。试计算：（1）信源X中事件x的自信息量；（3分）（2）信源X的信息熵；（3分）（3）共熵H XY ; （ 3 分）（4）噪声熵H Y X ；（3分）（5）收到信息丫后获得的关于信源X的平均信息量。（1）I x11bit （2）H丄，丄1bit/符号 2 2，已知信道出书概率如下图所（3 分）

信息论基础与编码课后题答案第三章

3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ???? =? ??? ???? ，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为516 61344P ???? =? ?????? ? ，求：（1）信源X 中事件1x 和2x 分别含有的自信息量；（2）收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量；（3）信源X 和信宿Y 的信息熵；（4）信道疑义度(/)H X Y 和噪声熵(/)H Y X ；（5）接收到消息Y 后获得的平均互信息量(;)I X Y 。解：（1）12()0.737,() 1.322I x bit I x bit == （2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-， 22(;)0.907I x y bit = （3）()(0.6,0.4)0.971/H X H bit symbol == ()(0.6,0.4)0.971/H Y H bit symbol == （4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol == (/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol = （5）(;)0.9710.7140.257/I X Y bit symbol =-= 3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均信息量为0.21比特。证明：信道传输矩阵为：

互信息凸性

互信息函数),(Q P I 的性质2的证明。对于确定的条件概率矩阵Q 互信息函数),(Q P I 是概率矢量空间S 上的上凸函数。（其中S ={P ：P =（1p , 2p …, K p ）, ,,...2,1,10K k p k =≤≤而∑==K k k p 1 1}）证明：首先由定义知：),(Y X I =)(Y H -)(X Y H 其中 )(Y H =∑=- J j j j b p b p 1 )(log )( =∑∑∑===- J j k j K k k j k K k a b p a p b a p 11 1)()(log ),( =∑∑∑===- J j k j K k k k j k K k a b p a p a b p a p 1 1 1 )()(log )()( )(X Y H = ∑∑ ==-J j k j j k K k a b p b a p 1 1)/(log ),( =∑∑==- J j k j k j k K k a b p a b p a p 1 1 )/(log )()( 可知对于确定的Q ，)(Y H 和)(X Y H 都是S 上的函数，且)(X Y H 关于P 是线性的。下面将证明)(Y H 是S 上的上凸函数。即对?1P ),...,,(11211K p p p =， 2P ),...,,(22221K p p p =∈S ，及λ，λ，.1,10λλλ-=≤≤ 成立 ∑∑∑ ===++-J j k j k k k k K k k j k k k j k k K k a b p a p a p a b p a p a b p a p 1 211 211 ) ()]()([log )]/()()()([λλλλ≥ ∑∑∑ ===-J j k j K k k k k j k k K k a b p a p a b p a p 1 1 111) ()(log )()(λ

信息论基础1答案

16w，其概率密度函数是高斯分布时，差熵的最大值为1log32e π；与其熵相等的非高斯分布信2 源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限 (S)）。制为信源熵（或H(S)/logr= H r 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。（2）假设信道输入用X表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论期末复习

第二章信源熵一、自信息量 1. 定义：一个随机事件发生某一结果后所带来的信息量称为自信息量，简称自信息。定义为其发生概率对数的负值。若随机事件发生i a 的概率为)(i a p ，那么它的自信息量为：)(log )(2i i a p a I -= （bit ） 2. 性质：在事件发生前，)(i a I 表示该事件发生的不确定性。在事件发生后，)(i a I 表示事件发生所提供的信息量。二、信源熵 1. 定义：已知单符号离散无记忆信源的数学模型我们定义信源各个离散消息的自信息量的数学期望为信源的平均信息量，一般称为信源的平均信息量： )(log )(])(1[log )]([)( 212i n i i i i a p a p a p E a I E X H ∑=-=== 2. 信源熵与平均自信息量之间的区别两者在数值上是相等的，但含义不同。信源熵表征信源的平均不确定度，平均自信息量是消除不确定度所需要的信息的度量。信源一定，不管它是否输出离散消息，只要这些离散消息具有一定的概率特性，必有信源的熵值，该熵值在总体平均的意义上才有意义，因而是一个确定值，。在离散信源的情况下，信源熵的值是有限的。而信息量只有当信源输出离散消息并被接收后，才有意义，这就是给予接收者的信息度量。 3. 最大离散熵定理：信源X 中包含n 个不同离散消息时，信源熵H(X)有： n X H 2log )(≤ 当且仅当X 中各个消息出现的概率全相等时，上式取等号。 4. 扩展信源的信源熵：N 次扩展信源的信源熵：)()(X NH X H N = )(,),(,),(),( , , , , ,)( 2121? ?????=??????n i n i a p a p a p a p a a a a X P X

学科导论学习报告

目录目录 (2) 学科导论学习报告 (3) （1）对电子通信学科的认识 (3) ①对学科的简介： (3) ②培养方向： (4) ③培养目标： (4) ④就业方向： (5) ⑤主要课程： (5) ⑥专业特点： (5) （2）对学科导论课程的评价与认识 (5) ①优点： (6) ②不足与改进： (6) （3）有关本专业新技术——NGN新技术的简述。 (7) ①基本简介： (7) ②主要技术： (7) ③特点： (9) （4）通过学习后的心得体会： (9) ①学习方法的改进： (10) ②我的简单职业生涯规划： (10) 1.学业为主 (10) 2.学业家庭并重： (11) 3.家庭为主： (11) 4.学习上的目标 (11) 5具体三年规划 (11) 6.短期计划： (12) 7.大学四年最终目标 (12)

学科导论学习报告每周二晚上尽管时间很匆忙，仍然坚持对学科导论的学习。尽管学习的时间很短，但通过对本专业《学科导论》的学习，我不仅仅对信息工程专业有了更深的了解，更重要的是对本专业有了融厚的兴趣以及掌握了一些有用的学习方法。我相信会为我以后的学习，给以很大的帮助。同时给我在成就美丽人生的路上，倍添了信心。（1）对电子通信学科的认识通过课程的学习以及网上查找资料，我得到相关的认识如下：本专业是建立在超大规模集成电路技术和现代计算机技术基础上，研究信息处理理论、技术和工程实现的专门学科。该专业以研究信息系统和控制系统的应用技术为核心，在面向21世纪信息社会化的过程中具有十分重要的地位。在课堂上老师介绍了信息科学与技术导论，其中详细包括了大科学观，信息基础，信息获取，信息传递，信息处理，信息执行，学科关系，学习方法，未来趋势，放眼社会。对科学、技术、信息等词语都做出了详细的解释以及生动的举例。技术，也叫工艺学，是人类创造的关于如何认识自然和如何改造自然的工艺方法体系，它从实践过程中被人们逐渐总结出来，或在科学理论指导下被人们发明出来，经过实践的检验而得到确认和应用。这些使我了解了很多，同时激励我不断地对问题思考与总结。 ①对学科的简介：

信息论基础及答案

《信息论基础》试卷答案一、填空题（共25分，每空1分） 1、连续信源的绝对熵为无穷大。（或()()lg lim lg p x p x dx +∞ -∞?→∞ --??） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指信源先后发生的符号彼此统计独立。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用短码，对概率小的符号用长码，这样平均码长就可以降低，从而提高有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用信源编码，为了提高系统的可靠性可以采用信道编码。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为高斯分布(或()0,1x N 2 2 x -)时，信源具有最大熵，其值为 0.6155hart(或1.625bit 或1lg 22 e π)。 8、即时码是指任一码字都不是其它码字的前缀。 9、无失真信源编码定理指出平均码长的理论极限值为信源熵(或H r (S)或()lg H s r )，此时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号。 11、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号概率分布的不均匀性。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)

信息论基础理论与应用考试题及答案

广义信息熵的推广与应用

青岛农业大学本科生课程论文论文题目广义信息熵的推广与应用学生专业班级信息与计算科学09级02班学生姓名（学号）（20094052）指导教师吴慧完成时间 2012年6月28日 2012 年 6 月 28 日

课程论文任务书学生姓名指导教师吴慧论文题目广义信息熵的推广与应用论文内容：本文先介绍了Shannon 信息熵的定义，并对其进行了一定的分析，介绍了它的一些基本性质。其次，说明Shannon 熵的局限性，以此引出了广义信息熵。然后对常用的Renyi 熵、Tsallis 熵进行讨论，说明它们与Shannon 熵的联系。最后介绍了广义熵在实际生活中的应用。资料、数据、技术水平等方面的要求：论文要符合一般学术论文的写作规范，具备学术性、科学性和一定的创造性。文字要流畅、语言要准确、论点要清楚、论据要准确、论证要完整、严密，有独立的观点和见解。涉及到他人的观点、统计数据或计算公式等要标明出处，结论要写的概括简短。发出任务书日期 2012-6-5 完成论文日期 2012-6-19 教研室意见（签字）院长意见（签字）

广义信息熵的推广与应用信息与计算科学指导教师吴慧摘要：本文先介绍了Shannon 熵，由Shannon 熵推广到一般的广义信息熵，使其适用范围更广。然后在Shannon 熵的基础上介绍了两种最常用的广义信息熵：Renyi 熵和Tsallis 熵，说明了这两种广义信息熵的简单性质，以及与Shannon 熵的联系和性质上的差异。最后介绍了广义熵在实际生活中的应用。关键词：Shannon 熵；广义信息熵；应用 The promotion and application of the generalized information entropy Student majoring in Information and Computing Science ZhuMeng Tutor WuHui Abstract：At the beginning of this article it introduced the Shannon entropy.Then, it described the two most commonly used generalized information entropy: Renyi entropy and Tsallis entropy on the basis of the Shannon entropy.What is more,this article not only described the simple nature of the generalized information entropy but also described their contact with the Shannon entropy as well as the different nature between them.Finally, it introduced the application of the generalized entropy in real life. Keywords: Shannon entropy; generalized information entropy; application

朱雪龙《应用信息论基础》习题答案

信息论基础总结

? ? ????=??????)()()()(2211 I I x q x x q x x q x X q X ∑==I i i x q 1 1 )(?? ????=??????)()()()(2211 m q q q q x x x x x x X X m ∏ =N i i x q 1 )(第1章信息论基础信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。消息是能被人们感觉器官感知的客观物质和主观思维的运动状态或存在状态。通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。狭义信息论信息论研究的范畴：实用信息论广义信息论信息传输系统信息传输系统的五个组成部分及功能： 1. 信源信源是产生消息的源。 2. 编码器编码器是将消息变换成适合于信道传送的信号的设备。编码器分为信源编码器和信道编码器两种。 3. 信道信道是信息传输和存储的媒介，如光纤、电缆、无线电波等。 4. 译码器译码器是编码器的逆变换，分为信道译码器和信源译码器。 5. 信宿信宿是消息的接收者，可以是人，也可以是机器。离散信源及其数学模型离散信源—消息集X 为离散集合，即时间和空间均离散的信源。连续信源—时间离散而空间连续的信源。波形信源—时间和空间均连续的信源。无记忆信源—X 的各时刻取值相互独立。有记忆信源—X 的各时刻取值互相有关联。离散无记忆信源的数学模型—离散型的概率空间： x i ∈{a 1,a 2,…,a k } 1≤i ≤I 0≤q(x i )≤1 离散无记忆N 维扩展信源的数学模型： x ＝x 1x 2…x N x i ∈{a 1,a 2,…,a k } 1≤i ≤N q (x )＝q (x 1x 2 … x N )＝离散信道及其数学模型离散信道—信道的输入和输出都是时间上离散、取值离散的随机序列。离散信道有时也称为数字信道。连续信道—信道的输入和输出都是时间上离散、取值连续的随机序列，又称为模拟信道。半连续信道—输入序列和输出序列一个是离散的，而另一个是连续的。波形信道—信道的输入和输出都是时间上连续，并且取值也连续的随机信号。无记忆信道—信道的输出y 只与当前时刻的输入x 有关。有记忆信道—信道的输出y 不仅与当前时刻的输入x 有关，还与以前的输入有统计关系。

信息论基础理论与应用考试题及答案.doc

信息论基础理论与应用考试题一、填空题（每题2分，共20分） 1.信息论研究的ri的就是要找到信息传输过程的共同规律，以提高信息传输的（可靠性）、（有效性）、保密性和认证性，使信息传输系统达到最优化。（考点：信息论的研究目的） 2.电视屏上约有500X600=3X 1O,个格点，按每点有10个不同的灰度等级考虑, 则可组成IO’加'个不同的画面。按等概计算，平均每个画面可提供的信息量约为（I（）6bit/画面）。（考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。（考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q二32。若r=2, N=l, 即对信源S的逐个符号进行二元编码，则每个英文电报符号至少要用（5）位二元符号编码才行。（考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。（考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积也。（考点：纠错码的分类） 7.码C=（（0, 0, 0, 0）, （0, 1, 0, 1）, （0, 1, 1, 0）, （0, 0, 1, 1）｝是（Gb 2）?线性分组码。（考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即 MB | q

（H（X） = E log—— =-￡p（%）logP（q））。 P（q）/=i ■ ■ ■ （考点：平均信息量的定义） 9.对于一个（n,k）分组码，其最小距离为d,那么，若能纠正t个随机错误，同时能检测e （eNt）个随机错误，则要求（dNt+e+1 ）。（考点：线性分组码的纠检错能力概念） 10.和离散信道一?样，对于固定的连续信道和波形信道都有一?个最大的信息传输速率，称之为（信道容量）。（考点：连续信道和波形信道的信道容量）二、判断题（每题2分，共10分） 1.信源剩余度的大小能很好地反映离散信源输出的符号序列中符号之间依赖关系的强弱，剩余度越大，表示信源的实际嫡越小。（对）（考点：信源剩余度的基本概念） 2.信道的噪声是有色噪声，称此信道为有色噪声信道，一?般有色噪声信道都是无记忆信道。（错）（考点：有色噪声信道的概念） 3.若一组码中所有码字都不相同，即所有信源符号映射到不同的码符号序列，则称此码为非奇异码。（对）（考点：非奇异码的基本概念） 4.在一个二元信道的n次无记忆扩展信道中，输入端有2。个符号序列可以作为消息。（对） 5.卷积码的纠错能力随着约束长度的增加而增大，-?般情况下卷积码的纠错能力劣于分组码。（错）（考点：卷积码的纠错能力）三、名词解释（每题3分，共12分） 1 .信源编码

《信息与编码》教学大纲

《信息与编码》教学大纲课程编号 1610082 总学时 54 理论44 实验/上机 10 学分 3 开课单位信息学院开课系电子工程系修订时间 2006年1月1日课程简介教学内容本课程内容包括：信息论的基本理论以及编码的理论和实现原理，无失真信源编码、限失真信源编码、信道编码和密码学中的理论知识及其实现原理。修读专业：电子信息工程先修课程：线性代数、概率论与数理统计教材：吕锋、王虹，信息理论与编码，人民邮电出版社，2004 一、课程的性质与任务信息与编码是由Shannon奠基的一门数学学科，它产生于有效而可靠的通信问题中，是研究信息的产生、获取、度量、变换、传输、处理、识别及其应用的重要基础学科，其影响渗透到许多应用领域。通过本课程的学习，使学生对信息理论有一个比较全面和系统的了解，掌握信息论的基本概念和信息论方法，为从事信息科学的研究和应用打下一个坚实的基础。二、课程的基本要求本课程的教学环节包括课堂讲授，学生自学，习题讨论课，习题，答疑和期未考试。通过上述基本教学步骤，要求学生掌握信息论的基本理论和概念，掌握离散信道有关信息论理论，掌握信源编码方法，理解信道编码理论以及各种常用的信道编码方法，为进一步学习打下坚实基础。三、修读专业电子信息工程

四、本课程与其它课程的联系先修课程线性代数和概率论与数理统计是本课程的基础。本课程主要需要线性代数的线性运算，矩阵的乘法等。概率论的一些基础知识和常见的正态分布。五、教学内容安排、要求、学时分配及作业 1、绪论 (4学时) 1.1信息论的形成与发展（C） 1.2通信系统的模型 (B) 2、信源及信源熵 (10学时) 2.1信源的描述和分类 (B) 2.2离散信息熵和互信息 (A) 2.3连续信息熵和互信息 (B) 2.4离散序列信源的熵 (A) 2.5冗余度 (A) 3、无失真信源编码 (10学时) 3.1编码的定义 (B) 3.2定长编码定理 (A) 3.3变长编吗定理 (A) 3.4最佳编码 (A) 4、限失真信源编码(8学时) 4.1平均失真和信息率失真函数 (B) 4.2离散信源和连续信源的R（d）计算 (B) 4.3限失真编码定理 (B) 4.4常用信源编码的方法介绍，游程编码，算术编码，矢量量化编码，预测编码，变换编码 (A) 5、信道编码(12学时) 5.1信道模型和信道容量 (C) 5.2有扰离散信道的编码定理 (B) 5.3差错控制与信道译码的基本原理。(B)