信息论与编码

第一章

1、信息,信号,消息的区别

信息：是事物运动状态或存在方式的不确定性的描述 消息是信息的载体，信号是消息的运载工具。

2、1948年以“通信的数学理论”（A mathematical theory of communication ）为题公开发表，标志着信息论的正式诞生。 信息论创始人：C.E.Shannon(香农)

第二章

1、自信息量：一个随机事件发生某一结果后所带来的信息量称为自信息量，简称自信息。

单位：比特(2为底)、奈特、笛特（哈特）

2、自信息量的性质 （1） 是非负值

（2） =1时， =0， =1说明该事件是必然事件。 （3） =0时， = ， =0说明该事件是不可能事件。 （4） 是 的单调递减函数。

3、信源熵：各离散消息自信息量的数学期望，即信源的平均信息量。

)(log )(])(1

[log )]([)( 21

2i n

i i i i a p a p a p E a I E X H ∑=-===

单位：比特/符号。（底数不同，单位不同） 信源的信息熵；香农熵；无条件熵；熵函数；熵。 4、信源熵与信息量的比较

（书14页例2.2.2）

()log () 2.1.3 i i I a p a =-（）

5、信源熵的意义（含义）:

（1）信源熵H(X)表示信源输出后，离散消息所提供的平均信息量。 （2）信源熵H(X)表示信源输出前，信源的平均不确定度。 （3）信源熵H(X)反映了变量X 的随机性。 6、条件熵：

（书15页 例2.2.3） 7、联合熵：

8、信源熵,条件熵,联合熵三者之间的关系:

H(XY)= H(X)＋H(Y/X) H(XY)= H(Y)＋H(X/Y)

条件熵小于无条件熵，H(Y/X)≤H(Y)。当且仅当y 和x 相互独立p(y/x)=p(y)，H(Y/X)=H(Y)。

两个条件下的条件熵小于一个条件下的条件熵H(Z/X,Y)≤H(Z/Y)。当且仅当p(z/x,y)=p(z/y)时取等号。

联合熵小于信源熵之和， H(YX)≤H(Y)+H(X)

当两个集合相互独立时得联合熵的最大值 H(XY)max =H(X)+H(Y) 9、信息熵的基本性质:（1）非负性；（2）确定性；（3）对称性；（4）扩展性 （5）可加性 ( H(XY) = H(X)+ H(Y) X 和Y 独立 H （XY ）=H （X ）+ H （Y/X ）

H （XY ）=H （Y ）+ H （X/Y ） )

（6）（重点）极值性(最大离散熵定理):信源中包含n 个不同离散消息时，信源熵H(X)有

当且仅当X 中各个消息出现的概率全相等时，上式取等号。

（7）条件熵不大于无条件熵；（8）上凸性

10、多符号的离散无记忆信源就是把单符号进行N 次扩展, 扩展N 次后，每个符号的宽度为N

11

(|)[(|)]()(|)

n

m

i j i j i j i j H X Y E I a b p a b I a b ====∑∑11

()()()n

m

i j i j i j H XY p a b I a b ===∑∑11

()log () (2.2.10)

n m

i j i j i j p a b p a b ===-∑∑2()log (2.2.12)

H X n ≤12()(,,

,)

N i i i i p p a a a α=()()()log ()

N

N i i X

H X H X p p αα==-∑

序列信息的熵为

)()(X NH X H N =

（书22页 例2.3.1 ）

11、信源的冗余度 0

0011H H H H H ∞

∞-=-

=-=ηξ 极限熵 实际上是一个条件熵

对离散信源，信源符号等概率分布时熵最大，其平均自信息量记为: H 0＝log q 由于信源符号间的依赖关系使信源的熵减小，使下式成立：

∞+≥≥≥≥≥≥=H H H H H q m ......log 1210

信源符号之间依赖关系越强，每个符导提供的平均信息量越小。 为此，引入信源的冗余度来衡量信源的相关程度(有时也称为多余度)。 课后习题： 2.6、无条件概率、条件概率、联合概率之间的关系（11页）

第三章

1、通信系统的模型：（33页 图3.1.1）

2、信源编码的目的是提高有效性，信道编码的目的是提高可靠性

3、信源编码的分类：（第三个、第四个比较重要） (1) 二元码和r 元码

(2) 基本源编码和N 次扩展源编码 (3) 无失真编码 和有失真编码

数学上称为非奇异码和奇异码，若信源符号和码字是一一对应的，则该码为非奇异码。反之为奇异码。

(4)惟一可译码和非惟一可译码

唯一可译和非唯一可译：若任意一串有限长的码符号序列只能被惟一地译成所对应的信源符号序列，则此码称为惟一可译码（或称单义可译码）。否则就称为非惟一可译码或非单义可译码。 (5) 定长码和变长码

4、唯一可译码可分为即时码和延时码

⎪⎭

⎫ ⎝⎛=-∞→∞12

1

lim N N

N X X

X X H H

即时码：如果一个码的任何一个码字都不是其他码字的前缀，则称该码为前缀码、异前置码、异字头码、逗点码，也称为即时码 克拉夫特不等式

r 元长度为li 的异前置码存在的充要条件是

Kraft 不等式是惟一可译码存在的充要条件，

必要性表现在如果码是惟一可译码，则必定满足Kraft 不等式;

充分性表现在如果满足Kraft 不等式，则这种码长的惟一可译码一定存在，但并不表示所有满足Kraft 不等式的码一定是惟一可译码。

因此，克拉夫特不等式是惟一可译码存在的充要条件，而不是惟一可译码的充要条件。

如果一个码是即时码，它一定满足克拉夫特不等式 如果一个码满足这个不等式，它不一定是即时码 奇异码与唯一可译之间的关系：奇异码一定非唯一可译

唯一可译码与非奇异之间的关系：唯一可译码一定是非奇异码，但非奇异码不一定唯一可译

5、香农第一定理：无失真变长信源编码定理，即香农第一定理。

11i n

l i r -=≤∑