信息论 第二章定义公式总结
第二章 信息论基本概念
＝ P(xy)logP(y)/P(y|x)
XY
XY
XY
在这里同样利用自然对数性质：lnω ≤ ω －1 ,ω >0 当且仅当ω ＝1时，式取等 令ω ＝P(y)/P(y|x)，引用 lnω ≤ ω －1 H(Y|X)－H(Y)≤ P(xy)[P(y)/P(y|x)－1]loge ＝ [P(x)P(y)－P(xy)]loge XY ＝（1－1）loge＝0
第二章 信息论基本概念
§2.1 信源的分类
(1) 发出单个符号的无记忆信源 1. 离散无记忆信源 (2) 发出符号序列的无记忆信源 离散信源 (1) 发出符号序列的有记忆信源 2. 离散有记忆信源 (2) 发出符号序列的马尔可夫信源
§2.2 自信息量和条件自信息量 一. 自信息量
XY
下面推导说明求条件熵用联合概率加权的理由 先取在一个条件y下，X集合的条件熵H(X|y)为: H（X|y）＝ P(x|y)I(x|y) X ＝－ P(x|y)logP(x|y) X
进一步把H(X|y)在Y集合上取数学期望，就得条件熵H(X|Y)为：
H（X|Y）＝ P(y)H（X|y） Y ＝－ P(y)P(x|y)logP(x|y) XY ＝－ P(xy)logP(x|y) XY
由定义式可知，若一个以等概率出现的二进制码元（0，1）, 即当P(0)＝P(1)＝1/2时 1 I(0)＝I(1)＝－ log 2 2 ＝ log 2 ＝1bit 2 在此引入不确定度概念 若 出现概率 → 1 （发生可能性大，包含的不确定度小） 出现概率 → 0 （发生可能性小，包含的不确定度大） 出现概率 ＝ 1 （包含的不确定度为0） 注意：随机事件的不确定度在数量上等于它的自信息量，两 者单位相同，但含义却不相同。具有某种概率分布的随机事件 不管发生与否，都存在不确定度，不确定度表征了该事件的特 性，而自信息量是在该事件发生后给予观察者的信息量。
信息论与编码 第二章 信源与信息熵
信源
{ 连续信源: 话音、图像
2~3 1~2 0~1 2 1 0
电 压 5~6 4~5 范围 量化 5 4
3~4
3
电 压 -1~0 -2~-1 -3~-2 -4~-3 -5~-4 -6~-5 范围
散无记忆信源。可用一个离散型随机变量X来描述这
个信源输出的消息。
2.1.1 无记忆信源
发出单个符号的离散无记忆信源
可用一个离散型随机变量X来描述这个信源输出的消息。 随机变量X的样本空间就是符号集：
A {a1 , a2 ,, an }
X的概率分布为：
P { p(a1 ), p(a2 ),, p(an )}
2.2.2 离散信源熵
信源熵
——信源的平均不确定度。
H ( X ) E[ I ( X )] p( xi )log p( xi )
i
单位为bit/符号
信源熵是在平均意义上来表征信源的统计特性，它是信源X的函数。
当信源给定，各符号的概率空间就给定，信源熵就是一个确定的值。
不同的信源因概率空间不同而具有不同的信源熵。
无记忆信源
{ 发出符号序列的无记忆信源
发出单个符号的无记忆信源
{
离散 连续
2.1.1 无记忆信源
发出符号序列的信源
——每次发出1组含L个（L≥2）符号的符号序列来代表一 个消息的信源。
需要用随机序列（或随机矢量） X =(X1, X2,…, Xl, …, XL)来描 述信源输出的消息，用联合概率分布p(X1, X2,…, Xl, …, XL)来表 示信源特性。 当L=2时，此时信源为X =(X1, X2) ，其概率空间为：
信息论
自信息、互信息、信息熵、平均互信息，定义、公式（1）自信息：一个事件（消息）本身所包含的信息量，它是由事件的不确定性决定的。
比如抛掷一枚硬币的结果是正面这个消息所包含的信息量。
随机事件的自信息量定义为该事件发生概率的对数的负值。
设事件 的概率为 ，则它的自信息定义为 （2）互信息：一个事件所给出关于另一个事件的信息量，比如今天下雨所给出关于明天下雨的信息量。
一个事件 所给出关于另一个事件 的信息定义为互信息，用 表示。
（3）平均自信息（信息熵）：事件集（用随机变量表示）所包含的平均信息量，它表示信源的平均不确定性。
比如抛掷一枚硬币的试验所包含的信息量。
随机变量X 的每一个可能取值的自信息 的统计平均值定义为随机变量X 的平均自信息量: （4）平均互信息：一个事件集所给出关于另一个事件集的平均信息量，比如今天的天气所给出关于明天的天气的信息量。
为了从整体上表示从一个随机变量Y 所给出关于另一个随机变量 X 的信息量，我们定义互信息 在的XY 联合概率空间中的统计平均值为随机变量X 和Y 间的平均互信息画出各种熵关系图。
并作简要说明I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)当X,Y 统计独立时，I(X;Y)=0实际信源往往是有记忆信源。
对于相互间有依赖关系的N 维随机变量的联合熵存在以下关系（熵函数的链规则） ：定理3.1 对于离散平稳信源，有以下几个结论： （1）条件熵 随N 的增加是递减的；（2）N 给定时平均符号熵大于等于条件熵 （3）平均符号熵 随N 的增加是递减的；（4）如果 ，则 存在，并且分组与非分组码，奇异与非奇异码，唯一可译码与非唯一可译码。
即时码与非即时码1. 分组码和非分组码将信源符号集中的每个信源符号固定地映射成一个码字 Si ，这样的码称为分组码W i 。
用分组码对信源符号进行编码时，为了使接收端能够迅速准确地将码译出，分组码必须具有一些直观属性。
信息论与编码公式总结
第一章绪论第二章信源与信息熵离散信源的信息量自信息量条件自信息量联合自信息量单符号离散信源熵熵的性质1.非负性2.对称性3.确定性4.扩展性5.连续性二元联合信源的共熵与条件熵二元联合信源的共熵二元联合信源的条件熵独立熵、联合熵与条件熵的关系独立熵、联合熵与条件熵的物理意义离散无记忆信源N次扩展信源离散信道的平均交互信息量离散信道三种描述方法1.概率空间描述2.转移矩阵描述3.图示法描述离散信道的互信息量互信息量性质1.互易性-对称性2.3.互信息量可正可负4.任何两个事件之间的互信息不可能大于其中任何一个事件的自信息量5.离散信道的平均互信息量平均互信息量与联合熵、独立熵的关系一般关系X 和Y 相互独立时X 和Y 一一对应时数据处理定理信息不增性连续信源的熵连续信源均匀分布：高斯分布：指数分布：连续信源的最大熵定理输出峰值受限时的最大熵（瞬时功率受限/幅度受限）：当概率密度分布为均匀分布时，信源具有最大熵输出平均功率受限时的最大熵：当其概率密度函数为高斯分布时，具有最大熵均值受限时的最大熵：其输出信号幅度呈指数分布时连续信源X 具有最大熵值信源的剩余度/多余度/冗余度离散信源的剩余度/多余度/冗余度：连续信源的剩余度/多余度/：第三章信道容量离散无噪声信道的熵速率和信道容量熵速率：信道容量：几种离散无噪声信道举例：1、具有一一对应关系的无噪信道2、具有扩展性能的无噪信道3、具有归并性能的无噪信道离散有噪声信道的熵速率和信道容量接收熵速率：信道容量：连续信道中的熵速率与信道容量连续无噪声信道的熵速率和信道容量熵速率信道容量连续有噪声信道熵速率信道容量第四章信源编码编码的定义1、二元码/多元码2、同价码3、等长码4、变长码5、非奇异码/非奇异码6、单义码(单义码)7、非续长码(瞬时可译码/即时码)/续长码(非瞬时可译码/非即时码)单义码存在定理（克劳夫特Kraft 不等式）码树图平均码字长度编码定理定长编码定理：变长编码定理：离散无记忆平稳信道的编码定理(香农第二定理)：最佳变长编码一、香农编码二、范诺（费诺）编码(1) 把原始信源的符号按概率从大到小重新排列。
信息论编码 第二章信息度量1
50个红球，50个黑球
Y
20个红球，其它4种 颜色各20个
Z
问题：能否度量、如何度量？？
2.3.2信源熵数学描述
信源熵
• 定义：信源各个离散消息的自信息量的数学期望 （即概率加权的统计平均值）为信源的平均信息 量，一般称为信源的信息熵，也叫信源熵或香农 熵，有时也称为无条件熵或熵函数，简称熵。 • 公式： n 1 H ( X ) = E[ I ( xi )] = E[log2 ] = −∑ p( xi ) log2 p( xi ) p( xi ) i =1 • 熵函数的自变量是X,表示信源整体，实质上是无 记忆信源平均不确定度的度量。也是试验后平均 不确定性＝携载的信息 信息量为熵 • 单位：以2为底，比特/符号 • 为什么要用熵这个词，与热熵的区别？
3
( 2)
∑ p ( x ) = 1, ∑ p ( y
i =1 m i j =1
n
m
j
) = 1,∑ p ( xi / y j ) = 1,
i =1 n
n
概 率 复 习
∑ p( y
j =1 n
j
/ xi ) = 1, ∑ ∑ p ( xi y j ) = 1
j =1 i =1 m
m
( 3) ( 4) (5)
1
对天气x1 ,Q p( x1 / y1 ) = 0,∴不必再考虑x1与y1之间 信息量
对天气 x 2 : I ( x 2 : y 1 ) = log
2
p ( x 2 / y1 ) = log p ( x2 )
2
1/ 2 = 1( bit ) 1/ 4
同理 I ( x 3 : y 1 ) = I ( x 4 : y 1 ) = 1( bit ), 这表明从 y 1 分别得到了
信息论理论基础(第二章)
§2.1 信息度量 §2.2 离散信源的熵 §2.3 二元联合信源的共熵与条件熵 §2.4 信源冗余度 §2.5 连续信源的熵 §2.6 熵速率和信道容量 §2.7 离散有噪信道的熵速率和信道容量 §2.8 连续有噪信道的熵速率和信道容量 §2.9 使信源与信道匹配的编码
2013-8-2 1
I ( xi ; y j ) I ( xi ) I ( xi | y j ) log p( xi | y j ) p( xi )
（2-5）
互信息量 I ( xi ; y j ) 实际上就是已知事件 y j 后，所消除的关于事件 x i 的不肯定性，它等于事件 x i 本身的不肯定性 I ( xi ) 减去已知事件 y j 后对 x i 仍然存在的不肯定性 I ( xi | y j ) 。 互信息量的引出使信息的传递得到了定量的表示，是信息论发展的一个重要的里程碑。这里还 应指出，互信息量的单位的取法与自信息量的相同，不再详述。
I ( xi | y j ) log p( xi | y j )
2013-8-2
（2-4）
9
自信息量的单位与所用对数的底有关，如下： ⑴ 通常取对数的底为 2，信息量的单位为比特(bit,binary unit)。比特是信息论中最常 用的信息量的单位，当取对数的底为 2 时，2 常省略。 注意：计算机术语中 bit 是位的单位(bit,binary digit)，与信息量的单位不同。 ⑵ 若取自然对数（以 e 为底） ，自信息量的单位为奈特(nat,natural unit)。理论推导或 用于连续信源时用以 e 为底的对数比较方便。 1 nat= log2 e bit=1.443bit ⑶ 工程上用以 10 为底较方便。若以 10 为对数底，则信息量的单位为哈特莱(Hartley)。 这是用来纪念哈特莱首先提出用对数来度量信息的。 1 Hartley= log2 e bit=3.322bit
第二章-信息论基本概念
马尔可夫信源：以信源输出符号序列内各
符号间条件概率来反映记忆特性的一类信 源。 m阶马尔可夫信源：信源输出的当前符号 仅与前面m个符号有关的马尔可夫信源。
m 阶马尔可夫信源的数学 模型
X x1 x2 xn X x im1 m 1 P( ) p( ) X1 X m xi1 xim 此时，状态si ( xi1 , , xim )
1 a1 : 2
1 a2 : 4
E2
a1 : 3 4
E3
a3 :
1 4
E1
a3 :
1 4
E4
1 a2 : 4
a1 :1
E5
a1 :
1 4
a3 :
1 2
此信源满足马尔可夫信源的两个条件， 是马尔可夫信源，并且是齐次马尔可夫信源。
例： 设两位二进制码所代表的四个状态分别为 00，01，10，11，其 符号转移概率和状态转移概率由下列两表给出：
回顾： 单符号无记忆信源熵：H(X) bit/符号 bit/序列
符号序列无记忆信源熵：KH(X)
符号序列有记忆信源熵：联合熵 H(X1X2…XN) bit/序列
平均符号熵 极限熵
1 H ( X 1 X 2 X N ) bit/符号 N 1 H lim H N ( X ) lim H ( X 1 X 2 X N )bit/符号 N N N
5.在第k次发出的符号xik 与前面m个 符号有关。 （xik-m xik-m+1 xik-1 ) 称为状态 这种关联性用条件概率表示： p( xik | xik m xik 1 )
6.在第k次发出的符号xik ,状态改变 si =（xik-m xik-m+1 xik-1 ) sj =（xik-m+1 xik-m+1 xik ) 用状态转移概率表示： p ( S m 1 s j | S m si ) p ( xik | xik m xik 1 ) 7.齐次马尔可夫信源 p ( S m 1 s j | S m si ) ＝p ( S1 s j | S0 si ) ＝p ( s j | si )
《信息论》第二章课件
I(x|y) -logp(x|y)
p(x|y)要满足非负和归一化条件
★条件自信息的含义包含两方面：
y b j 给定，x 事件发生前 ai 事件发生的不确定性 y b j 给定，x 事件发生后 ai 事件包含的信息量
★自信息、条件自信息和联合自信息之间的关系
I(xy)= I(x)+ I(y|x)= I(y)+ I(x|y)
2.7
随机变量X和Y，符号集均为{0，1}
p( y 0 | x 0) p( y 1 | x 0) 1 2
p x (0)
2 3
p x (1)
1 3
p( y 1 | x 1) 1
求H(Y|X)
解：H (Y | X ) p( x) H (Y | x) p( x 0) H (Y | x 0) p( x 1) H (Y | x 1)
其中，q(ui)为节点ui的概率，H(ui)为节点ui的分支熵。
例
2.7
1/2 p 2/3
a1: p/3
b1: 2p/3
b2: 2/3
1/2
a2: p/3
r: 1
1-p
a3: 2(1-p)/3
1/3
a4: 1/3
条件熵
★
条件熵：联合集XY上，条件自信息I(y|x)的平均值
H (Y / X ) E [ I ( y / x)]
I ( x; y) I ( x) I ( x | y)
I(x;y)与 I(x|y)的区别？
互信息的性质
★ 互易性 ★ 当事件x，y统计独立时，互信息为0，即 I(x;y)=0 ★ 互信息可正可负 ★ 任何两事件之间的互信息不可能大于其中 任一事件的自信息