05预备知识：信息论初步

离散信源的平均信息量
H(x) = − ∑ p( x i ) log 2 p( x i )
i =1 N
• 可以证明： 可以证明：
–当离散信源中每个符号等概出现，且各符号出现 当离散信源中每个符号等概出现， 当离散信源中每个符号等概出现 为统计独立时，该信源的平均信息量最大。 为统计独立时，该信源的平均信息量最大。
信源熵H（ ）的三个物理意义： 信源熵 （X）的三个物理意义：
– – – 信源输出后，每个离散消息所提供的平均信息量 信源输出后，每个离散消息所提供的平均信息量 信源输出前，信源的平均不确定度 信源输出前，信源的平均不确定度 变量X的随机性 变量 的随机性
关于熵* 关于熵
热力学第二定律指出：热不可能独自地、 热力学第二定律指出：热不可能独自地、不付出 代价地从冷的物体传向热的物体。这就是说， 代价地从冷的物体传向热的物体。这就是说，在冷和 热这对矛盾中， 热这对矛盾中，高温物体可以自行将热运动传向低温 物体，低温物体却不能自行将热运动传向高温物体。 物体，低温物体却不能自行将热运动传向高温物体。 克劳修斯还引入了熵的概念来反映这种变化的运动过 程和方向。在一个不与外界发生相互作用， 程和方向。在一个不与外界发生相互作用，即不与外 界发生物质和能量交换的孤立系统中， 界发生物质和能量交换的孤立系统中，熵的变化总量 总是大于零或等于零。这就是熵增加原理， 总是大于零或等于零。这就是熵增加原理，熵的大小 反映了一个系统中微观粒子热运动所引起的无序程度。 反映了一个系统中微观粒子热运动所引起的无序程度。 一个系统从有序趋于无序，从不平衡到平衡， 一个系统从有序趋于无序，从不平衡到平衡，熵的值 也趋于极大。 也趋于极大。 • 信息＝负熵； 信息＝负熵； 缺乏信息＝ 熵＝缺乏信息＝无知
– r为通信系统的能力，单位是：符号/秒 为通信系统的能力，单位是：符号 秒 为通信系统的能力
接收到的平 均信息量
信源熵
由于干扰或 其它， 其它，损失 的部分
目标—平均接收的信 目标 平均接收的信 息量最大能达到多少
信道容量
• I（X，Y）可理解为信道的信息平均传输速率 （ ， ） 单位为比特/符号 单位为比特 符号 • 定义 定义R=I（X，Y）r，为信道的信息传输速率 （ ， ） ，为信道的信息传输速率 单位为比特/秒 单位为比特 秒
离散信源的信息量
• 离散信源只能产生有限种符号
x1, p(x x
1 2 2
, ),
L xn L p(x
n
),p(x
)
且有
∑
N
i=1
p( xi ) = 1
• 对有限个符号构成的消息，假定符号出现相 对有限个符号构成的消息， 互独立，其信息量为： 互独立，其信息量为：
I = − ∑ m i log 2 p( x i ) m i 为出现次数
I(Y, X) = H(Y) - H(Y/X)
条件熵H（ 以后， 条件熵 （Y/X）表示发出随机变量 以后，对 ）表示发出随机变量X以后 随机变量Y仍然存在的平均不确定性 仍然存在的平均不确定性。 随机变量 仍然存在的平均不确定性。如果信道中 不存在噪声，发送和接收端必存在确定关系。 不存在噪声，发送和接收端必存在确定关系。而 现在发出X后 不能完全确定Y， 现在发出 后，不能完全确定 ，显然是噪声引起 的，H（Y/X）又称为噪声熵。 （ ）又称为噪声熵。
信息的度量
I ( x i ) = log a 1 = − log a p ( x i ) p( x i )
• P(x)=1→I=0；P(0)=0→I=∞ → ； → ∞ • 若干相互独立事件构成的消息， 所含信息量 若干相互独立事件构成的消息 ， 等于各独立事件信息量之和。 等于各独立事件信息量之和。
高斯分布 均匀分布
p( x ) = H
max
1 − x 2 /( 2 σ e 2π σ
2
2
)
= log
σ
2π e
( bit )
2.4 信息论初步
• 2.4 信息论初步
– – – – 信息的度量 离散信源的信息量 连续信源的信息度量 信道容量和仙农公式
信道容量
X P（Y/X） （ ） Y
I(X, Y) = H(X) - H(X/Y)
1 3 3 1 1 1 1 1 H = − log 2 − log 2 − log 2 − log 2 8 8 8 4 4 4 4 8 ≈ 1 .9056 ( bit / 符号 ) I = 1 .9056 × 57 ≈ 109 ( bit )
熵与信源熵
熵概念来自热力学， 熵概念来自热力学，1864年由德国的克劳修斯 年由德国的克劳修斯 （Clausius）提出，它反映系统的微观混乱程度。 ）提出，它反映系统的微观混乱程度。 1882年，玻尔兹曼（Boltzmann）发展了熵理论，并 年 玻尔兹曼（ ）发展了熵理论， 把熵解释为“失去的信息”。1948年美国人仙农 把熵解释为“失去的信息” 年美国人仙农 （Shannon）使用熵函数建立了通信的数学理论，熵 ）使用熵函数建立了通信的数学理论， 的概念和方法从此被越来越广泛地应用。 的概念和方法从此被越来越广泛地应用。
8 I = 23 log 2 + 14 log 2 4 + 13 log 2 4 + 7 log 2 8 ≈ 109(bit ) 3
离散信源的平均信息量
H(x) = − ∑ p( x i ) log 2 p( x i )
i =1 N
• 信源的平均不确定性信源熵 • 信源输出消息的平均信息量等于信源熵 • 上例的平均信息量为： 上例的平均信息量为：
H(Y/X) = − ∑
i
∑
j
• 平均互信息量的定义： 平均互信息量的定义：
I(X, Y) = − ∑
i
∑
j
p ( x i , y j ) log 2
p( y j / x i ) p( x i )
条件熵与平均互信息量物理意义
X P（Y/X） （ ） Y NhomakorabeaI(X, Y) = H(X) - H(X/Y)
无穷大
1 p ( x ) log p ( x ) dx + log dx
∞
• 连续信源的相对熵
H(x) = − ∫
−∞
p ( x ) log p ( x ) dx
连续信源的信息度量（p19）
• 信源为什么分布时，连续信源熵最大？ 信源为什么分布时，连续信源熵最大？ – 峰值功率受限条件下： 峰值功率受限条件下： 1 p( x ) = x ∈ (− A , A ) 2 A H max = log 2 ( 2 A ) ( bit ) – 均方功率受限条件下： 均方功率受限条件下：
预备知识 （四）
信息论初步 通信原理第五讲
2.4 信息论初步
• 2.4 信息论初步
– – – – 信息的度量 离散信源的信息量 连续信源的信息度量 信道容量和仙农公式
关于信息论
信息论是研究信息的基本性质及度量方法， 信息论是研究信息的基本性质及度量方法， 研究信息的取得、 传输、 存贮、 研究信息的取得 、 传输 、 存贮 、 处理和变换 的一般规律的科学。 的一般规律的科学 。 信息论是由通信的发展 中产生的， 它已渗透到了化学、 物理学、 中产生的 ， 它已渗透到了化学 、 物理学 、 生 物学和心理学等许多领域， 物学和心理学等许多领域 ， 随着计算机技术 的发展， 信息的处理和利用也有了飞速的发 的发展 ， 人类对信息重要性的认识， 展 ， 人类对信息重要性的认识 ， 也在逐步深 化。
H max = − ∑
i =1
N
1 1 log 2 = log 2 N N N
条件熵与平均互信息量
• 条件熵的定义： 条件熵的定义：
H(X/Y) = − ∑
i
∑
j
p ( x i , y j ) log 2 p ( x i / y j ) p ( x i , y j ) log 2 p ( y j / x i )
– I[P(x1),P(x2)…]=I[P(x1)]+I[P(x2)]+……
• 直观经验又告诉我们 ， 当消息持续时间越长 ， 直观经验又告诉我们， 当消息持续时间越长， 其信息量也随之增加。 其信息量也随之增加。
2.4 信息论初步
• 2.4 信息论初步
– – – – 信息的度量 离散信源的信息量 连续信源的信息度量 信道容量和仙农公式
I(Y, X) = I(X, Y)
平均互信息量I（ ， ）是指从Y获得关于 获得关于X的 平均互信息量 （X，Y）是指从 获得关于 的 平均信息量。 （ ， ）是指发出X前 平均信息量。 I（Y，X）是指发出 前、后，Y的 的 不确定性减少的量，显然I（ ， ） （ ， ） 不确定性减少的量，显然 （X，Y）= I（Y，X）
2.4 信息论初步
• 2.4 信息论初步
– – – – 信息的度量 离散信源的信息量 连续信源的信息度量 信道容量和仙农公式
连续信源的信息度量
• 连续信源的绝对熵
H(x) = lim − N →∞ ∆x → 0 = −∫
∞ −∞
∑
N
i −1
p ( x i ) ∆ x i log 2 [ p ( x i ) ∆ x i ]
i −1 N
离散信源的信息量
离散信源由0， 例：离散信源由 ， 1， 2， 3四个符号组成，它们出 ， ， 四个符号组成 四个符号组成， 现的概率分别为3/8, 1/4, 1/4, 1/8，且每个符号的出现 现的概率分别为 ， 都 是 独 立 的 。 试 求 某 消 息 201020130213001203210 100321010023102002010312032100120210的信息量 。 的信息量。 的信息量 此消息中， 出现 出现23次 出现14次 出现13 解：此消息中，0出现 次，1出现 次，2出现 出现 出现 出现7次 共有57个符号 个符号， 次，3出现 次，共有 个符号，故该消息的信息量为 出现