14-信息论与编码-总复习

2013/11/26
2
总复习

第二章 信源熵
联合自信息量

当 X 和 Y 相互独立时，p(xiyj)=p(xi)p(yj)
2013/11/26
3
总复习

第二章 信源熵
条件自信息量：已知 yj 的条件下 xi 仍然存在的不确定度。

自信息量、条件自信息量和联合自信息量之间的关系
2013/11/26
4
总复习
第二章 信源熵
互信息量： yj 对 xi 的互信息量定义为的后验概率与先验概率比值的 对数。

2013/11/26
5
总复习

第二章 信源熵
观察者站在输出端：两个不确定度之差是不确定度被消除的部分， 即等于自信息量减去条件自信息量。

观察者站在输入端： 观察者得知输入端发出 xi 前、后对输出端出现 yj 的不确定度的差。
2013/11/26
27
总复习

第三章 信道容量
香农公式说明


当信道容量一定时，增大信道带宽，可以降低对信噪功率比的要求； 反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。 当信道频带无限时，其信道容量与信号功率成正比。
2013/11/26
28
总复习

第三章 信道容量
有一个二元对称信道，其信道矩阵为
1
q 图2.1.8 二元对称信道信道范例
1
2013/11/26
14
ቤተ መጻሕፍቲ ባይዱ 总复习
第二章 信源熵
平均互信息量

当 q 不变 (固定信道特性) 时，可得 I(X;Y) 随输入概 率分布 p 变化的曲线，如 图2.1.9所示；二进制对称 信道特性固定后，输入呈 等概率分布时，平均而言 在接收端可获得最大信息 量。
I(X;Y) H(p)

q 0 0.5 1 图2.1.10 固定信源后平均互信息随信道变化的曲线
2013/11/26
16
总复习

第二章 信源熵
离散无记忆信源 X 的 N 次扩展信源的熵等于离散信源 X 的熵的 N 倍，即 H(X)=H(XN)=NH(X) 离散平稳信源：各维联合概率均与时间起点无关的完 全平稳信源称为离散平稳信源。 1. 二维离散平稳信源的熵为 H(X)= H(X1X2)


研究信息论的目的：主要是提高信息系统的可靠性、有效性和安
全性以便达到系统最优化。
2013/11/26
1
总复习
第二章 信源熵
自信息量 用概率测度定义信息量 设离散信源 X，其概率空间为 如果知道事件 xi 已发生，则该事件所含有的自信息定义为
单符号离散信源


当事件 xi 发生以前：表示事件 xi 发生的不确定性。 当事件 xi 发生以后：表示事件 xi 所含有（或所提供）的信息量
Ct 实际是信道的最大信息传输速率。
2013/11/26
25
总复习

第三章 信道容量
求信道容量的方法

当信道特性 p(yj /xi) 固定后，I(X;Y) 随信源概率分布 p(xi) 的变化 而变化。 调整 p(xi)，在接收端就能获得不同的信息量。由平均互信息的 性质已知，I(X;Y) 是 p(xi) 的上凸函数，因此总能找到一种概率 分布 p(xi)（即某一种信源），使信道所能传送的信息率为最大。 C 和 Ct 都是求平均互信息 I(X;Y) 的条件极大值问题，当输入信 源概率分布 p(xi) 调整好以后， C 和 Ct 已与 p(xi) 无关，而仅仅 是信道转移概率的函数，只与信道统计特性有关；
H(X/Y)疑义度

H(X)
I(X;Y)
H(Y)

H(Y/X)噪声熵
2013/11/26
9
总复习
第二章 信源熵
联合熵 H(XY)：表示输入随机变量 X，经信道传输到达 信宿，输出随机变量 Y。即收、发双方通信后，整个系 统仍然存在的不确定度。

2013/11/26
10
总复习
第二章 信源熵
最大离散熵定理 (极值性) ：离散无记忆信源输出 n 个不 同的信息符号，当且仅当各个符号出现概率相等时 (即 p(xi)=1/n)，熵最大。 H[p(x1),p(x2),…,p(xn) ]≤H(1/n,1/n,…,1/n)=log2n 出现任何符号的可能性相等时，不确定性最大。
2013/11/26
20
总复习
第二章 信源熵
设信源 通过一干扰信道，接收符号为 Y={y1,y2}，信道传递矩阵为

(1) 信源 X 中事件 x1 和 x2 分别含有的自信息量。 (2) 收到消息yj(j=1,2)后，获得的关于 xi(i=1,2)的信息量。 (3) 信源 X 和信宿 Y 的信息熵。 (4) 信道疑义度 H(X/Y) 和噪声熵 H(Y/X)。 (5) 接收到 Y 后获得的平均互信息量。
18
2013/11/26
总复习
第二章 信源熵
信源熵的相对率η ：η= H∞/H0 信源冗余度ξ： ξ=1－η=(H0－H∞)/H0 信源的冗余度表示信源可压缩的程度。

2013/11/26
19
总复习
第二章 信源熵
连续信源的熵为


上式定义的熵在形式上和离散信源相似，也满足离散熵 的主要特性，如可加性，但在概念上与离散熵有差异因 为它失去了离散熵的部分含义和性质。
2. 站在输入端：I(Y;X) —发出 X 前、后关于 Y 的先验不确定度减少的量。
3. 站在总体：I(X;Y) —通信前、后整个系统不确定度减少量。
2013/11/26
13
总复习
第二章 信源熵

BSC信道的平均互信息量
设二进制对称信道的输入概 率空间为
q 0 /q /q 0
转移概率如图2.1.8所示。
2013/11/26
21
总复习 P.128
第二章 信源熵
(1) 信源 X 中事件 x1 和 x2 分别含有的自信息量。 解：I(x1)=－log2 p(x1)=－log2 0.6=0.74 (bit) I(x2)=－log2 p(x2)=－log2 0.4=1.32 (bit) (2) 收到消息 yj(j=1,2) 后，获得的关于 xi(i=1,2) 的信息量。 解：p(y1/x1)=5/6 p(y2/x1)=1/6 p(y1/x2)=1/4 p(y2/x2)=3/4 p(x1y1)= p(x1)p(y1/x1)= 0.6×5/6=0.5 p(x1y2)= p(x1)p(y2/x1)= 0.6×1/6=0.1 p(x2y1)= p(x2)p(y1/x2)= 0.4×1/4=0.1 p(x2y2)= p(x2)p(y2/x2)= 0.4×3/4=0.3

观察者站在通信系统总体立场上：通信后的互信息量，等于前后不 确定度的差。
2013/11/26
6
总复习

第二章 信源熵
平均信息量—信源熵：自信息的数学期望。也称为信源的信息熵/信 源熵/香农熵/无条件熵/熵函数/熵。


信息熵的意义：信源的信息熵 H 是从整个信源的统计特性来考虑的。 它是从平均意义上来表征信源的总体特性的。对于某特定的信源， 其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。 信源熵的三种物理含义 信源熵 H(X) 是表示信源输出后每个消息/符号所提供的平均信息 量； 信源熵 H(X) 是表示信源输出前，信源的平均不确定性； 用信源熵 H(X) 来表征变量 X 的随机性。
I(X;Y) 1-H(q)
0
0.5
p
图2.1.9 固定信道后平均互信息随信源变化的曲线
2013/11/26
15
总复习
第二章 信源熵
当固定信源特性 p 时， I(X;Y) 就是信道特性 q 的函 数，如图2.1.10所示；当二 进制对称信道特性 q=/q=1/2 时，信道输出端获得信息 量最小，即等于0。说明信 源的全部信息信息都损失 在信道中了。这是一种最 差的信道。
2013/11/26
7
总复习

第二章 信源熵
条件熵：是在联合符号集合 XY 上的条件自信息的数学期望。
2013/11/26
8
总复习
第二章 信源熵
信道疑义度—H(X/Y)：表示信 宿在收到 Y 后，信源 X 仍然存 在的不确定度。是通过有噪信 道传输后引起的信息量的损失， 故也可称为损失熵。
噪声熵—H(Y/X)：表示在已知 X 的条件下，对于符号集 Y 尚 存在的不确定性（疑义），这 完全是由于信道中噪声引起的。
10秒内信道可传递信息 15000×0.86=12900 (bit) <14000 (bit) 答：10秒钟内不能无失真传完。
2013/11/26
29
总复习

第四章 信息率失真函数
失真度 设离散无记忆信源为
2013/11/26
30
总复习

第四章 信息率失真函数
对每一对 (xi,yj)，指定一个非负函数 d(xi,yj)≥0 i=1,2,…,n j=1,2,…,m 称 d(xi,yj) 为单个符号的失真度/失真函数。表示信源发 出一个符号 xi，在接收端再现 yj 所引起的误差或失真。
离散平稳有记忆信源的极限熵：当 N→∞ 时，平均符号熵取极限值 称之为极限熵或极限信息量。用 H∞表示，即

极限熵的存在性：当离散有记忆信源是平稳信源时，极限熵等于关 联长度 N→∞时，条件熵H(XN/X1X2…XN-1)的极限值，即

极限熵的含义：代表了一般离散平稳有记忆信源平均每发一个符号 提供的信息量。
(4) 信道疑义度 H(X/Y) 和噪声熵 H(Y/X)。