第四章：无失真信源编码

ε
ε
ε
ε
L[ H (S )+ε ] GL ε ξ= L <2 n nL
=2
−L[ logn−H (S )−ε ]
logn−H (S )−ε >0
① Lim p( A ) =1 ε L→ ∞
信源序列集合S
② H(P , P ,LPL ) →H(P LP ε ) 1 2 1 M n
信源熵
Aε
③ P = L= P ε = 1/ Mε 1 M
大概率事件熵
Aε
• 对于 A 有性质: 有性质 ε Lim p( A ) = 0 ε L→ ∞
由此可见， 由此可见，信源编码只需对信源中少数落入典型大概率事件的集合的符 号进行编码即可。 号进行编码即可。而对大多数属于非典型小概率事件集合中的信源符号 无需编码. 无需编码
H∞ ≅ 1.4bit
§4.2定长编码定理－4-进一步理解 4.2定长编码定理 定长编码定理－
解决方法： 解决方法：
考察： 字母个数为n 字母之间相关长度为L的英文信源， 考察： 字母个数为n，字母之间相关长度为L的英文信源，其可能的字母序列 但其中大部分字母序列是无意义的字母组合，而且随着L 总数为 L ；但其中大部分字母序列是无意义的字母组合，而且随着L n 的增加，这种无意义序列的总数越来越大。 的增加，这种无意义序列的总数越来越大。 进行联合编码，即对字母序列编码， 进行联合编码，即对字母序列编码，且只对哪些有意义的字母序列 方法： 方法： 编码，即需编码的字母序列的总数<< nL ,则平均每个信源符号所 编码，即需编码的字母序列的总数 则平均每个信源符号所 需的码符号个数可以大大减少，从而提高了传输效率。 需的码符号个数可以大大减少，从而提高了传输效率。 ！！但当 足够长后， 问题： 会引入一定的误差！！但当L足够长后 误差可以任意小。 问题： 会引入一定的误差！！但当 足够长后，误差可以任意小。
L[H(S)−ε ]
A 中所有 ε ε
≤|| Aε ||≤ 2
L[H (S)+ε ]
典型序列的集合
集合中序列的个数 || Aε || 表示 A 集合中序列的个数 ε
§4.2定长编码定理－7 － AEP证明 4.2定长编码定理 定长编码定理－ AEP证明
• 还可以证明：对于任意小的正数 还可以证明：
渐进等分割定理： （熵定理，遍历性定理） 渐进等分割定理： 熵定理，遍历性定理）
离散无记忆信源输出的一个特定序列 输出的一个特定序列， 设 s = s1s2...sL 是离散无记忆信源输出的一个特定序列，则任给 δ > 0 和 ε > 0，总可以找到一个整数 L0 ，使当
L≥ L0 时，有：
特定序列的平均符号自信息
ε ≥ 0 ， SL
足够大时， ，当L足够大时， 足够大时
2
−L[H(S)+ε ]
< P(αi ) < 2
−L[H(S )−ε ]
P(αi ) 表示序列αi ∈ Aε 出现的概率 出现的概率
由切比雪夫不等式可得： 由切比雪夫不等式可得：
P(Aε ) ≥1−
σ2 Lε
表示S中每个符号携带的信息量的方差 σ 2 表示 中每个符号携带的信息量的方差
为实现有效： 为实现有效：log n ⇒ H(S) + ε 等长有效性的无失真编码的条件： 等长有效性的无失真编码的条件：
考虑信源统计特性
K≥
K L
H( S)+ε logm
L
码长下限： 码长下限： 误码率任意小的方向：? 误码率任意小的方向：
L →∞
≥
H( S)+ε logm
⇒ K log m ≥ L(H(S) + ε )
考虑信源的实际统计特性（非等概），实际消息熵为： 考虑信源的实际统计特性（非等概），实际消息熵为： ），实际消息熵为
H(S) = −∑pi log pi
i
代入无失真条件得： 代入无失真条件得：
K L
≥
H (S ) logm
• 结论 结论：即使m=n,只要
就有可能实现K<L。 即无失真与有效性同时满足。
(前提：不考虑信源统计特性) 前提：不考虑信源统计特性 前提
K
L K 无失真： 无失真： n ≤ m
n →m
L
相互矛盾！ 相互矛盾！
消 数→码 数 息 字
有效： nL ≥ mK 有效：
K log n n ≤m ⇒ ≥ L log m
L K
无失真条件变换
结论： 不有效。 结论：①当 n = m 时，K≥L 不有效。
符号集大小为m
Sl 取值于同一个符号集，
总组合数：n
L
Ck 取值于同一个符号集，
m 总码组合数：
K
§4.1无失真编码概述－2 4.1无失真编码概述－2
• 问题：能否进行无失真编码 怎样进行无失真编码 问题： 能否进行无失真编码?怎样进行无失真编码? 进行无失真编码 怎样进行无失真编码 • 应满足条件 应满足条件：
§4.2定长编码定理－2-进一步理解 4.2定长编码定理 定长编码定理－
• 若要求所得的等长码是唯一可译的，则必须： 若要求所得的等长码是唯一可译的，则必须：
K log n n ≤m ⇒ ≥ L log m log n 若L＝1，则： ≥ ＝ ， K log m
L K
结论：对于唯一可译码， 结论：对于唯一可译码，每个信源符号至少需要用 个码符号来变换。 个码符号来变换。
log n log m
L=1 K 当采用二元码编码时， ＝ ， 当采用二元码编码时，m＝2，则： ≥ log n⇒K ≥ log n(bit) L
结论：对信源进行二元等长编码时， 结论：对信源进行二元等长编码时，每个信源符号所需码 长的极限值为 log n(bit)
§4.2定长编码定理－2-进一步理解 4.2定长编码定理－2
②当K = L 时，m≥n，亦不满足有效性 ，
解决办法： 引入信源统计特性。 解决办法： 引入信源统计特性。
§4.1无失真编码概述－3 4.1无失真编码概述－3
• 考察无失真条件 考察无失真条件：
K log n n ≤m ⇒ ≥ L log m
L K
等概条件下的消息符号熵 等概
Hale Waihona Puke 等概条件下的码字符号熵 等概
然，这两个序列不等概, 当L→ 这两个序列不等概
有一些序列1出现的次数接 ∞ 时，有一些序列 出现的次数接
pLpqL−Lp＝ －LH(S) 2
近Lp，这些序列的概率为 ， 分布。 分布。
• L长的序列
且这些序列近似等概
s1s2 LsL
，对于任意小的正数
的序列称为
ε 典型序列
ε > 0 满足式 － P(s) log － ∞(S) < ε H L
§4.2定长编码定理－8 － AEP举例 4.2定长编码定理 定长编码定理－ AEP举例
• 例2 统计独立L长的序列 统计独立 长的序列: s∈{01 p(1)=p,p(0)=q,统计独立 长的序列 s1s2 LsL ， }
5 3 和序列011100101 的概率为 p4q4和 p q 显 当L＝8时，序列 ＝ 时 序列11000101和序列 和序列
σ 2 = E 2 {I ( si ) − E[ I ( si )]}
= E{I 2 ( si ) − 2 I ( si ) • E[ I ( si )] + E 2 [ I ( si )]} = E [ I 2 ( si )] − E 2 [ I ( si )]
= ∑ p ( si ) I 2 ( si ) − H 2 ( S ) = ∑ p ( si )[ − log p ( si )]2 − H 2 ( S )
P{|
logP(s) L
+H∞(S) |< δ} >1−ε
随机矢量的平均符号熵
§4.2定长编码定理－6－ AEP物理意义 AEP物理意义
任何一个离散随机序列信源当序列长度L→∞时,信源序列会产 时 信源序列会产 任何一个离散随机序列信源当序列长度 两极分化.小概率事件集合 生两极分化 小概率事件集合 Aε 与大概率事件集合 Aε ,即nL= A ∪ A 即 ε ε • 对于 A 有性质 有性质: L ε
log m> H(S)
具体实现方法：定长与变长编码 具体实现方法 定长与变长编码
§4.2定长编码定理－1-描述 4.2定长编码定理－1
定长（等长）码信源编码定理：nL → mK 定长（等长）码信源编码定理：
对离散，无记忆、平稳、遍历信源其符号序列： 对离散，无记忆、平稳、遍历信源其符号序列：S =(S1S2 …..SL)， ， 可用K个符号 个符号C 进行等长编码，对任意ε>0,δ>0， 可用 个符号 =(C1C2…CK) 进行等长编码，对任意 ， 只要满足： 只要满足： H( S)+ε K K
§4.2定长编码定理－5－证明 4.2定长编码定理 定长编码定理－
引入：渐进等分割性（AEP: Asymptotic Equipartition Property ） 引入：渐进等分割性（
• 考察离散、随机序列信源的统计特性 考察离散、 －－渐进等分割性（ －－渐进等分割性（AEP） 渐进等分割性 ） • AEP描述： 描述： 描述
第四章：无失真信源编码
无失真信源编码
• • • • 无失真编码概述 定长信源编码 变长信源编码 实用的无失真信源编码方法举例
§4.1无失真编码概述－1 4.1无失真编码概述－1
离散、无失真、无记忆信源编码的一般模型 模型： 模型
入
S = (S1…SL )
符号集大小为n
信源 编码
出