第三章 信源编码-离散无记忆源等长编码

第三章 信源编码——离散信源无失真编码
本章分析问题：在信宿要求无失真接收时，或所有信源信息无损的条件下，离散信源输出的表示——即信源编码问题。

内容：信源分类，信息速率的计算，编码定理，有效编码方法等。

一、信源及其分类 1． 离散信源和连续信源
离散信源表示：…Ｕ－２Ｕ－１Ｕ０Ｕ１Ｕ２…
其中ＵＬ随机变量，取值范围：Ａ＝｛ａ１，ａ２，…ａｋ｝ ２．无记忆源和有记忆源
无记忆源：各ＵＬ彼此统计独立
简单信源：各ＵＬ彼此统计独立且服从同一概率分布 Ｐ（ＵＬ＝ａｋ）＝Ｐｋ，ｋ＝１，２，…，Ｋ
∑
=K
k 1
Ｐｋ＝１
有记忆源：各ＵＬ取值相关。

ＵＬ＝（Ｕ１，Ｕ２，…，ＵＬ）∈ＵＬ，其概率分布由Ｌ维随机矢量表示，Ｐ（ＵＬ＝ａ）＝Ｐ（Ｕ１＝ａｋ１，…，ＵＬ＝ａｋＬ） ３．平稳信源：概率分布与起始下标无关
Ｐ（Ｕ１＝ａｋ１，…，ＵＬ＝ａｋＬ）＝Ｐ（Ｕｔ＋１＝ａｋ１，…，ＵＬ＝ａｋＬ）
４．各态历经源：信源输出的随机序列具有各态历经性。

５．有限记忆源：用条件概率Ｐ（ＵＬ，ＵＬ－１，ＵＬ－２，ＵＬ－ｍ）表述。

ｍ为记忆阶数。

６．马尔可夫源：有限记忆源可用有限状态马尔可夫链描述，当ｍ＝
１时为简单马尔可夫链。

７．时间离散的连续源：各随机变量ＵＬ取值连续。

８．随机波形源：时间和取值上均连续的信源；由随机过程ｕ（ｔ）描述，时间或频率上有限的随机过程可展开成分量取值连续的随机矢量表示，即时间上离散，取值连续的信源。

９．混合信源
二、离散无记忆源的等长编码
离散无记忆源：ＤＭＳ
Ｌ长信源输出序列：ＵＬ＝（Ｕ１，Ｕ２，…，ＵＬ），Ｕｌ取值｛ａ１，ａ２，…ａｋ｝，共ＫＬ种不同序列。

对每个输出序列用Ｄ元码进行等长编码，码长为Ｎ，则可选码共有ＤＮ个。

１．单义可译码或唯一可译码：
条件：ＤＮ≥ＫＬ＝Ｍ，即Ｎ≥ＬｌｏｇＫ／ｌｏｇＤ
Ｎ／Ｌ：每个信源符号所需的平均码元数；Ｎ／Ｌ→３．３２２；２．信息无损编码要求：
设每个信源符号的信息量为Ｈ（Ｕ），则Ｌ长信源序列的最大熵值为ＬＨ（Ｕ），编码时由于Ｄ个码元独立等概时携带信息量最大，使码长最短。

则信息无损编码的最小码长为：
ＮｌｏｇＤ≥ＬＨ（Ｕ）
注：计算Ｈ（Ｕ）时，需要考虑Ｌ→∞，Ｌ为有限值时，平均每符号的信息量将在Ｈ（Ｕ）附近摆动。

则：选Ｌ足够长，使ＮｌｏｇＤ≥Ｌ［Ｈ（Ｕ）＋εＬ］
ε
Ｌ
：与L 有关的正数，当L ∞→时，ε
Ｌ
0→。

注：这种编码不一定保证单义可译，但非单义可译所引起的误差可渐进为任意小。

３． 序列划分
（1） L 长无记忆信源DMS 的信息量： a. 概率：P(U L )=P(U 1, U 2, … ,U L )=∏=L
l 1P(U l )
b. 消息序列U L 的自信息量：
I(U L )=-logP(U L )=-log ∏=L
l 1
P(U l )=∑=L
l 1
[-logP(U l )]=∑=L
l 1
I(U l ).
c. I(U l )含义：信源从取值集A 中独立选出某个字母所获得的信息量；
d. 消息符号的平均信息量：I L =I(U L )/L;
e. 信源中每符号的熵：H(U)=-∑=K
k 1p(a k )logp(a k );
f. 信源中各符号信息量I(a k )的方差：
ζI 2
=∑=K
k 1
p(a k )[ I(a k )- H(U)]
2
=
∑
=K
k 1
p(a k )[log p(a k )] 2- H 2 (U)
g ．根据弱大数定理：对任意的ε>0有
P r [
I(U L )/L- H(U)>ε]< ζI 2/(1-ε2)=δ
P r [I(U L )/L- H(U) ≤ε] ≥1-δ
选δ=ε，得：P r [I(U L )/L- H(U) ≤ε] ≥1-ε 即：当L 足够大时，I L =I(U L )/L 以概率1取值H(U)。

2． 典型序列集：
a. T U (L,ε)={U L : H(U)-ε≤I L ≤ H(U)+ε}是长为L 的弱ε－典型序列集。

b. T U (L,ε)={U L : L(p(a k )-ε)≤I L ≤L(p(a k )+ε);a k ∈U}为给定信源输出的长为L 的强ε－典型序列集。

例子：扔硬币事件中，正反面出现概率当试验次数足够大时各为一半。

C.上述的补集为非典型序列。

d. 信源划分定理：
给定信源{U,p(a k )}和ε>0,当L ∞→时，P r {T U (L,ε)}→1，或对所有的ε>0,存在正整数L 0,当L> L 0时，有P r {U L ∈T U (L,ε)}≥1-ε. e. 典型序列出现的概率（渐进等概序列）：
2
]
)([ε+-U H L ≤P[T U (L,ε)]≤2])([ε--U H L
即：P[T U (L,ε)]≈2)
(U LH -
证明：略。

g. 典型序列的数目： （1-ε）2
]
)([ε-U H L ≤T U (L,ε)数目≤2
]
)([ε+U H L
即：T U (L,ε)数目≈2)
(U LH
证明：略。

h. 个别非典型序列的概率不一定比个别典型序列的概率低，甚至高得多。

非典型序列的数目不一定少。

当L 很长时，典型序列的数目往往远少于非典型序列数目。

3．离散无记忆源的编码定理：
a.编码速率：R=
L
1logM=
L
N logD,M=D N
b.
可达速率：对给定信源和编码速率R和任意ε>0，若存在L0、编码和译码变换，使当码长L> L0时，译码错误概率位Pe<ε,
则R时可达的，否则R是不可达的。

c.
定理：R>H(U),则R可达；R<H(U),则R不可达。

此为无扰编
码的正、反定理。

由定理可知：R>H(U)⇒NlogD>LH(U)
即:N/L≥H(U)/logD
上述条件成立时，对典型序列一对一编码，能使译码错误概率
在L足够大时为任意小。

即：N/L≥H(U)/logD时，能够保证信源输出的信息量全部载入
码字，使Pe→0,但代价为L足够长，实现复杂，译码时延长。

H(U)/logD为表示每个信源符号所需的最少码符号数，它是等
长编码的理论极限。

4．编码效率
η＝Ｈ（Ｕ）／Ｒ≤１
编码速率Ｒ可理解为：单个信源符号经过编码后，表示单个信源符号的码元数目所含的信息量，它必须大于等于信源符号的实际熵。