离散无记忆信源的无损编码

序列自信息的方差
平均每个信源输出符号的自信息
渐近等分性质(AEP)结论
（3.1.19）
典型列集合
平均每个信源输出符号的自信息
当L->∞时，
L→∞时，典型列出现概率为1， 非典型列出现概率为0
典型列：高概率集
非典型列：低概率集
注意： (1)个别非典型列出现的概率不一定比典型列 概率小 (2)非典型列总概率小，但总数不一定少
用大数定律对以上思想作严格整理 设U是一个离散无记忆信源，输出一个长度
为L的序列 由于无记忆性，所以 这个序列的自信息为
平均每个信源输出符号的自信息为
由于uL出现是随机的，所以IL也是一个随机
变量
由概率论中的切比雪夫公式，
方差 均值
将不等式用于变量IL，
平均每个信源符号自信息IL的方差
要求能从经过压缩编码后的码字序列精确
地、无差错地恢复出原来信源的输出消息 ——无损编码 用尽可能短的码字序列（尽可能少的比特 数）来对信源输出消息进行编码——有效 编码(压缩编码)
离散无记忆信源的无损编码
等长编码 不等长编码（算法介绍） 平稳信源和马尔可夫信源编码的定理
3.1
结论：一个典型列的概率 2-LH（U）
ห้องสมุดไป่ตู้论：总典型列数量 2LH（U）
结论
无差错编码
DN≥2LH(U)
差错编码
差错概率Pe→0 编码速率R ≥ H(U) 可达
DN<2LH(U)
差错概率Pe→1 编码速率R<H(U) 不可达
第三章 离散无记忆信源(DMS)的无损编 码
离散无记忆信源
离散:信源输出在时间、取值上均为离散 无记忆：信源前后输出消息是独立、不相
关的
（离散无记忆）信源
信源模型的构成：在有限字符集上取值的
独立随机变量序列 计算信源输出的信息量（熵）：易计算 有效描述信源的输出
信源无损压缩编码
当L非常大时，由大数定律
一个特定典型列出现的概率
同时可从多项目组合数算出可能的不同典
型列数目为
编码码字数（类型数）满足典型列 即可
所以 对于充分大的L，
编码码字数（类型数）满足典型列，则 DN≥M=2LH(U) 则等长编码长度N
≥LH(U)/logD
3.1.3 渐近等分性质（AEP）和 Shannon定理的证明

编码序列 二进制编码{0,1} D=2 编码长度 =3.32 (取4)
4位二进制数表示1位十进制数
消息长度L=2
编码长度 =6.64 (取7) 7位二进制数表示2位十进制数 每一位十进制数用3.5个二进制数来表示
当L→∞
N/L →logK=3.32 每一位十进制数平均用3.32个二进制数来表示
结论
证明的思路。 信源编码、译码方框图
错误概率
N:编码长度 数
L:消息长度
D:编码字符
信源编码速率
（1）N/L>H(U)/logD 可实现无损编码 或R>H(U) 速率可达 （2）N/L<H(U)/logD 不存在无损编码 或R<H(U) 速率不可达
典型列数目
直觉的方法说明定理3.1.1的正确性 长度为L的信源输出序列，显然可能输出的 序列有KL种
离散无记忆信源的等长编码 3.1.1等长编码
K种
信源构成
信源字符种类 消息序列长度 ： L 信源输出序列种类
编码情况
编码字符种类 编码长度（等长）： N 编码类型数 种长度为N的编码序列
无损编码要求
则
当D=2时，
N:码字序列长度 L:消息序列长度 K:消息符号种类
例3.1.1 消息序列 字符种类K=10 消息长度L=1
随着消息序列长度L增加，平均表示一位十进制数 的二进制数N/L减少，编码效率提高。 但消息序列L增加会导致 （1）编码复杂性增大 （2）译码延时越长

3.1.2 Shannon编码定理和典型列解 释
对等长编码长度的要求（与L，H(U),D有关）
信源编译码方框图
定理的严格证明留到3.1.3节给出，先给出