无失真信源的编码方法
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ｕ ｅ ｏ ｉ ｔ ｄ ｅｄｓｒｔ ｏ ｒ ｏ ｉ 。 ｕ ｌ ｉ ｐ ｐ ｒ ｎ ｌ ｉ ｔｅＨ 仟 ｎｃ ｄｎ ｔｏ ｎ ｓ ｏ ｄｔ ｎ ． ｎ ， ｎ ｅｓ ｅ ｅ ｓ ｄ ｃ ｄ ｇｍｅｈ ｓｉ ｔ ｉ ｅ ｓ ｕｃ ｃ ｄｎ ｂ ｔ ｓ ｔ ｓ ａ ｅ ａ ｓ ｕ ｍａ ｏ ｉ ｍｅｈ ｄａ ｄｉ ｎ ｉ ｓ Ａ ｄ ｉ ａ ｅ ｎｔ ｎ ｏ ｎｈ ｃ ｅ ｅ ｇ ａ ｏｈ ａ ｙ ｓｈ ｇ ｔｃ ｉ ｏ ｔ ｃ ｂ ｈ ｍｅｈ ｄ ｉｍｏ ｔ ｓ ｆｌｒｍ ｃ ｄｎ ｆｃ ｎ ｙ ｔｏ ｓ ｕ ｅ ０ ｏ ｉ ｅ ｉ ｃ． ｓ ｕｆ ｇｉ ｅ
表 映射 成一 个码 字 ， 的码 称为分 组码 编码 。 这样 若 信源 输 出符 号序 列 的长度 Ｌ １时 ， 即
＝
（ Ｘ２ … … ） ∈｛ｌ ２…，Ｉ…，ｎ ， ， 口， ， ａ， ａ ｝ ａ
换 由 ，个 字 符 组 成 的 码 序 列
变
信源存 在 冗余度 ， 源编 码就 是 减少冗 余度 ， 高编码 效率 。 而信 提 根据 信源 输 出符 号序 列 的统计 特征 ， 出一 定的 方法 把信 源 寻找
技 术 探 讨 ・ ｅ ｈ ｏ ｏ ｙ ａｄ Ｓ ｕ ｙ Ｔ ｃ ｎ ｌ ｇ ｎ ｔｄ
无 失真 信 源 的编 码 方 法
吴春 花 姚 合 军
（ ． 阳市 曙光 学校 河 南安 阳 ４５ ０ ； ． 阳师 范 学院 数 学 与统计 学院 河 南安 阳 ４５ ０） １安 ５０ ０ ２ 安 ５０ ０
只讨 论 无 失 真 离 散信 源 的三 种 简 单 编 码 ， 即香 农 （ｈ ｎ ｏ ） Ｓ ａｎｎ 编码、 费诺 （ａ ｏ 编 码和 哈夫 曼 （ ｆ ｎ 编 码 。 Ｆ ｎ） Ｈｕｆ ） ｍａ
ຫໍສະໝຸດ Baidu
２ ．编 码 定 义
将 信 源 消 息 分 为 若 干 组 ，即 符 号 序 列 ， ＝｛
ａ ｄＳａｉ ｉ ， ｎ ａ ｇＮ ｄ ａ Ｕ ｉ ｒｉ Ａ ｙ ｎ ５ ０ ０ ｎ ｔｔｔ ｓＡ ｙ ｎ ｏ ｌ ｎｖ ｓｙ ｎ ａ ｇ４ ５ ０） ｓｃ ｅ ｔ
［ ｂ ｔ ｃ］Ｔ ｉ ｐｐ ｒｎｒｄ ｃｓｔ ｅ ｎｉｎｏ ｅｃｄｎ ｎ ｄｎ ｔ ｄ ， ｎ ｏ ｎｙ ｏ ｓ ｏｅｄｔｉｐｅｅ ｔｉｎｗｔ ｅｃ ｍｍ ｎ Ａ ｓｒ ｔ ｈ ａ ｅ ｔ ｕｅ ｅｄｆ ｉ ｆｈ ｏ ｉ ａ ｄｃ ｉ ｍｅｈ ｓ ａｄｉ ｔ ｌｄ ｅ ｍ ｒ ｅａｌｒｓ ｎａｏ ｉ ｔ ａ ｓ ｉｏ ｈ ｉｔ ｏ ｔ ｇ ｏ ｇ ｏ ｔ ｏ ｎ ａ ｔ ｈｈ ｏ ｏｌ ｙ
求 的是 能够 无失 真 或无 差 错地 由 】 复 ， ，恢 即能够 进 行反
变 换或译 码 ， 同时希 望 传送 时所需 要的 信息率 最小 。于 是可 以 采用 比较 普遍 的编 码方法 ， 即香 农 编码 、 费诺 编码 、 哈夫 曼编码 来解 决这 个 问题 。 在信 息论 中 ， 信源 可 以分为 两大 类 ： 类是 由文字 ， 一 字母数 字符号 组成 的符 号序列 或单个符 号 ， 称之 为离散信源 ； 另一类是
［ ｅ ｗｏｄ ］Ｉｏｍ ｔ ｎ ｏ ｒ ，ｏｓ ｓ ｕｃ ，ｕｍａ ｏ ｉ ，ｏ ｉ ｆ ｉ ｃ Ｋ ｙ ｒｓ ｎ ｒ ａｉ ｕｃ Ｌ ｓｌ ｓ ｏ ｒｅＨ ｆ ｎｃｄｎ Ｃ ｄｎ ｅ ｃ ｎ ｙ ｆ ｏｓ ｅ ｅ ｓ ｇ ｇｉｅ
１ 引 言 ．
在 通信 中 ， 送信 源信 息只需 要具 有信 源极 限熵 大小 的信 传
Ｈ ｎｎＣ ｄｎ ｅｈ ｄ ｓｌ ｓＳ ｕｃ ｕ ａ ｏ ｉ Ｍ ｔｏ ｓ ｆ ｏ ｓ ｓ ｏ ｒ ｇ ｏＬ ｅ ｅ
ＷｕＣ ｕ －ｕ Ｙ ｏ Ｈ － ｎ ｈ ｎｈ ａ ａ ｅ ｕ ｊ
ｒ ． ｃ ｏ ｌ ｆ ｙ ｎ ｈ ｇ ａ ｇ Ａｎ ａ ｇ ４ ５ ０ ： ． ｈ ｏ ｆ ｔ ｅ ７ Ｓ ｈ ｏ Ａｎ ａ ｇ Ｓ ｕ ｕ ｎ ｏ ｙ ｎ ５ ０ ０ ２ Ｓｃ ｏ ｌ Ｍａ ｈ ｍａ ｉｓ ｏ ｔ ｃ
输 出符号 序 列转 换 为最 短 的码 字序 列 。 当 已知信 源符 号 的概 率 特 性 时 可计 算 出它 的符 号 熵 Ｈ， 表 示 每个 信 源 符 号 所 载 它 有 的信 息量 。 由于无 失真 信源 编码 只适用 于离 散信 源 ， 本 文 故
Ｙ：（ … … ） ∈地 ， ， ， ｝ ， ｂ …， …， ．变换 的要 ２
∈｛ ： 一ａ ｝ ｎ， ， 口 …， ， ．而 每 个符 号 序 列 依 照 固 定 的码
息 率 ， 在实 际的 通信 系统 中用来 传送 信息 的信息 率远 大 于信 但
源极 限熵 。为 了能够 得 到或接 近信 源熵 的最 小信 息率 ， 必须 解 决 编码 的 问题 ， 而编 码 分为 信 源编 码 和信 道 编码 ， 中的信 源 其 编码 又分 为无 失真信 源 编码和 限失 真信 源编 码 。 由于信 源 符 号 之 间 存在 分 布 不 均 和一 定 的 相 关 性 ， 得 使
… …
由话音 、 等组成 的连续信源 。本 文只涉及无失真离散信 源。 图像 例如 无失 真离散 信 源符号 集
｝ 序 列 中 的 每 个 符 号 取 自 符 号 集 ， ，
【 要 】 文主 要介 绍 了编 码 的定 义及 编码 的 方法 ． 摘 本 并对 离 散信 源 编码 的 常用 的哈 夫 曼编 码方 法做 了 比较 详细 的介 绍 ． 时也对 同 这 编码 方法 在实现 条件 上做 了分 析 ， 编码 效率 上考 虑该 编码 方法 得实 用性 。 从 【 关键 词ｌ 息源 ； 失真信 源 ； 信 无 编码 编码 效率
表 映射 成一 个码 字 ， 的码 称为分 组码 编码 。 这样 若 信源 输 出符 号序 列 的长度 Ｌ １时 ， 即
＝
（ Ｘ２ … … ） ∈｛ｌ ２…，Ｉ…，ｎ ， ， 口， ， ａ， ａ ｝ ａ
换 由 ，个 字 符 组 成 的 码 序 列
变
信源存 在 冗余度 ， 源编 码就 是 减少冗 余度 ， 高编码 效率 。 而信 提 根据 信源 输 出符 号序 列 的统计 特征 ， 出一 定的 方法 把信 源 寻找
技 术 探 讨 ・ ｅ ｈ ｏ ｏ ｙ ａｄ Ｓ ｕ ｙ Ｔ ｃ ｎ ｌ ｇ ｎ ｔｄ
无 失真 信 源 的编 码 方 法
吴春 花 姚 合 军
（ ． 阳市 曙光 学校 河 南安 阳 ４５ ０ ； ． 阳师 范 学院 数 学 与统计 学院 河 南安 阳 ４５ ０） １安 ５０ ０ ２ 安 ５０ ０
只讨 论 无 失 真 离 散信 源 的三 种 简 单 编 码 ， 即香 农 （ｈ ｎ ｏ ） Ｓ ａｎｎ 编码、 费诺 （ａ ｏ 编 码和 哈夫 曼 （ ｆ ｎ 编 码 。 Ｆ ｎ） Ｈｕｆ ） ｍａ
ຫໍສະໝຸດ Baidu
２ ．编 码 定 义
将 信 源 消 息 分 为 若 干 组 ，即 符 号 序 列 ， ＝｛
ａ ｄＳａｉ ｉ ， ｎ ａ ｇＮ ｄ ａ Ｕ ｉ ｒｉ Ａ ｙ ｎ ５ ０ ０ ｎ ｔｔｔ ｓＡ ｙ ｎ ｏ ｌ ｎｖ ｓｙ ｎ ａ ｇ４ ５ ０） ｓｃ ｅ ｔ
［ ｂ ｔ ｃ］Ｔ ｉ ｐｐ ｒｎｒｄ ｃｓｔ ｅ ｎｉｎｏ ｅｃｄｎ ｎ ｄｎ ｔ ｄ ， ｎ ｏ ｎｙ ｏ ｓ ｏｅｄｔｉｐｅｅ ｔｉｎｗｔ ｅｃ ｍｍ ｎ Ａ ｓｒ ｔ ｈ ａ ｅ ｔ ｕｅ ｅｄｆ ｉ ｆｈ ｏ ｉ ａ ｄｃ ｉ ｍｅｈ ｓ ａｄｉ ｔ ｌｄ ｅ ｍ ｒ ｅａｌｒｓ ｎａｏ ｉ ｔ ａ ｓ ｉｏ ｈ ｉｔ ｏ ｔ ｇ ｏ ｇ ｏ ｔ ｏ ｎ ａ ｔ ｈｈ ｏ ｏｌ ｙ
求 的是 能够 无失 真 或无 差 错地 由 】 复 ， ，恢 即能够 进 行反
变 换或译 码 ， 同时希 望 传送 时所需 要的 信息率 最小 。于 是可 以 采用 比较 普遍 的编 码方法 ， 即香 农 编码 、 费诺 编码 、 哈夫 曼编码 来解 决这 个 问题 。 在信 息论 中 ， 信源 可 以分为 两大 类 ： 类是 由文字 ， 一 字母数 字符号 组成 的符 号序列 或单个符 号 ， 称之 为离散信源 ； 另一类是
［ ｅ ｗｏｄ ］Ｉｏｍ ｔ ｎ ｏ ｒ ，ｏｓ ｓ ｕｃ ，ｕｍａ ｏ ｉ ，ｏ ｉ ｆ ｉ ｃ Ｋ ｙ ｒｓ ｎ ｒ ａｉ ｕｃ Ｌ ｓｌ ｓ ｏ ｒｅＨ ｆ ｎｃｄｎ Ｃ ｄｎ ｅ ｃ ｎ ｙ ｆ ｏｓ ｅ ｅ ｓ ｇ ｇｉｅ
１ 引 言 ．
在 通信 中 ， 送信 源信 息只需 要具 有信 源极 限熵 大小 的信 传
Ｈ ｎｎＣ ｄｎ ｅｈ ｄ ｓｌ ｓＳ ｕｃ ｕ ａ ｏ ｉ Ｍ ｔｏ ｓ ｆ ｏ ｓ ｓ ｏ ｒ ｇ ｏＬ ｅ ｅ
ＷｕＣ ｕ －ｕ Ｙ ｏ Ｈ － ｎ ｈ ｎｈ ａ ａ ｅ ｕ ｊ
ｒ ． ｃ ｏ ｌ ｆ ｙ ｎ ｈ ｇ ａ ｇ Ａｎ ａ ｇ ４ ５ ０ ： ． ｈ ｏ ｆ ｔ ｅ ７ Ｓ ｈ ｏ Ａｎ ａ ｇ Ｓ ｕ ｕ ｎ ｏ ｙ ｎ ５ ０ ０ ２ Ｓｃ ｏ ｌ Ｍａ ｈ ｍａ ｉｓ ｏ ｔ ｃ
输 出符号 序 列转 换 为最 短 的码 字序 列 。 当 已知信 源符 号 的概 率 特 性 时 可计 算 出它 的符 号 熵 Ｈ， 表 示 每个 信 源 符 号 所 载 它 有 的信 息量 。 由于无 失真 信源 编码 只适用 于离 散信 源 ， 本 文 故
Ｙ：（ … … ） ∈地 ， ， ， ｝ ， ｂ …， …， ．变换 的要 ２
∈｛ ： 一ａ ｝ ｎ， ， 口 …， ， ．而 每 个符 号 序 列 依 照 固 定 的码
息 率 ， 在实 际的 通信 系统 中用来 传送 信息 的信息 率远 大 于信 但
源极 限熵 。为 了能够 得 到或接 近信 源熵 的最 小信 息率 ， 必须 解 决 编码 的 问题 ， 而编 码 分为 信 源编 码 和信 道 编码 ， 中的信 源 其 编码 又分 为无 失真信 源 编码和 限失 真信 源编 码 。 由于信 源 符 号 之 间 存在 分 布 不 均 和一 定 的 相 关 性 ， 得 使
… …
由话音 、 等组成 的连续信源 。本 文只涉及无失真离散信 源。 图像 例如 无失 真离散 信 源符号 集
｝ 序 列 中 的 每 个 符 号 取 自 符 号 集 ， ，
【 要 】 文主 要介 绍 了编 码 的定 义及 编码 的 方法 ． 摘 本 并对 离 散信 源 编码 的 常用 的哈 夫 曼编 码方 法做 了 比较 详细 的介 绍 ． 时也对 同 这 编码 方法 在实现 条件 上做 了分 析 ， 编码 效率 上考 虑该 编码 方法 得实 用性 。 从 【 关键 词ｌ 息源 ； 失真信 源 ； 信 无 编码 编码 效率