算术编码

实现
如果考虑正规化操作，那么算术编码的编码过程 可以粗略地概括为：
1、初始化编码参数 2、对每一个符号进行如下操作 （1）计算当前区间；
（2）更新区间；
3、编码结束。 解码过程与之对应，只是解码的时候不存在额外考 虑解码怎么结束的问题。
分析
编码正确性的判定： 1、是否能无损还原信源； 2、压缩比是否不小于信源的熵。 实现过程中遇到的几个问题：
（1）计算当前区间大小：
range = high - low
（2）计算新的子区间：
high = low + range ? cumFreq( x 1) low = low + range cumFreq( x)
（3）输出编码结果。
解码
算术编码进行解码时仅输入一个小数。解 码前首先需要对初始区间[0,1)，按照初始时的 符号概率进行划分；观察输入的小数位于哪个 子区间，输出对应符号， 选择对应的子区间； 然后继续对选择的子区间进行划分，重复这个 过程，直到所有符号都解码完毕。整个解码过 程相当于编码过程的逆运算。
• 更新符号概率，继续划分区间、选择子区间，直到 最后输入符号B编码完毕； • 最终得到的子区间是[0.6390,0.6501)，从中选择任意 一个小数，如0.6400，作为编码结果。
编码过程
已知编码符号序列及其各符号概率，输入符号序 列（它是编码符号序列的一个子集）和初始区间[low, high) = [0,1)。
解码过程
需要说明的是，计算机是根据输入的数值、 当前区间的下限和累计频率之和，计算出一个 估计出来的累计概率从而确定当前解码符号的。 累计概率通过下面的公式计算：
range = high - low (value - low) total estFreq = range
改进
前面讲的是最基本的算术编码，通过它只 是让大家明白算术编码的基本思想。实际上， 前面描述的编解码过程，在计算机上是很难实 现的。因为区间可以无限制地划分下去，而且 总能找到落在这一区间的一个小数，但是计算 机做不到；所以在实现的时候，需要做一些改 进，使得它可以在计算机上实现。
low : 10101101 high : 11001011 low : 01011010 high : 10010111
正规化举例
区间的上下限除了会出现上面两种情况外，还会 出现其他情况，如果区间上下限的最高位不同，而次 高位只相差1。极端情况如下所示：
low : 00000001 high : 11111111
正规化举例
因此可以将最高位移出区间并输出。可以通过 将区间的下限左移1位，将区间的上限左移1位并加1 实现。这样在输出一个二进制位的同时，对区间进 行了扩展，具体操作过程如下所示：
low : 00101101 high : 01001011 low : 01011010 high : 10010111
编码举例
假设编码符号由A、B、C 三种符号组成， 输入符号是“BCCB”，编码过程如下。
编码举例
• 首先，初始区间是[0,1)；
• ABC三个符号的初始概率都是1/3，按照这个概率将 当前区间[0,1)划分为三个子区间；
• 第一个输入的符号是 B，所以选择与 B 对应的子区 间[0.3333,0.6667)，并且作为编码C时的当前区间；
编码
• 算术编码将整个要编码的数据映射到一个位于 区间[0,1)中的一个小数。 • 算术编码在编码时，从初始区间[0,1)开始；按 照编码符号的概率将当前区间划分成多个子区 间；根据当前输入符号选择对应的子区间，并 将该子区间作为下次编码的当前区间；重复这 一过程，直到所有符号都编码完毕，最后从最 终的子区间中选择任意小数作为编码结果。
此时区间范围只有1，已经不能再进行编码。因此 为了避免这种情况的出现，当区间上下限的最高位不 同时，还需要检查它们的次高位。
正规化举例
如果上限的次高位为0而下限的次高位为1，那么 需要暂时忽略次高位，同时对区间进行一次扩展（采 用与请两种情况相同的扩展方法）；另外，这个次高 位只是暂时被忽略，而不是被抛弃，因此需要记录一 下忽略了一个次高位。对应的操作如下所示： 情况3：
如果是情况 3 ，仍然无法确定次高位的趋向，继 续忽略次高位，并扩展区间。
正规化
如果把整个区间分为四段，那么上面三种情况 对应的区间位置如下图所示：
正规化
除了上面三种情况，编码过程中区间的变化还有 另外三种情况：
正规化
只是这三种情况不进行正规化操作，仍然 可以继续编码；因此对于这三种情况，可以直 接从当前区间开始，进入下一轮编码。 另外，由于在编码阶段进行了正规化操作， 解码的时候同样需要正规化操作，而且要与编 码的时候的操作相一致。
正规化举例
因为实现算法的时候用的是二进制整数，所以下 面也以二进制整数为例进行说明。编码过程中区间变 化的可能情况： 情况1:
low : 00101101 high : 01001011
情况2:
low : 10101101 high : 11001011
在这两种情况中，区间上下限的最高位都是相同 的。在划分区间的时候，当区间上下限的最高位相同 时，在后续的计算中最高位将不会再发生变化。
仍以前面的例子为例，使用区间[3333,6667) 表示区间[0.3333,0.6667)，输出6400表示0.6400。 整数运算的区间变化如下：
整数运算举例
解码的时候也进行整数运算。解码过程 如下表所示：
正规化
上面的整数运算实际上也是无法实现的。由 前面整数运算编码区间的变化可以看出，随着编 码的进行区间范围会越来越小，最后区间范围会 趋向于 0；如果输入符号序列很长，那么区间范 围为 0 时就无法继续编码。因此需要使用正规化 操作来解决这一问题。 正规化就是当区间上下限满足一定条件时， 将一定位数从区间中移出，同时对区间进行放大。 其作用是在有限区间上模拟无限运算。
算术编码
提纲
• • • • • • 背景 编码 解码 改进 实现 分析
背景
早在1948年香农提出信息论的时候，就提 出了算术编码的思想。但是经过多年研究，许 多学者认为算术编码是无法实现的，因为算术 编码要求进行无限精度的实数运算，而计算机 只能进行有限精度的运算。随着研究的深入， 终于在1987年Ian H. Witten、Radford M. Neal 和John G. Cleary发表了一篇论文，提出了一种 基于二进制整数运算的算术编码实现算法。
解码举例
• 在上面的例子中，编码得到的小数是0.6400，因此 解码输入的小数就是0.6400。
• 首先，初始区间是[0,1)；
• 初始符号概率都是1/3，按照这个概率划分区间；
• 小数0.6400位于区间[0.3333,0.6667)，与之对应的符 号是B，即第一个解码符号，选择[0.3333,0.6667) 作 为下一次解码的当前区间； • 更新符号概率，划分区间、选择子区间，直至最后 一个符号 B 解码出来。
1、计算区间时，区间上限减1的原因。
2、更新区间时，区间上下限高位相同时，移位操作 略有不同的原因。 3、涉及到的数据定义为无符号类型的必要性。
分析
4、次高位是如何被忽略的。 5、怎样从最后的编码区间中取出任意一个数作为编 码结果。
谢谢！
low : 01011010 high : 10010111
low : 00110100 high : 10101111
neglectedSecondHigh++
正规化
此外，如果当前有未输出的次高位，又遇到了上 述三种情况，那么需要区别对待。 如果是情况 1 ，那么可以确定被忽略的次高位趋 向0，此时可以输出0，并按忽略次数 n输出 n个1，然 后扩展区间。 如果是情况 2 ，可以确定被忽略的次高位趋向 1 此时可以输出 1，并按忽略次数输出 n个0，然后扩展 区间。
整数运算
在前面描述的编解码过程中，区间的上下 限都是小于1的小数。如果省略0和小数点，仅 使用小数的尾数表示小数，那么实际上原来的 区间上下限就变成了一个无限大的整数。更进 一步地，如果仅使用无限整数的部分高位表示 这个无限整数，并在用这些进行整数运算，那 么就可以用整数来模拟原来的实数运算。
整数运算举例