信源编码

摘要

由于信源符号之间存在分布不均匀喝相关性，使得信源存在冗余度，信源编码的主要任务就是减少冗余，提高编码效率。具体说就是针对信源输出符号序列的的统计特性，寻找一定的方法把信源输出符号序列变换为最短码字序列的方法。

信源编码的基础是信息论中的两个编码定理：无失真编码定理和限失真编码定理，前者是可逆编码的基础。可逆是指当信源符号转换成代码后，可从代码无失真的恢复原信源符号。

关键字：算术编码，符号序列，码字。

目录

1 课题描述 (1)

2设计原理 (1)

2.1 编码 (2)

2.2解码 (2)

3设计过程 (2)

3.1算术编码过程简述 (2)

3.2算术编码的特点 (3)

3.3 设计程序 (3)

图一算术编码结果 (8)

总结 (9)

参考文献 (10)

1 课题描述

编码实质上是对信源的原始符号按一定规则进行的一种变换。编码可分为信源编码和信道编码。信源编码：以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。即同样多的信息用较少的码率传送,使单位时间内传送的平均信息量增加,从而提高通信的有效性。

信源编码理论是信息论的一个重要分支,其理论基础是信源编码的两个定理。

–无失真信源编码定理：是离散信源/数字信号编码的基础；

–限失真信源编码定理：是连续信源/模拟信号编码的基础。

?信源编码的分类：

–离散信源编码：独立信源编码,可做到无失真编码；

–连续信源编码：独立信源编码,只能做到限失真信源编码；

–相关信源编码：非独立信源编码。

信源编码的作用之一是设法减少码元数目和降低码元速率，即通常所说的数据压缩：作用之二是将信源的模拟信号转化成数字信号，以实现模拟信号的数字化传输。

最原始的信源编码就是莫尔斯电码，另外还有ASCII码和电报码都是信源编码。但现代通信应用中常见的信源编码方式有：Huffman编码、算术编码、L-Z编码，这三种都是无损编码，另外还有一些有损的编码方式。信源编码的目标就是使信源减少冗余，更加有效、经济地传输，最常见的应用形式就是压缩。

开发工具：Visual C++6.0

2设计原理

信源编码提高信息传输有效性的基本思想就是针对信源编码输出符号序列的统计特性，通过概率匹配的编码方法，将出现概率大的信源符号尽可能编为短吗，从而使信源输出的符号序列变为最短的码字序列。其目的是为了提高传输的

有效性和将模拟信号转换为数字信号。

2.1 编码

算术编码将整个要编码的数据映射到一个位于[0,1)的实数区间中。并且输出一个小于1同时大于 0 的小数来表示全部数据。利用这种方法算术编码可以让压缩率无限的接近数据的熵值，从而获得理论上的最高压缩率。算术编码进行编码时，从实数区间[0,1)开始。按照符号的频度将当前的区间分割成多个子区间。根据当前输入的符号选择对应的子区间，然后从选择的子区间中继续进行下一轮的分割。不断的进行这个过程，直到所有符号编码完毕。对于最后选择的一个子区间，输出属于该区间的一个小数。这个小数就是所有数据的编码。

2.2解码

算术编码进行解码时仅输入一个小数。解码前首先需要对区间[0,1)按照初始时的符号频度进行分割。然后观察输入的小数位于那个子区间。输出对应的符号，选择对应的子区间，然后从选择的子区间中继续进行下一轮的分割。不断的进行这个过程，直到所有的符号都解码出来。整个过程相当于编码时的逆运算。

3设计过程

3.1算术编码过程简述

算术编码在图像数据压缩标准中扮演了重要的角色,是无损压缩的一种。算术编码中用0和1之间的实数进行编码,该编码用到两个基本的参数Α符号的概率和它的编码间隔信源符号的概率决定了压缩编码的效率,也决定了编码过程中信源符号的间隔,而这些间隔包含在0到1之间编码过程中的间隔决定了符号压缩后的输出算术编码的编码过程如下Α算术编码把一个信源集合表示为实数线上的 0到1之间的一个区间。这个集合中的每个元素都要用来缩短这个区间。信源集合的元素越多,所得到的区间就越小,当区间变小时,就需要更多的数位来表示这个区间,这就是区间作为代码的原理。算术编码首先假设一个信源的概率模型,然后用这些概率来缩小表示信源集的区间。

算术编码的算法思想如下：

（1）对一组信源符号按照符号的概率从大到小排序，将[0,1)设为当前分析区间。按信源符号的概率序列在当前分析区间划分比例间隔。

（2）检索“输入消息序列”，锁定当前消息符号（初次检索的话就是第一个消息符号）。找到当前符号在当前分析区间的比例间隔，将此间隔作为新的当前分析区间。并把当前分析区间的起点（即左端点）指示的数“补加”到编码输出数里。当前消息符号指针后移。

（3）仍然按照信源符号的概率序列在当前分析区间划分比例间隔。然后重复第二步。直到“输入消息序列”检索完毕为止。

（4）最后的编码输出数就是编码好的数据。

3.2算术编码的特点

1）不必预先定义概率模型，自适应模式具有独特的优点；

2）信源符号概率接近时，建议使用算术编码，这种情况下其效率高于Huffman 编码；

3）算术编码绕过了用一个特定的代码替代一个输入符号的想法，用一个浮点输出数值代替一个流的输入符号，较长的复杂的消息输出的数值中就需要更多的位数；

4）算术编码实现方法复杂一些，但JPEG成员对多幅图像的测试结果表明，算术编码比Huffman编码提高了5%左右的效率，因此在JPEG 扩展系统中用算术编码取代Huffman 编码。

3.3 设计程序

因为算术编码的动态编码即自适应编码比较复杂，所以在此我做的只是实现一个简单的静态模型。

部分代码：

#include

#include

#include

#define M 100

#define N 4

class suanshu

{

int count,length;

char number[N],n;

long double chance[N],c;

char code[M];

long double High,Low,high,low,d; public:

suanshu()

{High=0;Low=0;}

void get_number();

void get_code();

void coding();

~suanshu(){}

};

void suanshu::get_number()

{

cout<<"please input the number."<

{

cin>>n;

number[i]=n;

}

cout<<"please input the chance."<

{

cin>>c;

chance[i]=c;

}

if(i==20)

cout<<"the number is full."<

count=i;

}

void suanshu::get_code()

{

cout<<"please input the code’s length:";

cin>>length;

while(length>=M)

{

cout<<"the length is too larger,please input a smaller one."; cin>>length;

}

for(int i=0;i

{

cin>>code[i];

}

}

void suanshu::coding()

{

long double tp;//从区间取数

long double x=0.0;

int i,j=0;

for(i=0;i

if(code[0]==number[i]) break;

while(j

Low+=chance[j++];

d=chance[j];

High=Low+d;

for(i=1;i

for(j=0;j

{

if(code[i]==number[j])

{

if(j==0)

{

low=Low;

high=Low+chance[j]*d;

High=high;

d*=chance[j];

}

else

{

float chance_l=0.0;

for(int k=0;k<=j-1;k++)

chance_l+=chance[k];

low=Low+d*chance_l;

high=Low+d*(chance_l+chance[j]);

Low=low;

High=high;

d*=chance[j];

}

}

else continue;

}

cout<<"the result is:"<

tp=(low+high)/2.0;//取区间的中点编码

printf("\n选取的小数为：%.17f\n",tp);

for(j=0;j

{

tp=tp*2;

if(tp>1.0)

{

tp=tp-1;

code[j]=1;

}

else

code[j]=0;

}

printf("编码为：\n");//输出编码

for(i=0;i

{

printf("%d",code[i]);

x+=code[i]*pow(2,(-i-1));

}

printf("\n恢复的小数为：%.17f",x);

if((x>low)&&(x

}

int main()

{

suanshu a;

a.get_number();

a.get_code();

a.coding();

return 0;

}

整个程序的运行过程是：输入一个文本文件，转为二进制码储存，然后利用算术编码的方法进行编码，最后再译码成字符格式。如下图。

图一算术编码结果

总结

各种媒体信息（特别是图像和动态视频）数据量非常之大，算术编码作为一种高效的数据编码方法在文本，图像，音频等压缩中有广泛的应用。所以，研究算术编码有非常好的前景与实用价值。本次毕业设计课题名称为“算术编码原理分析与实现”，围绕这个中心，本文主要介绍了算术编码的基本原理，应用，算法的实现等等。用Visual C++程序实现算术编码的整个过程。

通过分析和事例可见，应用Visual C++程序对图像处理中的算术编码问题处理时，具有操作方便，处理速度快等特点。Visual C++程序的图像处理中经常用到的技术和方法在工具箱里都可以实现，所以，在对数字图像进行处理时，可以充分利用Visual C++程序的图像处理工具箱，使图像处理工作者可以从烦琐的编程工作中解脱出来。

算术编码对整条信息（无论有多么长），其输出仅仅是一个小数，而且是一个介于0和1之间的二进制小数。例如算术编码对某条信息的输出为1010001111，那么它表示小数0.1010001111,也即是十进制小数0.64。

参考文献

[1]曹雪虹，张宗橙.信息论与编码.北京：清华大学出版社，2007.

[2]王慧琴.数字图像处理.北京：北京邮电大学出版社，2007.

[3]C. E. Shannon, A Mathematical Theory of Communication, Bell System Technical Journal,1948, Vol 27, 379-423, 623-656.

[4]Ian H. Witten, Radford M. Neal, John G. Cleary, Arithmetic Coding for Data Compression,Communications of the ACM, 1987, 30(6), 520-541. [5]Alistair Moffat, Linear Time Adaptive Arithmetic Coding, IEEE Transactions on Information Theory, 1990, 36(2), 401-406.

[6]Peter M. Fenwick, A New Data Structure for Cumulative Frequency Tables,Software-Practice and Experience, 1994, 24(3), 327-336.