信息论算术编码
符号累积概率Pj
0.000 0.100 0.110 0.111
算术编码
• 设起始状态为空序列，则A()＝1，C()＝0。递推得：
C (a ) C ( ) A( ) Pa 0 1 0 0 A(a ) A( ) pa 1 0.1 0.1
第五章 信源编码
算术编码
定长编码定理 无失真信源编码 变长编码定理 — 最佳变长编码 信源编码 游程编 码 算术编码 限失真信源编码(常用) 矢量量化 预测编码 变换编码
香农编码方法 费诺编码方 法 哈夫曼编码方法
算术编码简介
• 是非分组码的编码方法之一。它是从全序列出发，考虑符号间的依赖关 系，即考虑符号间的相关性。 • 经香农—费诺—哈夫曼编码推广而来的，直接对信号源符号序列进行编
等，随着这些问题的逐渐解决，算术编码正在进入实用阶段，但要扩大应用 范围或进一步提高性能，降低造价，还需进一步改进。
谢 谢!
C ( S，r ) C ( S ) A( S ) Pr A( S，r ) A( S ) pr
算术编码
• 例5—10 有四个符号a，b，c，d构成简单序列S＝abda，各符号及其对应概率 如下表，算术编解码过程如下：
符号
a b c d
符号概率pi
0.100 (1/2) 0.010 (1/4) 0.001 (1/8) 0.001 (1/8)
率编码的目的。
算术编码
• 如果信源符号集为A={ a1，a2，……an }，已知的信源符号概率P=[ p(a1)， p(a2)，……p(an) ]=( p1，p2，……，pr，……，pn)，定义各符号的积累概率为：
Pr pi
i 1
r 1
由上式可得P1=0，P2=p1，P3=p1+p2，……且
因此，C(a,b,d,a)即为编码后的码字010111 。
算术编码
算术编码过程：（单位区间的划分表示） A()
0(Pa) C() 1 C(a)
pa
a A(a,b) C( a , b ) a b a b A(a)
Pb
b
pb
Pc
c
pc
Pd
d
pd
c
d
A(a,b,d) c d
C(a,b,d)
算术编码
C (ab) C (a) A(a) Pb 0 0.1 0.1 0.01 A(ab) A(a) pb 0.1 0.01 0.001
算术编码
C (a, b, d ) C (a, b) A(a, b) Pd 0.01 0.001 0.111 0.010111 A(a, b, d ) A(a, b) pd 0.001 0.001 0.000001
码输出。
• 即时码，信源符号序列对应的累计概率区间是不重叠的。肯定也可以唯 一译码。
算术编码
• 编码的基本思路：从全序列出发，将各信源序列的概率影射到 [0，1]
区间上，使每个序列对应这区间内的一点，也就是一个二进制的小数。
这些点把 [0，1]区间分成许多小段，每段的长度等于某一序列的概率。
再在段内取一个二进制小数，其长度可与该序列的概率匹配，达到高效
以及序列概率公式：
p(S，ar)=p(S)pr
算术编码
• 码字的取得： 1. 码字的长度：
1 L log p( S )
代表大于或等于的最小整数。
2. 把累概率P(S)写成二进位的小数，取其前L位;如果有尾数，就进位到第L
位，这样得到一个数C 。
算术编码
• 实际应用中，采用累积概率P(S)表示码字C(S)，符号概率p(S)表示状态区间 A(S)，则有：
算术译码过程： C(a,b,d,a)=0.010111<0.1[0,0.1] 第一个符号为a；
•
放大至[0,1](×pa-1)：C(a,b,d,a)×21＝0.10111[0.1,0.110]
去掉累积概率Pb： 0.10111-0.1=0.00111；
第二个符号为b；
•
放大至[0,1](×p b-1)：0.00111×22=0.111 [0.111,1] 去掉累积概率Pd： 0.111-0.111=0
第三个符号为d；
•
放大至[0,1](×p d-1)：0×24＝0 [0,0.1]
四个符号为a；
算术编码
• 算术编码优缺点： 算术编码从性能上看具有许多优点，特别是由于所需的参数很少，不象哈 夫曼编码那样需要一个很大的码表，常设计成自适应算术编码来针对一些信 源概率未知或非平稳情况。
但是在实际实现时还有一些问题，如计算复杂性、计算的精度以及存储量
pr=Pr+1—Pr
算术编码
• 由于Pr+1和Pr都是小于1的正数，可用[0,1]区间内的两个点来表示，则pr就是这 两点间的小区间的长度，如图所示：
0(P1) p1
P2 p2
P3 p3
P4 p4
P5
……
1
……
算术编码
• 有一序列S=011, P(S)=p(000)+p(001)+p(010)， P(S，0)=p(0000)+p(0001)+p(0010)+p(0011)+p(0100)+p(0101) =p(000)+P(001)+P(010)=P(S)
P(S，1)=p(0000)+p(0001)+p(0010)+p(0011)+p(0100)+p(0101)+p(0110)
=P(S)+p(0110)=P(S)+p(S)p0
算术编码
• 由于单符号的累积概率为P0=0，P1=p0，所以上面两式可统一写作： P(S，r)=P(S)+p(S)Pr， r=0，1 • 推广到多元序列(m>2)，即可得一般递推公式： P(S，ar)=P(S)+p(S)Pr，
2024版信息论与编码教案
应用：算术编码在图像、视频和音频压 缩等领域具有广泛应用，如JPEG 2000、 H.264等标准中采用了算术编码技术。 与霍夫曼编码相比，算术编码具有更高 的压缩比和更好的性能表现。
06
多媒体信息压缩编码
多媒体信息压缩编码的基本概念与原理
压缩编码的必要性
多媒体数据量大，存储和传输成本高，需通过压缩编码降低数据 量。
典型编码方法
03
详细介绍几种典型的编码方法，如香农编码、哈夫曼编码、算
术编码等。
教学目标与要求
掌握信息论与编码的基本理论
通过学习，使学生能够深入理解信息论与编 码的基本概念和原理。
培养编码实践能力
通过案例分析、实验等环节，提高学生的编 码实践能力。
培养创新能力
鼓励学生探索新的编码方法，培养创新思维 和解决问题的能力。
编码分类
包括无损编码和有损编码，前者 可以完全恢复原始信息，后者则 会损失部分信息以换取更高的压 缩比。
霍夫曼编码的原理与应用
• 原理：霍夫曼编码是一种可变长度编码方法，根据信源符 号出现的概率来构造最优编码。它利用概率大的符号用较 短的码字表示，概率小的符号用较长的码字表示，从而实 现平均码长最短。
信息论的基本概念
信息
信息是事物运动状态或存在方式的不确定性的描述。
信息系统
由信源、信道、信宿等组成的传输和处理信息的系统。
信息论
研究信息的传输、处理、存储和检索等过程中的基本 理论和方法。
信息的度量与性质
信息的度量
用概率和统计的方法对信息进行量化，如香农 信息熵、互信息等。
信息的性质
包括普遍性、客观性、可传递性、可共享性、 可压缩性等。
压缩编码的可能性
信息论与编码基础_教学课件_1
绪论
Notable awards:
Alfred Noble Prize IEEE Medal of Honor
信息论与编码基础
一、信息概念
二、信息论的诞生
绪论
三、信息论研究的基本问题及内容
四、编码技术的发展
五、信息论与其它学科的交叉发展
信息论与编码基础
1、信息论研究的基本问题
绪论
2、信息论研究的内容
信息论与编码基础
Fields: Electronic engineer
and mathematician
绪论
Alma mater: MIT
University of Michigan
Institutions:
Bell Laboratories Massachusetts Institute of Technology Institute for Advanced Study
信息论与编码基础
全信息理论
信息 传递 信息处理—再生
绪论
信息 传递
信息 获取
外部世界 问题／环境
信息运动过程
信息 施用
思考题
一位朋友不赞同“消息中未知的成分才算是信息”的说法
他举例说：我多遍地欣赏梅兰芳大师的同一段表演，百看 不厌，大师正在唱的、正在表演的使我愉快，将要唱的和
表演的我都知道，照这种说法电视里没给我任何信息，怎
信息论与编码基础
例子
绪论
1、2021年9月11日上午9时，一颗小行星将和地球相撞。
2、2022年7月11日上午9时，将发生日食。
信息论与编码基础
一、信息概念
二、信息论的诞生
绪论
三、信息论研究的基本问题及内容
第四章：算术编码
FX (0) 0 t* 0.8 FX (1)
l (1) l (0) u(0) l (0) FX (0) 0 u(1) l (0) u(0) l (0) FX (1) 0.8
t* 0.772352 0 0.8 0 0.96544
Letter
aa ab ac ba bb bc ca cb cc
Probability Code
0.9025 0 0.0190 111 0.0285 100 0.0190 1101 0.0004 110011 0.0006 110001 0.0285 101 0.0006 110010 0.0009 110000
对2字母序列ak aj编码
对ak ，选择[FX(k-1), FX(k)] 然后将该区间按比例分割并选取第j个区间：
FX
k
1
FX
FX k
j 1 FX k
1
,
FX
k
1
FX
k
FX
j
FX
k
1
产生标识：例
考虑对a1a2a3编码： A = {a1, a2, a3}, P = {0.7, 0.1, 0.2)
PX k 1 for k 1..6
6
TX
2
PX
1
1 2
PX
2
0.25
TX
5
4 PX k 1
k
1 2
PX
5
0.75
词典顺序（ Lexicographic order ）
字符串的词典顺序：
T (n) X
xi
y:y
xi
P
y
1 2
信息论第讲算术编码与LZ编码
…
0.00011011 0.0001010001
0.10101111 0.1100001101
0.000011110011 0.00001011011001
0.110100100111 3 0.111 0.110100100111 5 0.11011
0.0000001011011001 0.0000001011011001 0.110100100111 7 0.1101010
p(1)=3/4=(0.11)2 p(11)=(3/4)2=(0.1001)2
序列 11111100 的编码过程 p(S)p(0) P(S) 0 + 0.01 0.0011 0.001001 L C 0 1 0.1 1 0.1 2 0.11 2 0.11 3 0.111
+
= =
0.01 0.0111 0.100101
H (U ) 1.75 H (U ) 100% R n log D 14 / 8
算术译码
C P ()
A() p(0)
0 P(0) P(0) p(0) p(00)
P(1) C P(01) p(01) P(011) p(1) C P(1) P(1)
1
P(01)
C
p(011)
p(010) 译码输出序列 011
P(SaP =P(S) + p(S) P (Sa (S) +p (S) r) r Pr r)=P
二元序列的累积概率
设符号序列S = 011
P(Sar)=P(S)+p(S)Pr
1
p1 p(01) P(011) p(011) P(1) P(1)
0 P(0) P(0)
p0
信息论算术编码实验报告
实验三算术编码一、实验目的1．进一步学习C++语言概念和熟悉VC 编程环境。
2．学习算术编码基本流程, 学会调试算术编码程序。
3. 根据给出资料，自学自适应0 阶算术编、解码方法。
二、实验内容与原理（一）实验原理：1．算术编码基本原理这是将编码消息表示成实数0 和1 之间的一个间隔，消息越长，编码表示它的间隔就越小，表示这一间隔所需的二进制位就越多。
算术编码用到两个基本的参数：符号的概率和它的编码间隔。
信源符号的概率决定压缩编码的效率，也决定编码过程中信源符号的间隔，而这些间隔包含在0到1之间。
编码过程中的间隔决定了符号压缩后的输出。
首先借助下面一个简单的例子来阐释算术编码的基本原理。
考虑某条信息中可能出现的字符仅有a b c 三种，我们要压缩保存的信息为bccb。
在没有开始压缩进程之前，假设对a b c 三者在信息中的出现概率一无所知（采用的是自适应模型），暂认为三者的出现概率相等各为1/3，将0 - 1 区间按照概率的比例分配给三个字符，即a 从0.0000 到0.3333，b 从0.3333 到0.6667，c 从0.6667 到1.0000。
进行第一个字符b编码，b 对应的区间0.3333 -0.6667。
这时由于多了字符b，三个字符的概率分布变成：Pa = 1/4，Pb = 2/4，Pc = 1/4。
按照新的概率分布比例划分0.3333 - 0.6667 这一区间，划分的结果可以用图形表示为：+-- 0.6667 Pc = 1/4 | +-- 0.5834 | | Pb = 2/4 | | | +-- 0.4167 Pa = 1/4 | +-- 0.3333 接着拿到字符c，现在要关注上一步中得到的c 的区间0.5834 -0.6667。
新添了c 以后，三个字符的概率分布变成Pa = 1/5，Pb = 2/5，Pc = 2/5。
用这个概率分布划分区间0.5834 - 0.6667：+-- 0.6667 | Pc = 2/5 | +-- 0.6334 | Pb = 2/5 || +-- 0.6001 Pa = 1/5 | +-- 0.5834 输入下一个字符c，三个字符的概率分布为：Pa = 1/6，Pb = 2/6，Pc = 3/6。
信息论算术编码教材
代表大于或等于的最小整数。
2. 把积累概率P(S)写成二进位的小数，取其前L位;如果有尾数，就进位到第L 位，这样得到一个数C 。
算术编码
• 实际应用中，采用累积概率P(S)表示码字C(S)，符号概率p(S)表示状态区间 A(S)，则有：
C A((SS， ， rr)) C A((SS))prA(S)Pr
算术编码
• 由于Pr+1和Pr都是小于1的正数，可用[0,1]区间内的两个点来表示，则pr就是这 两点间的小区间的长度，如图所示：
0(P1) P2 P3
P4
P5
……
1
p1
p2
p3
p4
……
算术编码
• 有一序列S=011, P(S)=p(000)+p(001)+p(010)， P(S，0)=p(0000)+p(0001)+p(0010)+p(0011)+p(0100)+p(0101) =p(000)+P(001)+P(010)=P(S) P(S，1)=p(0000)+p(0001)+p(0010)+p(0011)+p(0100)+p(0101)+p(0110) =P(S)+p(0110)=P(S)+p(S)p0
谢 谢!
0.010 10.0 10 100 0 00.1 010111
A(a,b,d,a)A(a,b,d)pa0.0000 0.1 01 0.0000001
因此，C(a,b,d,a)即为编码后的码字010111 。
算术编码
算术编码过程：（单位区间的划分表示） A()
C()
信息论课程设计报告(唯一可译码,lzw编码,算数编码)
1.判定唯一可译码2.LZw 编码3.算数编码一 判定唯一可译码1．任务说明输入：任意的一个码(即已知码字个数及每个具体的码字)输出：判决结果（是/不是）输入文件:in1.txt ，含至少2组码，每组的结尾为”$”符输出文件:out1.txt ，对每组码的判断结果说明：为了简化设计，可以假定码字为0，1串2．问题分析、实现原理、流程图参考算法伪代码：For all ,i j W W C ∈ doif i W 是j W 的前缀 then将相应的后缀作为一个尾随后缀放入集合0F 中End ifEnd forLoopFor all i W C ∈ doFor all j n W F ∈ doif i W 是j W 的前缀 then将相应的后缀作为一个尾随后缀放入集合1n F +中Else if j W 是i W 的前缀 then将相应的后缀作为一个尾随后缀放入集合1n F +中End ifEnd forEnd fori i F F ←If ,i i W F W C ∃∈∈ thenReturn falseElse if F 中未出现新的元素 thenReturn trueEnd if//能走到这里，说明F 中有新的元素出现，需继续End loop3．实现源码#include <iostream>#include <string>using namespace std;struct strings{char *string;struct strings *next;};struct strings Fstr, *Fh, *FP;//输出当前集合void outputstr(strings *str){do{cout<<str->string<<endl;str = str->next;}while(str);cout<<endl;}inline int MIN(int a, int b){ return a>b?b:a; }inline int MAX(int a, int b){ return a>b?a:b; }#define length_a (strlen(CP))#define length_b (strlen(tempPtr))//判断一个码是否在一个码集合中，在则返回0，不在返回1int comparing(strings *st_string,char *code){while(st_string->next){st_string=st_string->next;if(!strcmp(st_string->string,code))return 0;}return 1;}//判断两个码字是否一个是另一个的前缀，如果是则生成后缀码void houzhui(char *CP,char *tempPtr){if (!strcmp(CP,tempPtr)){cout<<"集合C和集合F中有相同码字:"<<endl<<CP<<endl<<"不是唯一可译码码组!"<<endl;exit(1);}if (!strncmp(CP, tempPtr, MIN(length_a,length_b))){struct strings *cp_temp;cp_temp=new (struct strings);cp_temp->next=NULL;cp_temp->string=new char[abs(length_a-length_b)+1];char *longstr;longstr=(length_a>length_b ? CP : tempPtr);//将长度长的码赋给longstr //取出后缀for (int k=MIN(length_a,length_b); k<MAX(length_a,length_b); k++) cp_temp->string[k - MIN(length_a,length_b)]=longstr[k];cp_temp->string[abs(length_a-length_b)]=NULL;//判断新生成的后缀码是否已在集合F里，不在则加入F集合if(comparing(Fh,cp_temp->string)){FP->next=cp_temp;FP=FP->next;}}}void main(){//功能提示和程序初始化准备cout<<"\t\t唯一可译码的判断!\n"<<endl;struct strings Cstr,*Ch, *CP,*tempPtr;Ch=&Cstr;CP=Ch;Fh=&Fstr;FP=Fh;char c[]="C :";Ch->string=new char[strlen(c)];strcpy(Ch->string, c);Ch->next=NULL;char f[]="F :";Fh->string=new char[strlen(f)];strcpy(Fh->string, f);Fh->next=NULL;//输入待检测码的个数int Cnum;cout<<"输入待检测码的个数:";cin>>Cnum;cout<<"输入待检测码"<<endl;for(int i=0; i<Cnum; i++){cout<<i+1<<" ：";char tempstr[10];cin>>tempstr;CP->next=new (struct strings);CP=CP->next;CP->string=new char[strlen(tempstr)] ;strcpy(CP->string, tempstr);CP->next = NULL;}outputstr(Ch);CP=Ch;while(CP->next->next){CP=CP->next;tempPtr=CP;do{tempPtr=tempPtr->next;houzhui(CP->string,tempPtr->string);}while(tempPtr->next);}outputstr(Fh);struct strings *Fbegin,*Fend;Fend=Fh;while(1){if(Fend == FP){cout<<"是唯一可译码码组!"<<endl;exit(1);}Fbegin=Fend;Fend=FP;CP=Ch;while(CP->next){CP=CP->next;tempPtr=Fbegin;for(;;){tempPtr=tempPtr->next;houzhui(CP->string,tempPtr->string);if(tempPtr == Fend)break;}}outputstr(Fh);//输出F集合中全部元素}}4.运行结果：输入、输出及结果分析5．设计体会通过对判定唯一可译码算法的实现，我进一步了解判定唯一可译码缩的基本原理及过，体会到了其重要性,同时也锻炼了我独立分析问题以及解决问题的能力,这次课程设计让我深刻认识到了自己编程能力的不足，在以后的学习中要加强自己的编程能力。
信息论算术编码课程设计
信息论算术编码课程设计一、课程目标知识目标：1. 学生理解信息论中编码的基本概念，掌握算术编码的原理和步骤。
2. 学生能够运用算术编码方法对给定数据进行编码和解码。
3. 学生了解算术编码在信息传输和压缩中的应用。
技能目标：1. 学生掌握算术编码的具体算法，能够运用编程语言实现算术编码过程。
2. 学生具备分析数据特点并选择合适编码方法的能力，提高信息处理的效率。
情感态度价值观目标：1. 学生培养对信息论和编码技术的兴趣，激发学习主动性和创新意识。
2. 学生认识到编码技术在现代通信和计算机领域的重要性，增强对科技进步的敬畏感。
3. 学生通过团队协作解决问题，培养合作精神和沟通能力。
分析课程性质、学生特点和教学要求：本课程为高中信息技术学科，旨在帮助学生掌握信息论中算术编码的知识。
考虑到学生已具备一定的数学基础和编程能力，课程将重点放在算术编码的原理、实现和应用上。
教学要求注重理论与实践相结合，鼓励学生动手实践和团队协作，培养解决问题的能力。
课程目标分解为具体学习成果：1. 学生能够阐述算术编码的原理和步骤。
2. 学生能够运用编程语言实现算术编码，并成功解码。
3. 学生能够分析不同编码方法的优缺点，选择合适的方法进行信息传输和压缩。
4. 学生通过小组合作，共同完成算术编码的实际应用案例，提升团队协作能力。
二、教学内容1. 算术编码基本概念：信息论基础，编码的基本原理，算术编码的定义和特点。
- 教材章节：第三章第二节“编码方法及其应用”2. 算术编码原理与步骤：算术编码的数学模型，编码和解码的详细步骤。
- 教材章节：第三章第三节“算术编码的原理与实现”3. 编程实现算术编码：利用编程语言（如Python）实现算术编码的算法。
- 教材章节：第三章第四节“算术编码的编程实现”4. 算术编码的应用案例分析：分析实际应用中的算术编码案例，如文件压缩、图像传输等。
- 教材章节：第三章第五节“算术编码的应用实例”5. 编码方法比较与选择：比较算术编码与其他编码方法（如哈夫曼编码、LZ77等）的优缺点，讨论不同场景下的编码选择。
算术编码实验报告信息论与编码实验报告
华侨大学工学院实验报告课程名称：信息论与编码实验项目名称：算术编码学院：工学院专业班级：11级信息工程姓名：学号：1195111016指导教师：傅玉青2013年11月25日一、实验目的（1）进一步熟悉算术编码算法（2）掌握MATLAB语言程序设计和调试过程中数值的进制转换、数值与字符串之间的转换等技术。
二、实验仪器（1）计算机（2）编程软件MATLAB三、实验原理算术编码是图像压缩的主要算法之一。
是一种无损数据压缩方法，也是一种熵编码的方法。
和其它熵编码方法不同的地方在于，其他的熵编码方法通常是把输入的消息分割为符号，然后对每个符号进行编码，而算术编码是直接把整个输入的消息编码为一个数，一个满足(0.0 ≤ n < 1.0)的小数n。
当所有的符号都编码完毕，最终得到的结果区间即唯一的确定了已编码的符号串行。
任何人使用该区间和使用的模型参数即可以解码重建得到该符号串行。
实际上我们并不需要传输最后的结果区间，实际上，我们只需要传输该区间中的一个小数即可。
在实用中，只要传输足够的该小数足够的位数（不论几进制），以保证以这些位数开头的所有小数都位于结果区间就可以了。
四、实验内容及步骤（1）计算信源符号的个数n（2）将第i （i=1~n ）个信源符号变换成二进制数（3）计算i （i=1~n ）个信源符号的累加概率Pi 为()11i i k k P p a -==∑（4）预先设定两个存储器，起始时令()()1,0A C φφ==，φ表示空集（5）按以下公式迭代求解C 和A()()()()(),,r rC S r C S A S P A S r A S p =+=对于二进制符号组成的序列，r=0，1。
注意事项：计算C （S ，r ）时的加法运用的是二进制加法（6）计算序列S 编码后的码长度L 为()21log L p S ⎡⎤=⎢⎥⎢⎥ （7）如果C 在第L 位后没有尾数，则C 的小数点后L 位即为序列S 的算术编码；如果C 在第L 位后有尾数，则取C 的小数点后L 位，再进位到第L 位，即为序列S 的算术编码。
数学中的信息论与编码理论数学建模
数学中的信息论与编码理论数学建模信息论与编码理论是数学中重要的分支领域，旨在研究信息传输和存储的原理与方法。
数学建模在该领域的应用，不仅可以提供对信息传输的理论分析，还可以设计和优化编码方案。
本文将从数学建模的角度，探讨信息论与编码理论在数学中的应用。
一、信息论的基本概念和理论模型信息论是由香农于1948年提出的，用于量化信息的度量和信息传输的极限。
信息的度量单位称为比特，用来表示信息的多少和信息源的不确定性。
信息的传输受到噪声的干扰，因此需要利用编码方法来提高传输的可靠性。
信息论的基本概念包括熵、条件熵、联合熵等。
熵是衡量信息不确定性的度量，表示一个随机变量的平均信息量。
条件熵是在已知一些信息的情况下，对另一个随机变量的平均信息量。
联合熵是两个变量同时出现时的平均信息量。
二、信息论在数据压缩中的应用数据压缩是信息论中的一个重要应用领域，目的是用较少的比特数来表示大量的信息。
常见的压缩方法有无损压缩和有损压缩两种。
无损压缩是指压缩后的数据可以完全恢复成原始数据，常用的方法有霍夫曼编码和算术编码。
霍夫曼编码通过构建最优前缀码，将出现频率较高的符号用较短的编码表示，出现频率较低的符号用较长的编码表示，从而实现数据的无损压缩。
算术编码则是通过将整个数据流映射到一个区间来进行压缩。
有损压缩是指压缩后的数据不完全能够恢复成原始数据，但在保证主要信息不丢失的前提下，减少数据量。
常用的方法有离散余弦变换（DCT）和小波变换。
离散余弦变换在图像和音频压缩中广泛应用，通过将时域信号转换为频域信号，然后舍弃高频分量，实现数据的有损压缩。
小波变换也是一种多尺度分析方法，可以在时频域上进行信号分析和压缩。
三、编码理论的基本原理和应用编码理论是信息论的重要分支，主要研究编码和解码的原理与方法，用于实现可靠的信息传输。
编码理论主要包括信道编码和解码、错误检测和纠正等。
信道编码主要用于提高信道传输的可靠性，常用的编码方法有海明码和卷积码。