率失真理论和保真度准则下的信源编码定理
信息论与编码 自学报告
《信息论与编码》课程自学报告题目：AAC音频压缩编码学号：xxxxxxxxx姓名：xxxxxxx任课教师：xxxxxxx联系方式：xxxxxxxxxxxxx二零一六年一月一日一、自学内容小结与分析1. 基本概念要想无失真地传送连续信源的消息，要求信息率R 必须为无穷大。
这实际上是做不到的，因此实际通信系统允许一定的失真存在，那么对信息率的要求便可降低，换言之，就是允许压缩信源输出的信息率。
信息率失真理论研究的就是信息率与允许失真之间的关系。
1.1 失真函数与平均失真度为了定量地描述信息率与失真的关系，首先定义失真的测度。
设离散无记忆信源1212 , ,, (),(),,()()n n a a a X p a p a p a P X ⎛⎫⎛⎫= ⎪⎪⎝⎭⎝⎭。
信源符号通过信道传送到接收端Y ，1212 , , , (),(),,()()m m b b b Y p b p b p b P Y ⎛⎫⎛⎫= ⎪ ⎪⎝⎭⎝⎭。
对于每一对(),i j a b ，指定一个非负的函数(),0i j d a b ≥ (1) 称d(a i ,b j )为单个符号的失真度或失真函数。
用它来表示信源发出一个符号a i ，而在接收端再现b j 所引起的误差或失真。
由于a i 和b j 都是随机变量，所以失真函数d(a i ,b j )也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真度，记为11[(,)]()(/)(,)nmi j i j i i j i j D E d a b p a p b a d a b ====∑∑ (2)1.2 信息率失真函数的定义 1.2.1 D 允许试验信道平均失真由信源分布p(a i )、假想信道的转移概率p(b j /a i )和失真函数d(a i ,b j )决定，若p(a i )和d(a i ,b j )已定，则调整p(b j /a i )使D̅≤D ，称P D ={p (bj ai):D ̅≤D}为D 失真许可的试验信道。
信息论与编码民大06限失真信源编码
23-Oct-18
21/49
离散信源率失真函数的参量表达式
(2) 离散信源的信息率失真函数
已知平均互信息在(4.2.5)的条件限制下求I(X;Y)的极值， 引入参量S和μi(i=1,2,…,n)，构造一个新函数ф (4.2.6) （S 和μi 为待定参量)
23-Oct-18
22/49
离散信源率失真函数的参量表达式
理论上“消息完全无失真传送”的可实现性 信道编码定理：无论何种信道，只要信息率 R=(Klog2 m)/L 小于信道容量C，总能找到一种编码，使在信道上能以任 意小的错误概率和任意接近于C的传输率来传送信息。反 之，若R>C，则传输总要失真。 实际上“消息完全无失真传送”的不可实现性 实际的信源常常是连续的，信息率无限大，要无失真传送 要求信道容量C为无穷大； 实际信道带宽是有限的，所以信道容量受限制。要想无失 真传输，所需的信息率大大超过信道容量R>>C。
引入一个失真函数，计算在失真度一定的情况下信息率的 极小值就变成有意义了。
4/49
23-Oct-18
信息率与失真的关系
信道中固有的噪声和不可避免的干扰，使信源的消息通 过信道传输后造成误差和失真 误差或失真越大，接收者收到消息后对信源存在的不确 定性就越大，获得的信息量就越小，信道传输消息所需 的信息率也越小。
研究信道容量的意义：是为了解决在已知信道中传送最大 信息率问题。目的是充分利用已给信道，使传输的信息量 最大而发生错误的概率任意小，以提高通信的可靠性。这 就是信道编码问题。
23-Oct-18
15/49
信息率失真函数的性质
率失真函数的定义域
对香农三大定理的分析与探讨
对香农三大定理的分析与探讨摘要本文针对香农三大定理的内容，进行理论分析，探讨了无失真信源编码、有噪信道编码和保真度准则下的信源编码定理。
通过对离散信源熵的分析，延伸到了对扩展信源的理解，同时结合著名的香农公式和信息论与编码的发展史，指出了香农三大定理的意义。
一、香农第一定理香农第一定理主要研究信息的测度，对应的是无失真信源编码定理。
采用无失真最佳信源编码，可以使得用于每个信源符号的编码位数尽可能地小，但它的极限是原始信源的熵值，超过了这一极限就不可能实现无失真的译码。
1.1 离散信源熵1.1.1 信源的概念信源发出消息，消息载荷信息，而消息又具有不确定性，故而可以用随机变量或随机矢量来描述信源输出的消息。
从随机变量出发来研究信息，这正是香农信息论的基本假说。
而离散信源指的是这类信源输出的消息常以一个符号、一个符号的形式出现，这些符号的取值是有限的或者是可数的。
单符号离散信源只涉及一个随机事件，多符号离散信源则涉及多个随机事件。
1.1.2 信源熵的概念及其性质在度量信息的各种方法中，香农提出了解决信息度量问题的方法——熵，这是香农信息论最基本的，也是最重要的概念[1]。
信源熵，即信源的信息熵，又称香农熵、无条件熵，简称熵。
信源各个离散消息的自信息量的数学期望是信源的平均信息量，实质上是无记忆信源平均不确定度的度量。
信源熵表示在信源输出消息前，信源的平均不确定度，也表示在信源输出消息后，平均每个离散消息所提供的信息量，能够反映变量的随机性。
当消息出现的概率相同时，猜测每一个消息发生错误的概率均相同，说明等概率信源的不确定性最大，具有最大熵[2]。
1.2 无失真离散信源编码1.2.1 信源编码的概念信源编码处于通信系统的前端，直接对信源发出的信号进行变换处理。
通过压缩每个信源符号的平均比特数或信源的码率，以较少的码率来传送同样多的信息，增加单位时间内传送的平均信息量，来压缩信源的冗余度，从而提高通信的有效性。
信息论与编码期末复习填空
1.信源编码的主要目的是提高有效性, 信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面, 一是信源符号间的相关性, 二是信源符号的统计不均匀性。
3.三进制信源的最小熵为0, 最大熵为 bit/符号。
4.无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= Hr(S)）。
5.当R=C 或（信道剩余度为0）时, 信源与信道达到匹配。
6.根据信道特性是否随时间变化, 信道可以分为恒参信道和随参信道。
7、根据是否允许失真, 信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为 , 则输出信号幅度的概率密度是高斯分布或正态分布或 时, 信源具有最大熵, 其值为值 。
9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X 和Y 相互独立时, H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。
（2）()()1222H X X H X =≥()()12333H X X X H X = （3）假设信道输入用X 表示, 信道输出用Y 表示。
在无噪有损信道中, H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。
无穷大。
1、在认识论层次上研究信息的时候, 必须同时考虑到 形式、含义和效用 三个方面的因素。
2、1948年, 美国数学家 香农 发表了题为“通信的数学理论”的长篇论文, 从而创立了信息论。
3、按照信息的性质, 可以把信息分成 语法信息、语义信息和语用信息 。
4、按照信息的地位, 可以把信息分成 客观信息和主观信息 。
5、人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。
6、信息的 可度量性 是建立信息论的基础。
7、 统计度量 是信息度量最常用的方法。
8、 熵 是香农信息论最基本最重要的概念。
9、事物的不确定度是用时间统计发生 概率的对数 来描述的。
10、单符号离散信源一般用随机变量描述, 而多符号离散信源一般用 随机矢量 描述。
信息论与编码第5章限失真信源编码
第一节 失真测度
• 以上所举的三个例子说明了具体失真度的定义. 一般情况下根据实际信源的失真, 可以定义不同 的失真和误差的度量.
• 另外还可按照其他标准, 如引起的损失、风险、 主观感受上的差别大小等来定义失真度d(ui,vj).
• 从实用意义上说, 研究符号实际信源主观要求的、 合理的失真函数是很重要的.
第一节 失真测度
设信源变量为U={u1,…,ur}, 接收端变量为 V={v1,…,vs}, 对于每一对(u,v), 指定一个非负 函数
d(ui,vj)≥0 称为单个符号的失真度(或称失真函数). 失真函数用来表征信源发出符号ui, 而接收端再现 成符号vj所引起的误差或失真. d越小表示失真越小, 等于0表示没有失真.
➢ 应该指出, 研究R(D)时, 条件概率p(v|u)并没有 实际信道的含义. 只是为了求互信息的最小值而引 用的、假想的可变试验信道. ➢ 实际上这些信道反映的仅是不同的有失真信源编 码或信源压缩. 所以改变试验信道求平均互信息最 小值, 实质上是选择编码方式使信息传输率为最小.
率失真理论与信息传输理论的对偶关系
– 接收端获得的平均信息量可用平均互信息量I(U;V)表示;
– 这就变成了在满足保真度准则的条件下 D D 找平均互信息量I(U;V)的最小值.
,寻
– 因为BD是所有满足保真度准则的试验信道集合, 即可以 在D失真许可的试验信道集合BD中寻找某一个信道 p(vj|ui), 使I(U;V)取最小值.
本章所讨论的内容是量化、数模转换、频带 压缩和数据压缩的理论基础.
前言
本章主要介绍信息率失真理论的基本内容, 侧 重讨论离散无记忆信源.
首先给出信源的失真度和信息率失真函数的定 义与性质, 然后讨论离散信源的信息率失真函数计 算. 在这个基础上论述保真度准则下的信源编码定 理.
信息论与编码7限失真信源编码1
d被称为失真矩阵。
信息论与编码-限失真信源编码
失真函数 d(xi , y j )的函数形式可以根据需要适当选 取，如平方代价函数、绝对代价函数、均匀代 价函数等：
平方失真：
d (xi , y j ) (xi y j )2
绝对失真：
d(xi , y j ) xi y j
相对失真： d(xi , y j ) xi y j / xi
§4.2 R(D)的计算
已知信源的概率分布和失真函数 信源的R(D)函数。
d ij
，就可以求得
信息论与编码-限失真信源编码
求R(D)函数，实际上是一个求有约束问题的最小 值问题。即适当选取试验信道的 p(y / x)使平均 互信息
I(X;Y)
m i1
m j 1
p(xi ) p( y j / xi ) log
而输出符号概率为 p(y1) 0, p(y2) 1
例题2：输入输出符号表同上题，失真矩阵为
d
d d
( x1 , ( x2 ,
y1 ) y1 )
d (x1, d ( x2 ,
y2 ) y2 )
1
2 2
1 1
求 Dmax
解： Dmax
min
j 1,2
2 i 1
p(xi )d (xi ,
yj)
信息论与编码-限失真信源编码
显然或者是最小值不变，或者是变小了，所以 R(D)是非增的。
关于R(D)的连续性，这里我们就不再证明了。 所以，R(D)有如下基本性质： R(D) 0 ，定义域为 0 ~ Dmax ，当D Dmax 时，
R(D)=0。 R(D)是关于D的连续函数。 R(D)是关于D的严格递减函数。
误码失真：
现代编码
随着现代信息技术的不断发展，对原始通过应用密码学、概率论、信息熵、通信系统、随机过程等方法的信息论科目提出了进一步的发展要求。
而编码技术研究的主要内容是如何既可靠又有效地传输信息。
从1948年香农在《贝尔系统技术杂志》上发表了《通信的数学理论》开始。
次年，他又发表了另一篇著作《噪声下的通信》。
人们认为这两篇文章成了现在信息论的奠基著作。
1959年香农发表了“保真度准则下的离散信源编码定理”，首先提出了率失真函数及率失真信源编码定理，此后发展成为信息率失真编码理论。
现在，信息理论广泛应用在通信、计算机等领域，随着通信安全与质量的高要求化，编码技术也在不断地突飞猛进。
编码技术的分类：信源编码、信道编码信源编码：概念：信源编码是一种以提高通信有效性为目的而对信源符号进行有目标的变换。
具体说，就是针对信源的输出符号序列统计特性来寻找某种方法，把信源输出符号序列变换为最短的码字序列，使后者的各码元所载荷的平均信息量最大，同时又能保证无失真地恢复原来的符号序列。
作用：信源编码的作用之一是，即通常所说的数据压缩；作用之二是将信源的模拟信号转化成数字信号，以实现模拟信号的数字化传输。
发展：最原始的信源编码就是莫尔斯电码，另外还有ASCII码和电报码都是信源编码。
但现代通信应用中常见的信源编码方式有：Huffman编码、算术编码、L-Z编码，这三种都是无损编码，另外还有一些有损的编码方式。
信源编码的目标就是使信源减少冗余，更加有效、经济地传输，最常见的应用形式就是压缩。
另外，在数字电视领域，信源编码包括通用的MPEG—2编码和H.264（MPEG—Part10 AVC）编码等。
相应地，信道编码是为了对抗信道中的噪音和衰减，通过增加冗余，如校验码等，来提高抗干扰能力以及纠错能力。
分类：信源编码根据信源的性质进行分类，则有信源统计特性已知或未知、无失真或限定失真、无记忆或有记忆信源的编码；按编码方法进行分类可分为分组码或非分组码、等长码或变长码等。
第六章率失真函数理论及限失真信源编码
用以下数学方法描述：如果用 d(x,y) 表示当发端为x，而收端为
y 时所定义的某种误差代价；或者是当用y 来代替x 时，所定量
的失真度。具体的讲，对于离散信源设发端
收端：y b1,b2, ,bm ；当发 ai时收到 b j
x a1, a2, , an ;
符号的情况下定义
失真度为：
def
0 i = j
问题的另一方面是如何用数学关系式定量地描述失真限度， 即什么是信宿可接受的失真程度；什么情况下又是信宿不能接受 的失真程度。所以这种数学描述的第一步是如何将失真程度的大 小定量地给出；其次才是能否在失真度D定义给出之后，找到一
§6. 1 率失真函数的基本概念与定义
种信息率的性能界限：R(D);使得信宿在R>R(D)时，收到信息后
5º Guide action: Channel coding problem
I(X;Y) is a function of P(y/x).
R(D)是表达信源与失真要求 匹配条件下的最小传信率； 在RR(D)下，总能找到一种 编码方法,满足信宿要求。
Source coding problem with finite distortion (Data Compression)
i1 j 1
If let
0 i j dij 1 i j
then d Pe
即，平均每一符号可能发生的误码率。
当x, y都为L维的随机矢量时，可定义矢量间的失真函数为：
dL( x,
def
y)
1 L
L l=1
d(xl ,
yl
)
dL = E dL( x, y ) =
1 LE L l=1
d(xl , yl )
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第5章率失真理论和保真度准则下的
信源编码定理
无损：无失真，压缩冗余度，保熵--离散信源
有损：有失真，压缩熵，熵变小--连续信源
率失真理论(Rate Distortion Theory):
主要是研究信源问题，但是采用了研究信道的方法，主要研究在一定的失真条件下，信源能够压缩的程度，又称“数据压缩理论”，在数据压缩，数字图像处理等领域具有广泛的应用。
5.1 失真函数的基本概念
一、失真函数
1.符号---符号
2.序列---序列
二、平均失真
5.2 率失真函数的基本概念
一、率失真函数
二、率失真函数的性质
1.R(D)的非负性
2. R(D)的定义域[0,D max]
3. R(D)是关于D的下凸函数
4. R(D)在[0,D max]上是严格递减的连续函数
三、简单信源的率失真函数
1.贝努利信源
2.高斯信源
3.r元离散信源
四、率失真函数的计算
五、限失真信源编码定理
当DMS的信息率失真函数R(D)与编码速率R满足R≥R(D)时，则一定存在一种编码方法，使E(D)≤D*（其中D*为失真标准），反之也成立。
六、信息传输理论和率失真理论之间的关系。