关于相关信源的码率界限及其编码的评述
述评信源编码标准的历史沿革
自从我国广电进入数字化变革以来。
在卫星广播系统．有线电视系统．电视台制播系统的数字化初期．人们毫无争议地选择了ＭＰＥＧ－２信源编码标准．这是一个历史的必然。
而今．全国乃至全球的数字化变革正在不断深化．涉及到广电的各个业务角落，甚至深入到网络融合的新媒体业务中；所到之处．广大用户切身感受到的是数字化带来的感官痛快，但却给工程技术开发人员造成了心理”郁闷”．倍感头痛的是信源编码标准的“两难选择”：是采用ＭＰＥＧ一２，还是采用第二代信源编码标准．或是Ｈ．２６４，或是ＡＶＳ国标。
工程实践中的”两难”出现的频率极高．无论数字电视地面广播国标的推广、奥运高清节目制作和传播、移动多媒体手机电视，还是在直播卫星系统．以及电信运营的ＩＰｌ’ｖ等等新媒体．新业务中．都会出现这种“两难“。
因此，本文试图透过评述信源编码标准的历史演进，来分析和推理面向未来信源编码大趋势的现实对策。
一、国际信源编码标准的演进从２０世纪８０年代开始．现代信源编码标准进入实质性研究阶段（不包括算法和体系的研究）。
１９８４年以后，由现已并入ｎＴＵ－Ｔ的国际电报电话咨询委员会【ｃｃｒｖｒ）和国际标准化机构ＩＳＯ所属ＭＰＥＧ组织制定了一系列信源编４６Ｄ’ＧＩＴＣＷ２００ｅ’１辽宁电视台赵季伟码技术标准和建议。
其中包括面向视频会议的Ｈ．２６１。
Ｈ．２６２建议和面向视频广播的ＭＰＥＧ一１／２／３标准．这些建议和标准的制订有力地推动了数字电视和多媒体技术的实用化和产业化。
１９８４年ｃｃｒｖｒ第１５研究组成立了一个专家组．专门研究电视电话的信源编码问题．经过５年以上的研究和努力，在１９９０年１２月完成和批准了ＣＣＩＴＴ推荐书Ｈ．２６１。
在Ｈ．２６１的基础上．１９９６年ＩＴＵ—Ｔ完成了Ｈ．２６３编码标准，在很少增加编码算法复杂度的基础上．Ｈ．２６３能够以更低的速率提供更好的图像质量。
目前，Ｈ．２６３编码是Ｄ视频通信采用最多的—种信源编码方法。
１９９８年Ⅱｕ－Ｔ推出的Ｈ．２６３＋是Ｈ．２６３建议的第二版．它提供了１２个新的可协商模式和其他特征．进一步提高了压缩编码性能。
信源编码与信道编码
信源编码与信道编码⼀．信源编码和信道编码的发展历程信源编码：最原始的信院编码就是莫尔斯电码，另外还有ASCII码和电报码都是信源编码。
但现代通信应⽤中常见的信源编码⽅式有：Huffman编码、算术编码、L-Z编码，这三种都是⽆损编码，另外还有⼀些有损的编码⽅式。
信源编码的⽬标就是使信源减少冗余，更加有效、经济地传输，最常见的应⽤形式就是压缩。
相对地，信道编码是为了对抗信道中的噪⾳和衰减，通过增加冗余，如校验码等，来提⾼抗⼲扰能⼒以及纠错能⼒。
信道编码：1948年Shannon极限理论→1950年Hamming码→1955年Elias卷积码→1960年 BCH码、RS码、PGZ译码算法→1962年Gallager LDPC（Low Density Parity Check，低密度奇偶校验）码→1965年Ｂ－M译码算法→1967年RRNS码、Viterbi算法→1972年Chase⽒译码算法→1974年Bahl MAP算法→1977年IMaiBCM分组编码调制→1978年Wolf 格状分组码→1986年Padovani恒包络相位／频率编码调制→1987年Ungerboeck TCM格状编码调制、SiMonMTCM多重格状编码调制、WeiL.F.多维星座TCM→1989年Hagenauer SOVA算法→1990年Koch Max－Lg－MAP算法→1993年Berrou Turbo码→1994年Pyndiah 乘积码准最佳译码→1995年 Robertson Log－MAP算法→1996年 Hagenauer TurboBCH码→1996MACKaｙ－Neal重新发掘出LDPC码→1997年 Nick Turbo Hamming码→1998年Tarokh 空－时卷格状码、AlaMouti空－时分组码→1999年删除型Turbo码虽然经过这些创新努⼒，已很接近Shannon极限，例如1997年Nickle的TurboHamming码对⾼斯信道传输时已与Shannon极限仅有0.27dB相差，但⼈们依然不会满意，因为时延、装备复杂性与可⾏性都是实际应⽤的严峻要求，⽽如果不考虑时延因素及复杂性本来就没有意义，因为50多年前的Shannon理论本⾝就已预⽰以接近⽆限的时延总容易找到⼀些⽅法逼近Shannon 极限。
离散数学中的编码理论知识框架
离散数学中的编码理论知识框架在离散数学中的编码理论知识框架中，我们将讨论编码理论的基本概念、常用编码技术以及编码的应用等方面。
编码理论是计算机科学和信息工程领域的重要基础理论，它在数据传输、存储和处理等方面起着关键作用。
一、基本概念编码是将一种信息转化为另一种形式的过程。
在编码理论中，我们需要了解以下几个基本概念：1.1 信源：信源是指产生信息的源头，可以是离散的符号、字母、数字或其他可以表示信息的物体。
1.2 码字：码字是用于表示信源输出结果的编码序列。
1.3 编码：编码是将信源输出结果映射为码字的过程。
1.4 解码：解码是将接收到的码字恢复为原始信源输出结果的过程。
1.5 码长：码长是指一个码字的长度，它表示了编码所需的比特数或数字的位数。
1.6 前缀编码：前缀编码是指没有任何码字是其他码字的前缀的编码方式。
1.7 码率：码率是指单位时间内传输的码字数或码字位数。
二、常用编码技术在编码理论中，有多种常用的编码技术，下面将介绍其中几种：2.1 哈夫曼编码：哈夫曼编码是一种基于出现频率进行编码的无损编码技术。
它通过构建哈夫曼树来实现对信源输出结果的编码，使得出现频率高的符号有较短的码字，从而达到压缩数据的效果。
2.2 霍夫曼编码：霍夫曼编码是一种基于信源输出结果的概率分布进行编码的无损编码技术。
它通过构建霍夫曼树来实现对信源输出结果的编码，使得频率较高的符号有较短的码字，从而达到压缩数据的目的。
2.3 线性编码：线性编码是指使用线性函数对信源输出结果进行编码的技术。
常见的线性编码方式有奇偶校验码、循环冗余校验码等。
2.4 网络编码：网络编码是指在网络通信中对数据进行编码的技术。
它能够通过将多个数据包进行线性组合，使得接收方只需接收一部分数据包即可恢复出原始数据。
三、编码的应用编码在现代通信中有着广泛的应用，下面将介绍几个常见的应用领域：3.1 数据压缩：编码技术在数据压缩中扮演着重要角色。
通过合理选择编码方式，可以减少数据的冗余信息，从而实现对数据的压缩存储和传输。
第五章信源编码(编码定义及定长编码)
所以送一个信源符号x需要的平均信息率为：
K KL logm L
信息率最小就是找到一种编码方式使
KL logm L
最小。
5.2.1定长编码定理
定义：各个码字码长都相等的码 定长码中每个码字长度相等，所以只要定长码是非奇异
码，则必为唯一可译码
非奇异码 唯一可译码
即时码
非奇异码 唯一可译码
即时码
变长码
等长码
消息
概率
C1
C2
C3
C4
C5
C6
u1
1/2
000
0
0
0
1
01
u2
1/4
001
01
10
10
000
001
u3
1/16
010
011
110
1101 001
100
u4
1/16
011
0111 1110 1100 010
101
u5
1/16
100
01111 11110 1001 110
110
u6
1/16
101
解码：按照码符号的顺序，从根节点依次查询到终端节点，就得到对应的 信源符号。再从根节点对剩下的码符号序列做相同的处理，直到处理完码 符号序列中所有的码符号
对应表中的码4分析
A01Fra bibliotek01
1
0
0
1
0
10 1
0
1
000
001 010
011 100 101 110
111
一阶节点 二阶节点 三阶节点
唯一可译码存在的充要条件
我们之后介绍的是二元信道中的编码。
第五章信源编码
（每个符号有m种可能值）进行定长编码。对任意的 0,0
只要
KLHL(X)ε L logm
，则：当L足够大时，必可使译码差
错小于 （几乎无失真编码）；反之，当 KLHL(X)2ε L logm
时，译码差错一定是有限值，而当L足够大时，译码几乎必定 出错（译码错误概率接近于1）。
1、解释： KL/L-----编码时，每个信源符号输出的 码长。即每个信源符
其中：左边--KL长码字所能携带的最大信息量， 右边--L长信源序列携带的信息量。
定理表明，只要码字所能携带的信息量大于信源序列输出的信 息量，则可以实现几乎无失真编码，当然条件是L足够大。 反之，不可能实现无失真的编码，也就是不可能做一种编码 器，能使收端译码时差错概率趋于零。
2、举例： (1 单 ) 符号 X A 信 {a1,a源 2...8} .， .n,a 8 ，等,L 概 1 。 分 H 1(X )H (X )lb3 8b /信 it 源符号。 若进行二进B制 {0编 ,1}m ,码 2，据定理，只要 K LLKLH lo(X g)m 3码元 /信源符号，就 无可 失以 真实 编现 码 事实上 3位，二进制码确实示 可8种 以信 表源符号。
或映射规则 元 b 转 j,j换 1,2..m 成 .构由 成码 的码 (也元 称序 为列
y i,i1,2..n.L。
f:xiyi
码K 长 L， i i1,2..n.L .； 平 均_KL 码 nL长 KLPi(： yi)码/元 符 号 序
i1 _
定长编 KL1 码 KL： 2...K .L .L n.KL， KLKL
注：奇异码一定非惟一可译。（非奇异码则不一定）
4、即时码和非即时码：
收到一个完整的码字后能立即译码，或曰及时可译---即时码
数字通信中的信源编码和信道编码【精选文档】
数字通信中的信源编码和信道编码摘要：如今社会已经步入信息时代，在各种信息技术中,信息的传输及通信起着支撑作用.而对于信息的传输，数字通信已经成为重要的手段。
本论文根据当今现代通信技术的发展，对信源编码和信道编码进行了概述性的介绍。
关键词：数字通信；通信系统;信源编码；信道编码Abstract：Now it is an information society。
In the all of information technologies，transmission and communication of information take an important effect。
For the transmission of information，Digital communication has been an important means。
In this thesis we will present an overview of source coding and channel coding depending on the development of today’s communica tion technologies.Key Words：digital communication; communication system; source coding; channel coding1.前言通常所谓的“编码”包括信源编码和信道编码。
编码是数字通信的必要手段。
使用数字信号进行传输有许多优点, 如不易受噪声干扰，容易进行各种复杂处理，便于存贮，易集成化等。
编码的目的就是为了优化通信系统.一般通信系统的性能指标主要是有效性和可靠性.所谓优化，就是使这些指标达到最佳。
除了经济性外，这些指标正是信息论研究的对象.按照不同的编码目的，编码可主要分为信源编码和信道编码。
在本文中对此做一个简单的介绍.2.数字通信系统通信的任务是由一整套技术设备和传输媒介所构成的总体—-通信系统来完成的.电子通信根据信道上传输信号的种类可分为模拟通信和数字通信.最简单的数字通信系统模型由信源、信道和信宿三个基本部分组成.实际的数字通信系统模型要比简单的数字通信系统模型复杂得多。
信源编码PCM编码
第6章 模拟信号的数字传输
PCM的高次群
7680路 565Mb/s
4
1920路 139.264Mb/s
So 6k dB N q dB 通信原理教程
7
第6章 模拟信号的数字传输
均匀量化的缺点
式
So 6k dB N q dB
成立条件：
输入信号最大值＝量化器的量化范围。
输入信号值较小时，满足量化信噪比的措施：
增加二进制编码位数。
通信原理教程 13
GO
第6章 模拟信号的数字传输
样值脉冲极性 折叠二进码 量化间隔序号 15
1 111
1 110
14
13 12 11 10 9 8 7 6 5 4
码 型 的 选 择
1 101
正极性部分
1 100 1 011 1 010 1 001 1 000 0 000 0 001 0 010 0 011
2019/3/11
通信原理教程 8
第6章 模拟信号的数字传输
非均匀量化
非均匀量化---根据信号的不同 区间来确定量化间隔。 目的：改善小信号的量化信噪比。
2019/3/11
通信原理教程 9
第6章 模拟信号的数字传输
非均匀量化的系统框图
T t
非均匀量化
f t
抽 样
x
压 缩
y
均匀 量化
fq t
编 码
2019/3/11
f t
'
低 通
扩 张
信息论与编码 限失真信源编码
第一节 失真测度
1、失真度
信源 信源 编码 信道 编码 广义无扰信道
信道
干扰
信道 译码
信源 译码
信宿
失真范围: 由于只涉及信源编码问题, 所以可以将信 道编码和信道译码看成是信道的一部分. 这样信宿 收到消息的失真(或误差)只是由信源编码带来的.
第一节 失真测度
试验信道: 由于是失真编码, 所以信道不是一一
前 言
失真传输的研究方向:
在允许一定程度失真的条件下, 能把信源信息压 缩到什么程度, 即最少需要多少比特数才能描述
信源;
也就是说, 在允许一定程度失真的条件下, 如何
能快速地传输信息, 这是本章要讨论的问题。
前 言
这个问题在香农1948年最初发表的经典论文中已 经有所体现, 但直到1959年香农又发表了“保真
条件下, 如何能快速的传输信息, 这就是本章所要讨
论的问题. 本章所讨论的内容是量化、数模转换、频带压 缩和数据压缩的理论基础.
前 言
本章主要介绍信息率失真理论的基本内容, 侧重 讨论离散无记忆信源. 首先给出信源的失真度和信息率失真函数的定义
与性质, 然后讨论离散信源的信息率失真函数计算.
在这个基础上论述保真度准则下的信源编码定理.
前 言
失真传输的可能性:
传送图像时, 也并不是需要全部精确地把图像传送到
观察者. 只需将电视信号每一像素的黑白灰度级分成
256级, 屏幕上的画面就已足够清晰悦目.
对于静止图像或活动图像, 从空间频域来看, 每一帧一 般只含有大量的低频域分量, 高频域分量很少. 若将高 频分量丢弃, 只传输或存储低频分量, 数据率便大大减 少, 而图像质量仍能令人满意. 这是因为人眼有一定的 主观视觉特征, 允许传送图像时有一定的误差存在.
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
关于相关信源的码率界限及其编码的评述摘要随着多媒体移动通信技术的快速发展，人们对信息可靠且有效的传输需求日益增长，但是由于受到无线带宽资源和多径衰落等因素的影响，很难实现高速可靠的数据传输。
要解决这一矛盾我们必须采用全新的通信理论及技术。
本文从信息论的角度对相关信源编码的相关理论进行了介绍，包括单符号信源编码的理论基础，相关信源的编码理论和码率界限和其编码。
关键字：信源编码，相关信源编码，分布式信源编码，Slepian-Wolf编码理论，AbstractWith the development of multimedia mobile communication technologies, the demand for reliable and efficient transmission of information is growing. However, due to the impact of limited wireless bandwidth resources, multipath fading and other factors, it is difficult to achieve high-speed and reliable data transmission. To solve this problem we must adopt some new communication theories and technologies.This article makes an introduction to the related theories of correlated source coding fromthe perspective of information-theoretic security, including the basic theory of single symbol source coding and correlated source coding.KEYWORD：Source Coding，Correlated Source Coding，Distributed Source Coding，CodingTheory of Slepian-Wolf1.引言信源编码是一种以提高通信有效性为目的而对信源符号进行的变换，或者说为了减少或消除信源冗余度而进行的信源符号变换。
具体说，就是针对信源输出符号序列的统计特性来寻找某种方法，把信源输出符号序列变换为最短的码字序列，使后者的各码元所载荷的平均信息量最大，同时又能保证无失真地恢复原来的符号序列。
信源编码的作用之一是设法减少码元数目和降低码元速率，即通常所说的数据压缩；作用之二是将信源的模拟信号转化成数字信号，以实现模拟信号的数字化传输。
最原始的信源编码就是莫尔斯电码，另外还有ASCII码和电报码都是信源编码。
但现代通信应用中常见的信源编码方式有：Huffman编码、算术编码、L-Z编码，这三种都是无损编码，另外还有一些有损的编码方式。
信源编码的目标就是使信源减少冗余，更加有效、经济地传输，最常见的应用形式就是压缩。
而相关信源编码与传统信源编码不同。
它一般采用信道码编码技术得以实现，因而可以看作是一种联合信源-信道编码技术。
虽然分布式编码理论早在二十多年前就已经提出，但Slepian-Wolf理论[1]和Wyner-Ziv理论[2]只给出了信源编码的理论根据，并没有给出一种具体的实现方法，因此这方面的进展并不显著。
直到近几年，研究者才找到实现分布式信源编码的可行方法，发现了信源编码和信道编码的密切关系。
如果信道码能够渐近地接近信道容量，那么把它应用于分布式信源编码就能渐近地接Slepian-Wolf理论极限，Pradhan和Ramchan－dran提出了分布式编码的实现方案[3]，一些具体的实现方案陆续的提出[4-6]，从理论上证明了使用Turbo码可以接Selpian-Wolf编码效率[6]，并且证明了使用LDPC 码可以达到比Turbo码更好的效果[7]。
本文从信源编码的基本理论出发，介绍了相关信源的分布式编码的信息论基础。
重点介绍了Slepian-Wolf理论即相关信源的码率界限，对几种不同的编码方式进行了简单介绍和评述。
2.相关信源编码的理论2.1单符号信源编码信源编码理论是信息论的重要内容，信源是多种多样的，但信源符号之间具有一定的相关性，因此可以利用信源的冗余度来进行压缩，通过编码让符号间解除相关性，尽可能独立。
或是压缩每个信源的平均比特数，从而提高编码效率。
它使信源编码的具体设计和架构更加明确。
而香农第一定理明确的提出了信源编码的理论依据。
即在无失真的信源编。
码当中，离散信源的熵为H(X)，对n次扩展信源进行信源编码，对任意给定的ɛ>0，只要有码率：R>H(X)+ ɛ那么当n足够大时，平均译码错误概率就无限接近于0。
这就是单符号离散信源的编码原理。
由定理可得，若想符号可以从码字中无损的恢复出来，信源熵H(X)是信源实现无失真编码的速率最小值。
香农编码、Fano编码Huffman编码DMS的几个基本的信源编码方法。
2.2相关信源编码的理论相关信源编码是分布式信源编码的基本研究问题，目前已经解决了相关信源的可达信息率问题，虽然很多学者做出了努力，但是关于具体码字的设计和优化还没有明确的答案。
20 世纪70年代，分布式信源编码[8]( Distributed Source Coding , DSC )初步形成，它也可以称为是相关信源的信源编码。
DSC的理论基础是Slepian-Wolf理论和Wyner-Ziv理论组成而来。
Slepian和Wolf指出如果两个信源有一定关联性，若想实现信源的无损压缩则可以根据它们的信息熵计算出一个理论极限，我们称之为Slepian-Wolf 界。
其中两个相关信源在分离状态下压缩编码，仍可以达到互相协作时的压缩效率。
不久之后，Wyner和Ziv对无损压缩理论做出了进一步研究，并提出了有损压缩编码理论，得到类似的结果。
它与传统的信源编码不同，传统的信源编码是编码端充分利用多个信源的冗余信息最大限度的进行压缩，而Slepian-Wolf理论和Wyner-Ziv理论的出现，使人们意识到信源的冗余信息在译码端也可以充分利用，从而达到相同效果。
在传统的信源编码中，由无失真信源编码定理而得，只有当编码速率比信息熵大时才能保证信息的正确传送。
传统信源编码结构中，两个相关信源X，Y 间能够相互通信，通过对信源X和Y进行联合编码，同样要实现无差错恢复出信源，就必须保证编码和速率大于X，Y的联合熵H(X，Y)。
图1给出了传统的信源编码结构，其中编码端X，Y可以互相结合各自的信息，同时将信源X压缩到速率为H(X/Y)，信源Y以H(Y)的速率进行压缩，译码器收到X和Y的相关信息序列后进行联合译码。
图1 传统信源编码结构当两个相关信源不能互相通信时，如下图2所示。
已知针对两个独立信源分别用独立信道传送时，若实现无损压缩编码，每个信道的信息率必须大于各信源的无条件熵，即总信息率必须大于H(X) +H(Y)。
首先此处要满足这个基本条件。
但是X，Y有一定相关性，Slepian和Wolf利用此相关性进行了一定研究，指出若数字信号X、Y满足条件概率分布p(x，y)，如果X，Y在编码端不能互相通信，分别采取独立编码也可以达到X，Y互相通信联合编码的编码效率。
只要在解码端联合译码，则分开编码和联合编码都能正确解码，效率相同，这即为Slepian-Wolf定理。
图2 分布式信源编码结构图2中两个分离的编码器分别对X，Y进行编码，码率设置为Rx和Ry，而在译码处进行联合解码，Slepian-Wolf 理论提出对于互相关的两个离散随机信号X、Y，服从联合概率分布p（x，y），那么在编码端得不到Y的情况下对X 进行编码可以取得编码效率和在编码端得到Y的情况下对X进行编码的效率一样。
也就是说，在编码端可以不需要直接跟Y通信，X最少也能以H（X/Y）比特编码，只要在解码端可以得到Y，那么X仍能正确解码。
根据Slepian-Wolf理论，图3所示的两种编码方案可以取得相同的编码效率。
图3两种编码器结构Slepian-Wolf 理论可以简单地描述如下：假定X和Y是两个互相关的离散无记忆信源，对X和Y进行独立编码，H（X）、H（Y）分别是X，Y的熵，编码器X 输出的码率是Rx，编码器Y输出的码率是Ry，在解码端进行联合解码，如果在解码端可以无失真的恢复X，Y需要满足下面三个式子：Rx ≥H（X/Y）Ry≥H（Y/X）Rx +Ry≥H（X/Y）Slepian-Wolf理论的可达码率界限如图4所示：图4Slepian-Wolf理论可达的码率界限只要如Rx和Ry的取值范围在图中的Slepian-Wolf压缩可达速率的区域，则在解码端可以任意小的误码率来联合解码。
在Slepian-Wolf的无损编码理论发表后不久，Wyner-Ziv就对这个理论进行了扩充，建立了在解码端使用辅助信息的有损编码理论[2]，如图5所示：图5 Wyner-Ziv有损分布式编码结构3.相关信源的分布式编码方案在相关信源编码理论的支撑下，其分布式编码方案也越来越多，但是一直没有提出实际可行的方案。
之后，研究学者发现信源编码和信道编码之间有紧密联系，可以采用有优异性能的信道码来实现，这样则可以逼Slepian-Wolf的理论限值。
编码方案具体可以分为基于校验位(Parity)和基于伴随式的分布式信源编码(Distributed Source Coding Using Syndrome, DISCUS)两种方式。
3.1Discus 编码方案2000年，Pradhan和Ramchandran[9]首先提出了DISCUS方案，将卷积码的维特比译码方法进行修正，解码器根据伴随式s搜索陪集中与y最接近的序列。
之后提出的方案均是在DISCUS的基础之上的变形。
2005年Z.Tu, J.Li和Blum[10]就将陪集首的变化转移到译码端外，进行反向伴随式变换，然后与y结合，这样解码端只需在伴随式为0的陪集中进行即可，并且不用修改卷积码的维特比译码算法，另外，也可以采用Turbo码实现。
2007年，针对伴随式方案，又提出了一种基于卷积码和Turbo码的速率自适应方案，对伴随式比特进行打孔，并设计了最佳解码方法来补偿打孔带来的性能损失。
与此同时，译码的复杂性与增加的打孔比特数量呈线性关系。
Discus编码方案[3]考虑了两个相关的信源X和Y的独立编码和联合解码，在X和Y之间想象一条虚拟的信道P（Y/X），把信源X看作信道的输入，把参考信息Y看作信道的输出，即把信源Y看成是信源X经过噪声污染后的结果，这样就可以利用信道码的纠错性能来恢复信源码字。