关于信源信道联合编码的研究
文献综述
题目关于信源信道联合编码的研究学生姓名 gyp
专业班级通信工程07-1班
学号 2007*******
院（系）计算机与通信工程学院
指导教师(职称) **（讲师）
完成时间 2009年 3 月 12 日
1 前言
“信息论”又称“通信中的数学理论”，是研究信息的传输、存储和处理的科学。通信的根本目的是将消息有效而可靠地从信源传到信宿。
信源编码的目的在于提高系统的有效性（传信率越高失真越小）。中心问题是：对一给定的信源，在失真度确定的条件下，使得失真满足要求所需的最低传信率；在传信率确定的情况下，系统所能达到的最小失真。
信道编码理论核心是提高系统的可靠性。中心问题：寻求一种适当的编码手段，在一定的传信率条件下，通过有规律地增加冗余度保证消息以尽可能小的差错概率从信源传到信宿[1]。
长期以来，在香农的信源信道分离理论的指导下，信源编码理论和信道编码理论都取得可喜成果。但是当前的分离理论仅适用与点对点通信系统，并假定系统可容忍无限长的传输时延和预先掌握信道统计特性。在当前，图像/视频实时业务，无线和IP网络信道的时变性，原分离的信源信道理论已经无法满足实际的通信需求。而建立在香农的全局率失真理论之上的信源-信道联合编码理论应运而生。如图1信源信道联合编码框图[2]。
1979年——
提出信源信道联合编码[3]。
近年来——
K.Sayood等人，研究利用压缩编码后信息的先验后验信息向译码器传递信息。
F.R.K schischang和B.J.Frey等人，提出因子图形并提出一种针对全局函数边
界计算的一般性算法。
I.Kozintsev等人，提出一种基于因子图形框架，同时包含信源与信道编码的全
局图形模型（还用到冗余信息存在准则和和积准则）。
J.Hagenauer等人，提出一种基于变长译码的变长软译码算法。
Banister等人，提出针对JPEG2000信源编码和Turbo信道编码的联合方法。Hamzaoui等人，提出互联网和无线信道下传输内嵌图像的联合编码方法；
且采用局部搜索算法对信源信道进行最优化不等差错保护。Rabiner等人，提出结合隐性马尔科夫信源和低密度奇偶校验码的联合方法。Lisimachos等人，提出基于DCT和运动补偿分级视频编码和传输的联合方法。Kiewer等人，提出变长编码信源和信道编码并行级联的鲁棒性传输算法。
资源受限的通信系统实现资源最优化。资源限制包括数据传输时的速率和带宽限制，系统复杂度限制，功率限制，延时限制。
多用户共享信道的通信系统实现信道容量的利用最大化。如蜂窝移动通信系统。由于多个用户是通过统计时分或者码分等复用方式共享信道，这样便造成一个用户的信源信息，可能是另一个用户的信道噪声的问题。（不适用于多源接入信道）[4]。
异质信源、异类信道或异种用户共存通信系统异质信源指多媒体通信中，对于信道误码和传输延时要求不同的数据。异类信道指同一通信网下，包括信道的速率、误码率、时延或时延抖动在内的信道质量相差很大的信道。异种用户指同一通信系统中，服务质量要求不同的用户。
时变通信系统由于时变系统的信源和信道的先验概率分布不可能准确获得，这样便不可能实现，在分离方式下，系统达到最优。
基本理论研究一方面、理解质量（初始数据和还原数据差异）、延迟、计算复杂度、信道利用率（信道数量、宽度和信噪比）和消耗功率之间的关系；另一方面、联合编码评估方法研究。
具体设计方法的研究[5]
第一、信源-信道编码器的联合设计。该法侧重与在发送端根据信源和信道的统计特性来完成设计，包括基于信源优化的信道编码和基于信道优化的信源编码。
第二、信源-信道联合解码器设计。该法侧重于在信宿端分析并利用信源编码器输出的残存冗余信息来阻止传输比特差错的传播，也可以作为先验知识用于信道译码器软输出译码的边信息。
第三、信源-信道码率分配研究。它是在给定信道码率下，信源和信道编码率的最优化分配策略。当总比特率（=信源编码速率+信道编码速率）一定，信源编码率增加，有损压缩造成的失真减小；信道编码速率减小，信道编码冗余量减少，信道噪声造成的失真提高。
5 联合编码关键技术
残留冗余（额外比特率）技术即在有噪信道且不额外增加传输比特条件下，调整编码器以提高信道鲁棒性。（由于香农编码理论存在：不能去除所有冗余问题；在有噪信道和衰落信道信道编码方法不充分的局限。）[6]
不等差错保护技术（自适应纠错技术）即根据数据的重要性不同，信道编译码采用不同的纠错保护策略，使误码率降到最低。又称分集接收技术[7]。
基于软输入软输出的联合译码技术该法利用传输信道的状态信息、信源的先验信息以及信道译码器的软输出来进行软信源译码[8]。
基于因子图形的联合译码技术因子图形是一种双向图形，是把一个全局变量，使用特定的方法变换成几个局部函数乘积式子。传递算法描述：图形中每个节点都可看作活动的处理单元，且能执行和该节点相关的信息和局部函数的计算。节点间的连线完成信息的发送和接收。
联合优化技术该联合编码可被认为是一种隐马尔可夫过程模型（用状态条件概率代替无记忆信道的转移概率）。（包含状态估计、最小均方差估计和信道状态和参数估计）[9]
网格量化联合优化技术网格量化编码和网格编码调制，可降低系统复杂性，改善失真性能，并且使信道噪声有适中的鲁棒性。
6 信源-信道联合编码研究热点
分层编码即是基于信源优化信道设计编码。它把信源编码分成包含图像中的粗糙的但对于识别重要的信息即最重要部分和包含提高图像质量要求的更精细的信息的次重要部分[10]。
采用LDPC码的联合译码它是一种融合隐马尔可夫信源估计和低密度奇偶校验（LDPC）编码的联合编码方法[11]。
Turbo码又称并行级联卷积码，是信道纠错码的一种，实现卷积码和随机交织器的结合，达到可随机编码的效果。同时采用软输出迭代译码来逼近最大似然译码。
多描述编码信源端产生若干独立码流且每一码流即为信源一种描述；信宿端可通过不同信道接收到一个或多个描述，中央解码器根据描述的多少给出恢复信源的精细程度[12]。
7 国内研究院校、老师及其研究成果
7.1 2004年国内研究分布
合肥工业大学，信号与信息处理，单承赣（gan）教授。
硕士研究生：柴斌；具体研究方向：图像传输；成果：
1）提出一种用汉明距离对算术编码进行改进的方案（解码器通过最小汉明距、算术编码的自同步特性和信源的统计知识的结合，来完成译码）。
2）提出一种分层编解码方案（以级联方式构造编码器；采用SPIHT（多级树集合分裂编码）的小波图像信源压缩编码法；采用RCPC信道编码法；把图像比特流按需分层不同子流，对不同子流实现非平等保护）。
汕头大学，信号与信息处理，陈光教授
硕士研究生：黄东辉；具体研究方向：图像传输；成果：
1)提出一种基于均值匹配相关矢量量化图像编码算法（信源编码法）。
2)提出一种结合Turbo码的信道编码进行联合优化量化器-重构器对的算法。
7.2 2005年国内研究分布
北京邮电大学，信号与信息处理，吴伟陵教授
博士研究生：林雪红；具体研究内容：低密度奇偶校验码（LDPC）；成果之一：1）提出两种基于Huffman码和LDPC码信源信道联合译码算法（基于信源冗余的联合译码和软输入软输出联合译码算法）。
华中科技大学，信息与通信工程，朱光喜教授
博士研究生：金欣；具体研究内容：无线视频传输；成果：
1）设计一功率可控的信源信道联合编码系统（为一定功率水平选定相对最优的编解码策略）。
2）提出一种高性能、H.264兼容的空域伸缩性视频编码系统CSSVC（综合利用了
H.264在低频域优越的编码性能和ODWT带内预测技术即在高频域对运动估计
和补偿的性能增益（其中采用2模式自适应运动预测与收缩的CSSVC））。3）构建了复杂度伸缩的混合信道编码与差错控制系统及其复杂度控制策略（综合利用HARQ I和III型优势的混合独立重传自解码的新模型）。
4）研究了信源信道编码系统复杂度衡量的通用方法（根据算法时间复杂度相对
系统时间复杂度的比例和变化，寻求屏蔽平台和实现差异性的编码复杂度衡量方法）。
5）研究信源信道联合功率控制策略与实现方法（从信源、信道和差错控制编码复杂度的关系、系统处理能力响应、快速复杂度等级控制和码流匹配方面阐述）。
东南大学，信号与信息处理，吴镇扬
博士研究生：周琳；具体研究方向：语音传输；成果之一：
1）针对高斯—马尔可夫信源，提出信源信道联合解码算法（包括迭代的信道解码和基于参数估计的信源解码（但是在同一时刻二者相互独立解码的））。2）研究了基于信源信道解码算法的语音信号传输系统
合肥工业大学，信号与信息处理，单承赣教授
硕士研究生：李晓莉；具体研究方向：图像传输；成果：
1）提出了结合SPECK信源编码（基于小波变换的分层信源编码）和Turbo码信道编码的信源信道联合编码方案。
上海大学，通信与信息系统，张颖教授
硕士研究生：郑丽丽；具体研究方向：无线视频传输；成果：
1）研究基于信源信道联合编码的FGS视频无线传输能量的有效性（采用H.264与FGS相结合的信源编码，RS信道编码，基于信道预测的传输数据最小化方法；利用功率、误码率与经过信道编码的残余错误概率大小关系及其信道预测结果，确定功率分）。
山东大学，通信与信息系统，袁东风教授
硕士研究生：吕京元；具体研究方向：无线图像传输；成果：
1）研究了基于矢量量化和Turbo码的信源信道联合解码（小波变换使得能量集中，矢量量化使得数据量小）
2）提出基于分形压缩和信道估计的不等错误方案。
7.3 2006国内研究分布
天津大学，信息与通信工程，戴居丰教授和侯春萍教授
博士研究生：王飒爽；具体研究方向：无线图像传输；成果之一：
1）提出一种基于多载波系统的无线分级图像的传输方法（信源采用基于小波变
换的SPIHT（多级树集合分裂压缩编码算法）编码，信道采用基于小波包变换的多载波调制和DFT-OFDM调制技术）。
2）设计一种基于空时分组码的多天线OFDM（STBC-OFDM）系统。
西安电子科技大学，通信与信息系统，常义林教授
博士研究生：艾达；具体研究方向：网络视频传输；成果：
1）提出一种实时的视频对象划分方法（以率失真优化选择的最佳宏块编码类型为对象划分标准，提出针对视频图像前景对象和后景对象的Intra刷新算法）。
2）提出一种基于视频对象的不平等保护联合编码方法（对不同的视频对象采用不同的Intra刷新率）。
3）提出一种新的图像空间域错误掩盖方法（利用H.264场编码技术（将视频I 帧数据按像素行交织为上下两场））。
4）提出一种基于图像增强信息域的视频图像头信息保护方法（大数判决定理）。东南大学，信号与信息处理，吴乐南教授
博士研究生：段玮玮；具体研究方向：通信系统编码；成果：
1）提出一种联合编码调制的设计思想（对于多进制调制系统，通过置换搜索贪婪算法直接优化）
2）提出一种基于SOVA（Soft-Output Viterbi Algorithm）和MMSE估计结合的图像联合译码重建算法。
3）提出一种基于HMM（隐马尔科夫模型）同步估计残留冗余与联合译码的迭代算法。
4）提出一种由多个一维相关性构成的压缩图像残留冗余统计模型。
5）提出基于LVA（List Viterbi Algorithm）,利用信源、信道统计特性的次优算法码软输入序列译码算法。
6）提出基于软同步的算术吗联合编码的编码参数优化方案。
7）提出基于LDPC码软输出和算术码软输入序列译码的联合译码算法。
上海交通大学，信号与信息处理，余松煜
博士研究生：王粤；具体研究方向：图像通信与数字电视；成果：
1）提出一个可以利用信源编码器的输出序列中存在的残留冗余来提供差错保护
的一体化解码器。
2）提出一种基于符号受限和比特受限的联合信源信道变长编解码改进算法。3）提出一种基于平坦性衰落信道的自适应UEP-BTC-STBC系统。
4）提出一种基于遗传算法的免疫克隆算法和基于UEP（等误差原则）的信道优化矢量量化器的设计方法。
华中科技大学，信息与通信工程，朱光喜教授
博士研究生：王锋；具体研究内容：无线视频传输；成果：
1）提出一种联合参数优化的实时视频传输系统（以分层编码的增强层和基本层作为传输对象）。
2）提出跨层联合信源信道编码的自适应FGS（视频精细颗粒可伸缩性）视频实时传输系统。
3）提出提出跨层多乘积码FEC（前向纠错）编码方案和等包长的打包方案。4）提出新FGS增强层和信道编码率优化配置算法。
5）提出一个目标码率约束条件下的联合编码的优化基于率失真的码率配置方案（基于运动补偿预测视频编码的帧间依靠性和差错繁殖的衰减性特点）
华中科技大学，信息与通信工程，朱光喜教授
博士研究生：张珍明；具体研究内容：无线视频传输；成果：
1）提出一种基于块的运动特性的视频对象分割算法。
2）提出一种基于物理比特的错误建模方法。
3）提出一种基于感兴趣编码的无线视频传输的联合编码优化码率分配算法。复旦大学，计算机应用技术，陆佩忠教授
博士研究生：邹艳；具体研究内容：信息截获技术；成果之一：
1）提出一种多路可变长编码信源复接情况下的联合译码方法。
2）提出卷积码盲目识别法；高误码率下的扩频码捕获方法；高容错的数字复接技术。
浙江大学，信息与通信工程，谢磊教授
硕士研究生：尹涛；具体研究内容：语音处理；成果：
1）MELP（混合激励线性预测）信源编码和Turbo信道编码联合研究及其在语音传输中的应用。
同济大学中德学院，信号与信息处理,
葛万成教授，Joachim Hagenauer Pro.
硕士研究生：尹涛；具体研究内容：语音处理；成果：
1）实验分析研究证明了非二进制信源能够通过turbo编码方式进行信源编码。厦门大学，无线电物理，许茹教授
硕士研究生：朱锦华；具体研究内容：水下图像传输；成果：
1）研究基于SPECK(集合分裂嵌入块小波图像压缩编码算法)信源编码和Turbo 信道编码的联合方案；
2）实现联合编码方案与OFDM技术的结合应用与水声通信中。
大连理工大学，信号与信息处理，李建华教授
硕士研究生：周坤；具体研究内容：编码方法；成果：
研究联合编码设计方法，并针对编码过程进行仿真。
7.4 2007年国内研究分布
中国科学技术大学，通信与信息系统，朱近康教授
博士研究生：许张生；具体研究内容：信道编码；成果：
1）提出一种基于基站间互协作的分布式Turbo编码结构。
2）提出一种针对V-BLAST系统的TISD（两级迭代串行检测算法）及其加窗算法。3）提出一种可变窗长的Win-TISD。
电子科技大学大学，信息与通信系统，李玉柏教授
硕士研究生：赵军；具体研究内容：移动通信；成果：
1）TETRA数字集群通信系统终端软件设计。
浙江大学，信息与通信工程，虞露教授
硕士研究生：尹涛；具体研究内容：语音处理；成果：
1）分布式视频编解码理论和算法研究。
郑州大学，通信与信息系统，张卫党教授
硕士研究生：陈雯静；具体研究内容：图像传输；成果：
1）提出JPEG和MPEG-4图像信源与Turbo码联合的UEP技术
南京邮电大学，信号与信息处理，徐澄圻（yin）教授
硕士研究生：王岩；具体研究方向：视频传输；
研究点：信源-信道码率分配（SCRA）联合编码；成果：
1）按照H.263码流中GOB优先级实施信源、信道码率的动态分配方案（通过调节H.263编码器的量化步长实现信源码率的调节；通过调节Turbo码的保护等级实现信道码率调节）。
上海交通大学，通信与信息系统，王嘉教授
硕士研究生：胡云峰；具体研究方向：视频压缩编码；成果：
1）提出一个信道失真估计模型（针对H.264图像压缩算法）。
2）建立一个信道码的码率分配算法（遗传算法求解最优）。
上海交通大学，信号与信息处理，王嘉教授
硕士研究生：朱莹莹；具体研究方向：视频压缩编码；成果：
1）改进TM5和VM8码率控制算法。
2）提出一种基于感兴趣区域的不等差错保护方案（MPEG-4和Turbo）。
天津大学，计算机应用技术，赵政教授
硕士研究生：龙述兵；具体研究方向：无线视频传输；成果：
1）提出一种不等差错保护方案（H.264；RS编码和重复包编码）。
重庆大学，电路与系统，曾孝平教授
硕士研究生：余训锋；具体研究方向：无线视频传输；成果：
1）提出一种不等差错保护方案（改进SPIHT（层次树的集分割算法）算法；CRC(循环冗余校验)和RCPC（码率兼容截短卷积码））
7.5 2008年国内研究分布
哈尔滨工程大学，计算机应用技术，戴葵教授
硕士研究生：李雪耀；具体研究方向：数字广播；成果：
1）提出一种AAC+SBR信源编码系统；研究QAM映射模块，OFDM生成模块与SDR （软件无线电）。
北京邮电大学，信号与信息处理，张惠民教授
硕士研究生：胡云峰；具体研究方向：视频压缩编码；成果：
1）Turbo在分布式信源编码中的应用。
北京邮电大学，电路与系统，蒋挺教授
硕士研究生：杨晏鸷；具体研究方向：图像传输；成果：
1）提出双重不等差错保护方案（SPIHT（层次树的集分割算法）算法；RCPC（码率兼容截短卷积码））
2）提出将功率分配的双重不等差错保护应用到无线传感器网络的方案。
长春理工大学，物理电子学（工），韩太林教授
硕士研究生：穆爽；具体研究方向：图像处理；成果：
1）提出一种基于H.264视频的差错控制算法（信源Intra刷新算法；信道Tornado 算法）。
河北大学，通信与信息系统，王兰勋教授
硕士研究生：杨晏鸷；具体研究方向：编码；成果：
1）研究LDPC(低密度奇偶校验码)和积译码算法（又称BP译码算法）。
2）提出一种基于二阶隐马尔科夫信源估计和LDPC的联合信源译码算法。
3）提出将联合译码算法应用到数字水印。
重庆大学，电路与系统，曾晓萍教授
硕士研究生：吴玲；具体研究方向：语音处理；成果：
1）提出一种基于香农映射定理的语音信号联合编码器设计方案（Archimedes螺旋线映射编码器）。
苏州大学，通信与信息系统，汪一鸣教授
硕士研究生：王宁；具体研究方向：计算机通信；成果：
1）提出一种基于霍夫曼编码的文本信源联合编码方案。
2）提出一种基于算术编码的视频信源联合编码方案。
7.6 2009年国内研究分布
南京邮电大学，信号与信息处理，宋建新教授
硕士研究生：王建；具体研究方向：无线视频编码；成果：
1）提出一种不等差错保护方案（H.264图像信源码流分级，Turbo不等差错保护）。
天津大学，通信与信息系统，侯春萍教授
硕士研究生：卞德松；具体研究方向：图像传输；成果：
1）基于图像特征的联合编码（信源Canny算子和小波变换；信道卷积码和BCH码）。2）方案评价：综合系统运算复杂度和图像传输效果。
哈尔滨工程大学，通信与信息系统，席志红教授
硕士研究生：肖春丽；具体研究方向：图像传输；成果：
1)提出一种基于全视觉图像的ROI（感兴趣区域）联合编码方案（信源一般位
移法和SPIHT（分层树集合分裂算法）算法结合；信道Turbo码和卷积码）。长春理工大学，通信与信息系统，李洪祚教授
硕士研究生：李善善；具体研究方向：图像传输；成果：
1）提出一种基于自适应不等差错保护的联合编码的图像传输方案（I-SPIHT信源编码和RCPC(码率兼容截短卷积码信道编码）
大连理工大学，通信与信息系统，王洪玉教授
硕士研究生：郭建花；具体研究方向：无线联合编码；成果：
1）提出一种最佳速率快速分配方案(信源SPIHT算法；信道RCPC和RCPT编码)。大连理工大学，信号与信息处理，李建华教授
硕士研究生：张凯程；具体研究方向：联合编码；成果：
1）提出一种基于宏块重要性模型的不等差错保护方案（Turbo码）。
2）提出一种基于H.264率失真模型联合编码方案。
7.7 2010年国内研究分布
西安电子科技大学，通信与信息系统，肖嵩教授
硕士研究生：陈娜；具体研究方向：视频编码；成果：
1）研究分布式视频编码。
2）提出一种基于Wyner-Ziv（解码端辅助信息的有损分布式编码率失真理论）分布式的联合编码方案。
安徽大学，通信与信息系统，李晓辉教授
硕士研究生：彭令宁；具体研究方向：对媒体通信；成果：
1）提出一种在不等差错基础上，采用片的数据分割方法，结合FMO策略和差错隐藏算法，的信源信道联合编码方案（H.264；Turbo码）。
8 信源信道联合编码系统框架
图8-1 联合编码的系统框架[13]
9 图像编码算法及其图像压缩标准
图9-1 图像编码的分类[14]
图9-2 多媒体图像编码分类
10 图像/视频编码的国际标准
图10-1图像/视频编码的国际标准[15]
参考文献
[1] 周炯磐.信息理论基础.北京：人民邮电出版社，1983
[2]钟义信.信息科学原理.北京：北京邮电大学出版社，1996
[3] 王圣谊等编译.信息工程.长沙：湖南大学出版社，1987
[4]姜丹，钱玉美.信息理论与编码.合肥：中国科学技术大学出版社，1992
[5] 朱雪龙.应用信息论基础.北京：清华大学出版社，2001
[6]陈运.信息工程理论基础.成都：电子科技大学，1989
[7]陈运.信息理论与编码.成都：电子科技大学，1996
[8]S G Wilson.Digital Modulation and Coding.电子工业出版社，1998
[9] 傅祖芸.信息论基础.北京：电子工业出版社，1989
[10]姜丹.信息论与编码.合肥：中国科学技术大学出版社，2001
[11]傅祖芸.信息论—基础理论与应用.北京：电子工业出版社2001
[12]陈运.信息加密原理.成都：电子科技大学出版社，1996
[13]Williams Stanllings，孟庆树等译.密码编码学与网络安全：原理与实践（第四版，中文版）.北京：电子工业出版社，2006
[14]钟家恺等.通信原理教程.北京：科学出版社，2003
[15]吴家安等.语音编码技术及应用.北京：机械工业出版社，2006
信源信道编码
青岛农业大学 本科生课程论文 论文题目联合信源信道编码的原理及其在通信中的应用学生专业班级信息与计算科学09级1班 学生姓名（学号）董晨晨（20093991） 指导教师吴慧 完成时间 2012年6月27日 2012 年 6 月 27 日
课程论文任务书 学生姓名董晨晨指导教师吴慧 论文题目联合信源信道编码的原理及其在通信中的应用 论文内容（需明确列出研究的问题）：由于通信的根本目的是将消息有效而可靠地从信源传到信宿，信源编码的目的在于提高系统的有效性，信道编码理论核心是提高系统的可靠性，因此在编码时应在一定的传信率条件下，通过有规律的增加冗余度保证信息以尽可能小的差错概率从信源传到信宿，并且充分利用系统资源。基于这种情况下，提出了信源信道联合编码，可以跟随信道的变化充分利用通信系统的资源，达到最好的端对端的通信效果。本文主要研究了以下几个方面的问题：（1）信源信道联合编码的原理；（2）信源信道联合编码的研究方向；（3）信源信道联合编码的关键技术；（4）联合编码在通信系统方面的应用。 资料、数据、技术水平等方面的要求：通过书籍报刊杂志、网络等各种渠道广泛搜集资料，充分利用现有文献，借鉴他人的学术成果，做到了资料翔实，数据准确，引用规范，论证充分。论文符合一般学术论文的写作规范，具备学术性、科学性和一定的创造性。文字流畅、语言准确、要点清楚，有独立的观点和见解。内容理论联系实际，计算数据准确，涉及到他人的观点、统计数据或计算公式标明出处，结论写的概括简短。 发出任务书日期2012.6.20完成论文日期2012.6.27 教研室意见（签字） 院长意见（签字）
课程论文成绩评定表
信源编码的基本原理及其应用..
信源编码的基本原理及其应用 课程名称通信原理Ⅱ 专业通信工程 班级******* 学号****** 学生姓名***** 论文成绩 指导教师***** ******
信源编码的基本原理及其应用 信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香农在他1948 年的著名论文《通信的数学理论》所定义的，它为信息论奠定了理论基础。后来其他科学家，如哈特莱、维纳、朗格等人又对信息理论作出了更加深入的探讨。使得信息论到现在形成了一套比较完整的理论体系。 信息通过信道传输到信宿的过程即为通信，通信中的基本问题是如何快速、准确地传送信息。要做到既不失真又快速地通信，需要解决两个问题：一是不失真或允许一定的失真条件下，如何提高信息传输速度（如何用尽可能少的符号来传送信源信息）；二是在信道受到干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大（如何尽可能地提高信息传输的可靠性）。这样就对信源的编码有了要求，如何通过对信源的编码来实现呢？ 通常对于一个数字通信系统而言，信源编码位于从信源到信宿的整个传输链路中的第一个环节，其基本目地就是压缩信源产生的冗余信息，降低传递这些不必要的信息的开销，从而提高整个传输链路的有效性。在这个过程中，对冗余信息的界定和处理是信源编码的核心问题，那么首先需要对这些冗余信息的来源进行分析，接下来才能够根据这些冗余信息的不同特点设计和采取相应的压缩处理技术进行高效的信源编码。简言之，信息的冗余来自两个主要的方面：首先是信源的相关性和记忆性。这类降低信源相关性和记忆性编码的典型例子有预测编码、变换编码等；其次是信宿对信源失真具有一定的容忍程度。这类编码的直接应用有很大一部分是在对模拟信源的量化上，或连续信源的限失真编码。可以把信源编码看成是在有效性和传递性的信息完整性（质量）之间的一种折中有段。 信源编码的基本原理： 信息论的创始人香农将信源输出的平均信息量定义为单消息（符号）离散信源的信息熵： 香农称信源输出的一个符号所含的平均信息量为 为信源的信息熵。 通信原理中对信源研究的内容包括3个方面： (1)信源的建模 信源输出信号的数学描述已有成熟的理论——随机过程，一般的随机过程理∑=-=L i i i x p x p x H 12) (log )()()(x H
数字通信中的信源编码和信道编码.(优选)
数字通信中的信源编码和信道编码 摘要：如今社会已经步入信息时代，在各种信息技术中，信息的传输及通信起着支撑作用。而对于信息的传输，数字通信已经成为重要的手段。本论文根据当今现代通信技术的发展，对信源编码和信道编码进行了概述性的介绍. 关键词：数字通信；通信系统；信源编码；信道编码 Abstract：Now it is an information society. In the all of information technologies, transmission and communication of information take an important effect. For the transmission of information, Digital communication has been an important means. In this thesis we will present an overview of source coding and channel coding depending on the development of today’s communica tion technologies. Key Words：digital communication; communication system; source coding; channel coding 1.前言 通常所谓的“编码”包括信源编码和信道编码。编码是数字通信的必要手段。使用数字信号进行传输有许多优点, 如不易受噪声干扰, 容易进行各种复杂处理, 便于存贮, 易集成化等。编码的目的就是为了优化通信系统。一般通信系统的性能指标主要是有效性和可靠性。所谓优化，就是使这些指标达到最佳。除了经济性外，这些指标正是信息论研究的对象。按照不同的编码目的，编码可主要分为信源编码和信道编码。在本文中对此做一个简单的介绍。 2.数字通信系统 通信的任务是由一整套技术设备和传输媒介所构成的总体——通信系统来完成的。电子通信根据信道上传输信号的种类可分为模拟通信和数字通信。最简单的数字通信系统模型由信源、信道和信宿三个基本部分组成。实际的数字通信系统模型要比简单的数字通信系统模型复杂得多。数字通信系统设备多种多样，综合各种数字通信系统，其构成如图2-l所示。 图2-1 数字通信系统模型 信源编码是以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。 信道，通俗地说是指以传输媒质为基础的信号通路。具体地说，信道是指由有线或无线电线路提供的信号通路。信道的作用是传输信号，它提供一段频带让信号通过，同时又给信号加以限制和损害。 信道编码是以提高信息传输的可靠性为目的的编码。通常通过增加信源的冗余度来实现。采用的一般方法是增大码率或带宽。与信源编码正好相反。在计算机科学领域，信道编
信源编码与信道编码解析
信源编码与信道编码解析 摘要：衡量一个通信系统性能优劣的基本因素是有效性和可靠性，有效性是指信道传输信息的速度快慢，可靠性是指信道传输信息的准确程度。在数字通信系统中，信源编码是为了提高有效性，信道编码是为了提高可靠性，而在一个通信系统中，有效性和可靠性是互相矛盾的，也是可以互换的。我们可以用降低有效性的办法提高可靠性，也可以用用降低可靠性的办法提高有效性。本文对信源编码和信道编码的概念，作用，编码方式和类型进行了解析,以便于更好的理解数字通信系统的各个环节。 关键字：信源编码信道编码 Abstract: the measure of a communication system the basic factor is quality performance efficiency and reliability, effectiveness refers to channel to transfer information machine speed, reliability is to point to the accuracy of the information transmission channel. In digital communication system, the source coding is in order to improve the effectiveness, channel coding is in order to improve the reliability, and in a communication system, effectiveness and reliability is contradictory, is also can be interchanged. We can use to reduce the availability of improving the reliability, also can use to improve the effectiveness of reduces reliability. In this paper, the source coding and channel coding concept, function, coding mode and the types of analysis, in order to better understand all aspects of digital communication systems. Key words: the source coding channel coding 中图分类号：TN911.21 文献标识码：A 文章编号： 1引言 数字通信系统： 信源是把消息转化成电信号的设备，例如话筒、键盘、磁带等。 信源编码的基本部分是压缩编码。它用于减小数字信号的冗余度，提高数字信号的有效性，如果是模拟信源，则它还包括数模转换功能，在某些系统中，信源编码还包括加密功能。
基于Huffman信源编码和LDPC信道编码的联合译码算法
Joint Source-Channel Decoding of Huffman Codes with LDPC Codes Zhonghui Mei and Lenan Wu Abstract In this paper, we present a joint source-channel decoding algorithm (JSCD) for LDPC codes by exploiting the redundancy of the Huffman coded sources.When the number of Huffman codes increases, just a moderate complexity is added for our algorithm by increasing the size of the lookup table, which is used to estimate the information bit probability based on the source redundancy. Key words － LDPC, Variable length codes (VLC), Huffman code, sum-product algorithm (SPA), joint source-channel decoding (JSCD) I. INTRODUCTION Recently in [1]-[4] several joint source-channel decoding algorithms for variable length codes (VLC) have been proposed. All of these algorithms consider the overall sequence of variable length codeword to exploit the source redundancy. The drawback is that the symbols have to be synchronized in order to limit error propagating. Furthermore, when the number of VLC increases, the decoding complexity of these algorithms explodes. In this paper we present a JSCD algorithm for LDPC codes in combination with Huffman coded sources. The error correcting property of our JSCD algorithm mainly depends on channel codes rather than source redundancy. In order to exploit the source redundancy, we estimate the information bit probability with just some corresponding bits before it, which simplifies the decoding algorithm significantly. The rest of the paper is organized as follows. Section II presents the Huffman coded source model. The JSCD algorithm for LDPC codes is described in section III. Section IV provides the simulation results. Section V concludes this paper. II. HUFFNAN CODED SOURCE MODEL Let denotes a sequence of information bits coded by VLC (e.g. a Huffman code). In [1], [3] and [4], they consider the overall sequence and express the source redundancy with . In order to compute , [3] and [4] design a trellis to illustrate statistics of the source sequence. When the number of the trellis states increases, the computational complexity of will rise explosively. ],......,,,[321n s s s s S =),......,,,()(21n s s s s p S p =)(S p )(S p In this paper, we make use of the source redundancy with , as is illustrated in Fig.1 and table 1. k is chose to be larger than the maximum length of Huffman codes. When the number of VLC increases, we only need to expand the lookup table. In addition, for we just estimate one bit probability with a small part bit of the information sequence every time, the error propagation phenomenon has been avoided successfully. ]),......,,[|(11?+??i k i k i i s s s s p
联合信源信道编码在超宽带信道中的应用
联合信源信道编码在超宽带信道中的应用1 杨晏鸷，蒋挺，周正 北京邮电大学无线网络实验室，泛网无线通信教育部重点实验室，北京（100876） E-mail：buptyyz@https://www.360docs.net/doc/b21246621.html, 摘要：本文将联合信源信道编码应用于超宽带(UWB)信道中，信源编码采用基于层次树的集分割算法(SPIHT)嵌入式码流编码，信道编码采用码率兼容截短卷积(RCPC)编码，研究了在直接序列超宽带(DS-UWB)方案中图像传输采用不等差错保护(UEP)方案相对于同等差错保护(EEP)方案所带来的性能提升，并基于UWB信道的特性提出了双重不等差错保护方案，给出了基于IEEE802.15.3a UWB信道模型的仿真结果，从仿真实验结果可以看出双重不等差错保护方案比传统的不等差错保护方案给重建图像带来更大的性能提升。 关键词：超宽带技术，联合信源信道编码，双重不等差错保护，基于层次树的集分割算法 1．引言 超宽带(Ultra Wideband，以下简称UWB) [1][2]系统具有高传输速率、低功耗、低成本等独特优点,是下一代短距离无线通信系统的有力竞争者。它是指具有很高带宽比射频（带宽与中心频率之比）的无线电技术。近年来，超宽带无线通信在图像和视频传输中获得了越来越广泛的应用，它具有极高的传输速率以及很宽的传输频带，可以提供高达1Gbit/s的数据传输速率，可用在数字家庭网络或办公网络中，实现近距离、高速率数据传输。例如，利用UWB技术可以在家用电器设备之间提供高速的音频、视频业务传输，在数字办公环境中，应用UWB技术可以减少线缆布放的麻烦，提供无线高速互联。 联合信源信道编码(Joint Source Channel Coding,以下简称JSCC)[3][4]近几年来日益受到通信界的广泛重视，主要原因是多媒体无线通信变得更加重要。根据Shannon信息论原理，通信系统中信源编码和信道编码是分离的[5]，然而，该定理假设信源编码是最优的，可以去掉所有冗余，并且假设当比特率低于信道容量时可纠正所有误码。在不限制码长的复杂性和时延的前提下，可以得到这样的系统。而在实际系统中又必须限制码长的复杂性和时延，这必然会导致性能下降，这和香农编码定理的假设是相矛盾的。因此，在许多情况下，采用独立编码技术并不能获得满意的效果，例如有严重噪声的衰落信道和（移动通信信道），采用独立编码技术不能满足要求。因此需要将信源编码和信道编码联合考虑，在实际的信道条件中获得比信源和信道单独进行编码更好的效果。其中不等差错保护是联合信源信道编码的一种, 是相对于同等差错保护而言的。在网络资源有限的情况下,同等差错保护方案使得重要信息得不到足够的保护而使解码质量严重下降。而不等差错保护根据码流的不同部分对图像重建质量的重要性不同, 而采用不同的信道保护机制, 是信源信道联合编码的一个重要应用。 不等差错保护（Unequal Error Protection，以下简称UEP）的信源编码主要采用嵌入式信源编码,如SPIHT(Set Partitioning In Hierarchical Trees) [6],EZW,JPEG2000等,信源输出码流具有渐进特性,信道编码采用RCPC[7],RCPT等码率可变的信道编码。文章[8]中研究了在AWGN 信道下的不等差错保护的性能；文章[9]中研究了有反馈的移动信道下的多分辨率联合信源信道编码；文章[10]研究了无线信道下的图像传输，信源编码采用SPIHT,信道编码采用多码率Turbo coder的不等差错保护方案；文章[11]中研究了DS-CDMA多径衰落信道下信源编码为 1本课题得到国家自然科学基金项目(60432040,60772021), 教育部博士点基金项目(20060013008), 韩国仁荷大学IT研究中心项目(INHA UWB-ITRC)的资助。
关于相关信源的码率界限及其编码的评述
关于相关信源的码率界限及其编码的评述 摘要 随着多媒体移动通信技术的快速发展，人们对信息可靠且有效的传输需求日益增长，但是由于受到无线带宽资源和多径衰落等因素的影响，很难实现高速可靠的数据传输。要解决这一矛盾我们必须采用全新的通信理论及技术。本文从信息论的角度对相关信源编码的相关理论进行了介绍，包括单符号信源编码的理论基础，相关信源的编码理论和码率界限和其编码。 关键字：信源编码，相关信源编码，分布式信源编码，Slepian-Wolf编码理论， Abstract With the development of multimedia mobile communication technologies, the demand for reliable and efficient transmission of information is growing. However, due to the impact of limited wireless bandwidth resources, multipath fading and other factors, it is difficult to achieve high-speed and reliable data transmission. To solve this problem we must adopt some new communication theories and technologies.This article makes an introduction to the related theories of correlated source coding fromthe perspective of information-theoretic security, including the basic theory of single symbol source coding and correlated source coding. KEYWORD：Source Coding，Correlated Source Coding，Distributed Source Coding，CodingTheory of Slepian-Wolf 1.引言 信源编码是一种以提高通信有效性为目的而对信源符号进行的变换，或者说为了减少或消除信源冗余度而进行的信源符号变换。具体说，就是针对信源输出符号序列的统计特性来寻找某种方法，把信源输出符号序列变换为最短的码字序列，使后者的各码元所载荷的平均信息量最大，同时又能保证无失真地恢复原来的符号序列。信源编码的作用之一是设法减少码元数目和降低码元速率，即通常所说的数据压缩；作用之二是将信源的模拟信号转化成数字信号，以实现模拟信号的数字化传输。最原始的信源编码就是莫尔斯电码，另外还有ASCII码和电报码都是信源编码。但现代通信应用中常见的信源编码方式有：Huffman编码、算术编码、L-Z编码，这三种都是无损编码，另外还有一些有损的编码方式。信源编码的目标就是使信源减少冗余，更加有效、经济地传输，最常见的应用形式就是压缩。 而相关信源编码与传统信源编码不同。它一般采用信道码编码技术得以实现，因而可以看作是一种联合信源-信道编码技术。虽然分布式编码理论早在二十多年前就已经提出，但Slepian-Wolf理论[1]和Wyner-Ziv理论[2]只给出了信源编码的理论根据，并没有给出一种具体的实现方法，因此这方面的进展并不显著。直到
WCDMA技术的信源编码和信道编码
WCDMA技术的信源编码和信道编码 WCDMA网络是全球商用时间最长，技术成熟、可演进性最好的，全球第一个3G商用网络就是采用WCDMA制式。我国采用了全球广泛应用的WCDMA 3G技术，目前已全面支持HSDPA/HSUPA，网络下载理论最高速率达到14.4Mbps。2G无线宽带的最高下载速度约为150Kbps，我国的WCDMA网络速度几乎是2G网络速度的100倍。支持业务最广泛，基于WCDMA成熟的网络和业务支撑平台，其所能实现的3G业务非常丰富。无线上网卡、手机上网、手机音乐、手机电视、手机搜索、可视电话、即时通讯、手机邮箱、手机报等业务应用可为用户的工作、生活带来更多的便利和美妙享受。终端种类最多，截至2008年底，支持WCDMA商用终端的款式数量超过2000款，全球主要手机厂商都推出了为数众多的WCDMA手机。国内覆盖广泛，截至2009年9月28日，联通3G网络已成功在中国大陆285个地市完成覆盖并正式商用，新覆盖的城镇数量还在不断增长中，联通3G网络和业务已经覆盖了中国绝大部分的人口和地域。开通国家最广，可漫游的国家和地区最多，截至2008年底，全球已有115个国家开通了264个WCDMA网络，占全球3G商用网络的71.3%。截至2009年9月28日，中国联通已与全球215个国家的395个运营商开通了。 WCDMA的优势明显，技术成熟，在WCDMA物理层来看，信源编码和信道编码是WCDMA技术的基础，信源编码是采用语音编码技术，AMR语音编码技术是由基于变速率多模式语音编码技术发展而来，主要原理在于：语音编码器模型由一系列能提供多种编码输出速率与合成质量的声码器构成AMR支持八种速率。鉴于不同信源比特对合成语音质量的影响不同AMR 语音编码器输出的话音比特在传输之前需要按照它们的主观重要性来排序分类，分别采用不同保护程度的信道编码对其进行编码保护。 信源编码AMR模式自适应选择编码器模式以更加智能的方式解决信源和信道编码的速率匹配问题，使得无线资源的配置和利用更加灵活和高效。实际的语音编码速率取决于信道条件，它是信道质量的函数。而这部分工作是解码器根据信道质量的测量参数协助基站来完成，选择编码模式，决定编码速率。原则上在信道质量差时采用低速率编码器，就能分配给信道编码更多的比特冗余位来实现纠错，实现更可靠的差错控制。在信道质量好、误比特率较低时采用高速率编码器，能够提高语音质量。在自适应过程中，基站是主要部分，决定上下行链路采用的速率模式。 信源编码AMR编码器原理，WCDMA系统的AMR声码器共有八种编码模式，它们的输出比特速率不同。为了降低成本和复杂度，八种模式都采用代数码本激励线性预测技术，它们编码的语音特征参量和参量提取方法相同，不同的是参量的量化码本和量化比特数。AMR语音编码器根据实现功能大致可分为LPC分析、基音搜索、代数码本搜索三大部分。其中LPC分析完成的主要功能是获得10阶LPC滤波器的-.个系数，并将它们转化为线谱对参数，并对LSF进行量化；基音搜索包括了开环基音分析和闭环基音分析两部分，以获得基音延迟和基音增益这两个参数；代数码本搜索则是为了获得代数码本索引和代数码本增益，还包括了码本增益的量化。
以香农编码为信源编码、(7,4)循环码为信道编码的2FSK信号的调制解调
目录 1 课程设计目的 (1) 2 课程设计正文 (1) 2.1 调制原理 (1) 2.2 解调原理 (3) 2.3 程序分析 (3) 3 课程设计总结 (9) 4 参考文献 (9)
1 课程设计目的 通过我们对这次CDIO 二级项目的学习和理解，综合运用课本中所学到的理论知识完成一个以香农编码为信源编码、（7,4）循环码为信道编码的2FSK 信号调制解调的课程设计。以及锻炼我们查阅资料、方案比较、团结合作的能力。学会了运用MA TLAB 编程来实现2FSK 调制解调过程，并且输出其调制及解调过程中的波形，并且讨论了其调制和解调效果，增强了我们的动手能力，为以后学习和工作打下了基础。 2 课程设计正文 本次课程设计我们所做的课题是一个以香农编码为信源编码、（7,4）循环码为信道编码的2FSK 信号调制解调的CDIO 项目，这就要求我们需要完成信源编码、信道编码、信号的调制解调以及误码率分析等问题。 图1 数字通信系统模型 数字信号的传输方式分为基带传输和带通传输，在实际应用中，大多数信道具有带通特性而不能直接传输基带信号。为了使数字信号在带通信道中传输，必须使用数字基带信号对载波进行调制，以使信号与信道的特性相匹配。这种用数字基带信号控制载波，把数字基带信号变换为数字带通信号的过程称为数字调制。 2.1 调制原理 用基带信号)(t f 对高频载波的瞬时频率进行控制的调制方式叫做调频，在数字调制系统中则称为频移键控(FSK)。频移键控在数字通信中是使用较早的一种调制方式，这种方式实现起来比较容易，抗干扰和抗衰落的性能也较强。其缺点是占用频带较宽，频带利用串不够高，因此，额移键控主要应用于低、中速数据的传输，以及衰落信道与频带较宽
信源编码(数据压缩)课程课后题与答案(第二章)
信源编码 Assignment of CH2 1、（a）画出一般通信系统结构的组成框图，并详细说明各部分的作用或功能； 信源信源编码信道编码调制 噪声信道传输 , 信宿信源解码信道解码解调 图1、一般数字通信系统框图 各部分功能： 1、信源和信宿：信源的作用是把消息转换成原始的电信号；信宿的作用是 把复原的电信号转换成相应的消息。 . 2、信源编码和信源解码：一是进行模/数转换，二是进行数据压缩，即设法降低信号的数码率；信源解码是信源编码的逆过程。 3、信道编码和信道解码：用于提高信道可靠性、减小噪声对信号传输的影响；信道解码是信道编码的反变换。 4、调制和解调：将信息调制为携带信息、适应在信道中传输的信号。数字 " 解调是数字调制的逆变换。 5、信道：通信的通道，是信号传输的媒介。 （b）画出一般接收机和发射机的组成框图，并分别说明信源编解码器和信道编 解码器的作用； … 高频振荡器高频放大调制高频功放天线
" 音频功放 信 号 图2、一般发射机框图（无线广播调幅发射机为例）
天线 信号放大器混频器解调器音频放大器 信 号 本地振荡器 图3、一般接收机框图（无线广播调幅发射机为例） 信源编解码器作用：它通过对信源的压缩、扰乱、加密等一系列处理，力求 用最少的数码最安全地传输最大的信息量。信源编解码主要解决传输的有效性问题。 信道编解码器作用：使数字信息在传输过程中不出错或少出错，而且做到自 动检错和尽量纠错。信道编解码主要解决传输的可靠性问题。 （c）信源编码器和解码器一般由几部分组成，画出其组成图并给以解释。 信源编码器 时频分析量化熵编码 信道传输 时频分析反量化熵解码 信源解码器 图 4、信源编解码器框图 时频分析部分：信源编码器对信源传送来的信号进行一定方法的时域频域分析，建立一个能够表达信号规律性的数学模型，从而得知信号中的相关性和多余度，分析出信号数据中可以剔除或减少的部分（比如人感知不到的高频率音频信号或者看不见的色彩信号等等），以决定对后续数据的比特分配、编码速率等处理问题。 量化部分：根据时频分析的结果，为了更加简洁地表达利用该模型的参数， 减少精度，采取相应量化方法对信号进行量化，减小信号的多余度和不相关性，
《信息论与信源编码》实验报告
《信息论与信源编码》实验报告 1、实验目的 (1) 理解信源编码的基本原理； (2) 熟练掌握Huffman编码的方法； (3) 理解无失真信源编码和限失真编码方法在实际图像信源编码应用中的差异。 2、实验设备与软件 (1) PC计算机系统 (2) VC++6.0语言编程环境 (3) 基于VC++6.0的图像处理实验基本程序框架imageprocessing_S (4) 常用图像浏览编辑软件Acdsee和数据压缩软件winrar。 (5) 实验所需要的bmp格式图像（灰度图象若干幅） 3、实验内容与步骤 (1) 针对“图像1.bmp”、“图像2.bmp”和“图像3.bmp”进行灰度频率统计（即计算图像灰度直方图），在此基础上添加函数代码构造Huffman码表，针对图像数据进行Huffman编码，观察和分析不同图像信源的编码效率和压缩比。 (2) 利用图像处理软件Acdsee将“图像1.bmp”、“图像2.bmp”和“图像 3.bmp”转换为质量因子为10、50、90的JPG格式图像（共生成9幅JPG图像），比较图像格式转换前后数据量的差异，比较不同品质因素对图像质量的影响； (3) 数据压缩软件winrar将“图像1.bmp”、“图像2.bmp”和“图像3.bmp”分别生成压缩包文件，观察和分析压缩前后数据量的差异； (4) 针对任意一幅图像，比较原始BMP图像数据量、Huffman编码后的数据量（不含码表）、品质因素分别为10、50、90时的JPG文件数据量和rar压缩包的数据量，分析不同编码方案下图像数据量变化的原因。 4、实验结果及分析 (1)在VC环境下，添加代码构造Huffman编码表，对比试验结果如下： a.图像1.bmp：
信源编码和信源解码
信源编码和信源解码 字、符号、图形、图像、音频、视频、动画等各种数据本身的编码通常称为信源编码，信源编码标准是信息领域的基础性标准。无论是数字电视、激光视盘机，还是多媒体通信和各种视听消费电子产品，都需要音视频信源编码这个基础性标准。 大家用电脑打字一定很熟悉，当你用WORD编辑软件把文章（DOC文件）写完，存好盘后，再用PCTOOLS工具软件把你的DOC文件打开，你一定能看到你想象不到的东西，内容全是一些16进制的数字，这些数字叫代码，它与文章中的字符一一对应。现在我们换一种方法，用小画板软件来写同样内容的文章。你又会发现，用小画板软件写出来的BMP文件，占的内存（文件容量）是DOC文件的好几十倍，你知道这是为什么？原来WORD编辑软件使用的是字库和代码技术，而小画板软件使用的是点阵技术，即文字是由一些与坐标位置决定的点来组成，没有使用字库，因此，两者在工作效率上相差几十倍。[信源]->[信源编码]->[信道编码]->[信道传输+噪声]->[信道解码]->[信源解码]->[信宿] 目前模拟信号电视机图像信号处理技术就很类似小画板软件使用的点阵技术，而全数字电视机的图像信号处理技术就很类似WORD编辑软件使用的字库和代码技术。实际上这种代码传输技术在图文电视中很早就已用过，在图文电视机中一般都安装有一个带有图文字库的译码器，对方发送图文信号的时候只需发送图文代码信息，这样可以大大地提高数据传输效率。 对于电视机，显示内容是活动图像信息，它哪来的“字库”或“图库”呢？这个就是电视图像特有的“相关性”技术问题。原来在电视图像信号中，90%以上的图像信息是互相相关的，我们在模拟电视机中使用的Y/C（亮度信号/彩色信号）分离技术，就是利用两行图像信号的相关性，来进行Y/C分离。如果它们之间内容不相关，Y/C信号则无法进行分离。全数字信号电视也一样，如果图像内容不相关，则图像信号压缩也就要免谈。如果图像内容有相关性，那么上一幅图像的内容就相当于下一幅图像的“图形库”，或一幅图像中的某部分就是另一部分的“图形库”，因此，下一幅图像或图像中某一个与另一个相关的部分，在发送信号时，只需发送一个“代码”，而传送一个“代码”要比送一个“图形库”效率高很多，显示时也只需把内容从“图形库”中取出即可，这就是MPEG图像压缩的原理。 利用电视信号的相关性，可以进行图像信号压缩，这个原理大家已经明白，但要找出图像相关性的内容来，那就不是一件很容易的事情，这个技术真的是太复杂了。为了容易理解电视图像的相关性，我们不妨设想做一些试验，把图像平均分成几大块，然后每一块，每一块的进行比较，如果有相同的，我们就定义它们有相关性；如果没有相同的，我们继续细分下去，把每大块又分成几小块，一直比较下去，最后会发现，块分得越细，相同块的数目就越多，但分得太细需要的代码也增多，所以并不是分得越细越好。我们在看VCD的时候经常发现，如果VCD读光盘数据出错，就会在图像中看到“马赛克”，这些“马赛克”就是图像分区时的最小单位，或把数码相片进行放大，也可以看到类似“马赛克”的小区，这就是数码图像的最小“图形库”，每个小“图形库”都要对应一个“代码”。 在单幅图像中找出相关性的几率并不是很大的，所以对单幅图像的压缩率并不很大，这个通过观察数码相片的容量就很容易明白，如果把寻找相关性的范围扩大到两幅图像，你就会发现，具有相关性的内容太多了，这是因为运动物体对于人的眼睛感觉器官来说，是很慢
第10讲 信源编码的性能指标
第10讲 信源编码的性能指标 1. 无失真信源编码的冗余度压缩原理 为了压缩冗余度，必须改造信源输出符号的统计特性。一方面要尽量提高任一时刻输出符号的概率分布的均匀性，另一方面要尽量消除前后输出符号的统计相关性。因此，无失真信源编码的实质是将信源尽可能地改造为均匀分布的无记忆信源。这种信源的通信效率是最大的。改造后的新信源是由原信源和编码器共同组成的，称为编码后的信源。设f 是信源S 的一个编码，X 是编码后的信源，则三者之间的关系表示如下 f S X ??→ 信源编码f 所用的码元可以与信源S 的符号不同，一般是某个信道的输入符号。 从数据处理这个角度来看，编码f 是一个数据处理器，输入信源S 的数据，输出信源X 的数据。从通信的角度看，编码f 是一个信道，输入信源S 的数据，输出信源X 的数据。 无失真信源编码的目的是无损压缩，即用尽可能少的数据表示数据中的所有信息，不能破坏数据原有信息。这相当于提高信息传输效率，使之接近于1。因此，度量无失真编码的压缩性能可以看编码后信息传输效率，称为编码效率。编码效率越接近于1，无损压缩性能越好。下面介绍信源编码的5个性能指标，包括平均码长、码率、编码效率、编码冗余度和压缩率。 2. 平均码长 平均码长是信源编码的一个关键的性能指标。在已知信源熵的前提下，根据平均码长，可以计算出无损压缩编码的码率和编码效率。 定义2.1 设f 是一个N-分组码，各码字的码长分别记为,1i l i q ≤≤，对应的N 长分组的概率为i p ，则f 的平均码长定义为 11(/ q i i i L p l N ==∑码元信源) 注：在有的教材中，当平均码长的单位转化为“比特/信源”时，称为编码速率。本课程用不到这个概念。 讨论：用平均码长估计编码后的数据长度 设S 是一个离散无记忆信源，:f S C →是信源S 的一个编码，其平均码长为L 。令12n s s s s =?是一个信源序列。假设用f 对该数据进行编码，试估计编码后码元序列的长度。 对于信源数据12n s s s s =?，我们令L i 表示信源符号s i 所对应的码字f (s i )的长度，则编码后的数据长度为12+++n L L L 。我们把L i 视为随机变量，则对于任何i ，我们有[]i E L L =。 因为S 是离散无记忆的，所以{L i }是独立同分布随机序列。根据辛钦大数定理，我们有
关于信源信道联合编码的研究
文献综述 题目关于信源信道联合编码的研究学生姓名 gyp 专业班级通信工程07-1班 学号 2007******* 院（系）计算机与通信工程学院 指导教师(职称) **（讲师） 完成时间 2009年 3 月 12 日
1 前言 “信息论”又称“通信中的数学理论”，是研究信息的传输、存储和处理的科学。通信的根本目的是将消息有效而可靠地从信源传到信宿。 信源编码的目的在于提高系统的有效性（传信率越高失真越小）。中心问题是：对一给定的信源，在失真度确定的条件下，使得失真满足要求所需的最低传信率；在传信率确定的情况下，系统所能达到的最小失真。 信道编码理论核心是提高系统的可靠性。中心问题：寻求一种适当的编码手段，在一定的传信率条件下，通过有规律地增加冗余度保证消息以尽可能小的差错概率从信源传到信宿[1]。 长期以来，在香农的信源信道分离理论的指导下，信源编码理论和信道编码理论都取得可喜成果。但是当前的分离理论仅适用与点对点通信系统，并假定系统可容忍无限长的传输时延和预先掌握信道统计特性。在当前，图像/视频实时业务，无线和IP网络信道的时变性，原分离的信源信道理论已经无法满足实际的通信需求。而建立在香农的全局率失真理论之上的信源-信道联合编码理论应运而生。如图1信源信道联合编码框图[2]。
1979年—— 提出信源信道联合编码[3]。 近年来—— K.Sayood等人，研究利用压缩编码后信息的先验后验信息向译码器传递信息。 F.R.K schischang和B.J.Frey等人，提出因子图形并提出一种针对全局函数边 界计算的一般性算法。 I.Kozintsev等人，提出一种基于因子图形框架，同时包含信源与信道编码的全 局图形模型（还用到冗余信息存在准则和和积准则）。 J.Hagenauer等人，提出一种基于变长译码的变长软译码算法。 Banister等人，提出针对JPEG2000信源编码和Turbo信道编码的联合方法。Hamzaoui等人，提出互联网和无线信道下传输内嵌图像的联合编码方法； 且采用局部搜索算法对信源信道进行最优化不等差错保护。Rabiner等人，提出结合隐性马尔科夫信源和低密度奇偶校验码的联合方法。Lisimachos等人，提出基于DCT和运动补偿分级视频编码和传输的联合方法。Kiewer等人，提出变长编码信源和信道编码并行级联的鲁棒性传输算法。
信息论与编码复习重点整理(1页版)
1 第1章 概论1. 信号(适合信道传输的物理量）、信息（抽象的意识/知识，是系统传输、转换、处理的对象）和消息(信息的载体)定义；相互关系：(1信号携带消息，是消息的运载工具(2信号携带信息但不是信息本身(3同一信息可用不同的信号来表示(4同一信号也可表示不同的信息。 2. 通信的系统模型及目的:提高信息系统可靠性、有效性和安全性，以达到系统最优化. 第2章 信源及信息量1. 单符号离散信源数学模型 2. 自信息量定义：一随机事件发生某一结果时带来的信息量I(xi)=- log2P(xi)、单位：bit 、物理意义：确定事件信息量为0；0概率事件发生信息量巨大、性质：I(xi)非负；P(xi)=1时I(xi)=0；P(xi)=0时I(xi)无穷；I(xi)单调递减；I(xi)是随机变量。 3. 联合自信息量：I(xiyi)=- log2P(xiyj) 物理意义：两独立事件同时发生的信息量=各自发生的信息量的和、条件自信息量：I(xi/yi)=- log2P(xi/yj)；物理意义：特定条件下(yj 已定)随机事件xi 所带来的信息量。 三者关系：I(xi/yi)= I(xi)+ I(yi/xi)= I(yi)+ I(xi/yi) 4. 熵：定义(信源中离散消息自信息量的数学期望)、单位(比特/符号)、 物理意义(输出消息后每个离散消息提供的平均信息量；输出消息前信源 的平均不确定度；变量的随机性)、计算:(H(X)=-∑P(xi)log2 P(xi)) 1)连续熵和离散的区别：离散熵是非负的2)离散信源当且仅当各消息P 相等时信息熵最大H (X )=log 2 n 。3)连续信源的最大熵:定义域内的极值. 5.条件熵H(Y/X) = -∑∑P(xiyj) log2P(yj/xi)，H (X /Y )= -∑∑P(xiyj) log2P(xi/yj) 、物理意义：信道疑义度H(X/Y)：信宿收到Y 后，信源X 仍存在的不确定度，有噪信道传输引起信息量的损失，也称损失熵。噪声熵H(Y/X)：已知X 对符号集Y 尚存的不确定性，由信道噪声引起。 联合熵H (X,Y ) =-∑∑P(x,y) log2P(x,y) H(X,Y)=H(X)+H(Y/X) H(X,Y)=H(Y)+H(X/Y) 6. 熵的性质：1)非负性H(X)≥0:因随机变量X 所有取值p 分布满足 0≤p(xi)≤1;当取对数的底大于1时log p(xi)≤0,而-p(xi)logp(xi)≥0,故熵H(X)≥0;只当随机变量是一确知量时熵H(X)=0。2)对称性：p(xn) 的顺序互换时熵不变。3) 最大离散熵定理,极值性：各个符号出现概率相等 时(p(xi)=1/n)熵最大。4) 扩展性5) 确定性：信源符号中有一个符号出 现概率为1熵就=0。6) 可加性7) 极值性：任一概率分布p(xi)对其它概率分布p(yi)的自信息取期望时必大于本身的熵：H (X/Y)≤H(X)，H(Y/X)≤H(Y) 8) 上凸性H[αP +(1-α)Q]>αH(P)+(1-α)H(Q) 7. 平 均 互 信 息 量 的 定 义 3个公式的物理意义：从 Y 获得的关于X 的平均信息量。发出X 前后关于Y 的先验不确定度减少的量。通信前后整个系统不确定度减少量。单位(bit/sym)。 8. 平均互信息量性质(①对称②非负(互信息可以负)③极值④凸函数⑤ 数据处理定理)及证明（极值性、凸函数性）：1）极值性I (X ;Y )≤H (X ) .2）上下凸性：I (X ;Y )是p (x i )的严格上凸函数，是p (y j /x i )的严格下凸函数.3）数据处理定理：消息结果多级处理后随次数增多输入/出消息平均互信息量趋于变小. 11.无记忆扩展信源:每次发出一组2个以上相互独立符号序列消息的信源。平稳信源:各维联合P 分布都与t 起点无关的完全平稳信源。 12. 离散无记忆信源X 的N 次扩展信源熵H(X )=H(X N )=N · H(X) 13. 马尔可夫信源:任何t 发出符号的P 只与前已发的m 小于N 个符号有关，与更前的无关。状态的概念:与当前输出符号有关的前m 个随机变量序列的某个具体消息。平稳后信源的概率分布:各态历经的马尔可夫链的极限 P 方程为 极限熵: 14. 连续信源的概念:变量和函数取值连续。最大连续熵定理：离散信源等概率分布时熵最大;对连续信源，无限制就无最大熵，不同限制下信源最大熵不同：峰值功率（幅度）受限，均匀分布的连续信源熵最大：h (X)=log 2(b ﹣a )；平均功率受限，均值为零高斯分布的连续信源熵最大： ；均值受限，指数分布时连续信源熵最大: log2me 。 第3章 信道及其容量1. 信道模型｛X P(X/Y) Y ｝、分类:根据输入出的(时 间&取值特性/随机变量数/输入出数/有无干扰/有无记忆/恒参、随参)分类。2. 信道容量定义(最大的信息传输率)、 单符号离散特殊信道C 计算： (1) 离散无噪信道的信道容量：①有一一对应关系的无噪信道C=log2n ②有扩展性能的无噪信道C=log2n ③有归并性能的无噪信道C=log2m (2) 强对称离散信道的信道容量: C=log2n+(1-P)log2(1-P)+Plog2P/n-1 n =2时是2进制均匀信道。(3) 对称离散信道的容量:C=log2m-H(Y/xi) 3. 连续信道，香农公式;Ct=Wlog2(1+Px/Pn)(bit/s): (信噪比/dB ，10log10P=PdB)。加性高斯白噪声是最基本的噪声与干扰模型,幅度服从高斯分布,功率谱密度是均匀分布。 5.有噪信道编码DL 内容意义：信道容量是一临界值，只要信息传输率不超过这个值，信道就可几乎无失真地把信息传送过去，否则就会失真。 6.信源信道编码DL ：H 信源熵