信息论课程论文汇总
信息论基础与编码课程论文
《信息论基础与编码》课程论文（设计）题目：信息论在图像信号压缩中的应用*名：***学院：电信分院专业：通信工程班级：2012.1学号：**************指导教师：***2014 年12 月27 日目录摘要： (1)引言 (1)1 概述 (1)1.1 信息与信息论 (1)1.2 图像处理 (2)1.2.1 数字图像处理的介绍 (2)1.2.2 数字图像处理的发展 (2)2 图像信号压缩 (4)2.1 图像信号压缩的概念与原理 (4)2.1.1 图像信号压缩的概念 (4)2.1.2 图像信号压缩的原理 (4)2.2 图像信号压缩的分类 (6)2.2.1 按照压缩前及解压后的信息保持程度分类 (6)2.2.2 按照图像压缩的方法原理分类 (7)2.3 压缩技术的性能指标 (8)3 信息论在图像信号压缩中的应用 (9)3.1 无失真图像压缩编码 (10)3.1.2 Huffman编码 (10)3.1.3 算术编码 (12)3.2 有限失真图像压缩编码 (14)3.2.1 基于DCT的图像压缩编码 (14)3.2.2 变换编码 (16)4 总结 (17)参考文献 (19)附录 (20)信息论在图像信号压缩中的应用信息与计算科学专业郑耀涛指导教师杨小翠摘要：本文首先简单介绍了信息、信息论以及图像处理技术，并通过多个实例对图像信号压缩的原理和冗余度问题做出解释。
然后引入图像信号压缩的概念、原理、分类及压缩技术的性能指标。
论文运用Huffman编码以及算术编码方法对图像信号进行编码压缩处理，并比较了两种方法各自的优缺点，体现了信息论在图像信号压缩中的应用。
同时还运用Matlab软件实现了图片压缩，通过对工作区各个数据的分析，求得图片的冗余度等。
此外，本文用有限失真图像压缩编码方法对图片进行处理。
最后，论文介绍了基于DCT的图像压缩编码、变换编码及其它编码。
关键词：信息论；图像信号压缩；应用1引言在社会生活和科研生产活动中，人们随时随地都要接触图像。
用信息论原理指导研讨论文
摘要：教学实践的过程是一个师生之间的双向信息传递过程。
信息论的原理贯穿整个教学过程。
本文应用信息论的基本原理研究教学实践中教师的教和学生的学，具有很强的现实意义。
关键词：信息论；教学实践教学实践的过程就是一个信息传递的过程，是教师和学生之间的双向信息传递过程。
信息论中信息的输入，存储，转换，输出，反馈，控制等过程贯穿整个课堂教学，用信息论的基本原理研究教学实践中教师与学生的关系，具有很强的现实意义。
从信息论的观点看，教材是根据国家的教育发展目标，对于知识信息的选择、改造、组合而来。
在教学过程中，教师和学生的关系是信息交换的关系，教师和学生都是信息的接收者和输出者，都有一个输入（接收）、存储、交换、输出、反馈和控制的过程。
1知识信息的输入知识信息的输入，就是教学过程中教师和学生各自对教材内容的理解和接受。
教学中教师应根据知识的内在联系，确定教学内容，并注意内容的前后照应与迁移。
根据知识的重点、难点确定教学的中心、重心。
对学生施以多样的教学形式，无疑等于开通了丰富多样的信息通道，具体可从如下几方面做起：1.1精心设计开讲。
一个生动、鲜明的开讲篇可以诱发起学生学习的兴趣，使师生情感相通，目标一致，形成课堂上的第一次信息沟通，为教学的展开打下良好的基础。
1.2精心设计板书。
板书是教材信息的高浓缩产物，是教材的思路、教师的教路、学生的学路的有机结合。
板书要语言准确，层次分明，形质兼美。
1.3准确运用语言、语调、表情、姿体动作等传递信息。
教师的语言是一门艺术，准确适度的启发，有声有色的叙述，深浅适宜的评价，都会在学生心灵中产生反响，反之会死水一潭，枯燥无味。
课堂上教师的表情、动作、姿势等体态语言也具有暗示、传达、指挥的作用，无时无刻不在传递着信息。
一个微笑，一个眼神，一个手势，都能给学生以温暖、启发和鼓励。
1.4要提高教师的应变能力。
应变能力在信息反馈中十分重要。
它要求教师对教学过程中出现的突然变化能够随机应变，因势利导，以确保教学目标的实现。
信息论与编码课程论文
《信息论与编码》课程论文——通过信息论对已有知识产生的新认识马赛1143031014《信息论与编码》课程是通信专业的一门基础课。
其讲述的理论——香农信息论是当今信息科学的基础，可以说没有信息论的理论支持，就没有当今的信息化社会。
通过对于信息论的学习，我认识到，信息论的贡献就是解释了什么是“信息”，同时使用数学工具，对信息及伴随它产生的各种事物概念进行了解析。
近代科学的重大飞跃往往都是因人类对于一个事物有了强有力的分析工具而产生的。
有了信息论这一近乎完备（存在一些缺陷）的解析理论，人类才得以驾驭信息，社会才有了长足的进步。
在学习时，我习惯于把正在学习的知识和自己已经掌握的知识进行联系。
通过这种方法，可以增进对正在学习知识的理解，同时对已掌握的知识也有新的认识。
下文中，列举了两个问题，同时使用信息论的角度去进行解释。
一、计算机的存储容量与信息量的联系当今的计算机已经十分普及。
存储容量，无论内存还是外存，都是判定一台计算机性能的重要指标。
现在的个人计算机硬盘容量已经达到了TB级别，而在20年前，几百MB的硬盘都十分罕见。
在追求更高的存储容量时，我们是否思考过存储的东西是什么？KB、MB、GB等单位究竟代表的含义是什么？这是计算机科学的基本知识：“8 bit = 1 byte”。
bit即“位”，这是计算机存储单元最基本的单位；而信息论中也将信息量——用于衡量信息的量的单位称为bit，这两个概念有什么联系吗？在课程讲解时提到过这个问题，幻灯片上的答案如是解释：两者代表着不同的概念，信息论中的bit代表着信息量；而计算机中的bit代表着计算机中的二元数字1和0。
我认为两者是同一种概念，都代表信息量，而计算机中的bit是更为细化的概念，单指计算机中的信息量。
信息的一种解释是：对于不确定性的消除。
信息量是对信息的一种衡量手段，描述对事件不确定性消除的程度。
而描述事件不确定性的量就是这个事件发生的概率，因此一个事件发生的概率与事件包含的信息量具有对应的关系。
信息科学技术导论论文（合集五篇）
信息科学技术导论论文（合集五篇）第一篇：信息科学技术导论论文信息科学技术导论论文作者：学号：单位：指导老师：摘要：信息是21世纪的支柱，信息将取代物质和能量成为创造财富的重要来源。
我们身边无时无刻都充满了各种信息，正是这些信息，让我们了解了大千世界：国内外时事要闻、各种打折促销、我们想要了解的知识等。
在获取这些信息中，我们使用了很多信息设备，这些设备有的是传统媒介，有的是现代高科技产物。
信息科学技术让我们都生活在地球村之中，足不出户便知晓天下事。
本文介绍了我们日常生活中使用的信息设备和获取的信息，还详细地介绍了信息科学技术对我们的生活和学习产生的影响。
关键词：信息设备教育生活影响1.引言人类社会生活的改变，最终是由社会生产力所决定，当今社会科学技术的第一生产力作用日益凸现，信息科学技术作为现代先进科学技术体系中的前导要素，它所引发的社会信息化则将迅速改变社会的面貌、改变人们的生产方式和生活方式，对社会生活产生巨大影响。
2.生活中的信息生活中充满了信息，当清晨的第一缕阳光撒在我们的脸上，我们看看表，知道了时间，然后拿出手机，看看新闻，了解下国内外发生的大事和各种新闻。
学习工作时看看书，或者坐在电脑前，利用互联网查询相关的资料，学习相关的课程。
在闲暇时，看电影、看电视、听音乐……信息充斥在我们的身边。
现在足不出户，我们就可以通过电视或电脑看到地球另一端发生的事：美国大选、海地地震、冰岛火山喷发等，还可以看到美丽的极光、可爱的北极熊、呆呆的企鹅……美国《商业周刊》这样描述一个普通美国家庭的生活：乔治无须去办公室，他的雇主可以通过计算机网络找到他，乔治悠然自得地收看第六终端的节目。
他的一个孩子在收看500个频道的有线教育电视节目。
他的另一个孩子正在准备人体解剖课程的考试，他轻轻敲打键盘，屏幕上出现了三维立体图案，显示出人体内部器官的运行情况。
他的妻子将一天的销售情况以及将要做的项目全部存入笔记本电脑中，然后，她下达指令，让电脑把办公室的电子信件以及备忘录统统存储起来。
信息论课堂论文
数据压缩可分成两种类型，一种叫做无损压缩，另一种叫做有损压缩。无损 压缩是指使用压缩后的数据进行重构(或者叫做还原，解压缩)，重构后的数据与 原来的数据完全相同； 无损压缩用于要求重构的信号与原始信号完全一致的场合。 一个很常见的例子是磁盘文件的压缩。根据目前的技术水平，无损压缩算法一般 可以把普通文件的数据压缩到原来的 1/2～1/4。 一些常用的无损压缩算法有霍夫 曼(Huffman)算法和 LZW(Lenpel-Ziv & Welch)压缩算法。有损压缩是指使用压缩后 的数据进行重构， 重构后的数据与原来的数据有所不同，但不影响人对原始资料 表达的信息造成误解。
互信息(Mutual Information)是另一有用的信息度量，它是指两个事件集合之 间的相关性。两个事件 X 和 Y 的互信息定义为：
I ( X , Y ) H ( X ) H (Y ) H ( X , Y )
(2)
其中 H(X,Y) 是联合熵(Joint Entropy)，其定义为：
信息论调研报告
摘要: 随着计算机技术、 通信技术和网络技术等信息技术的快速发展，信息技术 已经成为当今社会应用范围最广的高新技术之一。 信息论是信息技术的主要理论 技术基础之一，它的一些基本理论在通信、计算机、网络等工程领域中得到了广 泛的应用。目前，信息论所研究的范畴已经超过了通信及其相近学科，在其他学 科应用也很广泛。本文主要从信息论的概念、发展以及相关应用方面着手，简要 的讲述信息论的在信息技术发展中的重要性以及一些比较重要的应用。 关键词：信息论、数据压缩、信号处理、标签算法
H ( X , Y ) p( x, y) log p( x, y)
互信息与多元对数似然比检验以及皮尔森χ2 校验有着密切的联系。
信息论与编码技术课程论文
本科生课程论文题目：互信息技术在数字图像配准中的应用姓名：学院：理学与信息科学学院专业：信息与计算科学班级：学号：指导教师：完成时间：2011 年7 月1 日2011年7月1日课程论文任务书学生姓名指导教师论文题目互信息技术在数字图像配准中的应用论文内容（需明确列出研究的问题）：图像配准是使两幅图像上的对应点达到空间上一致的一个过程。
本文介绍了一种基于最大互信息原理的图像配准技术。
并针对基于最大互信息图像配准的不足，研究了基于Harris角点算子的多模态医学图像配准。
在计算互信息的时候，采用部分体积插值法计算联合灰度直方图。
在优化互信息函数的时候采用了改进的遗传算法将配准参数收敛到最优值附近。
资料、数据、技术水平等方面的要求：论文要符合一般学术论文的写作规范，具备学术性、科学性和一定的创造性。
文字要流畅、语言要准确、论点要清楚、论据要准确、论证要完整、严密，有独立的观点和见解。
内容要理论联系实际，计算数据要求准确，涉及到他人的观点、统计数据或计算公式等要标明出处，结论要写的概括简短。
参考文献的书写按论文中引用的先后顺序连续编码。
发出任务书日期2011.06.23 完成论文（设计）日期2011.07.01 学科组或教研室意见（签字）院、系（系）主任意见（签字）目录摘要： (1)Abstract： (2)前言 (3)1 概述 (4)1.1 互信息与信息论 (4)1.2 数字图像配准 (5)1.2.1 数字图像配准的介绍 (5)1.2.2 数字图像配准的方式 (5)1.2.3 数字图像配准的发展 (6)2 配准方法 (7)2.1 变换和插值模型 (7)2.2 特征点的提取 (8)2.3 多元互信息 (11)2.4 优化算法 (12)2.4.1 编码方式 (12)2.4.2适应度表示 (12)2.4.3轮盘赌法和最优保存策略 (12)3 互信息技术在图像配置中的应用 (13)3.1 Harris角点后的CT图和PET图 (14)3.2 配准过程及结果 (14)4 总结 (14)参考文献： (16)互信息技术在数字图像配准中的应用信息与计算科学专业指导教师【摘要】：医学图像配准技术已经被应用于心脏病诊断和包括脑瘤在内的各种各样的神经混乱诊断研究中。
《信息论与编码》课程论文
《信息论与编码》课程小结《信息论与编码》课程小结信息论是信息科学的主要理论基础之一，它是在长期通信工程实践和理论基础上发展起来的。
信息论是应用概率论、随机过程和数理统计和近代代数等方法，来研究信息的存储、传输和处理中一般规律的学科。
它的主要目的是提高通信系统的可靠性、有效性和安全性，以便达到系统的最优化。
编码理论与信息论紧密关联，它以信息论基本原理为理论依据，研究编码和译码的理论知识和实现方法。
通过《信息论与编码》课程的学习，得到了以下总结：一、信息论的基本理论体系1948年，香农在贝尔系统技术杂志上发表“通信的数学理论”。
在文中，他用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。
香农理论的核心是：揭示了在通信系统中采用适当的编码后能够实现高效率和高可靠地传输信息，并得出了信源编码定理和信道编码定理。
从数学观点看，这些定理是最优编码的存在定理。
但从工程观点看，这些定理不是结构性的，不能从定理的结果直接得出实现最优编码的具体方法。
然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为寻找最佳通信系统提供了重要的理论依据。
对信息论的研究内容一般有以下三种理解：(1) 狭义信息论，也称经典信息论。
它主要研究信息的测度、信道容量以及信源和信道编码理论等问题。
这部分内容是信息论的基础理论，又称香农基本理论。
(2) 一般信息论，主要是研究信息传输和处理问题。
除了香农理论以外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论、信息处理理论以及保密理论等。
后一部分内容以美国科学家维纳(N.Wiener)为代表，其中最有贡献的是维纳和苏联科学家柯尔莫哥洛夫。
(3) 广义信息论。
广义信息论不仅包括上述两方面的内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题，是新兴的信息科学理论。
信息论与编码课程设计论文
《信息论与编码》课程论文题目：信息论的基本理论探究学生姓名：杨林学号： 201402033学院：计算机科学与工程学院专业：电子与通信工程2014 年 10 月 25 日目录摘要 (2)关键词 (2)1 引言 (3)2 信息的度量 (3)2.1 概述 (4)2.2 离散信源及其信息度量 (4)2.2.1 离散随机信源的自信息与信息熵 (4)2.2.2 离散平稳信源 (5)2.2.3 马尔可夫信源 (5)3 离散信道 (6)3.1 概述 (6)3.2 平均互信息 (6)3.3 离散信道的信道容量 (6)4 连续信道 (6)5 无失真信源编码 (7)5.1 信源编码到无失真编码的概述 (7)5.2 定长编码 (7)5.3 变长编码 (8)5.3.1 概述 (8)5.3.2 香农编码 (8)5.3.3 费诺编码 (8)5.3.4 霍夫曼编码 (9)6 本次课程论文总结 (9)参考文献 (9)信息论的基本理论探究摘要：信息是从人类出现以来就存在于这个世界上，人类社会的生存和发展都离不开信息的获取、传递、处理、再生、控制和处理。
而信息论正是一门把信息作为研究对象，以揭示信息的本质特性和规律为基础，应用概率论、随即过程和数理统计等方法来研究信息的存储、传输、处理、控制、和利用等一般规律的学科。
主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。
在信息论的指导下，信息技术得到飞速发展，这使得信息论渗透到自然科学和社会科学的所有领域，并且应用与众多领域：编码学、密码学与密码分析、数据压缩、数据传输、检测理论、估计理论等。
信息论的主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信源熵；有记忆，无记忆离散和连续信道的信道容量，平均互信息；无失真信源编码相关理论。
关键词：信息度量；离散和连续信源；信道容量；平均互信息；信源编码Explore the basic theory of information theoryAbstract: Information is from there since humans appeared in this world, survival and development of human society can not do without access to information, transmission, processing, regeneration, control and handling. The information theory is a door to the information for the study, in order to reveal the nature of the characteristics and laws of information, based on the application of probability theory, then the process of mathematical statistics and other methods to study the storage, transmission and processing of information, control, and use of other general rules and disciplines. The main study how to improve the information system reliability, availability, confidentiality, and authentication, to make information systems optimization. Under the guidance of information theory, has been the rapid development of information technology, which makes the information theory to penetrate into all areas of natural science and social science, and applied with many areas: coding science, cryptography and cryptanalysis, data compression, data transmission, detection theory, estimated theory. The main basic information theory include: definition and measurement information; all kinds of discrete information source and source entropy ofcontinuous information source; with memory, no memory of discrete and channel capacity of a continuous channel average mutual information; lossless source coding-related theory.Keywords: information measure; discrete and continuous source; channel capacity; average mutual information; source coding1 引言被称为“信息论之父”的美国科学家香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。
信息论论文
信息论论文Document serial number【UU89WT-UU98YT-UU8CB-UUUT-UUT108】湖南科技大学课程结课论文《信息论与编码A》学院：信息与电气工程学院专业：班级：学号：姓名：信息论基础摘要：从对信息论的一些基础知识汇总，信息的定义，信息论的发展；还有信源与信息熵，信道与信道容量，编码这些关键知识点做一个系统性的回顾，再结合通信领域的知识进行分析。
关键字：信息论；引言：信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。
信息系统就是广义的通信系统，泛指某种信息从一处传送到另一处所需的全部设备所构成的系统。
名称由来：信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。
信息传输和信息压缩是信息论研究中的两大领域。
这两个方面又由信息传输定理、信源－信道隔离定理相互联系。
发展简史：信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科，是专门研究信息的有效处理和可靠传输的一般规律的科学。
切略（E.C.Cherry）曾写过一篇早期信息理论史，他从石刻象形文字起，经过中世纪启蒙语言学，直到16世纪吉尔伯特（E.N.Gilbert）等人在电报学方面的工作。
20世纪20年代奈奎斯特（H.Nyquist）和哈特莱（L.V.R.Hartley）最早研究了通信系统传输信息的能力，并试图度量系统的信道容量。
现代信息论开始出现。
1948年克劳德·香农（Claude Shannon）发表的论文“通信的数学理论”是世界上首次将通讯过程建立了数学模型的论文，这篇论文和1949年发表的另一篇论文一起奠定了现代信息论的基础。
由于现代通讯技术飞速发展和其他学科的交叉渗透，信息论的研究已经从香农当年仅限于通信系统的数学理论的狭义范围扩展开来，而成为现在称之为信息科学的庞大体系。
信息的性质：信息有以下性质：客观性、广泛性、完整性、专一性。
信息论专题论文
竞争情报与企业生存与发展的探讨摘要：在当今时代，企业之间交往增多，市场净增日益激烈，客户诚信、竞争对手、产品研发等已成为企业生存的必须。
换句话说，企业对竞争情报的需求越来越大。
竞争情报是关于竞争对手信息的收集和分析，是情报和反情报技术。
本文结合现代企业经济状况，对竞争情报这一与企业经济相关的概念进一步阐释，从其内涵、发展现状、案例分析，对企业生存与发展的意义等方面，展开了一定的探讨。
关键词：竞争情报；企业经济；企业生存与发展80年代末，我国情报界将竞争情报的概念从国外引进，目前已经成为企业间竞争发展的重要手段之一。
如何从企业竞争战略的高度出发，认识竞争情报在企业发展中的作用，充分开发和有效利用企业内外信息资源来提高企业竞争实力，已经成为企业领导者关注的重要问题。
在当前全球经济一体化的背景下，影响企业经营的外部因素日趋复杂，给企业决策带来极大的不确定性。
企业只有掌握竞争情报，才能在激烈的市场竞争中处于主动地位，才能赢得时间、市场和利润。
因此，充分认识竞争情报在企业发展过程中的作用，对企业的经营和管理有重要的现实意义。
一、竞争情报的内涵很多学者都研究过竞争情报，他们对其含义的认识都大同小异。
像刁丽君认为：“竞争情报源于军事、政治领域。
其含义就是敌对的国家或政治势力，利用各种手段去收集、分析各种具有政治、军事价值的情报为其服务，一区的对抗的主动性。
随着市场竞争的激化，该概念被引用于经济领域中，形成了企业竞争情报。
”高诚认为：“企业竞争情报是企业为适应市场竞争需要、提高企业竞争力、赢得竞争优势而进行的一切关于竞争环境、竞争对手和竞争战略等的全面、持续监测过程。
”在我看来，竞争情报是企业为取得和保持竞争优势所进行的一切有关竞争环境、竞争对手和竞争战略的信息搜集与分析利用活动。
它是一种过程，也是一种产品，过程包括了对竞争信息的收集和分析；然而它的产品就是由此形成的情报和谋略。
竞争情报是对整体竞争环境和竞争对手的一个全面检测过程。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
从通信联合收发优化剖析香农三大定理--“信息论与编码”课程论文课程：信息论与编码指导老师：王忠姓名：秦天柱学号：2012141441420摘要本文立足之点为通信系统的收发联合优化，主要根据一种基于广义的率失真函数的信源编码、信道编码和差错隐藏联合优化的方法对此进行讨论。
并在此基础上，对香农三大定理进行剖析，分析了香农三大定理的内在联系与通信系统理论构建之间的关系。
1 引言随着现代通信技术的发展，通信的重要性不言而喻。
早在二十世纪四十年代初，香农提出三大定理，奠定了通信的数字理论基础。
用户数量也随之增长，传输错误当然也不可避免。
自此，容错恢复编码技术近年来成为无线视频传输研究中的热点。
传统的方法[ 3, 4] 往往假设视频信源是统计平稳的，然后对整个视频序列建立经验的或理论的率失真模型来进行码率分配优化；并且只考虑信源编码和信道编码本身的性能，而没有考虑差错隐藏技术的影响。
本文着重分析了一种针对图像局部区域的信源信道编码以及差错隐藏特性的广义的率失真函数. 这种基于局部广义率失真特性的信源编码,信道编码和差错隐藏的联合优化(以下简称JSCE)有可能取得更好的视频传输效果。
并由此将香农的三大定理（无失真信源编码定理、信道编码定理和限失真信源编码定理）进行剖析，深入研究其内在联系和为通信系统的联合优化提供的理论支撑。
2 通信系统的联合优化2.1 广义的率失真函数在进行无线视频传输的码率优化分配时,我们将信源编解码,信道编解码和差错隐藏联合起来进行考虑.失真因素包括信源的量化误差,信道传输错误而引起的失真,以及差错隐藏的增益优化的目的, 是在一定的码流速率和信道条件下,获得最小的端对端失真.实现这种联合优化, 需要获得每一最小编码单元在一定的码率分配方案和信道条件下的端对端的失真期望值, 我们将之定义为广义的率失真函数, 用D(rs , rc c)表示, 其中rs为信源编码的码率, 单位是比特/ 像素(bpp), rc 为信道编码的效率, c 为信道的状态矩阵, 它和所选的信道模型有关.例如,对于加性高斯白噪声(AWGN)信道,可以用一个的参数, 即信噪比Eb/ N0 来表征信道状态.本文中采用均方误差(MSE)来作为图像失真的度量, 其表达式为:其中M, N 为二维图像的大小, pn , m和 pn , m为发送和接收图像像素的灰度值.广义率失真函数D(rs , rc| c), 可由图像宏块丢失后经差错隐藏后的失真dL 和量化误差引起的失真dQ 加权得到, 如下式: D(rs , rc|c)=Pe(rs , rc|c)dL +(1-Pe(rs , rc|c))dQ(rs) 其中, Pe(rs , rc c)为宏块的丢失概率, 它和信源信道的码率分配rs , rc , 以及信道编码的性能有关.式(2)表明, 在相同的信道和信道编码条件下, 决定广义率失真特性的参数为dQ(rs)和dL .由于量化电平是离散的, 所以dQ(rs)是一组离散的点;同时我们可以认为dL 是信源编码的码率为0, 但经过差错隐藏之后的失真.进一步, 我们构造由归一化后的不同量化电平下的失真和码率组成的特征矢量: Vdr = ( d 0 , rs0),( d 1 , rs1), … ,( dN , rsN)」其中:di =di/ dmax , rsN=rsi/ rs max , i =0, 1 , … , Ndmax和rsmax为所允许的最大失真和最大的信源编码速率则两矢量之间的度量可定义为:dr -d(Vdr , V′dr)=‖ Vdr -V′dr ‖= ΣN(( di - d′i)2+( rsi - r′Si)2) 1/2根据上式所定义的广义率失真函数和其特征矢量, 就可以获得对最小视频编码单元的信源编码、信道编码和差错隐藏率失真特性的有效描述, 从而可以利用它来进行码率分配优化, 以获得最小的端对端失真。
2.2 信源编码、信道编码和差错隐藏的联合优化算法.为降低运算复杂度, 可以在优化前将具有相同广义率失真特性的图像宏块合并, 从而使得优化单元的数目控制在可接受的范围之内.假设合并后的区域控制在N0 以内, 则合并算法如下:(1)设定dr-d门限值T 的初始值为T0 .(2)选取一尚未合并的宏块bi , 并将之合并到新的区域Rl .如果所有宏块均已合并, 转入(4).(3)对于尚未合并的宏块bj , 其率失真矢量为V′dr , 如果对区域Rl 中的任何一个宏块bi , 都满足:dr-d(Vdr , V′dr)<T (7)则将宏块bj 归为区域Rl .其中Vdr为bi 的率失真矢量.否则, 转(2).(4)如果合并后的区域数目N >N0 , 则将T 增加ΔT, 转入式(2)重新开始.采用以上算法, 每帧图像被分割为若干区域, 而属于同一区域的图像宏块具有相近的广义率失真特性, 从而可以采用针对整个图像序列的码率优化分配可以分解为两步.首先是对所有的区域, 在给定的总码率下, 获得其最佳的码率分配方案:其中Kl 为该区域中MDU 的数目, rs , l , rc, l 满足:rs , l/ rc , l =rs +c , lrs +c , l是分配给该区域每一MDU 的总码率.然后将总码率在图像的各区域上进行优化分配,总码率满足:其中rs+c为信道可以传输的总码率, K 为总的最小编码单元的数目。
针对无线视频序列的有效和可靠传输, 本文提出了一种基于广义率失真函数的信源编码, 信道编码和差错隐藏的联合优化算法.仿真结果表明, 由于这种广义率失真函数综合反映了图像每一区域对量化电平和信道误码的失真敏感程度,因此它可以比传统的以整幅图像或以整个图像序列来进行码率联合优化的方法取得更好的效果，对通信系统的收、发联合优化有着非常重要的作用。
3 香农三大定理3.1 香农第一定理设离散无记忆信源X包含N个符号{x1,x2,…,xi,..,xN}，信源发出K重符号序列，则此信源可发出N^k个不同的符号序列消息，其中第j个符号序列消息的出现概率为PKj，其信源编码后所得的二进制代码组长度为Bj，代码组的平均长度B为B=PK1B1+PK2B2+…+PN^kBN^k当K趋于无限大时，B和H(X)之间的关系为B/K=H(X)(K趋近无穷）香农第一定理又称为无失真信源编码定理或变长码信源编码定理。
香农第一定理的意义：将原始信源符号转化为新的码符号，使码符号尽量服从等概分布，从而每个码符号所携带的信息量达到最大，进而可以用尽量少的码符号传输信源信息。
3.2香农第二定理有噪信道编码定理。
当信道的信息传输率不超过信道容量时，采用合适的信道编码方法可以实现任意高的传输可靠性，但若信息传输率超过了信道容量，就不可能实现可靠的传输。
设某信道有r个输入符号，s个输出符号，信道容量为C，当信道的信息传输率R<C，码长N足够长时，总可以在输入的集合中(含有r^N个长度为N的码符号序列)，找到M （(M<=2^(N(C-a)))，a为任意小的正数)个码字，分别代表M个等可能性的消息，组成一个码以及相应的译码规则,使信道输出端的最小平均错误译码概率Pmin达到任意小。
公式：注：B为信道带宽；S/N为信噪比，通常用分贝（dB）表示。
3.3 香农第三定理保真度准则下的信源编码定理，或称有损信源编码定理。
只要码长足够长，总可以找到一种信源编码，使编码后的信息传输率略大于率失真函数，而码的平均失真度不大于给定的允许失真度，即D'<=D。
设R(D)为一离散无记忆信源的信息率失真函数，并且选定有限的失真函数，对于任意允许平均失真度D>=0，和任意小的a>0，以及任意足够长的码长N，则一定存在一种信源编码W，其码字个数为M<=EXP{N[R(D)+a]}，而编码后码的平均失真度D'(W)<=D+a。
3.4 香农三大定理的内在联系对于信源来说，都希望把所有的信息毫无保留地传送到接收端，即实现无失真传送。
要做到无失真传送，就要求信源消息与码序列一一对应，即每个信源消息可以译成唯一的一个码字。
只要码字传输的信息大于信源携带的信息量，总可实现几乎无失真编码。
无失真编码定理实现在信源处对需要发送的信息进行处理，以使信息能够在信道较好的传输。
对于信道来说，信道容量是一个临界值，只要信息传输率不超过这个值，信道传输就几乎不会产生失真。
若有一离散无记忆平稳信道，其容量为C，输入序列长度为L，只要待传送的信息率B<C,总可以找到一种编码，当L足够长时，译码差错概率Pe小于任意大于0的正数。
由此可知，信道编码的作用是保证信息在信道的可靠传输。
保真度准则下的信源编码定理，或称有损信源编码定理。
只要码长足够长，总可以找到一种信源编码，使编码后的信息传输率略大于率失真函数，而码的平均失真度不大于给定的允许失真度。
香农三大定律虽然都是理想编码方式，但三者结合起来就构成了现代信息论的基础理论，三大理论之间相辅相成，相互联系，为现代通信数字理论的发展做出了巨大的贡献。
结束语随着现代数字通信的发展，对通信系统的要求越来越高。
如何高质量的传送信息是人们研究的主要问题，香农三大定理是其主要理论支撑。
正如本文所提到的，信源编码、信道编码和差错隐藏的联合优化算法为人们提供的新颖的想法，把信源编码和信道编码结合起来实现通信系统的收发最优化！由此可见，香农三大定理在通信中发挥着重要的作用参考文献：[1] J Hagenauer.Rate-compatible punctured convolutional codes (RCPC)and their appli cations [ J] .IEEE Trans .Commun ., 1988 , 36(4):389-400 .[2] M Bystrom , et bined source-channel coding schemes for videotransmi ssion over an additive white Gaussian noise channel [ J] .IEEE J .Select .Areas Commun ., 1998 ,18(6):332 -337 .[3] 陈运信息论与编码（第2版）.北京：电子工业出版社，2007.9[4] 唐焕文，秦学志.实用最优化方法[M].大连：大连理工大学出版社，2007,3。