1.信息论简介
数学中的信息论
数学中的信息论信息论是一门研究信息传输、读取和处理的学科。
在信息论中，我们探究了信息的各种属性，比如传送速度、处理方法、容量等等。
在数学中，信息论主要涉及概率论、统计学和算法复杂度理论等深度数学学科。
今天，我们将深入探讨数学中的信息论。
信息的基本单位在信息论中，我们通常将信息看做一个概念，但在数学中，我们需要将其分成单个基本单位进行分析。
在信息论中，信息的基本单位是一个二进制比特，例如：0和1。
比特是一种信息的度量单位，表示信息的最基础的状态。
在信息的处理中，我们通常使用字节和千字节，以衡量信息的大小。
字节是由8个二进制比特组成的基本单位，而千字节则是1024个字节。
通过这种识别单位的方式，我们可以方便地分析存储、传送和处理数字信息。
信息的压缩信息的压缩是在占用空间最小的情况下去降低信息存储量的一种方法。
压缩信息的核心是去掉重复信息，例如文字中存在重复的单词，将其压缩成一个单词即可。
在数学中，设计了多种算法，如哈夫曼编码，进行信息的压缩。
哈夫曼编码是一种可变长度编码（VLC）技术，通过使用更短的位数来代表更高频率的值。
这种算法的核心就是将高频率的值与较短的比特组合，而低频率的值则与较长的比特组合。
通过这种方式，我们可以将数据压缩到最小，并在存储和传输时节省时间和空间。
信息的熵在信息论中，熵被定义为信息的随机性度量。
这种随机性度量在数学中通常是以概率的形式展现出来。
例如，如果在一个布尔系统中，熵为1，这意味着有50%的几率在任意时刻看到一个零或一个一。
当熵的值越高，信息中包含着越多的随机性。
在信息理论中，熵是对一个随机事件的确定性度量，高熵的事件比低熵事件要更加随机和不可预测。
在信息论中, 我们通过增加信息的随机性和不确定性来增加熵的值，反之则减少熵的值。
信息的传输在信息的传输中，我们希望以最快的速度将最多的信息发送到目标区域。
当涉及到传输信息时，我们需要分析数据的传输速度和传输中的误差率。
在信息传输中，我们使用多个技术，如校验和和纠错码，来处理传输的误差问题。
信息论重点 (新)
1．消息定义信息的通俗概念：消息就是信息,用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来，就成为消息，消息中包含信息，消息是信息的载体。
信号是表示消息的物理量，包括电信号、光信号等。
信号中携带着消息，信号是消息的载体。
信息的狭义概念（香农信息）:信息是对事物运动状态或存在方式的不确定性的描述。
信息的广义概念 信息是认识主体(人、生物、机器)所感受的和表达的事物运动的状态和运动状态变化的方式。
➢ 语法信息(语法信息是指信息存在和运动的状态与方式。
) ➢ 语义信息(语义信息是指信宿接收和理解的信息的内容。
) ➢ 语用信息(语用信息是指信息内容对信宿的有用性。
)2．狭义信息论、广义信息论。
狭义信息论：信息论是在信息可以量度的基础上，对如何有效，可靠地传递信息进行研究的科学。
它涉及信息量度，信息特性，信息传输速率，信道容量，干扰对信息传输的影响等方面的知识。
广义信息论：信息是物质的普遍属性，所谓物质系统的信息是指它所属的物理系统在同一切其他物质系统全面相互作用（或联系）过程中，以质、能和波动的形式所呈现的结构、状态和历史。
包含通信的全部统计问题的研究，除了香农信息论之外，还包括信号设计，噪声理论，信号的检测与估值等。
3.自信息 互信息 定义 性质及物理意义 自信息量： ()log ()i x i I x P x =-是无量纲的，一般根据对数的底来定义单位：当对数底为2时，自信息量的单位为比特；对数底为e 时，其单位为奈特；对数底为10时，其单位为哈特自信息量性质：I(x i )是随机量；I(x i )是非负值；I(x i )是P(x i )的单调递减函数。
自信息物理意义: 1.事件发生前描述该事件发生的不确定性的大小 2.事件发生后表示该事件所含有（提供）的信息量 互信息量:互信息量的性质：1) 互信息的对称性2) 互信息可为零3) 互信息可为正值或负值4) 任何两个事件之间的互信息不可能大于其中任一事件的自信息互信息物理意义: 1.表示事件 yj 出现前后关于事件xi 的不确定性减少的量 2.事件 yj 出现以后信宿获得的关于事件 xi 的信息量4.平均自信息性质 平均互信息性质平均自信息（信息熵/信源熵/香农熵/无条件熵/熵函数/熵）：(;)()(|)i j i i j I x y I x I x y =-log ()log (|)(1,2,,;1,2,,)i i jp x p x y i n j m =-+=⋯=⋯(|)log ()i j i p x y p x =1()[()][log ()]()log ()ni i i i i H X E I x E p x p x p x ===-=-∑熵函数的数学特性包括:(1)对称性 p =(p1p2…pn)各分量次序可调换 (2)确定性p 中只要有为1的分量，H(p )为0(3)非负性离散信源的熵满足非负性，而连续信源的熵可能为负。
信息论
此外，在医学、生物学、生理学、心 理学、神经学、语言学、社会学等方面 也有广泛的应用。在医学上，人们利用 声波成像技术制成各种超声检验和诊断 仪器，例如B超，通过计算机进行图像处 理，再使用图像存储和显示方法，我们 不仅可以清晰地看到人体的内脏器官， 还可以看到只有几十天的母体内胎儿的 发育情况，图像清晰，层次分明。
(2)一般信息论：也称工程信息论。 主要也是研究信息传输和处理问题， 除香农信息论的内容外，还包括噪 声理论、信号滤波和预测、统计检 测和估计、调制理论、信息处理理 论以及保密理论等。
(3)广义信息论：也称信息科学， 不仅包括上述两方面的内容，而且 包括所有与信息有关的自然和社会 科学领域，如模式识别、机器翻译、 心理学、遗传学、神经生理学、语 言学、语义学，甚至包括社会学中 有关信息的问题。 本课程主要研究香农信息论的内 容。
(3)信道：信息传递的通道，连接编码器与译码 器的媒介，承担信息的传输和存储的任务，是构 成通信系统的主要部分。实际的信道有电缆、波 导、光纤等。由于干扰和噪声具有随机性，信道 用输入和输出之间的条件概率分布来描述。
• (4)译码器：将信道输出的信号 与噪声接收下来还原为原来的 消息，是对迭加了干扰的编码 信号反变换，分为信源译码器 和信道译码器两种。 (5)信宿：通信的目的地，消息 传递的对象。
信道 编码器
信道 接收码
信宿
消息Βιβλιοθήκη 信源 编码器 码
信道 译码器
Markov模型
• 在生物和社会生活方面更为合适，其特点 是，连接部件是输入码和输出码的处理点。
第三节 信息论与其他领域的关系及 应用
• 信息论与其他学科之间的关系可 用下图概括
特别地，信息论在通信系统中有 如下的应用： (1)无失真信源编码的应用：计算机 文件的压缩； (2)有噪信道编码的应用：模拟话路 中数据传输速率的提高; (3)限失真信源编码的应用：语音信 号压缩。
第一章信息论基础介绍
信号滤波 预测理论
调制 理论
香农 信息论
噪声 理论
统计检测 估计理论
虽然维纳和香农等人都是运用概 率和统计数学的方法研究准确或近似 再现消息的问题，都是通信系统的最 优化问题。但他们之间有一个重要的
区别。
发送
接收
维纳研究的重点是在接收端。研究 消息在传输过程中受到干扰时，在接收 端如何把消息从干扰中提取出来，并建 立了最佳过滤理论（维纳滤波器）、统 计检测与估计理论、噪声理论等。
• 编码目的——提高系统对某一方面的要求 优化系统某一方面的性能指标
课程介绍(续)
• 通信系统主要性能指标——有效性
可靠性
安全性 • 编码分类——
信源编码——提高通信系统的有效性 信道编码——提高通信系统的可靠性
保密编码——保证通信系统的安全性
• 研究——信息的度量(信源熵)、信道容量、信息 率失真函数（香农三定理）、密码学
虚假
不定
6 按照信息的传递方向 前馈 反馈
7 按照信息的生成领域 宇宙
自然 社会 思维
8 按照信息的应用部门
工 农 军 政 科 文 经 市 管 业 业 事 治 技 化 济 场 理
9 按照信息的来源
语 声 图 象 文 字 数 据 计 算
10 按照信息载体的性质
电 磁 语 声 图 象 文 字 光 学 生 物
1
香农信息论
无失真信源 编码定理
信 源 熵
香农信息论
信 道 编 码 密 码 信 源 编 码
1.4 编码理论的发展
1.4.1 无失真信源编码
• 1948年，香农发表“通信的数学理论”，标志着信息论的正 式诞生 • C.E.Shannon, A Mathematical Theory of communication, • Bell System Tech.J, vol.27, PP 379-423, July 1948 • 在前人工作基础上，用概率统计方法研究通信系统 • 揭示：通信系统传递的对象——信息 • 提出：信息熵、信息量 • 指出：通信系统的中心问题—— 噪声背景下如何有效、可靠地传递信息 实现的主要方法——编码 • 提出了无失真信源编码定理、信道编码定理
信息论名词解释(一)
信息论名词解释(一)
信息论相关名词
信息论
•信息论是由克劳德·香农在1948年提出的一门研究信息传输和数据压缩的科学理论。
信息
•信息是用于传递或表示事物的数据，可以是文字、图像、声音等形式的内容。
信源
•信源是指信息产生的来源，可以是人、机器或自然现象等。
码字
•码字是将信息通过编码方式转换为字符或数字的过程。
信道
•信道是信息传输的通道，可以是无线信道、光纤等。
噪声
•噪声是指信道中无意传入的、干扰正常通信的信号。
信号
•信号是将信息在信道中传输的方式，可以是电信号、光信号等。
熵
•熵是信息论中衡量信息的不确定性的度量单位，表示信息的平均信息量。
信息熵
•信息熵是衡量信息源中信息平均量的度量指标，熵值越高，信息越不确定。
信息压缩
•信息压缩是通过使用更少的数据来表示原始信息的过程，减少存储和传输的成本。
码率
•码率是指每秒传输的比特数，用于衡量信息传输的速率。
误码率
•误码率是指在信息传输过程中，传输错误的比特数与总传输比特数之比。
纠错编码
•纠错编码是一种技术，用于在信息传输过程中检测和纠正传输中的错误。
奈奎斯特准则
•奈奎斯特准则是用于确定信号最高可靠传输速率的准则，取样频率应该是信号带宽的两倍。
香农定理
•香农定理描述了在有噪声的信道中，信息传输的极限容量。
噪声比
•噪声比是指信号与噪声功率之比，用于衡量信号与噪声的强度比。
以上是关于信息论的一些常用名词，通过这些名词可以更好地理
解和研究信息的传输和压缩。
信息论知识点总结
信息论知识点总结信息论是一门研究信息传递和处理的科学，主要涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。
以下是信息论的一些重要知识点：1. 信息量度：信息量是对信息的度量，用于衡量信息的多少。
信息的大小与随机事件的概率有关，熵是衡量随机变量分布的混乱程度，即随机分布各事件发生的信息量的期望值。
2. 信道容量：信道容量是描述信道传输信息能力的指标，表示信道在每秒内所能传输的最大信息量。
对于有噪声的信道，需要通过编码技术来达到信道容量。
3. 条件熵：条件熵是在给定某个条件下的熵，用于衡量在已知某个条件的情况下，随机变量的不确定性。
4. 相对熵（KL散度）：相对熵是衡量两个概率分布之间的差异，也称为KL 散度。
如果两个分布相同，相对熵为0。
5. 信息传输速率：信息传输速率是指单位时间内传输的信息量，是评价通信系统性能的重要参数。
6. 干扰对信息传输的影响：在信息传输过程中，各种干扰因素会对信息传输产生影响，如噪声、失真、衰减等。
为了提高信息传输的可靠性和有效性，需要采取抗干扰措施。
7. 信息压缩：信息压缩是减少数据存储空间和提高数据传输效率的一种技术。
常见的压缩算法有Huffman编码、LZ77、LZ78等。
8. 纠错编码：纠错编码是一种用于检测和纠正错误的技术，广泛应用于通信和存储领域。
常见的纠错编码有奇偶校验、CRC等。
9. 加密编码：加密编码是一种保护信息安全的技术，通过对数据进行加密处理，防止未经授权的访问和泄露。
常见的加密编码有AES、RSA等。
以上是信息论的一些重要知识点，希望对您有所帮助。
《信息论》(电子科大)第1章 概论
信息论导论
通信与信息工程学院 陈伟建
电子科技大学
第1章 概论
什么是信息(information)? 什么是信息(information)? 什么是信息论(information 什么是信息论(information theory, informatics)? informatics)? 什么是信息科学(information science)? 什么是信息科学(information science)?
三,信息科学及其研究内容
电子科技大学
1,信息科学的概念 一般认为,信息科学是研究信息的度量, 一般认为,信息科学是研究信息的度量, 获取,传递,存储, 获取,传递,存储,处理和施用的技术 科学. 科学. 进一步, 进一步,可以从信息科学的研究对象和 研究内容两个方面来理解信息科学的概 念.
①信息科学以信息为研究对象 维纳曾指出:信息既不是物质, 维纳曾指出:信息既不是物质,也不是 能量,信息就是信息. 能量,信息就是信息. 维纳揭示了信息具有与物质 了信息具有与物质, 维纳揭示了信息具有与物质,能量不同 的属性. 的属性. 辞海》对信息的解释中也明确提出: 《辞海》对信息的解释中也明确提出: 信息, 信息,物质和能量被称为系统的三大要 素.
从通信的实质意义来讲,如果信宿收到 从通信的实质意义来讲, 的消息是已知的, 的消息是已知的,则等于没有收到任何 消息. 消息. 因此, 因此,人们更感兴趣的是消息中所包含 的未知成分,用概率论的术语来讲, 的未知成分,用概率论的术语来讲,就 是具有不确定性的成分, 是具有不确定性的成分,香农将该成分 称为信息,并进行了数量描述. 称为信息,并进行了数量描述. 三者的关系:通信系统传输的是信号, 三者的关系:通信系统传输的是信号, 信号承载着消息, 信号承载着消息,消息中的不确定成分 是信息. 是信息.
信息论
论信息论与编码信息论是信息科学的主要理论基础之一，它是在长期通信工程实践和理论基础上发展起来的。
信息论是应用概率论、随机过程和数理统计和近代代数等方法，来研究信息的存储、传输和处理中一般规律的学科。
它的主要目的是提高通信系统的可靠性、有效性和安全性，以便达到系统的最优化。
编码理论与信息论紧密关联，它以信息论基本原理为理论依据，研究编码和译码的理论知识和实现方法。
由于信息论方法具有相当普遍的意义和价值，因此在计算机科学、人工智能、语言学、基因工程、神经解剖学甚至金融投资学等众多领域都有广泛的应用，信息论促进了这些学科领域的发展，同时也促进了整个社会经济的发展。
人们已经开始利用信息论的方法来探索系统的存在方式和运动变化的规律，信息论已经成为认识世界和改造世界的手段，因此信息论对哲学领域也有深远的影响。
编码和译码的理论知识和实现方法。
由于信息论方法具有相当普遍的意义和价值，因此在计算机科学、人工智能、语言学、基因工程、神经解剖学甚至金融投资学等众多领域都有广泛的应用，信息论促进了这些学科领域的发展，同时也促进了整个社会经济的发展。
人们已经开始利用信息论的方法来探索系统的存在方式和运动变化的规律，信息论已经成为认识世界和改造世界的手段，因此信息论对哲学领域也有深远的影响。
信息论是应用概率论、随机过程和数理统计和近代代数等方法，来研究信息的存储、传输和处理中一般规律的学科。
它的主要目的是提高通信系统的可靠性、有效性和安全性，以便达到系统的最优化。
关于信息论的基本理论体系，1948年，香农在贝尔系统技术杂志上发表“通信的数学理论”。
在文中，他用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。
香农理论的核心是：揭示了在通信系统中采用适当的编码后能够实现高效率和高可靠地传输信息，并得出了信源编码定理和信道编码定理。
然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为寻找最佳通信系统提供了重要的理论依据。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息论基础赵春明chmzhao@yahoo. cn参考书1．信息论—基础理论与应用，傅祖芸编，电子工业出版社2．应用信息论基础，朱雪龙编，清华大学出版社3. Thomas M. Cover, Joya. Thomas “Elements of Information Theory”4. Raymond W. Yeung Information Theory andNetwork Coding第一章信息论简介什么是信息?科学名词：统计数学、通信技术–用严格的数学公式定义的科学名词，它与内容无关，而且不随信息具体表现形式的变化而变化，因而也独立于形式。
情报、知识、消息计算机处理中的数据、文字广义信息：技术术语：–是事物运动状态或存在方式不确定性的描述。
情报知识消息信息、消息和信号•信息–是事物运动状态或存在方式不确定性的描述。
•消息–是指包含有信息的语言、文字和图像等。
•信号–是消息的物理体现。
信息、物质、能量是系统的三大要素，信息不可定义。
信息的特征不确定性–不确定性，接收者在收到信息之前，对它的内容是不知道的；–信息能使认识主体对某一事物的未知性或不确定性减少；–信息是可以量度的不确定性度量【例】摸球试验甲袋共100个球，红球白球各50个；乙袋共100个球，红、白、蓝、黑球各25个；现随意从甲袋或乙袋中取出一球，并猜测取出球的颜色？事物出现某状态不确定性的大小，与该状态出现的概率大小有关【例】气象预报甲地：乙地：⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡4/1,4/1,4/1,4/1)(小雨大雨阴晴y p Y ⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/1,8/1,4/1,2/1)(小雨大雨阴晴x p X 事物出现某状态不确定性的大小，与该状态出现的概率大小有关不确定性度量概率空间•样本空间–信源所有可能发送的消息符号•先验概率p (x i )–选择符号x i 作为发送消息的概率⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡)()()(2121n n x p x p x p x x x P X ""(())i f p x 不确定性大小(())f p x 不确定性大小信息定义应该满足以下3个条件(1)0f =(())f p x 是单调减函数独立可加性(()())(())(())f p x p y f p x f p y =+1. 2. 3.香农定义的信息的优缺点•优点–有明确的数学模型和定量计算公式–与日常用语中的信息含意一致–排除了对信息一词某些主观上的含意•局限性–没有考虑收信者的主观特性和主观意义–定义的出发点假定事物状态可以用一个概率模型来描述信息论研究的内容•狭义信息论（香农基本理论）–主要研究信息的测度、信道容量以及信源和信道编码理论等问题。
•一般信息论–除香农信息论，还包括噪声理论、信号滤波和预测、统计检测和估计等。
•广义信息论–不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、心理学等Claude Shannon (1916-2001)1916年生于美国密歇根州的加洛德镇，2001年在马萨诸塞州辞世，享年85岁。
阿尔茨海默症（退化性老年痴呆症）父亲是加洛德镇的法官，母亲是镇里中学校长，他生长在一个有良好教育的环境，不过父母给他的科学影响好像还不如祖父的影响大。
香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械。
香农心目中的英雄是爱迪生，后来才知道他与爱迪生还有远亲关系。
Claude Shannon (1916-2001)1936年在密歇根大学获数学与电气工程学士学位。
1938年在MIT获得电气工程硕士学位，硕士论文题目是《A Symbolic Analysisof Relay and Switching Circuits》(继电器与开关电路的符号分析)。
他把布尔代数的真与假和电路系统的开与关对应起来,用布尔代数分析并优化开关电路，奠定了数字电路的理论基础。
哈佛大学的Gardner教授说“这可能是本世纪最重要、最著名的一篇硕士论文”。
1940年在MIT获数学博士学位，博士论文关于人类遗传学的，题目是《AnAlgebra for Theoretical Genetics》(理论遗传学的代数学)。
Claude Shannon (1916-2001)就职于贝尔电话研究所，他受着前辈的工作的启示, 在信息论的领域中钻研了8年之久，终于在1948年也在《贝尔系统技术杂志》上发表了244页的长篇论著《通信的数学理论》,次年,他又在同一杂志上发表了另一篇名著《噪声下的通信》，这两篇文章成了信息论的奠基著作。
在这两篇论文中，香农解决了过去许多悬而未决的问题：阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。
两篇论文成为了信息论的基础性理论著作。
那时，他才不过刚刚三十出头。
Claude Shannon (1916-2001)Shannon 所给出的编码定理的证明是非构造性的，所给出的证明也不够严格，但“他的数学直观出奇地正确”(A. N. Kolmogrov ，1963)，他是“最近几十年最伟大的工程师之一，同时是最伟大的数学家之一。
”经过无数科技工作者50年来的努力奋斗，人们不仅在数学上已严格地证明了Shannon 编码定理，而且发现了各种具体可构造的有效编码理论和方法，可以实现Shannon 指出的极限。
文章曾遭受到数学家的抨击，责难Shannon的一些结果未经证明，在数学上不严格，靠不大住。
Shannon 对此评论说，“我不喜欢他的评论，他并未仔细看这篇文章。
我确信我是正确的，我清楚地知道我所做的。
”Claude Shannon (1916-2001)为了表彰Shannon的伟大功绩，IEEEInformation Society的25名成员于2000年10月6日在儿童时代的老家Gaylord镇举行了Shannon塑像的落成典礼。
著名信息论和编码学者Dr. RichardBlahut在Shannon塑像的落成典礼时的题词说：“在我看来，两三百年之后，当人们回过头来看我们这个时代的时候，他们可能不会记得谁曾是美国的总统。
他们也不会记得谁曾是影星或摇滚歌星。
但是仍然会知晓Shannon的名字。
学校里仍然会讲授信息论。
”Claude Shannon (1916-2001)他的同事D. Slepian写到：“我们大家都带着午饭来上班，饭后在黑板上玩玩数学游戏，但克劳德很少过来。
他总是白天关起门来工作，晚上则骑着他的独轮车来到贝尔实验室。
但是，如果你要找他，他会非常耐心地帮助你。
他能立刻抓住问题的本质。
他真是一位天才，在我认识的人中，我只对他一人使用这个词。
”Shannon的大师风范1.兴趣驱动，淡漠名利自述道：“我总是受我的兴趣驱动，不大关心其经济价值或对于世界的价值。
”2.探索股市，变得富有思索股票价格起伏的规律性和信息论应用于投资的可能性。
在投资股票方面很成功，并变得富有。
3.心灵手巧，善制机器制作计算器Throbac和玩六连棋的机器Hex。
研究计算机下棋、老鼠走迷宫、杂技演员最多能控制多少个球，要抛多高才行？机器解魔方问题以及用计算机研究和进行股票投资等。
4.酷爱杂技，乐在其中曾制作杂耍机，成为杂耍机器人的先驱。
信息论的形成1924年奈奎斯特“影响电报速率的一些因素”－信息速率与信道带宽成正比1928年哈特莱“信息的传输”－给出了信息度量方法1936年阿姆斯特朗－增大带宽可以提高抗干扰能力1948年Shannon “通信的数学理论”－用概率论的方法研究通信系统，是现代信息论开创性的权威论文无失真信源编码发展–1948年香农提出了无失真信源定理，给出了简单的编码方法(香农编码)–1952年Fano码，Huffman码–1968年埃利斯(P．Elias)提出了算术编码的初步思路; 1976 Rissanen给出和发展了算术编码1982年他和兰登(G．G．Langdon)一起将算术编码系统实现化–1977,1978年Ziv和Lempel的LZ通用信源编算法率失真信源编码发展–1959年，Shannon提出率失真函数和率失真信源编码定理–1971年，伯格尔(T．Berger)给出更一般信源的率失真编码定理–率失真信源编码理论是信源编码的核心问题，是频带压缩、数据压缩的理论基础–目前，已提出多种限失真编码方案如音频、视频:MPEG,JEPG等信道编码发展–1950年汉明码–1960年卷积码的概率译码，Viterbi译码–1982年Ungerboeck编码调制技术–1993年Turbo编译码技术–目前，已构造出性能接近香农限的好码，如Turbo(PCC,SCC,TPC,LDPC) 码密码学–香农在1949年发表的“保密通信的信息理论”论文中，首先用信息论的观点对信息保密问题作了全面的论述。
–1976年迪弗(Diffe)和海尔曼(Hellman)发表了“密码学的新方向”一文，提出了公开密钥密码体制，保密通信问题才得到广泛研究。
–人们把初等数论、近世代数等引入保密问题的研究，已形成了独树一帜的分支——密码学理论。
–安全服务：认证性机密性不可否认性数据完整性访问控制可用性可信性信任与信誉•定义1. 信任( trust )是一种建立在已有知识上的主观判断,是主体A 根据所处的环境,对主体B 能够按照主体A 的意愿提供特定服务(或者执行特定动作)的度量.•定义2.信誉(reputation)是对节点已有服务的质量或特性的综合度量,反映节点履行其承诺服务的水平及网络中其它节点对其信任程度.目前信息论的主要研究成果语音信号压缩•长途电话网标准–1972年CCITT G.711标准中的64kbit/s，–1995年CCITT G. 723.1标准中的6.3kbit/s。
•移动通信中–1989年GSM标准中语音编码速率为13.2 kbit/s–1994年在为半码速GSM研究的VSELP编码算法中，码速率为5.6kbit/s•目前在实验室中已实现600bit/s的低速率语音编码，特别是按音素识别与合成原理构造的声码器其速率可低于100bit/s，已接近信息论指出的极限。
•图像信号压缩•1989年CCITT提出电视电话/会议电视的压缩标准H.261,其压缩比达到25:1到48:1左右•1991年CCITT与ISO联合提出的“多灰度静止图像压缩编码”标准JPEG,其压缩比为24:1•在运动图像方面,运动图像专家组继成功定义了MPEG-1和MPEG-2之后,于1993年7月开始制订全新的MPEG-4标准。
随着MPEG-4标准的不断扩展,它不但能支持码率低于64kbit/s的多媒体通信,也能支持广播级的视频。