信息论与编码原理期末大总结
15
课程回顾
信息论与编码原理 ,2012
4.扩展性
0
limHq1 p1 , p2 ,pq , Hq p1 , p2 ,, pq
5.强可加性
H ( XY ) H ( X , Y ) H ( X ) H (Y | X )
19
课程回顾
信息论与编码原理 ,2012
各种熵之间的关系
H X , Y H X H Y|X
相互独立
H X , Y H Y H X|Y
H X , Y H X H Y
H X N |X 1 X 2 X N 1
石东新 中国传媒大学 信息工程学院 广播电视工程系
13
课程回顾
信息论与编码原理 ,2012
第3次课 内容：“第二章 信息的度量2”
1. 对称性 2. 非负性 3. 确定性 4. 扩展性 5. 可加性 6. 极值性 7. 上凸性
石东新 中国传媒大学 信息工程学院 广播电视工程系
14
课程回顾
信息论与编码原理 ,2012
联合自信息 条件自信息
I xi y j log p xi y j
I xi | y j log p xi | y j
I ( xi y j ) I ( xi ) I ( y j | xi ) I ( y j ) I ( xi | y j )
石东新 中国传媒大学 信息工程学院 广播电视工程系
p(xi )H(Y | xi ) H(Y | X) i
H ( XY ) E I xi y j
p x y I x y p x y log p x y
i j i j
i j i j
XY
XY
p x y I y | x p xi y j log p y j | xi H (Y | X ) E I y j | xi i j j i
n
ln x x 1
n
H ( p1 , p 2 ,... p n ) pi log pi pi log qi
i 1 i 1
石东新 中国传媒大学 信息工程学院 广播电视工程系
17
课程回顾
信息论与编码原理 ,2012
H ( p1 , p2 ,..., pn ) 是概率分布 ( p1 , p2 ,..., pn ) 的严格上凸函数，即
1.对称性
H p1 , p2 , pq H p2 , p1 , pq H pq , p1 , pq 1
2.非负性
H P H p1, p2 ,, pq 0
3.确定性
H 1,0 H 1,0,0 H 1,0,,0 0
1 1/4 1/18 0 2 1/18 1/3 1/18 3 0 1/18 7/36
9
ai
2 3
石东新 中国传媒大学 信息工程学院 广播电视工程系
课程回顾
信息论与编码原理 ,2012
第2次课 内容：“第二章 信息的度量1”
自信息：随机事件发生概率的对数的负值
1 I xi log p xi log p xi
互信息有两方面的含义
-表示事件 yj 出现前后关于事件xi 的不确定性减少的 量 -事件 yj 出现以后信宿获得的关于事件 xi的信息量
1 1 I ( xi ; y j ) log log I ( y j ) I ( y j | xi ) p( xi ) p ( xi | y j )
信道 信宿
信源译码 信道译码 解调器
干 扰 源
石东新 中国传媒大学 信息工程学院 广播电视工程系
3
课程回顾
信息论与编码原理 ,2012
信息论的研究内容
1、什么是信息？如何 度量信息？ 2、信源的输出中含有 多少信息？ 3、传输信息的最高速率 （信道容量）
6、有噪信道编码 4、无失真信源编码 5、限失真信源编码
石东新 中国传媒大学 信息工程学院 广播电视工程系
4
课程回顾
信息论与编码原理 ,2012
信息论的形成与发展 概率论知识的回顾
• 全概率公式（求边缘概率)
p ( y j ) p ( xi ) p ( y j | xi ) p ( xi y j )
p( xi ) p( y j ) p( xi | y j )
p(y1) p(xi )p(y1 | xi ) p(x1) p( y1 | x1) p(x2 ) p(y1 | x2 )
1/ 4 1/ 2 3 / 4 0 1/ 8
i1
PX 1/ 4 3 / 4
PX p ( x1 ) p ( x2 ) 12
1/2 1/2 0 P Y| X 0 1/3 2/3
11
课程回顾
信息论与编码原理 ,2012
平均自信息
H X E I xi p xi I ( xi ) p xi log p xi
i 1
i 1
q
q
自信息与信息熵不同
自信息 单个样本 随机事件 个体
信息熵 整个信源 随机变量 总体特性
H X 1 X 2 X N H X 1 H X 2|X 1
H X 1 X 2 X N NH X
石东新 中国传媒大学 信息工程学院 广播电视工程系
独立同分布
20
课程回顾
信息论与编码原理 ,2012
各种熵之间的关系
H X|Y H X
自信息量的单位与所用对数的底有关
log X lg x / lg 2 lg x *log10 3.322 lg x
石东新 中国传媒大学 信息工程学院 广播电视工程系
10
课程回顾
信息论与编码原理 ,2012
自信息物理意义 • 事件发生前
– 描述该事件发生的不确定性的大小
• 事件发生后
– 表示该事件所含有（提供）的信息量
p ( xi ) 先验概率
p( x ) p( y
i 1 i
n
j
| xi )
p ( xi | y j ) 后验概率
• 其它常用概率关系:
p( x | y ) 1
i 1 i j
石东新 中国传媒大学 信息工程学院 广播电视工程系
n
p( y
j 1
m
j
| xi ) 1
6
y1 y2 y3 P 11/2 1/2 0 Y| X x x2 0 1/3 2/3
j 1
n
n
i 1 m
i 1
石东新 中国传媒大学 信息工程学院 广播电视工程系
5
课程回顾
信息论与编码原理 ,2012
预备知识 – 联合概率和条件概率
• 贝叶斯(Bayes)公式:
p ( xi | y j ) p ( xi y j ) p( y j )
p ( xi ) p ( y j | xi )
H (p) (1 ) H (p ') H (1 ) ' p p
7.极值性 •最大离散熵定理
1 1 1 H ( p1 , p2 ,..., pn ) H ( , ,..., ) log n n n n
石东新 中国传媒大学 信息工程学院 广播电视工程系
p(y1 | x1) p(y2 | x1) p(y3 | x1) P YX | p(y1 | x2) p(y2 | x2) p(y3 | x2)23
PX p ( x1 ) p ( x2 ) 12
PX 1/ 4 3 / 4
P XP Y| X p ( x1 ) p ( y1 | x1 ) p ( x2 ) p ( y1 | x2 )
18
课程回顾
信息论与编码原理 ,2012
第4次课 内容：“第二章 信息的度量3”
熵函数的极值性
1 1 1 H ( p1 , p2 ,..., pn ) H ( , ,..., ) log n n n n
H(X) [ plog p (1 p)log(1 p)]
石东新 中国传媒大学 信息工程学院 广播电视工程系
课程回顾
信息论与编码原理 ,2012
信息论与编码原理 ----课程回顾
石东新 中国传媒大学 信息工程学院 广播电视工程系
1
课程回顾
信息论与编码原理 ,2012
第1次课 内容：“第一章 绪论”
什么是信息？ 消息：能被人的感觉器官所感知。 信号：适合信道传输的物理量。 信息：是事物运动状态或存在方式下不确定 性的描述
12
石东新 中国传媒大学 信息工程学院 广播电视工程系
课程回顾
信息论与编码原理 ,2012
信息熵物理意义 • • • • 信源输出前，信源的平均不确定性； 平均不确定性 信源输出后，每个符号给出的平均信息量； 平均信息量 表征变量X随机性的大小。 随机性 表征变量X的最小描述复杂度。 最小描述复杂度
p(y1 | x1) p(y2 | x1) p(y3 | x1) P | YX | ) ( | ) ( | ) p ( y x p y x p y x 2 2 3 2 23 1 2
p ( x y ) 1 1 P XY p( x y ) 2 1
p ( x1 ) p ( y1 | x1 ) p ( x2 ) p ( y1 | x2 )
XY
XY
石东新 中国传媒大学 信息工程学院 广播电视工程系
《信息论与编码》结课总结
三、内容：
1. 当代文明的三大科学支柱： （0.50）
材料科学、信息科学与能源科学。
2. 信息论发展的过程（1.50）
过程： 语言的产生 文字的产生 印刷术的发明 电报、电话的发明 计算机技术与通信技术的结合应用 且信息论研究对象是广义的通信系统。 要求：简单了解即可。 信息论的主要开创者（2.40） 香农、维纳
量。 定义式：
I (ai ; b j ) log
p ( ai b j ) p( a i )
(i 1,2, , n; j 1,2, , m) 三个含义： 含义一：
站在输出端的角度来看，两个不确定度之差，是不确定度被消除的部分，代 表已经确定的东西，实践是从 b j 得到的关于 ai 的信息量。 含义二： 站在输入端的角度来看，在输入端发出 ai 前、后，地输出端出现 b j 的不确定 度的差。 含义三：
6. 信源符号的自信息量的含义与计算（6.30）
定义： 信源发出符号所含的信息量叫做自信息量，简称为自信息。 表示： I (ai ) log 2 p (ai ) 提示：基本的计算如自信息量、熵等都要知道。
7. 信源符号间互信息量与平均互信息量的三个含义（7.25）
互信息量 定义： 我们定义 ai 的后验概率与先验概率比值的对数为 b j 对a i 的互信息量，也叫交互信息
22. Xn+1 循环码的生成多项式 g(x)与一致校验多项式 h(x)的关系， 对应生成矩阵和一致校验矩阵的生成，将消息利用生成矩阵生 成循环码（12.10）
8. 信源熵的三种物理含义及求解方法（12.25）
信源熵的定义：
三.信源熵
熵
条 件 熵
信 源 熵
联 合 熵
信源各个离散消息的自信息量的数学期望为信源的信源熵。
信息论与编码知识点总结
信息论与编码知识点总结信息论与编码随着计算机技术的发展，人类对信息的传输、存储、处理、交换和检索等的研究已经形成一门独立的学科，这门学科叫做信息论与编码。
我们来看一下信息论与编码知识点总结。
二、决定编码方式的三个主要因素1。
信源—信息的源头。
对于任何信息而言，它所包含的信息都是由原始信号的某些特征决定的。
2。
信道—信息的载体。
不同的信息必须有不同的载体。
3。
编码—信息的传递。
为了便于信息在信道中的传输和解码，就需要对信息进行编码。
三、信源编码（上） 1。
模拟信号编码这种编码方式是将信息序列变换为电信号序列的过程，它能以较小的代价完成信息传送的功能。
如录音机，就是一种典型的模拟信号编码。
2。
数字信号编码由0和1表示的数字信号叫做数字信号。
在现实生活中，数字信号处处可见，像电话号码、门牌号码、邮政编码等都是数字信号。
例如电话号码，如果它用“ 11111”作为开头，那么这串数字就叫做“ 11”位的二进制数字信号。
数字信号的基本元素是0和1，它们组成二进制数，其中每一个数码都是由两个或更多的比特构成的。
例如电话号码就是十一位的二进制数。
我们平常使用的编码方法有： A、首部-----表明发送者的一些特征，如发送者的单位、地址、性别、职务等等B、信源-----表明信息要发送的内容C、信道-----信息要通过的媒介D、信宿-----最后表明接受者的一些特征E、加密码----对信息进行加密保护F、均匀量化----对信息进行量化G、单边带----信号只在一边带宽被传输H、调制----将信息调制到信号载波的某一特定频率上I、检错----信息流中若发生差错，则输出重发请求消息，比如表达公式时，可写成“ H=k+m-p+x”其中H=“ X+m-P-k”+“ y+z-p-x”+“ 0-w-k-x”，这样通过不断积累，就会发现：用无限长字符可以表达任意长度的字符串；用不可再分割的字符串表达字符串，且各字符之间没有空格等等，这些都表明用无限长字符串表达字符串具有很大的优越性，它的许多优点是有限长字符串不能取代的。
信息论与编码期末复习篇
平均信息量。它不是指人们可以获得多少信息；而是指客观存在
多少信息，因而数学关系仅是平均不确定度的量。
而连续信源的相对熵，则是指相对平均不定度。
HC (X ) p(x) log p(x)dx
RX
课程复习大纲
➢ 熵函数的性质 （指离散熵）
1. 对称性： H ( p1, p2,K , pn ) H ( p2, p1, p3 K , pn ) 2. 非负性： H (X ) 0
r
C loga
a
Aj
j
迭代算法
连续信道
5
高斯信道:
C
1 2
log(1
Pwi
2 n
)
限时限频限功率 加性高斯白噪声信道
信道的容量
C L log(1 PS / N0 ) L log(1 PS ) WT log(1 PS )
2
2W 2 2
各种熵之间的关系
名称
无 条 件 熵
条 件 熵 条 件 熵 联 合 熵 交 互 熵
符号
H(X) H (Y )
H(X /Y) H (Y / X )
H(XY) H(YX)
I (X ;Y ) I (Y; X )
关系
H(X) H(X /Y) H(X /Y) I(X;Y)
H (X ) H (XY) H (Y / X )
图示
Y
X
Y
X
Y
X
Y
X
Y
X
Y
熵 、互信息
➢ 冗余度
R 1 H Hm
or R 1 Hm H0
理解两种冗余度的物理意义。
信息论与编码原理期末大总结
信息论与编码原理期末大总结信息论与编码原理是一门研究信息传输和存储的学科，它的研究对象是信息的度量、编码和解码，是现代通信和计算机科学的重要基础理论之一、本学期学习信息论与编码原理课程，我对信息的压缩、编码和传输有了更深入的了解。
首先，信息的度量是信息论与编码原理的核心概念之一、通过信息的度量，我们可以衡量信息的多少和质量。
常用的度量方法是信息熵，它描述的是一个随机变量的不确定度。
熵越大，表示不确定度越高，信息量越大。
通过计算信息熵，我们可以对信息进行评估和优化，为信息的编码和传输提供指导。
其次，信息的压缩是信息论与编码原理的重要研究方向之一、在信息论中，有两种常用的压缩方法：有损压缩和无损压缩。
有损压缩是通过舍弃一些信息的方式来减少数据的大小，例如在图像和音频压缩中，我们可以通过减少图像的像素点或者音频的采样率来实现压缩。
无损压缩则是通过编码的方式来减少数据的大小，例如哈夫曼编码和阿贝尔编码等。
了解了不同的压缩方法，可以帮助我们在实际应用中选择合适的压缩算法。
再次，编码是信息论与编码原理的重要概念之一、编码是将信息转换为特定的符号序列的过程，它是实现信息传输和存储的关键技术。
在编码中，最常用的编码方法是短编码和长编码。
短编码通过将常用的符号映射到短的编码序列，来实现信息的高效传输。
例如ASCII编码就是一种常用的短编码方法。
相反，长编码通过将每个符号映射到相对较长的编码序列，来实现无歧义的解码。
例如哈夫曼编码就是一种常用的无损长编码方法。
最后，信道编码是信息论与编码原理中重要的研究方向之一、在通信中，信号会受到不同的干扰，如噪声和失真等。
为了减少信号传输时的误码率，可以使用信道编码来提升信号的可靠性。
常用的信道编码方法有奇偶校验码、海明码和卷积码等。
信道编码通过在信号中引入冗余信息，以检测和纠正信道传输中的错误，提高了通信的可靠性和稳定性。
总结起来，信息论与编码原理是研究信息传输和存储的重要学科，通过学习这门课程，我们可以了解信息的度量、压缩、编码和传输等基本原理和方法。
信息论与编码复习整理1
信息论与编码1.根据信息论的各种编码定理和通信系统指标，编码问题可分解为几类，分别是什么？答：3类，分别是：信源编码，信道编码，和加密编码。
2.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
答：通信系统模型如下：数据处理定理为：串联信道的输入输出X 、Y 、Z 组成一个马尔可夫链，且有，。
说明经数据处理后，一般只会增加信息的损失。
3.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？答：平均自信息为:表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息:表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
4.简述最大离散熵定理。
对于一个有m 个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
最大熵值为。
5.熵的性质什么？答：非负性，对称性，确定性，香农辅助定理，最大熵定理。
6.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？答：信息传输率R 指信道中平均每个符号所能传送的信息量。
信道容量是一个信道所能达到的最大信息传输率。
信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U 型凸函数。
7.信道疑义度的概念和物理含义？答：概念：)|(log )()|(j i j i jib a p b a p Y XH ∑∑-=物理含义：输出端收到全部输出符号Y 以后，对输入X 尚存在的平均不确定程度。
8.写出香农公式，并说明其物理意义。
当信道带宽为5000Hz ，信噪比为30dB 时求信道容量。
答：香农公式为 ，它是高斯加性白噪声信道在单位时 间内的信道容量，其值取决于信噪比和带宽。
由得，则9.解释无失真变长信源编码定理?答：只要，当N 足够长时，一定存在一种无失真编码。
学习信息论与编码心得范文三篇
学习信息论与编码心得范文三篇学习信息论与编码心得范文三篇学习信息论与编码心得1作为就业培训，项目的好坏对培训质量的影响十分大，常常是决定性的作用。
关于在学习java软件开发时练习项目的总结，简单总结为以下几点：1、项目一定要全新的项目，不能是以前做过的2、项目一定要企业真实项目，不能是精简以后的，不能脱离实际应用系统3、在开发时要和企业的开发保持一致4、在做项目的时候不应该有参考代码长话短说就是以上几点，如果你想要更多的了解，可以继续往后看。
一：项目的地位因为参加就业培训的学员很多都是有一定的计算机基础，大部分都具备一定的编程基础，尤其是在校或者是刚毕业的学生，多少都有一些基础。
他们欠缺的主要是两点：（1）不能全面系统的、深入的掌握某种技术，也就是会的挺多，但都是皮毛，不能满足就业的需要。
（2）没有任何实际的开发经验，完全是想象中学习，考试还行，一到实际开发和应用就歇菜了。
解决的方法就是通过项目练习，对所学知识进行深化，然后通过项目来获取实际开发的经验，从而弥补这些不足，尽快达到企业的实际要求。
二：如何选择项目项目既然那么重要，肯定不能随随便便找项目，那么究竟如何来选择呢?根据java的研究和实践经验总结，选择项目的时候要注意以下方面：1：项目不能太大，也不能太小这个要根据项目练习的阶段，练习的时间，练习的目标来判断。
不能太大，太大了做不完，也不能太小，太小了没有意义，达不到练习的目的。
2：项目不能脱离实际应用系统项目应该是实际的系统，或者是实际系统的简化和抽象，不能够是没有实战意义的教学性或者是纯练习性的项目。
因为培训的时间有限，必须让学员尽快地融入到实际项目的开发当中去。
任何人接受和掌握一个东西都需要时间去适应，需要重复几次才能够真正掌握，所以每个项目都必须跟实际应用挂钩。
3：项目应能覆盖所学的主要知识点学以致用，学完的知识点需要到应用中使用，才能够真正理解和掌握，再说了，软件开发是一个动手能力要求很高的行业，什么算会了，那就是能够做出来，写出代码来，把问题解决了，你就算会了。
信息论与编码总结
信息论与编码1. 通信系统模型信源—信源编码—加密—信道编码—信道—信道解码—解密—信源解码—信宿 | | |（加密密钥） 干扰源、窃听者 （解密秘钥）信源：向通信系统提供消息的人或机器信宿：接受消息的人或机器信道：传递消息的通道，也是传送物理信号的设施干扰源：整个系统中各个干扰的集中反映，表示消息在信道中传输受干扰情况 信源编码：编码器：把信源发出的消息变换成代码组，同时压缩信源的冗余度，提高通信的有效性 （代码组 = 基带信号；无失真用于离散信源，限失真用于连续信源）译码器：把信道译码器输出的代码组变换成信宿所需要的消息形式基本途径：一是使各个符号尽可能互相独立，即解除相关性；二是使各个符号出现的概率尽可能相等，即概率均匀化信道编码：编码器：在信源编码器输出的代码组上增加监督码元，使之具有纠错或检错的能力，提高通信的可靠性译码器：将落在纠检错范围内的错传码元检出或纠正基本途径：增大码率或频带，即增大所需的信道容量2. 自信息：()log ()X i i I x P x =-，或()log ()I x P x =-表示随机事件的不确定度，或随机事件发生后给予观察者的信息量。
条件自信息：//(/)log (/)X Y i j X Y i j I x y P x y =-联合自信息：(,)log ()XY i j XY i j I x y P x y =-3. 互信息：;(/)()(;)log log ()()()i j i j X Y i j i i j P x y P x y I x y P x P x P y ==信源的先验概率与信宿收到符号消息后计算信源各消息的后验概率的比值，表示由事件y 发生所得到的关于事件x 的信息量。
4. 信息熵：()()log ()i iiH X p x p x =-∑ 表示信源的平均不确定度，或信源输出的每个信源符号提供的平均信息量，或解除信源不确定度所需的信息量。
Information theory(信息论与编码)
信息论与编码总结1.关于率失真函数的几点总结原理（需要解决什么问题？或者是受什么的启发，能达到什么目的）。
与无失真信源编码相比，限失真信源编码的原理是什么？我们知道无失真信源编码是要求使信源的所发送的信息量完全无损的传输到信宿，我们常见的编码方式有哈夫曼编码、费诺编码和香农编码。
他们的中心思想是使序列的中0和1出现的概率相等。
也就是说长的码字对应的信源符号出现的概率较小，而短的码字对应的信源符号出现的概率较大，这样就能实现等概。
若编码能实现完全的等概，则就能达到无失真的传输。
此时传输的信息量是最大的，和信源的信息量相等，此时传输的信息速率达到信道容量的值。
（其实这是编码的思想，与之对应的为限失真编码的思想。
香农本人并没有提出明确的编码方法，但是给出指导意义）与无失真的信道相比，如信道存在一定的损耗，即表明有传递概率。
此时我们换一个角度。
我们使信源概率分布固定不变，因为平均交互信息量I(X;Y)是信道传递概率P(Y/X)的下凸函数，因此我们设想一种信道，该信道的传递概率P(Y/X)能使平均交互信息达到最小。
注意，此时的传递概率P(Y/X)就相当于“允许一定的失真度”，此时我们能这样理解：即在允许的失真度的条件下，能使平均交互信息量达到最小，就表明我们传输的信息可以达到最小，原来的信息量还是那么大。
现在只需传输较小信息，表明压缩的空间是非常大的。
无失真压缩和限失真压缩其实是数学上的对偶问题。
即无失真压缩是由平均相互信息量的上凸性，调整信源概率分布，使传输的信息量达到最大值C，这个值就是信道容量。
（信道容量是不随信源概率分布而改变的，是一种客观存在的东西，我们只是借助信源来描述这个物理量，事实上也肯定存在另外一种描述方式。
）限失真压缩则是相反，他考虑的是信源概率分布固定不变，是调节信道转移概率的大小，使平均交互信息量达到最小。
此时信道容量还是相同，只是我们要传输的信息量变小了，（时效性）有效性得到提高。
信息论与编码复习重点整理(1页版)
1第1章 概论1. 信号(适合信道传输的物理量）、信息（抽象的意识/知识，是系统传输、转换、处理的对象）和消息(信息的载体)定义；相互关系：(1信号携带消息，是消息的运载工具(2信号携带信息但不是信息本身(3同一信息可用不同的信号来表示(4同一信号也可表示不同的信息。
2. 通信的系统模型及目的:提高信息系统可靠性、有效性和安全性，以达到系统最优化.第2章 信源及信息量1. 单符号离散信源数学模型2. 自信息量定义：一随机事件发生某一结果时带来的信息量I(xi)=-log2P(xi)、单位：bit 、物理意义：确定事件信息量为0；0概率事件发生信息量巨大、性质：I(xi)非负；P(xi)=1时I(xi)=0；P(xi)=0时I(xi)无穷；I(xi)单调递减；I(xi)是随机变量。
3. 联合自信息量：I(xiyi)=- log2P(xiyj) 物理意义：两独立事件同时发生的信息量=各自发生的信息量的和、条件自信息量：I(xi/yi)=- log2P(xi/yj)；物理意义：特定条件下(yj 已定)随机事件xi 所带来的信息量。
三者关系：I(xi/yi)= I(xi)+ I(yi/xi)= I(yi)+ I(xi/yi)4. 熵：定义(信源中离散消息自信息量的数学期望)、单位(比特/符号)、物理意义(输出消息后每个离散消息提供的平均信息量；输出消息前信源的平均不确定度；变量的随机性)、计算:(H(X)=-∑P(xi)log2 P(xi)) 1)连续熵和离散的区别：离散熵是非负的2)离散信源当且仅当各消息P相等时信息熵最大H (X )=log 2 n 。
3)连续信源的最大熵:定义域内的极值. 5.条件熵H(Y/X) = -∑∑P(xiyj) log2P(yj/xi)，H (X /Y )= -∑∑P(xiyj) log2P(xi/yj) 、物理意义：信道疑义度H(X/Y)：信宿收到Y 后，信源X 仍存在的不确定度，有噪信道传输引起信息量的损失，也称损失熵。
信息论与编码 课程总结
《信息论与编码》课程总结本学期我选修了《信息论与编码》这门课程，信息论是应用近代概率统计方法来研究信息传输，交换，存储和处理的一门学科，也是源于通信实践发展起来的一门新兴应用科学。
信息是系统传输，交换，存储和处理的对象，信息载荷在语言，文字，数据，图像等消息之中。
本书共学习了9章内容，系统详细的学习和深入了解了信息论的相关基本理论。
第一章首先了解了信息论的相关概念，了解到了信息论所研究的通信系统基本模型，以及香农定理的相关应用。
第二章学习到了熵和互信息这两个重要概念。
信源的熵是用来刻画信源发出的消息的平均不确定性，而两个随机变量之间的互信息则表示一个随机变量对另一个随机变量所提供的信息量。
第三章学习到了离散无记忆信源的无损编码。
根据香农的信源编码定理，明白了所谓的无损编码是指信源编码的错误概率可以任意小，但并非为零；信源的无损编码通常是对非常长的消息序列进行的。
并且了解到了几种不等长编码的算法，例如Huffman 编码，Shannon 编码等编码方法。
第四章主要研究的是信道，信道容量及信道编码定理的相关内容。
对信道的研究中，首先是对信道分类和建模，本章主要讨论离散无记忆信道和连续加性高斯噪声信道；其次研究信道容量，这是刻画信道的最重要的参数，最后讨论信道编码定理，该定理刻画了信道可靠传输信息的极限性能。
第五章主要介绍的是率失真理论和保真度准则下的信源编码。
与无损压缩编码不同，保真度准则下的信源编码允许有失真，且其压缩编码是降熵的，它要求在满足失真要求下使数据熵率尽可能低，从而降低码率，所以不可能从压缩后的数据中无失真的恢复出原来的消息。
第六章主要学到的是受限系统和受限系统编码。
在了解了受限系统的相关概念之后，又进一步的了解到了受限系统的有限状态转移图和受限系统的容量和其容量的计算方法等相关重要的知识内容。
第七章主要阐述的是线性分组纠错编码。
纠错编码通常也称为信道编码，在通信中信源编码，信道编码和数据转换编码常常是同时使用的，信源编码器执行数据压缩功能，把信源输出中的余度去除或减小。