信息论第四讲
2.2 重要定理
2.2.1 链式法则
从定理 2.1，我们得到：)|()(),(X Y H X H Y X H +=和)|()(),(Y X H Y H Y X H +=，并解释说它们是熵的链式法则在两个随机变量情况下的特例。现在，我们来看它的一般形式，即针对一组随机变量的情况。
世界上有很多事情取决于多种因素，这时就可以看作多个随机变量共同决定了事情的不确定性。
定理2.3（熵的链式法则）设随机变量n X X X ,,,21 服从联合分布
),,,(21n x x x p ，则
∑=-=n
i i i n X X X H X X X H 1
1121),,|(),,,( (2-36)
证明 根据式(2-15)，可以把等式左边写成
左边=)),,,,((),,,(12121n n n X X X X H X X X H -=
)),,,(|(),,,(121121--+=n n n X X X X H X X X H
)),,,(|(),,,(2211221---+=n n n X X X X H X X X H ),,|(11X X X H n n -+
∑=-=n
i i i X X X
H 111),,|( =右边
在证明过程中，我们没有使用联合概率分布),,,(21n x x x p ，如果使用之，同样可以证明这个定理。
可以从物理概念上对上述定理加以解释：多随机变量的联合熵是多个事件同时发生的不确定性，它应该等于事件1X 的不确定性与1X 已出现的情况下其它事件同时发生的不确定性之和，而后者是1X 已出现的前提下事件2X 的不确定性，与1X 、2X 已出现的情况下其它事件
同时发生的不确定性之和，依此类推。
这个定理告诉我们一个重要的结论：多随机变量的联合熵等于条件熵之和。；
如果多个事件互相独立，问题就变得更简单了。例如，我们班上有n 个同学，每人的学习成绩是[0，100]间的随机数，用随机变量i X 表示。根据上述定理，全班成绩的不确定性为∑=-=n
i i i n X X X H X X X H 11121),,|(),,,( ，是条件熵之和，但是由于大家的成
绩相互独立，全班成绩的不确定性只由每人成绩不确定性之和决定，即为∑=n i i X H 1)(。
定理2.4（平均互信息的链式法则）
∑=-=n i i i
n X X Y X I Y X X X I 11121),,|;();,,( (2-37)
此式的左边是多个事件n X X X ,,,21 能给另一事件Y 提供的互信息（或者相反），右边是Y 与各个i X 事件在一定条件下的互信息之和（即
已知一些Xi 的条件下，下一个Xi 带给Y 的互信息）。
证明 运用)|()();(Y X H X H Y X I -=和熵的链式法则可作如下推导： )|,,,(),,,();,,,(212121Y X X X H X X X H Y X X X I n n n -=
∑∑∑=-=-=-=-=
n
i i i n
i i i n i i i X X Y X I Y X X X H X X X H 111
111111),|;(),,,|(),,|( 定理2.5 （相对熵的链式法则）
))|(||)|(())(||)(()),(||),((x y q x y p D x q x p D y x q y x p D += (2-38) 证明 ∑=XY y x q y x p y x p y x q y x p D ),()
,(log ),()),(||),(( ))
|(||)|(())(||)(()|()|(log ),()()(log ),()|()()
|()(log ),(x y q x y p D x q x p D x y q x y p y x p x q x p y x p x y q x q x y p x p y x p XY XY
XY +=+==∑∑∑ 相对熵的链式法则定义了两个随机变量的两种不同分布间的距离。
以上链式法则把第一节所给出的概念推广到更复杂的情况，适用于多个随机变量。它们之间存在着某种“层次”上的关系，让我们来看下面的例题。
例2.11 在实际工作和生活中，常常会由于某种需要有序地论述某些思路，然后，如有必要就会对这些思路进行适当的推广。那么前面的三个链式法则哪个最强，哪个最弱？请排一下顺序。
解 推导平均互信息的链式法则时，我们利用了熵的链式法则，说明熵的链式法则更有一般性，而相对熵的定义比平均互信息更宽泛，它的链式法则也就适合更宽泛的情况，所以说平均互信息要求的条件最强。在熵和相对熵之间，由于后者是对两个概率密度函数定义的，要求条件比熵的定义更宽。所以若以条件而言，从强到弱的顺序是平均互信息－熵－相对熵，若以适用范围而言，从强到弱的顺序是相对熵－熵－平均互信息。
2.2.2 杰森（Jensen ） 不等式
定理2.6 对于凹函数f 和随机变量X ，总有
)()(EX f X Ef ≥ (2-39)
证明 用数学归纳法进行证明。对于两点分布，杰森不等式蜕化为如下形式：
)()()(22112211x p x p f x f p x f p +≥+
其中121=+p p 。这是函数f 为凹函数的条件，而且当且仅当01=p 或1时，f 是严格凹函数。而杰森不等式的条件就是给定一个凹函数f ，所
以上式是成立的。
假定随机变量X 是k-1点分布，则∑=i i p 1，记)1k i
i p p p -='，其中
1,,2,1-=k i ，则有
∑∑=-='-+=k i k i i i k k k i i x f p p x f p x f p 111)()1()()( ???? ??=???? ??'-+≥???? ??'-+≥∑
∑∑=-=-=k i i i k i i i k k k b k i i i k k k a x p f x p p x p f x p f p x f p 111)(11)()1()1()( 其中（a ）由归纳假设得到，(b)是因为f 是凹函数。以上用归纳法证明了杰森不等式在离散分布下是正确的，对连续分布也是正确的，这里不再讨论。
下面，我们利用杰森不等式来证明相对熵的非负性。
定理2.7 相对熵不小于0。即
0)||(≥q p D (2-40)
而且当且仅当概率密度函数)()(),(X x ?x q x p ∈满足)()(x q x p = 条件时，等号成立。
证明 ∑∑=-=-X X x p x q x p x q x p x p q p D )
()(log )()()(log )()||( 0
1log )(log )()()(log ===≤∑∑X
X x q x p x q x p (2-41) 式中不等号由定理2.6得到。由于t log 是关于t 的严格凸函数，所以式（2-41）中的等号在当且仅当1)(/)(=x p x q 时成立，此时)()(x q x p =。 有了定理2.7，平均互信息量的非负性立即得证。
定理2.8 设n X X X ,,,21 服从分布),,,(21n x x x p ，有
∑=≤n i i n X
H X X X H 121)(),,,( (2-42)
而且当且仅当n X X X ,,,21 互相独立时，等号成立。
由熵的链式法则和定理2.2可以直接证明之，此处从略。这个结
果叫做熵的界。
定理2.9 设随机事件集合X 共有N 个元素，则
N X H log )(≤ (2-43)
而且当且仅当集合中各随机事件均匀分布时，等号成立。 证明 设)(x p 是随机变量X 的实际概率密度，)(x q 是X 各元素均匀分布时的概率密度，显然N x q 1)(=，
∑∑∑-==)(l o g )()(l o g )()()(l o g )()||(x q x p x p
x p x q x p x p q p D
∑∑-=+=)(log )(log )(log )(X H N x p x p N x p 因为
0)||(≥q p D ，所以 N X H log )(≤，当且仅当)(x p ＝)(x q ，即均匀分布时， 0)||(=q p D ，式（2-43）中等号成立。
在这个证明中，我们得到了等式)(log )||(X H N q p D -=，其中N log 是个常数，所以由)(X H 的凸函数性立即得到)||(q p D 是个凹函数。
例2.12 英文加空格共27个字符，编码时平均要用多少比特表示英文字符？
解 752.4584.133log 327log )(=?==≤X H （比特）
2.2.3 数据处理不等式
有时人们希望，通过某种数据处理的方式更多地了解某一事物，获得更多的信息。但是数据处理不等式从理论上告诉我们这是不可能的。我们不可能找到一种最优的数据处理方式，使我们得到比原来更多的信息。
为了证明这个不等式，需要用到马尔可夫链的概念。关于马尔
可夫链的详细内容，在本章附录中有所回顾，此处简单表述如下：对于随机变量空间X ，Y ，Z ，如果某一变量的条件分布仅取决于前一个变量，而与更前面的变量无关，例如Z 的条件分布仅取决于Y ，而与X 的条件无关，则称X ，Y ，Z 构成了马尔可夫链。正规的定义为：
定义2.10 如果X ，Y ，Z 的联合概率分布密度函数满足条件 )|()|()(),,(y z p x y p x p z y x p = (2-44)
则X ，Y ，Z 构成马尔可夫链，简记为Z Y X →→。Z Y X →→蕴含着X Y Z →→，因此有时记作Z Y X ??。
定理2.10 如果Z Y X →→，则
);();(Z X I Y X I ≥ (2-45)
证明 根据链式法则，将平均互信息),;(Z Y X I 展开为如下形式 )|;();(),;(Z Y X I Z X I Z Y X I += (2-46)
)|;();(),;(Y Z X I Y X I Z Y X I += (2-47)
因为给定Y 的条件下，X 与Z 互相独立，所以有0)|;(=Y Z X I ，而0)|;(≥Z Y X I ，比较（2-46）和（2-47）两式得到);();(Z X I Y X I ≥。当0)|;(=Z Y X I 时，式(2-45)中等号成立。类似地，
);();(Z X I Z Y I ≥ (2-48)
如果Z 是对Y 进行数据处理的结果，即Z 是Y 的函数)(Y g Z =，则由于)(Y g Y X →→构成马尔可夫链，可以得到))(;();(Y g X I Y X I ≥，说明对数据Y 处理后所得到的)(Y g Z = 不会增加关于X 的信息。
信息论基础各章参考答案
各章参考答案 2．1． （1）4.17比特 ；（2）5.17比特 ； （3）1.17比特 ；（4）3.17比特 2．2． 1.42比特 2．3． （1）225.6比特 ；（2）13.2比特 2．4． （1）24.07比特； （2）31.02比特 2．5． （1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。如果我们使每次实验所获得的信息量最大。那么所需要的总实验次数就最少。用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。因为3log3=log27>log24。所以在理论上用3次称重能够鉴别硬币并判断其轻或重。每次实验应使结果具有最大的熵。其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。 （2）第三次称重 类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时, 第三步用一个真币与其中一个称重比较即可。 对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴 别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息. 2．6． （1）215 log ＝15比特； （2） 1比特；（3）15个问题 2． 7. 证明： （略） 2．8． 证明： （略） 2．9． 31)(11= b a p ，121 )(21=b a p ， 121 )(31= b a p ， 61)()(1312= =b a b a p p ， 241)()()()(33233222= ===b a b a b a b a p p p p 。 2．10． 证明： （略） 2．11. 证明： （略）
信息论的应用
学号：201122010835 姓名：李毅 信息论在图像处理中的应用 摘要：把信息论的基本原理应用到图像处理中具有十分重要的价值。本文主要从评估图像捕捉部分性能的评估、图像分割算法这两个个方面阐述信息论在图像处理中的应用。 通过理论分析来说明使用信息论的基本理论对图像处理的价值。 关键字：信息论；图像捕捉；图像分割 第1章 引言 随着科学技术的不断发展，人们对图形图像认识越来越广泛，图形图像处理的应用领域也将随之不断扩大。为了寻找快速有效的图像处理方法，信息理论越来越多地渗透到图像处理技术中。文章介绍了信息论基本理论在图像处理中的应用，并通过理论分析说明其价值。把通信系统的基本理论信息论应用于采样成像系统，对系统作端到端的系统性能评价，从而优化采样成像系统的设计，是当前采样成像系统研究的分支之一。有些图像很繁杂，而我们只需要其中有意义的一部分，图像分割就是将图像分为一些有意义的区域，然后对这些区域进行描述，就相当于提取出某些目标区域图像的特征，随后判断这些图像中是否有感兴趣的目标。 第2章 图像捕捉部分性能评估 2.1 图像捕捉的数学模型 图像捕捉过程如图1所示。G 为系统的稳态增益，),(y x p 是图像捕捉设备的空间响应函数，),(y x n p 是光电探索的噪声。),(y x comb 代表采样网格函数，),(),,(y x s y x o 分别为输入、输出信号。 在这种模型下的输出信号 ),(),()],(),([),(y x n y x comb y x p y x Go y x s p +*= 其中，∑--= n m n y m x y x comb ,),(),(δ，代表在直角坐标系下，具有单位采样间隔的采样设备的采样函数。
信息论基础论文
信息论基础发展史 信息论（information theory）是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。是专门研究信息的有效处理和可靠传输的一般规律的科学，是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。 信息论从诞生到今天，已有五十多年历史，是在20世纪40年代后期从长期通讯实践中总结出来的，现已成为一门独立的理论科学，回顾它的发展历史，我们可以知道理论是如何从实践中经过抽象、概括、提高而逐步形成的。它是在长期的通信工程实践和理论研究的基础上发展起来的。 通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工具和通信系统，这方面的社会实践是悠久漫长的。电的通信系统(电信系统)已有100多年的历史了。在一百余年的发展过程中，一个很有意义的历史事实是：当物理学中的电磁理论以及后来的电子学理论一旦有某些进展，很快就会促进电信系统的创造发明或改进。 当法拉第(M．Faraday)于1820年--1830年期间发现电磁感应的基本规律后，不久莫尔斯(F．B．Morse)就建立起电报系统(1832—1835)。1876年，贝尔(A．G．BELL)又发明了电话系统。1864年麦克斯韦(Maxell)预言了电磁波的存在，1888年赫兹(H．Hertz)用实验证明了这一预言。接着1895年英国的马可尼(G.Marconi)和俄国的波波夫(A．C．ΠoΠoB)就发明了无线电通信。本世纪初(1907年)，根据电子运动的规律，福雷斯特(1，Forest)发明了能把电磁波
信息的内涵与信息论发展简史
信息的内涵与信息论发展简史学院：数学与统计学院专业：信息与计算科学学生：卢富毓学号：20101910072 内容摘要：信息论经过六十多年的发展，现在已经成为现代信息科学的一个重要组成部分，信息论是现代通信和信息技术的理论基础。本文详细从来阐述信息论的内涵以及发展史。 信息是什么？什么叫信息论？ 信息泛指人类社会传播的一切内容。人通过获得、识别自然界和社会的不同信息来区别不同事物，得以认识和改造世界。在一切通讯和控制系统中，信息是一种普遍联系的形式。1948年，数学家香农在题为“通讯的数学理论”的论文中指出：“信息是用来消除随机不定性的东西”。美国数学家、控制论的奠基人诺伯特·维纳在他的《控制论——动物和机器中的通讯与控制问题》中认为，信息是“我们在适应外部世界，控制外部世界的过程中同外部世界交换的内容的名称”。英国学者阿希贝认为，信息的本性在于事物本身具有变异度。 由此可见在不同的领域，有着对信息的不同定义。 而如今比较首肯的是数学家香农给出的解释——信息是用来消除随机不定性的东西。 信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。 信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。 1948~1949年，香农（Shannon）在《贝尔系统技术杂志》上发表了论文《通信的数学理论》以及《噪声下的通信》。在这两篇论文中，他经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题，并且开始创造性的定义了“信息”。这两篇论文成了现在信息论的奠基著作。而香农也一鸣惊人，成了这门新兴学科的奠基人。香农也因此被称为是“信息论之父”。 信息有什么内涵？ 信息是现代社会的一种非常重要的资源，信息社会中的信息就像农业社会的土地，工业社会的资金和技术一样，将会成为人们竞相争夺的对象，从某种意义上来说，信息就是现代社会最重要的财富，谁掌握了信息，谁就掌握了未来。 信息的内涵是什么呢？ 不同人对信息有着不同的理解。有人认为信息就是消息，传递信息就是传递消息。这种定义有一定道理，但不太准确。信息和消息是有区别的，一般来说，
信息论基础及答案
《信息论基础》试卷第1页 《信息论基础》试卷答案 一、填空题（共25分，每空1分） 1、连续信源的绝对熵为 无穷大。（或()()lg lim lg p x p x dx +∞-∞ ?→∞ --?? ） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指 信源先后发生的符号彼此统计独立 。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 2 2 x - )时，信源具有最大熵，其值为 0.6155hart(或 1.625bit 或 1lg 22 e π)。 8、即时码是指 任一码字都不是其它码字的前缀 。 9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r )，此 时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元 。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。 11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)
信息论
信息论的发展及应用 信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。 信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。信息论经过六十多年的发展，现在已经成为现代信息科学的一个重要组成部分，信息论是现代通信和信息技术的理论基础。现代信息论又是数学概率论与数理统计下年的一个分支学科。现在信息论已经成为国内数学系信息与计算科学专业的一门必须课程。作为信息论的奠基人克劳德·艾尔伍德·香农（Claude Elwood Shannon ），于1948 年和1949 年发表的两篇论文一起奠定了现代信息论的基础信息论的研究范围极为广阔。一般把信息论分成三种不同类型： (1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。 (2)一般信息论主要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。 (3)广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。
信息论发展： 1924年，Nyquist提出信息传输理论； 1928年，Hartley提出信息量关系； 1932年，Morse发明电报编码； 1946年，柯切尼柯夫提出信号检测理论； 1948年，Shannon提出信息论，他发表的论文：“A mathematical theory of communication ”同时维纳提出了最佳滤波理论，成为信息论的一个重要分支。 1959年，香农为各种信息源编码的研究奠定基础，发表论文：“Coding theorems for a discrete source with a fidelity criterion”，数据压缩理论与技术成为信息论的重要分支 六十年代，信道编码技术有较大的发展，信道编码成为信息论重要分支。 1961年，香农的重要论文“双路通信信道”开拓了多用户信息理论的研究、 七十年代，有关信息论的研究，从点对点的单用户通信推广到多用户系统的研究。密码学成为信息论的重要分支。 详细介绍； 现代信息论其实是从上世纪二十年代奈奎斯特和哈特莱的研究开始的，他们最早开始研究了通信系统传输信息的能力，并且试图度量系统的信道容量。香农于1940 年在普林斯顿高级研究所期间开始思考信息论与有效通信系统的问题。经过8 年的努力，1948
信息论与编码习题与答案第四章
4-1 设有一个二元等该率信源{}1,0∈X ,2/110==p p ，通过一个二进制对称信道（BSC ）。其失真函数ij d 与信道转移概率ij p 分别定义为 j i j i d ij =≠???=,0,1 ，j i j i p ij =≠? ??-=,1,εε 试求失真矩阵d 和平均失真D 。 解：由题意得， 失真矩阵为d ??????=0110d ，信道转移概率矩阵为P ?? ????--=εεεε11)(i j 平均失真为ε εεεε=?-+?+?+?-= =∑0)1(211211210)1(21),()()(,j i d i j p i p D j i 4-3 设输入符号与输出符号X 和Y 均取值于{0,1,2,3}，且输入符号的概率分布为P(X=i)=1/4,i=0,1,2,3,设失真矩阵为 ????? ???????=0111101111011110d 求)(),(,,max min max min D R D R D D 以及相应的编码器转移概率矩阵。 解：由题意，得 0min =D 则symbol bit X H R D R /24log )()0()(2min ==== 这时信源无失真，0→0,1→1,2→2,3→3，相应的编码器转移概率矩阵为
????? ???????=1000 010*********)j (i P ∑===30 3,2,1,0max ),()(min i j j i d i p D ，，14 1141041141141141141041min{?+?+?+??+?+?+?= }04 1141141141141041141141?+?+?+??+?+?+?， 43}43,43,43,43min{== 则0)(max =D R 此时输出概率分布可有多种，其中一种为：p(0)=1,p(1)=p(2)=p(3)=0 则相应的编码器转移概率矩阵为????? ???????=0001000100010001)(i j P
信息论发展
信息论发展 现代信息论是从上世纪二十年代奈奎斯特和哈特莱的研究开始的,他们最早开始研究了通信系统传输信息的能力,并且试图度量系统的信道容量。香农于1940年在普林斯顿高级研究所期间开始思考信息论与有效通信系统的问题。经过8年的努力,1948年,来自贝尔研究所的ClaudeShannon（克劳德·香农）的《通信的数学理论》论文公诸于世,从此宣告了崭新的一门关于信息发面的学科──信息论的诞生。1949年,香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中,香农阐明了通信的基本问题,给出了通信系统的模型,提出了信息量的数学表达式,并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。这两篇论文一起阐述了现代信息论的基础。并且香农开始创造性的定义了“信息”。 信息论自从二十世纪四十年代中叶到二十一世纪初期,现已成为一门独立的理论科学,他给出一切传输、存储、处理信息系统的一般理论,并指出,实现有效、可靠地传输和存储信息的途径是走数字化的道路。这是通信技术领域数字化革命的数学或理论基础。1946年的计算机和1947年晶体管的诞生和相应技术的发展,是这一革命的物理或物质基础。信息论是在长期的通信工程实践和理论研究的基础上发展起来的。当物理学中的电磁理论以及后来的电子学理论一旦有某些进展,很快就会促进电信系统的创造发明或改进。这是因为通信系统对人类社会的发展,其关系实在是太密切了。日常生活、工农业生产、科学研究以及战争等等,一切都离不开消息传递和信息流动。通信系统是人类社会的神经系统,即使在原始社会也存在着最简单的通信工具和通信系统,这方面的社会实践是悠久漫长的。自从香农十九世纪四十年代末两篇论文发表后,前苏联和美国的科学家采取了不同的研究途径经一部发展了信息论。柯尔莫哥洛夫、宾斯基和达布鲁新为首的一批著名数学家致力于信息论的公理化体系和更一般更抽象的数学模型,对信息论的基本定理给出了更为普遍的结果,为信息论发展成数学的一个分支作出了贡献。而在美国测试有一批数学修养很高的工程技术人员致力于信息有效处理和可靠传输的可实现性,维信息论转化为信息技术作出了贡献。 20世纪50年代,信息论向各门学科发起冲击；60年代信息论进入一个消化、
信息论基础总结
?? ? ???=??????)()()()(2 211 I I x q x x q x x q x X q X Λ Λ∑==I i i x q 1 1 )(?? ? ???=??????)()()()(2211 m q q q q x x x x x x X X m ΛΛ∏ =N i i x q 1 )(第1章 信息论基础 信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。 消息是能被人们感觉器官感知的客观物质和主观思维的运动状态或存在状态。 通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。 信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。 狭义信息论 信息论研究的范畴： 实用信息论 广义信息论 信息传输系统 信息传输系统的五个组成部分及功能： 1. 信源 信源是产生消息的源。 2. 编码器 编码器是将消息变换成适合于信道传送的信号的设备。 编码器分为信源编码器和信道编码器两种。 3. 信道 信道是信息传输和存储的媒介，如光纤、电缆、无线电波等。 4. 译码器 译码器是编码器的逆变换，分为信道译码器和信源译码器。 5. 信宿 信宿是消息的接收者，可以是人，也可以是机器。 离散信源及其数学模型 离散信源—消息集X 为离散集合，即时间和空间均离散的信源。 连续信源—时间离散而空间连续的信源。波形信源—时间和空间均连续的信源。 无记忆信源—X 的各时刻取值相互独立。有记忆信源—X 的各时刻取值互相有关联。 离散无记忆信源的数学模型—离散型的概率空间： x i ∈{a 1,a 2,…,a k } 1≤i ≤I 0≤q(x i )≤1 离散无记忆N 维扩展信源的数学模型： x ＝x 1x 2…x N x i ∈{a 1,a 2,…,a k } 1≤i ≤N q (x )＝q (x 1x 2 … x N )＝ 离散信道及其数学模型 离散信道—信道的输入和输出都是时间上离散、取值离散的随机序列。离散信道有时也称为数字信道。 连续信道—信道的输入和输出都是时间上离散、取值连续的随机序列，又称为模拟信道。 半连续信道—输入序列和输出序列一个是离散的，而另一个是连续的。 波形信道—信道的输入和输出都是时间上连续，并且取值也连续的随机信号。 无记忆信道—信道的输出y 只与当前时刻的输入x 有关。 有记忆信道—信道的输出y 不仅与当前时刻的输入x 有关，还与以前的输入有统计关系。
信息论发展史和展望 蒲鹤升
信息论发展史和展望 蒲鹤升（020150802） 一、信息论定义 信息论，顾名思义是一门研究信息的处理和传输的科学；即用概率论与数理统计方法来探究信息的度量、传递和变换规律的一门学科。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法，信息传输和信息压缩是信息论研究中的两大领域，这两个方面又由信息传输理论、信源－信道隔离定理相互联系。信息是系统传输和处理的对象，它载荷于语言、文字、图像、数据等之中。这就是现代信息论的出发点。 二、狭义与广义 狭义的信息论是应用数理统计方法来研究信息处理和信息传递的科学，它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规体，以及如何提高各信息传输系统的有效性和可能性的一门通讯理论。狭义信息论是申农氏于1948年创立的，其主要内容就是研究信源、信宿、传递及编码问题，因此它主要应用于通讯工作。后来信息论发展很快，将申农氏信息论的观点做为研究一切问题的理论，即广义信息论。信息论是建立在信息基础上的理论，所谓信息，即人类凭借感觉器官感知的周围一切变化，都可称作信息。 三、相关人物贡献 20世纪通信技术的发展推动了信息理论的研究. 美国科学家H.Nyquist 于1924年解释了信号带宽和信息速率之间的关系 美国科学家L.V.R.Hartley 于1928年开始研究通信系统传输信息的能力，给出了信息的度量方法 美国科学家C.E.Shannon 于1948年发表的著名论文《通信的数学理论》 A Mathematical Theory of Communication奠定了信息论的理论基础 四、各发展阶段 第一阶段：1948年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述,创立了信息论. 第二阶段：20世纪50年代,信息论向各门学科发起冲击；60年代信息论进入一个消化、理解的时期,在已有的基础上进行重大建设的时期.研究重点是信息和信源编码问题.
互信息凸性
互信息函数),(Q P I 的性质2的证明。 对于确定的条件概率矩阵Q 互信息函数),(Q P I 是概率矢量空间S 上的上凸函数。 （其中S ={P ：P =（1p , 2p …, K p ）, ,,...2,1,10K k p k =≤≤而∑==K k k p 1 1}） 证明：首先由定义知：),(Y X I =)(Y H -)(X Y H 其中 )(Y H =∑=- J j j j b p b p 1 )(log )( =∑∑∑===- J j k j K k k j k K k a b p a p b a p 11 1)()(log ),( =∑∑∑===- J j k j K k k k j k K k a b p a p a b p a p 1 1 1 )()(log )()( )(X Y H = ∑∑ ==-J j k j j k K k a b p b a p 1 1)/(log ),( =∑∑==- J j k j k j k K k a b p a b p a p 1 1 )/(log )()( 可知对于确定的Q ，)(Y H 和)(X Y H 都是S 上的函数，且)(X Y H 关于P 是线性的。 下面将证明)(Y H 是S 上的上凸函数。即对?1P ),...,,(11211K p p p =， 2P ),...,,(22221K p p p =∈S ，及λ，λ，.1,10λλλ-=≤≤ 成立 ∑∑∑ ===++-J j k j k k k k K k k j k k k j k k K k a b p a p a p a b p a p a b p a p 1 211 211 ) ()]()([log )]/()()()([λλλλ≥ ∑∑∑ ===-J j k j K k k k k j k k K k a b p a p a b p a p 1 1 111) ()(log )()(λ
信息论基础答案2
《信息论基础》答案 一、填空题（共15分，每空1分） 1、若一连续消息通过某放大器，该放大器输出的最大瞬时电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是 无穷大 ；其能在每个自由度熵的最大熵是 ()log b-a 。 2、高斯白噪声信道是指 信道噪声服从正态分布，且功率谱为常数 。 3、若连续信源的平均功率为5 W ，则最大熵为12log10π ? e ，达到最大值的条件是 高斯信道 。 4、离散信源存在剩余度的原因是 信源有记忆（或输出符号之间存在相关性） 和 不等概 。 5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 6、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高编码效率。 7、八进制信源的最小熵为 0 ，最大熵为 3 bit 。 8、一个事件发生概率为，则自信息量为 3 bit 。 9、在下面空格中选择填入数字符号“,,,=≥≤>”或“<” ()H XY = ()()+H Y H X Y ≤ ()()+H Y H X 二、判断题（正确打√，错误打×）（共5分，每小题1分） 1) 离散无记忆等概信源的剩余度为0。 （ √ ） 2) 离散无记忆信源N 次扩展源的熵是原信息熵的N 倍 （ √ ） 3) 互信息可正、可负、可为零。 （ √ ） 4) 信源的真正功率P 永远不会大于熵功率P ，即P P ≤ （ × ） 5) 信道容量与信源输出符号的概率分布有关。 （ × ） 三、（5分）已知信源的概率密度函数()p x 如下图所示，求信源的相对熵
论信息论与编码的发展与前景
信息论与编码的发展与前景 摘要：信息论理论的建立，提出了信息、信息熵的概念，接着人们提出了编码定理。编码方法有较大发展，各种界限也不断有人提出，使多用户信息论的理论日趋完整，前向纠错码（FEC）的码字也在不断完善。但现有信息理论中信息对象的层次区分对产生和构成信息存在的基本要素、对象及关系区分不清，适用于复杂信息系统的理论比较少，缺乏核心的“实有信息”概念，不能很好地解释信息的创生和语义歧义问题。只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明，其他信道也有一些结果，但尚不完善。但近几年来，第三代移动通信系统（3G）的热衷探索，促进了各种数字信号处理技术发展，而且Turbo码与其他技术的结合也不断完善信道编码方案。 关键词：信息论信道编码纠错编码信息理论的缺陷 3G Turbo码 一、信息论的形成和发展 信息论从诞生到今天，已有五十多年历史，现已成为一门独立的理论科学，回顾它的发展历史，我们可以知道理论是如何从实践中经过抽象、概括、提高而逐步形成的。 1.1信息论形成的背景与基础 信息论是在人们长期的通信工程实践中，由通信技术和概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。人们公认的信息论的奠基人是当代伟大的数学家、美国贝尔实验室杰出的科学家香农，他在1948年发表了著名的论文《通信的数学理论》，为信息论奠定了理论基础。近半个世纪以来，以通信理论为核心的经典信息论，正以信息技术为物化手段，向高精尖方向迅猛发展，并以神奇般的力量把人类社会推入了信息时代。随着信息理论的迅猛发展和信息概念的不断深化，信息论所涉及的内容早已超越了狭义的通信工程范畴，进入了信息科学领域。 通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工具和通信系统，这方面的社会实践是悠久漫长的。 电的通信系统(电信系统)已有100多年的历史了。在一百余年的发展过程中，一个很有意义的历史事实是：当物理学中的电磁理论以及后来的电子学理论一旦有某些进展，很快就会促进电信系统的创造发明或改进。这是因为通信系统对人类社会的发展，其关系实在是太密切了。日常生活、工农业生产、科学研究以及战争等等，一切都离不开消息传递和信息流动。 例如，当法拉第(M．Faraday)于1820年--1830年期间发现电磁感应的基本规律后，不久莫尔斯(F．B．Morse)就建立起电报系统(1832—1835)。1876年，贝尔(A．G．BELL)又发明了电话系统。1864年麦克斯韦(Maxell)预言了电磁波的存在，1888年赫兹(H．Hertz)用实验证明了这一预言。接着1895年英国的马可尼(G.Marconi)和俄国的波波夫(A．C．ΠoΠoB)就发明了无线电通信。 本世纪初(1907年)，根据电子运动的规律，福雷斯特(1，Forest)发明了能把电磁波进行放大的电子管。之后很快出现了远距离无线电通信系统。大功率超高频电子管发明以后，电视系统就建立起来了(1925—1927)。电子在电磁场运动过程中能量相互交换的规律被人们认识后，就出现了微波电子管(最初是磁控管，后来是速调管、行波管)，接着，在三十年代末和四十年代初的二次世界大战初期，微波通信系统、微波雷达系统等就迅速发展起来。五十年代后期发明了量子放大器，六十年代初发明的激光技术，使人类进入了光纤通信的时代。
信息论期末复习
第二章 信源熵 一、自信息量 1. 定义：一个随机事件发生某一结果后所带来的信息量称为自信息量，简称自信息。定 义为其发生概率对数的负值。若随机事件发生i a 的概率为)(i a p ，那么它的自信 息量为：)(log )(2i i a p a I -= （bit ） 2. 性质：在事件发生前，)(i a I 表示该事件发生的不确定性。 在事件发生后，)(i a I 表示事件发生所提供的信息量。 二、信源熵 1. 定义： 已知单符号离散无记忆信源的数学模型 我们定义信源各个离散消息的自信息量的数学期望为信源的平均信息量，一般称为信 源的平均信息量： )(log )(])(1[log )]([)( 212i n i i i i a p a p a p E a I E X H ∑=-=== 2. 信源熵与平均自信息量之间的区别 两者在数值上是相等的，但含义不同。信源熵表征信源的平均不确定度，平均自信息量是消除不确定度所需要的信息的度量。信源一定，不管它是否输出离散消息，只要这些离散消息具有一定的概率特性，必有信源的熵值，该熵值在总体平均的意义上才有意义，因而是一个确定值， 。在离散信源的情况下，信源熵的值是有限的。而信息量只有当信源输出离散消息并被接收后，才有意义，这就是给予接收者的信息度量。 3. 最大离散熵定理：信源X 中包含n 个不同离散消息时，信源熵H(X)有： n X H 2log )(≤ 当且仅当X 中各个消息出现的概率全相等时，上式取等号。 4. 扩展信源的信源熵：N 次扩展信源的信源熵：)()(X NH X H N = )(,),(,),(),( , , , , ,)( 2121? ?????=??????n i n i a p a p a p a p a a a a X P X
信息论
电信1201班梁佳琪 A19120164 信息论与编码论文 ——香农理论与信道编码发展 前言 近年来，无线通信技术得到了广泛的发展，从移动的G3，到联通的沃3G业务，再到电信的WCDMA业务，再最近研究的4G领域，无不显示了无线通信的蓬勃发展。 而要实现信息的无线传输，满足信息传输的三个特性——有效性、可靠性和保密性，就要对通信技术提出了更高的要求，为了达到这个目的，现在世界各国的通信方面的专家都在积极研究这个领域，以实现更高速、更有效地信源、信道编码及传输要求。 香农理论的诞生 说起通信，需要回溯到香农与信息论的关系。香农在1948年发表了《通信的一个数学理论》完整地解决了通信速度上限的问题。“信息论”从此诞生。但是香农也留下了一个巨大挑战：怎样才能达到这个速度上限？这个挑战，就开辟了后来五十年来十分热门的研究领域。 信道编码 在数据传送时，我们不是直接把一个一个数码送去调制，而是只传送一些预先选定的序列。要传送的数据被对应到相应的码字来传送。在接收方，根据收到的码字就能恢复出原始数据。这种传送的方法就称为编码。编码的目的可以有多种。一个目的是保密，这里不讨论。另一个目的是加快数据传送速度。把不常用的数据编成长码，常用的编成短码，就能降低码的平均长度，而传送更多的数据。上文开始时介绍的摩斯码就是这个原理。我们现在常用zip程式来压缩文档，也是如此。在通信中，这种编码叫做源编码，有时也称数据压缩。香农在这方面也有开创性的工作，按下不表。第三个目的，就是纠正噪声引起的传送错误。这在上文中也有简单介绍。这种编码就叫信道编码,也叫纠错码。 香农在证明他的信道容量定理中，引进了“典型序列”的概念。典型序列就是指序列中的符号出现的比例与符号的先验概率相同。对于足够长的序列，所有出现机率不为零的序列都是典型序列。通过选取一些典型序列作为码字，香农证明了最大传送速率。但是这个概念实行起来有困难。很长的序列在编码和解码两方面都会非常困难。而如果序列不长的话，就无法利用“典型序列”的概念。所以，香农给出的传输速率，在几十年中都不能达到。 信道编码的类型 编码类型在近几十年中经历了几个不同的的阶段。最早的编码类型是分组码。这也是最容易理解的一种码。顾名思义，分组码这种编码方式就是把输入数据分为长度固定的组，对每一组分别编码。比如，最早的分组码是汉明码，写为（7，4，3）。它的意思是把数据分成4个比特一组，所以共有2的4次方，也就是16
王育民信息论与编码理论第四章答案2
4.5若将N 个相同的BSC 级联如题图4.5所示，各信道的转移概率矩阵为??????--p p p p 11。令Q t =P{X t =0}，t=0,1,…,N,且Q 0为已知。 题图 4.5 (a)求Q t 的表达式。 (b)证明N →∞时有Q N →1/2，且与Q 0取值无关，从而证明N →∞级联信道的信道容量C N →0，P>0。 解： (a)对于满足X N 为马氏链的串联信道，他们总的信道转移概率矩阵为各个串联信道矩阵的乘积，即P(X N |X 0)= P(X 1|X 0) P(X 2|X 1)……P(X N |X N-1) 由已知得，但各信道的转移概率矩阵为?? ?? ??--p p p p 11 则两个信道级联的转移概率矩阵为： P 2=??????--p p p p 11????? ?--p p p p 11=()()()()??????-+---+2222112p 12p 1p p p p p p 三个信道级联的转移概率矩阵为： P 3=()()()()???? ??????-+----+33331221211221211221211-2p 2121p p p 四个信道级联的转移概率矩阵为： P 4=()()()()???? ??????-+----+44441221211221211221211-2p 2121p p p 以此类推：可得N 个信道级联的转移概率矩阵为： P N =()()()()??????????-+----+N N N N p p p 122121122 1211221211-2p 2121 则 Q t =P{X t =0}=()()()()()000121221211122121122121Q p p Q p Q p t t t t -+--=-?? ????--+??????-+
信息论与编码的应用和发展
信息论与编码的应用与发展 通过信道编码器和译码器实现的用于提高信道可靠性的理论和方法。信息论的内容之一。信道编码大致分为两类：①信道编码定理，从理论上解决理想编码器、译码器的存在性问题，也就是解决信道能传送的最大信息率的可能性和超过这个最大值时的传输问题。②构造性的编码方法以及这些方法能达到的性能界限。编码定理的证明，从离散信道发展到连续信道，从无记忆信道到有记忆信道，从单用户信道到多用户信道，从证明差错概率可接近于零到以指数规律逼近于零，正在不断完善。编码方法，在离散信道中一般用代数码形式，其类型有较大发展，各种界限也不断有人提出，但尚未达到编码定理所启示的限度，尤其是关于多用户信道，更显得不足。在连续信道中常采用正交函数系来代表消息，这在极限情况下可达到编码定理的限度。不是所有信道的编码定理都已被证明。只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明；其他信道也有一些结果，但尚不完善。 信道编码技术 数字信号在传输中往往由于各种原因，使得在传送的数据流中产生误码，从而使接收端产生图象跳跃、不连续、出现马赛克等现象。所以通过信道编码这一环节，对数码流进行相应的处理，使系统具有一定的纠错能力和抗干扰能力，可极大地避免码流传送中误码的发生。误码的处理技术有纠错、交织、线性内插等。 提高数据传输效率，降低误码率是信道编码的任务。信道编码的本质是增加通信的可靠性。但信道编码会使有用的信息数据传输减少，信道编码的过程是在源数据码流中加插一些码元，从而达到在接收端进行判错和纠错的目的，这就是我们常常说的开销。这就好象我们运送一批玻璃杯一样，为了保证运送途中不出现打烂玻璃杯的情况，我们通常都用一些泡沫或海棉等物将玻璃杯包装起来，这种包装使玻璃杯所占的容积变大，原来一部车能装5000各玻璃杯的，包装后就只能装4000个了，显然包装的代价使运送玻璃杯的有效个数减少了。同样，在带宽固定的信道中，总的传送码率也是固定的，由于信道编码增加了数据量，其结果只能是以降低传送有用信息码率为代价了。将有用比特数除以总比特数就等于编码效率了，不同的编码方式，其编码效率有所不同。 数字电视中常用的纠错编码，通常采用两次附加纠错码的前向纠错（FEC）编码。RS编码属于第一个FEC，188字节后附加16字节RS码，构成（204，188）RS码，这也可以称为外编码。第二个附加纠错码的FEC 一般采用卷积编码，又称为内编码。外编码和内编码结合一起，称之为级联编码。级联编码后得到的数据流再按规定的调制方式对载频进行调制。 前向纠错码（FEC）的码字是具有一定纠错能力的码型，它在接收端解码后，不仅可以发现错误，而且能够判断错误码元所在的位置，并自动纠错。这种纠错码信息不需要储存，不需要反馈，实时性好。所以在广播系统（单向传输系统）都采用这种信道编码方式。 下面是纠错码的各种类型: 1、RS编码
学科导论学习报告
学科导论学习报告
目录 目录 (2) 学科导论学习报告 (3) （1）对电子通信学科的认识 (3) ①对学科的简介： (3) ②培养方向： (4) ③培养目标： (4) ④就业方向： (5) ⑤主要课程： (5) ⑥专业特点： (5) （2）对学科导论课程的评价与认识 (5) ①优点： (6) ②不足与改进： (6) （3）有关本专业新技术——NGN新技术的简述。 (7) ①基本简介： (7) ②主要技术： (7) ③特点： (9) （4）通过学习后的心得体会： (9) ①学习方法的改进： (10) ②我的简单职业生涯规划： (10) 1.学业为主 (10) 2.学业家庭并重： (11) 3.家庭为主： (11) 4.学习上的目标 (11) 5具体三年规划 (11) 6.短期计划： (12) 7.大学四年最终目标 (12)
学科导论学习报告 每周二晚上尽管时间很匆忙，仍然坚持对学科导论的学习。尽管学习的时间很短，但通过对本专业《学科导论》的学习，我不仅仅对信息工程专业有了更深的了解，更重要的是对本专业有了融厚的兴趣以及掌握了一些有用的学习方法。我相信会为我以后的学习，给以很大的帮助。同时给我在成就美丽人生的路上，倍添了信心。 （1）对电子通信学科的认识 通过课程的学习以及网上查找资料，我得到相关的认识如下：本专业是建立在超大规模集成电路技术和现代计算机技术基础上，研究信息处理理论、技术和工程实现的专门学科。该专业以研究信息系统和控制系统的应用技术为核心，在面向21世纪信息社会化的过程中具有十分重要的地位。 在课堂上老师介绍了信息科学与技术导论，其中详细包括了大科学观，信息基础，信息获取，信息传递，信息处理，信息执行，学科关系，学习方法，未来趋势，放眼社会。对科学、技术、信息等词语都做出了详细的解释以及生动的举例。技术，也叫工艺学，是人类创造的关于如何认识自然和如何改造自然的工艺方法体系，它从实践过程中被人们逐渐总结出来，或在科学理论指导下被人们发明出来，经过实践的检验而得到确认和应用。 这些使我了解了很多，同时激励我不断地对问题思考与总结。 ①对学科的简介：
信息论与编码 第四章 (1)
信息论与编码 第四章 4.5判断以下几种信道是不是准对称信道 （1）?? ????3.02.05.05.03.02.0不是 （2）???? ??????7.03.06.04.03.07.0不是 （3）?? ????7.01.02.02.01.07.0是 （4）?? ????6/13/13/16/16/16/13/13/1 是 4.7计算以下离散无记忆信道DMC 的容量及最佳分布 （1）P=???? ??????---p p p p p p 101001 解： 此为对称信道，达到C 需要等概，则该信道的最佳分布为： X q （X ） = x1 x2 x313 13 13 所以该信道的容量为：C=log 3+（1-p ）log(1?p)+p log p =log3-H 2（p ） (2)P=??????----2/)1(2/)1(2/2 /2/2/2/)1(2/)1(p p p p p p p p
解: 易得该信道为一个准对称信道，假定最佳分布为： X q （X ） = x1 x2 13 13 s1= (1?p)/2p/2p/2(1?p)/2 s2= (1?p)/2p/2p/2(1?p)/2 C=log k - N s *log M s -H =log 2-(1/2*log 1/2+1/2*log 1/2)+(1-p)log(1?p)/2+p log p =log2+(1-p)log(1?p)/2+p log p =log2-H 2（p ） (5)P= 132323 13 解: C=log 2+13×log 13+23×log 23 =0.083 4.10给定离散信道的信道转移概率矩阵P=????? ???????----q q q q p p p p 100100001001,计算其信道容量C 解:
信息论基础及答案
《信息论基础》试卷答案 一、填空题（共25分，每空1分） 1、连续信源的绝对熵为 无穷大。（或()()lg lim lg p x p x dx +∞ -∞?→∞ --??） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指 信源先后发生的符号彼此统计独立 。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 2 2 x -)时，信源具有最大熵，其值为 0.6155hart(或1.625bit 或1lg 22 e π)。 8、即时码是指 任一码字都不是其它码字的前缀 。 9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r )，此时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元 。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。 11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同 的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)