信息理论基础课后题答案
信息论基础智慧树知到课后章节答案2023年下潍坊学院
信息论基础智慧树知到课后章节答案2023年下潍坊学院潍坊学院第一章测试1.信息论的奠基人是（）。
A:香农 B:阿姆斯特朗 C:哈特利 D:奈奎斯特答案:香农2.下列不属于信息论的研究内容的是（）。
A:纠错编码 B:信息的产生 C:信道传输能力 D:信源、信道模型答案:信息的产生3.下列不属于消息的是（）A:文字 B:图像 C:信号 D:语音答案:信号4.信息就是消息. （）A:错 B:对答案:错5.信息是不可以度量的，是一个主观的认识。
（）A:错 B:对答案:错6.任何已经确定的事物都不含有信息。
（）A:对 B:错答案:对7.1948年香农的文章《通信的数学理论》奠定了香农信息理论的基础。
（）A:错 B:对答案:对8.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（），使信息传输系统达到最优化。
A:有效性 B:认证性 C:可靠性 D:保密性答案:有效性;认证性;可靠性;保密性9.下列属于香农信息论的主要研究理论的是（）。
A:压缩理论 B:调制理论 C:保密理论 D:传输理论答案:压缩理论;保密理论;传输理论10.信源编码的作用包含（）。
A:检错纠错 B:对信源的输出进行符号变换 C:数据压缩 D:提升信息传输的安全性答案:对信源的输出进行符号变换;数据压缩第二章测试1.信息传输系统模型中，用来提升信息传输的有效性的部分为（）A:信源 B:信道编码器、信道译码器 C:信道 D:信源编码器、信源译码器答案:信源编码器、信源译码器2.对于自信息，以下描述正确的是（）A:以2为底时，单位是奈特。
B:以2为底时，单位是比特。
C:以10为底时，单位是奈特。
D:以e为底时，单位是比特答案:以2为底时，单位是比特。
3.信息熵的单位是（）A:比特 B:比特每符号 C:无法确定答案:比特每符号4.必然事件和不可能事件的自信息量都是0 。
（）A:错 B:对答案:错5.概率大的事件自信息量大。
信息理论基础智慧树知到课后章节答案2023年下浙江大学
信息理论基础智慧树知到课后章节答案2023年下浙江大学浙江大学第一章测试1.随机事件的互信息可小于0，随机变量的互信息也可小于0。
（）答案:错2.对于连续随机变量，其微分熵越大，说明不确定性越大。
（）答案:错3.必然事件和不可能事件的自信息量都是0。
（）答案:错4.自信息量是P(xi)的单调递减函数。
（）答案:对5.若离散变量X是离散变量Y的函数，则条件熵H(X|Y)恒为0。
（）答案:对第二章测试1. A 村有一半人说真话，3/10人总说假话，2/10人拒绝回答；B村有3/10人诚实，一半人说谎，2/10人拒绝回答。
现随机地从A村和B村抽取人，p为抽到A村人的概率，1–p为抽到B村人的概率，问通过测试某人说话的状态平均能获得多少关于该人属于哪个村的信息？通过改变p，求出该信息的最大值。
答案:null2.一个无偏骰子，抛掷一次，如果出现1，2，3，4 点，则把一枚均匀硬币投掷一次，如果骰子出现5，6 点，则硬币投掷二次，求硬币投掷中正面出现次数对于骰子出现点数所提供的信息?答案:null3.在某中学有3/4学生通过了考试，1/4学生没有通过。
在通过考试的同学中10%有自行车，而没有通过的学生中50%有自行车，所有有自行车的同学都加入了联谊会，无自行车的同学中仅有40%加入联谊会。
a. 通过询问是否有自行车，能获得多少关于学生考试成绩的信息?b. 通过询问是否参加联谊会，能获得多少关于学生成绩的信息?c. 如果把学生成绩情况，自行车拥有情况和是否参加联谊会用三位二进数字传输，问每位数字携带多少信息?答案:null4.随机掷三颗骰子，以X 表示第一颗骰子抛掷的结果，以Y 表示第一颗和第二颗骰子抛掷之和，以Z 表示三颗骰子的点数之和，试求H(X|Y)，H(Y|X)，H(Z|X,Y)，H(X,Z|Y)和H(Z|X)。
答案:null5.设一个系统传送10个数字：0，1，2，⋯，9，奇数在传送时以0.5概率等可能地错成另外的奇数，而其他数字总能正确接收。
信息论基础教材习题答案.docx
第
9.6共有28=256个码字，不能由一个码字的循环产生所有的码字，因为码长为8位，由一个码字循环移位 最多能产生8个码字。
9.7根据伴随式定义:5(x)=j(x) [mod g(x)],由于码多项式都是g(x)的倍式，如果接受矢量y(x)是码多 项式，则它的的伴随式等于0,如果y(Q不是码多项式，则伴随式s(Q不等于0。
0
0
0
0
0
1
1
0
1
0
0
0
0
0
0
0
0
0
0
1
0
1
0
0
1
0
0
0
0
0
0
0
0
0
1
1
0
0
0
0
1
0
0
0
0
0
0
0
0
1
1
1
0
0
0
0
1
0
0
0
0
0
0
1
0
0
1
G =
0
0
0
0
0
1
0
0
0
0
0
1
1
1
0
0
0
0
0
0
0
1
0
0
0
0
1
0
1
1
0
0
0
0
0
0
0
1
0
0
0
1
1
0
0
0
0
0
0
0
0
0
0
信息理论与编码课后答案第2章
第二章 信息的度量习题参考答案不确定性与信息（2.3）一副充分洗乱的牌（含52张），试问： （1）任一特定排列所给出的不确定性是多少？（2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？ 解：（1）一副充分洗乱的扑克牌，共有52张，这52张牌可以按不同的一定顺序排列，可能有的不同排列状态数就是全排列种数，为6752528.06610P =≈⨯!因为扑克牌充分洗乱，所以任一特定排列出现的概率是相等的。
设事件A 为任一特定排列，则其发生概率为 ()6811.241052P A -=≈⨯!可得，任一特定排列的不确定性为()()22log log 52225.58I A P A =-=≈!比特 （2）设事件B 为从中抽取13张牌，所给出的点数都不同。
扑克牌52张中抽取13张，不考虑其排列顺序，共有1352C 种可能的组合，各种组合都是等概率发生的。
13张牌中所有的点数都不相同（不考虑其顺序）就是13张牌中每张牌有4种花色，所以可能出现的状态数为413。
所以()131341352441339 1.05681052P B C -⨯!!==≈⨯!则事件B 发生所得到的信息量为()()13213524log log 13.208I B P B C =-=-≈ 比特2.4同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“2和6 同时出现”这事件的自信息量。
（2）“两个3同时出现”这事件的自信息量。
（3）两个点数的各种组合（无序对）的熵。
（4）两个点数之和（即2，3，…，12构成的子集）的熵。
（5）两个点数中至少有一个是1的自信息。
解：同时扔两个正常的骰子，可能呈现的状态数有36种，因为两骰子是独立的，又各面呈现的概率为61，所以36种中任一状态出现的概率相等，为361。
（1） 设“2和6同时出现”这事件为A 。
在这36种状态中，2和6同时出现有两种情况，即2，6和2，6。
信息论基础第二版习题答案
信息论基础第二版习题答案信息论是一门研究信息传输和处理的学科，它的基础理论是信息论。
信息论的基本概念和原理被广泛应用于通信、数据压缩、密码学等领域。
而《信息论基础》是信息论领域的经典教材之一，它的第二版是对第一版的修订和扩充。
本文将为读者提供《信息论基础第二版》中部分习题的答案，帮助读者更好地理解信息论的基本概念和原理。
第一章：信息论基础1.1 信息的定义和度量习题1：假设有一个事件发生的概率为p，其信息量定义为I(p) = -log(p)。
求当p=0.5时，事件的信息量。
答案：将p=0.5代入公式，得到I(0.5) = -log(0.5) = 1。
习题2：假设有两个互斥事件A和B，其概率分别为p和1-p，求事件A和B 同时发生的信息量。
答案：事件A和B同时发生的概率为p(1-p)，根据信息量定义，其信息量为I(p(1-p)) = -log(p(1-p))。
1.2 信息熵和条件熵习题1：假设有一个二进制信源，产生0和1的概率分别为p和1-p，求该信源的信息熵。
答案：根据信息熵的定义，信源的信息熵为H = -plog(p) - (1-p)log(1-p)。
习题2：假设有两个独立的二进制信源A和B，产生0和1的概率分别为p和1-p，求两个信源同时发生时的联合熵。
答案：由于A和B是独立的，所以联合熵等于两个信源的信息熵之和，即H(A,B) = H(A) + H(B) = -plog(p) - (1-p)log(1-p) - plog(p) - (1-p)log(1-p)。
第二章：信道容量2.1 信道的基本概念习题1：假设有一个二进制对称信道，其错误概率为p，求该信道的信道容量。
答案：对于二进制对称信道，其信道容量为C = 1 - H(p)，其中H(p)为错误概率为p时的信道容量。
习题2：假设有一个高斯信道，信道的信噪比为S/N，求该信道的信道容量。
答案：对于高斯信道，其信道容量为C = 0.5log(1 + S/N)。
信息论基础及答案
《信息论基础》试卷答案一、填空题（共25分，每空1分）1、连续信源的绝对熵为 无穷大。
（或()()lg lim lg p x p x dx +∞-∞∆→∞--∆⎰） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。
3、无记忆信源是指 信源先后发生的符号彼此统计独立 。
4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。
根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。
5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。
6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。
7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 22x-)时，信源具有最大熵，其值为 0.6155hart(或1.625bit 或1lg 22e π)。
8、即时码是指 任一码字都不是其它码字的前缀 。
9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r)，此时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元 。
10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。
11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。
12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。
13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。
14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)二、(5分)已知信源的概率密度函数为()10a x b p x b a ⎧≤≤⎪=-⎨⎪⎩其他，计算信源的相对熵。
信息论参考答案
信息论参考答案信息论参考答案信息论是一门研究信息传输和编码的学科，它的核心概念是信息的度量和传输。
信息论的发展可以追溯到上世纪40年代，由克劳德·香农提出，并逐渐成为计算机科学、通信工程等领域的重要理论基础。
本文将从信息的定义、信息的度量以及信息的传输三个方面，探讨信息论的相关知识。
一、信息的定义信息是指能够改变接收者知识状态的事实或数据。
在信息论中，信息的基本单位是比特（bit），它表示一个二进制的选择，即0或1。
比特是信息论中最小的单位，可以用来表示一个简单的选择问题，如是或否、真或假等。
当然，在实际应用中，比特往往被扩展为更大的单位，如字节、千字节等。
二、信息的度量信息的度量是信息论的核心问题之一。
克劳德·香农提出了信息熵的概念，用来度量信息的不确定性或者说信息的平均量。
信息熵的计算公式为：H(X) = -ΣP(x)log2P(x)，其中H(X)表示随机变量X的信息熵，P(x)表示随机变量X取值为x的概率。
信息熵越大，表示信息的不确定性越高，反之亦然。
除了信息熵，信息论还引入了条件熵、相对熵和互信息等概念。
条件熵表示在已知某些信息的情况下，对另一个随机变量的不确定性进行度量。
相对熵用来衡量两个概率分布之间的差异，而互信息则表示两个随机变量之间的相关程度。
三、信息的传输信息的传输是信息论的另一个重要问题。
在信息论中，通过信道来传输信息。
信道可以是有线的或者无线的，可以是噪声的或者非噪声的。
为了保证信息的可靠传输，需要对信息进行编码和解码。
编码是将信息转化为能够在信道中传输的信号的过程。
常见的编码方法有霍夫曼编码、香农-费诺编码等。
编码的目标是尽量减少信息的冗余，提高信息的传输效率。
解码是将经过信道传输的信号恢复为原始信息的过程。
解码的目标是尽量减少信息的失真，保证信息的可靠性。
常见的解码方法有最大似然解码、Viterbi解码等。
信息论的应用广泛，不仅在通信领域发挥着重要作用，还在数据压缩、密码学、人工智能等领域有着广泛的应用。
信息论基础各章参考答案.doc
= pQhb) = = pWLh)124各章参考答案2. 1. （1） 4.17 比特；（2） 5.17 比特；(3) 1.17 比特； (4) 3.17 比特 2. 2. 1.42比特2. 3.(1) 225.6 比特；(2) 13.2 比特2. 4. (1) 24.07 比特；(2) 31.02 比特2. 5. （1）根据炳的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。
如果我们使每次实验所获得的信息量最大。
那么所需要的总实验次数就最少。
用无秩码天平 的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3o 从12个硬币 中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。
冽31og3=log27>log24o 所以在理论上用3次称重能够鉴别硬币并判断其轻或重。
每次实验应使结果具有最大的炳。
其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ② 左倾③右倾。
i ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚 中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出肃中没有假币；若有，还能 判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可 判断出假币。
订）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未 称的3枚放到右盘中，观察称重缺码，若平衡，说明取下的3枚中含假币，只能判出轻重， 若倾斜方的不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说 明从右盘取过的3枚中有假币，便可判出轻重。
（2）第三次称重类似i ）的情况，但当两个硬币知其中一个为假，不知为哪个时, 第三步用一个真币与其中一个称重比较即可。
对13个外形相同的硬币情况.第一次按4,4,5分别称重，如果假币在一五个硬币的组里，则鉴 别所需信息量为Iogl0>log9=21og3,所以剩下的2次称重不能获得所需的信息.2. 6. (1) log2“=15 比特；(2)1比特；（3） 15个问题2. 7. 证明： （略）2. 8.证明： （略）/ 、 111 、 12.9. P (dibi) = - p(ci\bi )= 12P (cM — — P (sb) < , 12 ,6,2. 10.证明： （略） 2. 11.证明： （略）2.12.证明： (略)2 [3.(1) H(X) = H(Y) = 1, H(Z) = 0.544, H(XZ) = 1.406, H(YZ) = 1.406,H(XKZ) = 1.812(2)H(X/Y) = H(Y/X) = 0.810f H(X/Z) = 0.862, H(Z/X) = H(Z/Y) =0.405 , H(Y/Z) = 0.862, H(X/YZ) = H(Y/XZ) = 0.405, H(Z/XY) =(3)1(X;K) = 0.188 Z(X;Z) = 0.138 Z(K;Z) = 0.138 7(X;Y/Z) =0.457 , I(Y;Z/X) = I(X;Z/Y) = 0.406(单位均为比特/符号)p 游(000) = 1)= Pg(l°l)=服z(l 1°)= 714. X 1 Z ■,(2)P加(°°°)=P宓(111)= !(3)P加(°°°)= 〃加(°。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
· 1 ·2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X 代表女孩子学历X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75设随机变量Y 代表女孩子身高Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5已知：在女大学生中有75%是身高160厘米以上的 即：p(y 1/ x 1) = 0.75求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=⎪⎭⎫⎝⎛⨯-=⎥⎦⎤⎢⎣⎡-=-=2.3 一副充分洗乱了的牌（含52张牌），试问(1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？解：(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：bit x p x I i i 581.225!52log )(log )(2==-=(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：bit C x p x I C x p i i i 208.134log )(log )(4)(13521322135213=-=-==· 2 ·2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是：bit p I 811.87log 2=-=(2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？解： 男士：symbolbit x p x p X H bitx p x I x p bit x p x I x p i i i N N N Y Y Y / 366.0)93.0log 93.007.0log 07.0()(log )()( 105.093.0log )(log )(%93)( 837.307.0log )(log )(%7)(22222222=+-=-==-=-===-=-==∑女士：symbol bit x p x p X H ii i / 045.0)995.0log 995.0005.0log 005.0()(log )()(2222=+-=-=∑2.6 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321x x x x x x X P X ，求这个信源的熵，并解释为什么H(X) > log6不满足信源熵的极值性。
解：585.26log )(/ 657.2)17.0log 17.016.0log 16.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0()(log )()(222222262=>=+++++-=-=∑X H symbol bit x p x p X H ii i 不满足极值性的原因是107.1)(6>=∑iix p 。
· 3 ·2.7 证明：H(X 3/X 1X 2) ≤ H(X 3/X 1)，并说明当X 1, X 2, X 3是马氏链时等式成立。
证明：log 1)/()(log )()/()(log 1)/()/()()/()/(log)()/(log )()/(log )()/(log )()/(log )()/()/(2123132121233211231321123221313321123213133211231332112321332113133112321332113213=⎪⎪⎭⎫⎝⎛-⎥⎦⎤⎢⎣⎡=⎪⎭⎫⎝⎛-=⎪⎪⎭⎫⎝⎛-≤=+-=+-=-∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑e x x p x x p ex x x p x x p x x p e x x x p x x p x x x p x x x p x x p x x x p x x p x x x p x x x p x x x p x x p x x p x x x p x x x p X X H X X X H i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i氏链是马等式成立的条件是时等式成立当_,,)/()/()/()()/()/()()()/()/()()/()/(01)/()/()/()/(321132131232113121212131321213132131313213X X X x x x p x x p x x p x x x p x x p x x p x p x x p x x x p x x p x x p x x x p x x p x x x p x x p X X H X X X H i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i ∴=⇒=⇒=⇒=⇒=-≤∴2.8证明：H(X 1X 2 。
X n ) ≤ H(X 1) + H(X 2) + … + H(X n )。
证明：)(...)()()()...().../()(0)...;(...)/()(0);()/()(0);().../(...)/()/()()...(3212112112121332131221212121312121N N N N N N N N N N X H X H X H X H X X X H X X X X H X H X X X X I X X X H X H X X X I X X H X H X X I X X X X H X X X H X X H X H X X X H ++++≤∴≥⇒≥≥⇒≥≥⇒≥++++=---2.9 设有一个信源，它产生0，1序列的信息。
它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。
(1) 试问这个信源是否是平稳的？ (2) 试计算H(X 2), H(X 3/X 1X 2)及H ∞；(3) 试计算H(X 4)并写出X 4信源中可能有的所有符号。
解： (1)这个信源是平稳无记忆信源。
因为有这些词语：“它在任意时间．．．．而且不论以前发生过什么符号．．．．．．．．．．．……”· 4 ·(2)symbolbit X H H symbol bit x p x p X H X X X H symbolbit X H X H ii i / 971.0)(/ 971.0)6.0log 6.04.0log 4.0()(log )()()/(/ 942.1)6.0log 6.04.0log 4.0(2)(2)(2223213222===+-=-===+⨯-==∞∑(3)1011111111101101110010101001100001110110010101000011001000010000的所有符号：/ 884.3)6.0log 6.04.0log 4.0(4)(4)(4224X symbol bit X H X H =+⨯-==2.10 一阶马尔可夫信源的状态图如下图所示。
信源X 的符号集为{0, 1, 2}。
(1) 求平稳后信源的概率分布； (2) 求信源的熵H ∞。
PP解： (1)⎪⎩⎪⎨⎧===⎩⎨⎧=++==⎪⎪⎩⎪⎪⎨⎧⋅+⋅=⋅+⋅=⋅+⋅=⎪⎩⎪⎨⎧+=+=+=3/1)(3/1)(3/1)(1)()()()()()()()()()()()()()()()/()()/()()()/()()/()()()/()()/()()(321321321133322211131333332322222121111e p e p e p e p e p e p e p e p e p e p p e p p e p e p p e p p e p e p p e p p e p e e p e p e e p e p e p e e p e p e e p e p e p e e p e p e e p e p e p· 5 ·⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡⎪⎪⎩⎪⎪⎨⎧=+=⋅+⋅=+==+=⋅+⋅=+==+=⋅+⋅=+=3/123/113/10)(3/13/)()()()/()()/()()(3/13/)()()()/()()/()()(3/13/)()()()/()()/()()(131313333323232222212121111X P X p p e p p e p p e x p e p e x p e p x p p p e p p e p p e x p e p e x p e p x p p p e p p e p p e x p e p e x p e p x p (2)()symbolbit p p p p p p p p p p p p p p p p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e p H iji j i j i / log log log 31log 31log 31log 31log 31log 31)/(log )/(31)/(log )/(31)/(log )/(31)/(log )/(31)/(log )/(31)/(log )/(31)/(log )/(31)/(log )/(31)/(log )/(31)/(log )/()(2222222233233322323123123223222222122113213122121121133⋅+⋅-=⎥⎦⎤⎢⎣⎡⋅⋅+⋅⋅+⋅⋅+⋅⋅+⋅+⋅⋅-=⎥⎦⎤++++++⎢⎣⎡++-=-=∑∑∞2.11黑白气象传真图的消息只有黑色和白色两种，即信源X ={黑，白}。