第二章信源熵-习题答案(精品文档)
信息编码习题答案或提示
第二章部分习题2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?答：2倍，3倍。
2.2 一副充分洗乱了的牌(含52张牌)，试问 (1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同, 能得到多少信息量？解：(1) !52log 2 (2) 任取13张，各点数不同的概率为1352!13C ，信息量：9.4793(比特/符号)2.3 居住某地区的女孩子有%25是大学生，在女大学生中有75%是身高160厘米上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 答案：1.415比特/符号。
提示：设事件A 表示女大学生，事件C 表示160CM 以上的女孩，则问题就是求p(A|C)，83214341)()|()()()()|(=⨯===C p A C p A p C p AC p C A p2.4 设离散无忆信源()123401233/81/41/41/8X a a a a P X ====⎛⎫⎧⎫=⎨⎬ ⎪⎩⎭⎝⎭，其发出的消息为(202120130213001203210110321010021032011223210)，求(1) 此消息的自信息量是多少？(2) 在此消息中平均每个符号携带的信息量是多少？解：(1)87.81比特，(2)1.951比特。
提示：先计算此消息出现的概率，再用自信息量除以此消息包含的符号总数(共45个)。
2.5 从大量统计资料知道，男性中红绿色盲的发病率为7% ，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含有多少信息量?平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？(1) 男性回答是的信息量为2log 0.07 3.8369-=比特，回答否的信息量是0.1047比特，平均每个回答含的信息量(即熵)是0.36596比特。
信息论与编码第二章答案
第二章 信息的度量2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。
2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。
2.3熵是对信源什么物理量的度量？答：平均信息量2.4设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：k k k xi q xi q X H ilog 1log 1)(log )()(=-=-=∑2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。
答：)|;();();(Y Z X I Y X I YZ X I +=2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告)()|(log );(xi q yj xi Q y x I =知的是xi 出现的可能性更小了。
从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。
2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。
答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201======s x p s x p s x p s x p s x p s x p 即：得：114)(113)(114)(210===s p s p s p 0.25（bit/符号）=+-+-+-=)]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 2.8一个马尔可夫信源，已知：试画出它的0)2|2(,1)2|1(,31)1|2(,32)1|1(====x x p x x p x x p x x p 香农线图，并求出信源熵。
信息论与编码第二章答案
2—1、一阶马尔可夫链信源有3个符号{}123,,u u u ,转移概率为：1112()u p u=，2112()u p u =，31()0u p u =，1213()u p u = ，22()0u p u =，3223()u p u =，1313()u p u =，2323()u p u =，33()0u p u =。
画出状态图并求出各符号稳态概率。
解：由题可得状态概率矩阵为：1/21/20[(|)]1/302/31/32/30j i p s s ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦状态转换图为：令各状态的稳态分布概率为1W ，2W ，3W ，则: 1W =121W +132W +133W ， 2W =121W +233W , 3W =232W 且：1W +2W +3W =1 ∴稳态分布概率为：1W =25，2W =925，3W = 6252-2.由符号集{０,１}组成的二阶马尔可夫链，其转移概率为:P （0｜00）=0.8，P(0｜11)=0.2，P （1|00）=0.2，P(1｜11）=0.8,P （0|01）=0.5,p(0|10）=0。
5，p(1|01）=0。
5,p （1|10）=0。
5画出状态图，并计算各符号稳态概率。
解:状态转移概率矩阵为：令各状态的稳态分布概率为1w 、2w 、3w 、4w ，利用（2—1-17）可得方程组。
1111221331441132112222332442133113223333443244114224334444240.80.50.20.50.50.20.50.8w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w =+++=+⎧⎪=+++=+⎪⎨=+++=+⎪⎪=+++=+⎩ 且12341w w w w +++=；0.8 0.2 0 00 0 0.5 0.5()0.5 0.5 0 00 0 0.2 0.8j i p s s ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦解方程组得：12345141717514w w w w ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩ 即：5(00)141(01)71(10)75(11)14p p p p ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2—3、同时掷两个正常的骰子，也就是各面呈现的概率都是16，求：（1）、“3和5同时出现”事件的自信息量；（2）、“两个1同时出现"事件的自信息量； (3)、两个点数的各种组合的熵或平均信息量； （4)、两个点数之和的熵； （5）、两个点数中至少有一个是1的自信息量。
信源熵 第二章(1)
2.3.2 离散有记忆信源的序列熵
• 若信源输出一个L长序列，则信源的序列熵为
H(X)H(X1X2XL) H(X1)H(X2|X1)H(XL|XL1X1)
L
H(Xl |Xl1)H(XL)
l
• 平均每个符号的熵为：
HL(X)L1H(XL)
• 若当信源退化为无记忆时: 若进一步又满足平稳性时
发出符号序列的马尔可夫信源
• 发出单个符号的信源
– 指信源每次只发出一个符号代表一个消息；
• 发出符号序列的信源
– 指信源每次发出一组含二个以上符号的符号 序列代表一个消息。 a
13
2.3.1 离散无记忆信源的序列熵
• 发出单个符号的信源
X 1 2 3 4 5 6 P1/61/61/61/61/61/6
• 信源的序列熵
H (X )H (XL)LH (X)
• 平均每个符号(消息)熵为
HL(X)L1H(X)aH(X) 17
例2-10:
有一个无记忆信源随机变量X∈(0,1),等概率分布, 若以单个符号出现为一事件，则此时的信源熵:
H (X)lo22 g1bi/符 t 号
– 即用 1比特就可表示该事件。 • 如果以两个符号出现(L=2的序列)为一事件，则
第二章—5
信源熵
内容
2.1 信源的描述和分类 2.2 单符号离散信源 2.3 多符号离散平稳信源 2.4 连续信源 2.5 冗余度
a 2
回顾——1.信源熵的基本性 质和定理
a 3
熵函数的性质
1. 非负性
H(X)＝H(p1，p2，…，pn)≥0 – 式中等号只有在pi =1时成立。
2. 对称性
H(p1，p2，…，pn) = H(p2，p1，…，pn)
信息论与编码理论习题答案
第二章 信息量和熵2.2八元编码系统，码长为3，第一个符号用于同步,每秒1000个码字,求它的信息速率.解:同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s2。
3 掷一对无偏骰子，告诉你得到的总的点数为:(a ） 7； （b) 12。
问各得到多少信息量.解:(1) 可能的组合为 {1，6｝，｛2，5}，｛3，4},{4，3｝,{5，2｝,｛6,1｝)(a p =366=61得到的信息量 =)(1loga p =6log =2。
585 bit (2） 可能的唯一，为 {6,6｝)(b p =361得到的信息量=)(1logb p =36log =5。
17 bit2.4 经过充分洗牌后的一副扑克(52张）,问：（a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量?解:（a ） )(a p =!521信息量=)(1loga p =!52log =225.58 bit （b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13。
208 bit2.9随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解:令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立,则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6 =3。
复习课资料与习题
n
n
n
n
n
n
= ∑ H (Xl )
l =1
L
30
2.3 离散序列信源的熵
z z
离散无记忆信源的序列熵 平均每个符号熵（消息熵）
1 H L ( X) = H ( X) L
7
2.2 离散信源熵与互信息
z
单符号离散信源熵 定义：对于给定离散概率空间表示的信 源所定义的随机变量I的数学期望为信源 的信息熵，单位为比特/符号
i
H ( X ) = E [ I ( x )] = − ∑ p ( x i ) log p ( x i )
8
2.2 离散信源熵与互信息
z
离散信源条件熵 定义：对于给定离散概率空间表示的信源所定 义的随机变量I（x/y)在集合X上的数学期望为 给定y条件下信源的条件熵，单位为比特/序列
离散无记忆序列信源 离散有记忆序列信源 马尔可夫信源 离散无记忆信源的序列熵 离散有记忆信源的序列熵
22
2.3 离散序列信源的熵
z
离散无记忆序列信源 布袋摸球实验，若每次取出两个球，由 两个球的颜色组成的消息就是符号序 列。若先取出一个球，记下颜色放回布 袋，再取另一个球。
p ( X 1 , X 2 ,L , X l ,L X L ) = p ( X 1 ) p ( X 2 ) L p ( X L )
1 I ( x i = a i ) = − log p( x i ) = log p( x i )
以2为底，单位为比特（bit) 以e为底，单位为奈特（nat) 1nat=1.433bit 以10为底，单位为笛特（det) 1det=3.322bit
5
2.2 离散信源熵与互信息
第二章 信源熵-习题答案
· 1 ·2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0=== 所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X 代表女孩子学历X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75设随机变量Y 代表女孩子身高Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5已知：在女大学生中有75%是身高160厘米以上的 即：bit x y p 75.0)/(11=求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(11111111=⨯-=-=-=2.3 一副充分洗乱了的牌（含52张牌），试问(1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？解：(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：!521)(=i x p bit x p x I i i 581.225!52log )(log )(==-=(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：· 2 ·bit C x p x I C x p i i i 208.134log)(log )(4)(135213135213=-=-==2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是：bit p I 811.87log =-= (2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？解： 男士：sym bolbit x p x p X H bitx p x I x p bit x p x I x p i i i N N N Y Y Y / 366.0)93.0log 93.007.0log 07.0()(log )()( 105.093.0log )(log )(%93)( 837.307.0log )(log )(%7)(2=+-=-==-=-===-=-==∑女士：symbol bit x p x p X H ii i / 045.0)995.0log 995.0005.0log 005.0()(log )()(2=+-=-=∑2.6 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321x x x x x x X P X ，求这个信源的熵，并解释为什么H(X) > log6不满足信源熵的极值性。
信源熵例题
物理与信息工程学院 郭里婷
10
2019/2/7
例2：随机变量X表示人的性别，X=0表示男性，X=1表示女性；随即变量Y表 示是否抽烟，Y=0表示抽烟，Y=1表示不抽烟。(X,Y)的联合分布分别如下3 种情况时，求抽到的是男性给抽烟这个事件提供多大的信息量。
物理与信息工程学院 郭里婷
11
2019/2/7
物理与信息工程学院 郭里婷
12
2019/2/7
例3：设信源发出8种消息（符号），各消息等概发送，各符号分别用3位二进 码元表示，并输出消息（事件），设8个消息按自然二进制进行编码，见 p23表2-3。通过对输出码元序列的观察来推测信源的输出。假设信源发出 的消息x4，用二进码011表示， 求依次接收0，01，011后，得到的关于x4 的信息量。
X x1 (红), x2 (白) P 0.8, 0.2
物理与信息工程学院 郭里婷
2
2019/2/7
单符号无记忆连续信源 例2：一节5V的干电池，测电压。电压可以看成单符号无记 忆连续信源。消息数无限多.
物理与信息工程学院 郭里婷
3
2019/2/7
信息论与编码
第二章 信源熵 例题
福州大学物理与信息工程学院 郭里婷
物理与信息工程学院 郭里婷
1
2019/2/7
第二章 第一节例题
单符号无记忆离散信源 例1：一个布袋中有100个球，其中80个红色，20个白色。随 机摸取一个球，看颜色。球的颜色可以看成单符号无记忆离 散信源。消息数量为2，红白消息的概率分别为0.8和0.2。
X x1 x1 , x1 x2 , x2 x1 , x2 x2 P 0.64, 0.16, 0.16, 0.04
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
· 1 ·2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X 代表女孩子学历X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75设随机变量Y 代表女孩子身高Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5已知：在女大学生中有75%是身高160厘米以上的 即：p(y 1/ x 1) = 0.75求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=⎪⎭⎫⎝⎛⨯-=⎥⎦⎤⎢⎣⎡-=-=2.3 一副充分洗乱了的牌（含52张牌），试问(1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？解：(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：bit x p x I i i 581.225!52log )(log )(2==-=(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：bit C x p x I C x p i i i 208.134log )(log )(4)(13521322135213=-=-==· 2 ·2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是：bit p I 811.87log 2=-=(2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？解： 男士：symbolbit x p x p X H bitx p x I x p bit x p x I x p i i i N N N Y Y Y / 366.0)93.0log 93.007.0log 07.0()(log )()( 105.093.0log )(log )(%93)( 837.307.0log )(log )(%7)(22222222=+-=-==-=-===-=-==∑女士：symbol bit x p x p X H ii i / 045.0)995.0log 995.0005.0log 005.0()(log )()(2222=+-=-=∑2.6 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321x x x x x x X P X ，求这个信源的熵，并解释为什么H(X) > log6不满足信源熵的极值性。
解：585.26log )(/ 657.2)17.0log 17.016.0log 16.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0()(log )()(222222262=>=+++++-=-=∑X H symbol bit x p x p X H ii i 不满足极值性的原因是107.1)(6>=∑iix p 。
· 3 ·2.7 证明：H(X 3/X 1X 2) ≤ H(X 3/X 1)，并说明当X 1, X 2, X 3是马氏链时等式成立。
证明：log 1)/()(log )()/()(log 1)/()/()()/()/(log)()/(log )()/(log )()/(log )()/(log )()/()/(2123132121233211231321123221313321123213133211231332112321332113133112321332113213=⎪⎪⎭⎫⎝⎛-⎥⎦⎤⎢⎣⎡=⎪⎭⎫⎝⎛-=⎪⎪⎭⎫ ⎝⎛-≤=+-=+-=-∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑e x x p x x p ex x x p x x p x x p e x x x p x x p x x x p x x x p x x p x x x p x x p x x x p x x x p x x x p x x p x x p x x x p x x x p X X H X X X H i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i氏链是马等式成立的条件是时等式成立当_,,)/()/()/()()/()/()()()/()/()()/()/(01)/()/()/()/(321132131232113121212131321213132131313213X X X x x x p x x p x x p x x x p x x p x x p x p x x p x x x p x x p x x p x x x p x x p x x x p x x p X X H X X X H i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i ∴=⇒=⇒=⇒=⇒=-≤∴2.8证明：H(X 1X 2 。
X n ) ≤ H(X 1) + H(X 2) + … + H(X n )。
证明：)(...)()()()...().../()(0)...;(...)/()(0);()/()(0);().../(...)/()/()()...(3212112112121332131221212121312121N N N N N N N N N N X H X H X H X H X X X H X X X X H X H X X X X I X X X H X H X X X I X X H X H X X I X X X X H X X X H X X H X H X X X H ++++≤∴≥⇒≥≥⇒≥≥⇒≥++++=---2.9 设有一个信源，它产生0，1序列的信息。
它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。
(1) 试问这个信源是否是平稳的？ (2) 试计算H(X 2), H(X 3/X 1X 2)及H ∞；(3) 试计算H(X 4)并写出X 4信源中可能有的所有符号。
解： (1)这个信源是平稳无记忆信源。
因为有这些词语：“它在任意时间．．．．而且不论以前发生过什么符号．．．．．．．．．．．……”· 4 ·(2)symbolbit X H H symbol bit x p x p X H X X X H symbolbit X H X H ii i / 971.0)(/ 971.0)6.0log 6.04.0log 4.0()(log )()()/(/ 942.1)6.0log 6.04.0log 4.0(2)(2)(2223213222===+-=-===+⨯-==∞∑(3)1011111111101101110010101001100001110110010101000011001000010000的所有符号：/ 884.3)6.0log 6.04.0log 4.0(4)(4)(4224X symbol bit X H X H =+⨯-==2.10 一阶马尔可夫信源的状态图如下图所示。
信源X 的符号集为{0, 1, 2}。
(1) 求平稳后信源的概率分布； (2) 求信源的熵H ∞。
PP解： (1)⎪⎩⎪⎨⎧===⎩⎨⎧=++==⎪⎪⎩⎪⎪⎨⎧⋅+⋅=⋅+⋅=⋅+⋅=⎪⎩⎪⎨⎧+=+=+=3/1)(3/1)(3/1)(1)()()()()()()()()()()()()()()()/()()/()()()/()()/()()()/()()/()()(321321321133322211131333332322222121111e p e p e p e p e p e p e p e p e p e p p e p p e p e p p e p p e p e p p e p p e p e e p e p e e p e p e p e e p e p e e p e p e p e e p e p e e p e p e p· 5 ·⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡⎪⎪⎩⎪⎪⎨⎧=+=⋅+⋅=+==+=⋅+⋅=+==+=⋅+⋅=+=3/123/113/10)(3/13/)()()()/()()/()()(3/13/)()()()/()()/()()(3/13/)()()()/()()/()()(131313333323232222212121111X P X p p e p p e p p e x p e p e x p e p x p p p e p p e p p e x p e p e x p e p x p p p e p p e p p e x p e p e x p e p x p (2)()symbolbit p p p p p p p p p p p p p p p p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e p H iji j i j i / log log log 31log 31log 31log 31log 31log 31)/(log )/(31)/(log )/(31)/(log )/(31)/(log )/(31)/(log )/(31)/(log )/(31)/(log )/(31)/(log )/(31)/(log )/(31)/(log )/()(2222222233233322323123123223222222122113213122121121133⋅+⋅-=⎥⎦⎤⎢⎣⎡⋅⋅+⋅⋅+⋅⋅+⋅⋅+⋅+⋅⋅-=⎥⎦⎤++++++⎢⎣⎡++-=-=∑∑∞2.11黑白气象传真图的消息只有黑色和白色两种，即信源X ={黑，白}。