信息论与编码考试题库

第二章习题：补充题：掷色子，（1）若各面出现概率相同（2）若各面出现概率与点数成正比试求该信源的数学模型 解： （1）根据61()1ii p a ==∑，且16()()p a p a ==，得161()()6p a p a ===，所以信源概率空间为123456111111666666⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦P （2）根据61()1i i p a ==∑，且126(),()2,()6p a k p a k p a k ===，得121k =。

123456123456212121212121⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦P 2-2 由符号集{}0,1组成的二阶马尔可夫链，其转移概率为P(0/00)=0.8，P(0/11)=0.2，P(1/00)=0.2， P(1/11)=0.8，P(0/01)=0.5，P(0/10)=0.5，P(1/01)=0.5，P(1/10)=0.5。

画出状态图，并计算各状态的稳态概率。

解：由二阶马氏链的符号转移概率可得二阶马氏链的状态转移概率为： P(00/00)=0.8 P(10/11)=0.2 P(01/00)=0.2 P(11/11)=0.8 P(10/01)=0.5 P(00/10)=0.5 P(11/01)=0.5 P(01/10)=0.5二进制二阶马氏链的状态集S={,1S 432,,S S S }={00，01，10，11}0.80.20.50.50.50.50.20.8⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦P 状态转移图各状态稳定概率计算：⎪⎪⎩⎪⎪⎨⎧==∑∑==41411i jij i j j WP W W 即 ⎪⎪⎪⎩⎪⎪⎪⎨⎧=++++++=+++=+++=+++=143214443432421414434333232131342432322212124143132121111W W W W P W P W P W P W W P W P W P W P W W P W P W P W P W w P W P W P W P W W0.8得：14541==W W 14232==W W 即：P(00)=P(11)=145 P(01)=P(10)=1422-6掷两粒骰子，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量又是多少？ 解：2211111(3)(1)(2)(2)(1)666618(3)log (3)log 18()P P P P P I p ⎧=⋅+⋅=⨯+⨯=⎪⎨⎪=-=⎩比特 226(7)(1)(6)(2)(5)(3)(4)(4)(3)(5)(2)(6)(1)36(7)log (7)log 6()P P P P P P P P P P P P P I p ⎧=⋅+⋅+⋅+⋅+⋅+⋅=⎪⎨⎪=-=⎩比特2-72-7设有一离散无记忆信源,其概率空间为⎥⎥⎦⎤⎢⎢⎣⎡=====⎥⎦⎤⎢⎣⎡81,41,41,833,2,1,04321x x x x P X该信源发出的消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210),求此消息的自信息量是多少及平均每个符号携带的信息量?解:消息序列中,“0”个数为1n =14,“1”个数为2n =13,“2”个数为3n =12,“3”个数为4n =6. 消息序列总长为N =1n +2n +3n +4n =45(个符号)(1) 消息序列的自信息量: =I ∑==41)(i iix I n -)(log 412i i ix p n∑== 比特81.87)3(log 6)2(log 12)1(log 13)0(log 142222=----p p p p(2) 平均每个符号携带的信息量为:)/(95.14571.87符号比特==N I 2-14 在一个二进制信道中，信息源消息集X={0，1}，且P(1)=P(0),信宿的消息集Y={0，1}，信道传输概率P（1/0）=1/4，P （0/1）=1/8。

求：（1）在接收端收到y=0后，所提供的关于传输消息x 的平均条件互信息量I （X;y=0）。

(2) 该情况所能提供的平均互信息量I （X ；Y ）。

解：X={0,1},Y={0,1}()()()()01100101010100101101()(),(/)1/4,(/)1/81,()()1/2(/)1(/)3/4(/)1(/)7/8p x p x p y x p y x p x p x p x p x p x p x p y x p y x p y x p y x ===+==⇒===-==-=83)()/()(00000==x P x y P y x P 81)()/()(00110==x P x y P y x P 161)()/()(11001==x P x y P y x P 167)()/()(11111==x P x y P y x P 求1()()j iji p y p x y ==∑1000317()(),81616i i P y P x y ===+=∑,169)(1=y P(/)()()(/)()(/)(;)(/)logloglog()()()()()()i j i j i j j i i j i j i j iiii j i j j j p x y p x y p x y p y x p x p y x I X y p x y p x p y p x p y p y p y ===∑∑∑1000000(/)()(/)(;)log ()()i i i i P y x P x P y x I X y P y P y ==∑00000011010000(/)()(/)(/)()(/)log log()()()()61212log log 0.4083/7777P y x P x P y x P y x P x P y x P y P y P y P y bit s =+=+=1111011(/)()(/)(;)log ()()i i i i P y x P x P y x I X y P y P y ==∑10010111111111(/)()(/)(/)()(/)log log()()()()71424log log 0.2358/9999P y x P x P y x P y x P x P y x P y P y P y P y bit s =+=+=(2) 1(;)()(;)jjj I X Y P y I X y ==∑符号比特/3113.02358.01694083.0167);()();()(1100=⨯+⨯=+=y X I y P y X I yP 2-25 某一无记忆信源的符号集为{0，1}，已知01/4p =，13/4p =。

（1）求符号的平均熵。

（2）由100个符号构成的序列，求某一特定序列（例如有m 个0和100-m 个1）的自信息量的表达式。

（3）计算(2) 中的序列的熵。

解：（1）对离散无记忆信源符号的平均熵： ∑=-=21)(log )()(i iix p x p X H 81.043log 4341log 41=--= 比特/符号（2）长度为L=100的符号序列中某特定序列)101100( =i α，其中“0”的个数为m ，“1”的个数为100-m.该特定序列的概率为)101100()( p p i =α对离散无记忆信源，其符号独立出现，即mm i p p p p p p p p p p -===100)]1([)]0([)1()1()1()0()0()0()101100()( α 则该特定序列的自信息量为：)(log )(i i p I αα-=)1(log )100()0(log )]1([)]0(log[100p m p m p p m m ---=-=-3log )100(4log 10034log)100(4log m m m --=-+= =41+1.59m (bit)(3)长度为L=100的符号序列离散无记忆信源熵： )(LX H =H(X 1X 2…X 100)=)(100)()(1001X H X LH XH l l==∑==81（比特/序列）2-30有一马尔可夫信源，已知转移概率为11(/)2/3p s s =，21(/)1/3p s s =，12(/)1p s s =，22(/)0p s s =。

试画出状态转移图，并求出信源熵。

解：（1）由题意知，该马尔可夫信源阶数为1，状态集S={}21,S S ， 状态转移图为：2/3(2) 信源熵：()()()()2211212//)/()(s X H s P s X H s P s X H s p H H i i i +===∑=∞a) 求稳态概率)(i i s p W =计算方程：⎪⎪⎩⎪⎪⎨⎧==∑∑==21211i j ij i j j W P W W 即：⎪⎩⎪⎨⎧=++=+=12122212122121111W W P W P W W P W P W W ⎪⎪⎪⎩⎪⎪⎪⎨⎧=+=+=131322112211W W W W W W W得：75.01=W 25.01=W 即：P(S 1)=0.75 ，P(S 2)=0.25 b) 求H(X/S i )H(X/S i )=()()i j j i j s x p s x p /log /2∑=-)31,32()/(log )/()/(log )/()/(121211111H s x p s x p s x p s x p s X H =--=)0,1()/(log )/()/(log )/()/(222221212H s x p s x p s x p s x p s X H =--=则信源熵：H ()()∑=∞==212/i iis X H s p H=()1S P ()()()43//)(2211=+s X H s p s X H s p H ()0,14131,43H +⎪⎭⎫ ⎝⎛ =0.69 比特/符号2-33 一阶马尔可夫信源的状态图如图2-14所示，信源X 符号集为{0，1，2}。

（1）求平稳后信源的概率分布；（2）求信源熵H ∞；（3）求当p=0或p=1时信源的熵，并说明其理由。

解：（1）一阶马尔可夫信源的状态空间S=X={0，1，2}，由图2-14状态转移图中分析得，此马尔可夫链是时齐的，状态有限的和不可约闭集，非周期，所以具有各态历经性。

平稳后状态的极限分布存在，因为是一阶马尔可夫信源，状态的极限分布即平稳后信源符号的一维概率分布，即)(i i a p W = 3,2,1=i X a i ∈根据状态转移图，得状态一步转移矩阵：111213212223313233,,1,0,,,,1,0,,0,,1P P P P P P P P P P P P P P P P -⎡⎤⎡⎤⎢⎥⎢⎥==-⎢⎥⎢⎥⎢⎥⎢⎥-⎣⎦⎣⎦计算方程组⎪⎪⎩⎪⎪⎨⎧==∑∑==31311j j i iji j W P W W 即 ⎪⎪⎩⎪⎪⎨⎧=++++=++=++=1321333232131332322212123132121111W W W p W p W p W W p W p W p W W p W p W p W W整理计算得：3/1321===W W W 即 状态极限概率 P(0)=P(1)=P(2)=1/3 (2) 根据马尔可夫信源熵的表达式：21H H H m ==+∞ =()()()∑∑===3131//i iiii iS X H W S X H S P)2/()2()1/()1()0/()0(X H p X H p X H p ++=由()()()i j j i ji x x p x xp s X H /log //31∑=-=()()()()()()()0/2log 0/20/1log 0/10/0log 0/00/p p p p p p X H ---==()()111112121313log log log 1,0,1,p p p p p p H p p H p p ---=-=-同理 ()/1(,1)H X H p p =-()/2(,1)H X H p p =-从而2(0)(/0)(1)(/1)(2)(/2)H H p H X p H X p H X ∞==++()()3(0)1,1,(1)log(1)log p H p p H p p p p p p =-=-=---- 比特/符号（3）当p=0或p=1时信源的熵()1,(1,0)(0,1)0H H p p H H ∞=-===，这是因为p=0或p=1时信源为确定性信源，观察着对信源发出什么符号不存在任何不确定度，所以信源不提供任何的信息量。