信息论与编码 第2章-3
《信息论与编码》课件1第2章
如果消息ai已发生，则该消息发生所含有的自信息定 义为
1
1
I (ai ) log P(ai ) log pi
(2.4)
第2章 离散无记忆信源与信息熵
可以很容易地证明, 自信息的定义满足上面提出的四个
(1) 此自信息的定义是根据消息发生的概率建立的一个 工程定义，而不是根据这个消息对人的实际意义而建立的 定义。这一纯粹技术性的定义仅仅抓住了“信息”一词在
(2) 自信息I(ai) 在消息ai发生之前，自信息I(ai)表示ai发生的不确定性; 在消息ai发生以后，自信息I(ai)表示ai所含有的（或提
第2章 离散无记忆信源与信息熵
(3) 在式(2.4)中关于对数的底未作明确规定。这是 因为对数的底仅仅影响到度量的单位，实际中可根据
如果取对数的底为2，则所得信息量的单位为比特 （bit， binary unit），此时logx用lbx
第2章 离散无记忆信源与信息熵
第2章 离散无记忆信源与信息熵
2.1 离散无记忆信源 2.2 自信息和熵 2.3 熵函数的性质 2.4 联合事件的熵及其关系 2.5 连续信源的信息测度 习题2
第2章 离散无记忆信源与信息熵
信息理论的研究对象是以各类信息的获取、表示、 传输和处理为目的的信息系统。图2-1给出了一个典型 的通信系统物理模型。在这样的通信系统中，一个贯 穿始终的、最基本的问题便是信息，即信源输出的是 信息，在系统中传输的是信息，接收者获得的也是信 息。可见，在信息理论的学习和研究中，首先需要对
信息论编码与基础课后题(第二章)
第二章习题解答2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2、 设某班学生在一次考试中获优（A ）、良（B ）、中（C ）、及格（D ）和不及格（E ）的人数相等。
当教师通知某甲：“你没有不及格”，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？ 解：根据题意，“没有不及格”或“pass”的概率为54511pass =-=P 因此当教师通知某甲“没有不及格”后，甲获得信息在已知“pass”后，成绩为“优”（A ），“良”（B ），“中”（C ）和“及格”（D ） 的概率相同：41score )pass |()pass |()pass |()pass |(=====D P C P B P A P P 为确定自己的成绩，甲还需信息bits 241loglog score score =-=-=P I 3、中国国家标准局所规定的二级汉字共6763个。
设每字使用的频度相等，求一个汉字所含的信息量。
设每个汉字用一个1616⨯的二元点阵显示，试计算显示方阵所能表示的最大信息。
显示方阵的利用率是多少？解：由于每个汉字的使用频度相同，它们有相同的出现概率，即67631=P 因此每个汉字所含的信息量为bits 7.1267631loglog =-=-=P I 字每个显示方阵能显示256161622=⨯种不同的状态，等概分布时信息墒最大，所以一个显示方阵所能显示的最大信息量是bits 322.054loglog passpass =-=-=P Ibits 25621loglog 256=-=-=P I 阵显示方阵的利用率或显示效率为0497.02567.12===阵字I I η 4、两个信源1S 和2S 均有两种输出：1 ,0=X 和1 ,0=Y ，概率分别为2/110==X X P P ，4/10=Y P ，4/31=Y P 。
信息论与编码第2
第2章 无失真信源编码原理
某些简单的离散平稳信源先后发出的一个个符号是统计 独立的。也就是说，在信源输出的随机序列X＝X1X2…XN中， 各随机变量Xi(i=1,2,…,N)之间是无依赖的、统计独立的，这 样的信源称为离散无记忆信源。该信源在不同时刻发出的各 符号之间也是无依赖的、统计独立的。离散无记忆信源输出 的随机变量X所描述的信源称为离散无记忆信源的N次扩展 信源。可见，N次扩展信源是由离散无记忆信源输出N长的 随机序列构成的信源。一般情况下，信源在不同时刻发出的 各符号之间是相互依赖的，也就是在信源输出的平稳随机序 列X＝X1X2…XN中,各随机变量Xi之间是相互依赖的。
第2章 无失真信源编码原理
若信源只输出一个消息(符号)，则用一维随机变量来描 述。然而，很多实际信源输出的消息往往是由一系列符号序 列所组成的。例如，将中文自然语言文字作为信源，这时中 文信源的样本空间是所有汉字与标点符号的集合。由这些汉 字和标点符号组成的序列即构成中文句子和文章。因此，从 时间上看，中文信源输出的消息是时间上离散的符号序列， 其中每个符号的出现是不确定的、随机的，由此构成了不同 的中文消息。又例如，对离散化的平面灰度图像信源来说， 从XY平面空间上来看每幅画面是一系列空间离散的灰度值 符号，而空间每一点的符号（灰度值）又都是随机的，由此 形成了不同的图像消息。
第2章 无失真信源编码原理
2.1.2 信源的数学模型 根据信源输出信息所对应的不同的随机过程可以导出不
同的信源模型。例如，根据随机过程具有的随机变量前后独 立与否可分为独立随机信源(或称无记忆信源)和不独立随机 信源(或称有记忆信源)；根据随机过程平稳与否可分为平稳 (稳恒)信源和非平稳(非稳恒)信源。与特殊的随机过程相对 应又有特殊的信源模型，例如，与高斯过程相对应的高斯信 源，与马尔可夫过程相对应的马尔可夫信源等,其中，马尔 可夫信源是有记忆信源中最简单且最具代表性的一种。信源 的类型不同其对应的模型也不同，限于篇幅，这里只介绍基 本离散信源的数学模型及其无记忆扩展信源的数学模型。
信息论与编码(曹雪虹 张宗橙)第二、三章答案
2-1.解：该一阶马尔可夫信源，由转移概率构成的转移矩阵为：对应的状态图如右图所示。
设各符号稳定概率为：1p ，2p ，3p 则可得方程组： 1p =211p +312p +313p 2p =211p +323p3p =322p1p +2p +3p =1解得各符号稳态概率为：1p =2510，2p =259，3p =256 2-2.解：该马尔可夫信源的符号条件概率矩阵为：状态转移概率矩阵为：对应的状态图如右图所示。
设各状态的稳态分布概率为1W ,2W ,3W ,4W ,则可得方程组为：1W =0.81W +0.53W 2W =0.21W +0.53W 3W =0.52W +0.24W4W =0.52W +0.84W1W +2W +3W +4W =1解得稳定分布的概率为:1W =145，2W =142，3W =142，4W =145 2-3.解：（1）“3和5同时出现”事件的概率为： p(3,5)=181故其自信息量为： I(3,5)=-㏒2181=4.17bit （2）“两个1同时出现”事件的概率为：p(1,1)=361故其自信息量为： I(1,1)=- ㏒2361=5.17bit （3）两个点数的各种组合构成的信源，其概率空间为：则该信源熵为： H(x 1)=6×361lb36+15×181lb18=4.337bit/事件（4）两个点数之和构成的信源，其概率空间为：则该信源的熵为： H(x 2)=2×361lb36+2×181lb18+2×121lb12+2×91lb9+2×365lb 536+61lb6=3.274bit/事件（5）两个点数中至少有一个是1的概率为： p(1)=3611 故其自信息量为：I(1)= -㏒23611=1.7105bit 2-7.解：（1）离散无记忆信源的每个符号的自信息量为I(x 1)= -㏒283=1.415bit I(x 2)= -㏒241=2bitI(x 3)= -㏒241=2bitI(x 4)= -㏒281=3bit（2）由于信源发出消息符号序列有12个2，14个0，13个1，6个3，故该消息符号序列的自信息量为： I(x)= -㏒2(83)14 (41)25 (81)6=87.81bit平均每个符号携带的信息量为： L H (x)=45)(x I =1.95bit/符号 2-10解：用1x 表示第一次摸出的球为黑色，用2x 表示第一次摸出的球为白色，用1y 表示第二次摸出的球为黑色，用2y 表示第二次摸出的球为白色，则(1)一次实验包含的不确定度为：H(X)=-p(1x )lbp(1x )-p(2x )lbp(2x )=-13lb 13-23lb 23=0.92 bit (2)第一次实验X 摸出的球是黑色，第二次实验Y 给出的不确定度: H(Y|1x )=-p(1y |1x )lb p(1y |1x )-p(2y |1x )lb p(2y |1x )= -27lb 27-57lb 57= 0.86 bit(3)第一次实验X 摸出的球是白色，第二次实验Y 给出的不确定度:H(Y|2x )=-p(1y |2x )lb p(1y |2x )-p(2y |2x )lb p(2y |2x )= -514lb 514-914lb 914= 0.94 bit（4）第二次Y 包含的不确定度：H （Y|X ）= -(,)(|)i j j i ijp x y lbp y x å= p(1x ) H(Y|1x )+p(2x )H(Y|2x ) =0.91 bit 2-11 解：（1）仅对颜色感兴趣的不确定度： H(colour)=H （238，1838，1838）= -238lb 238- 2´1838lb 1838=1.24 bit (2) 对颜色和数字都感兴趣的平均不确定度： H(clour,number)=H(number)= -18´118lb 118= 5.25 bit (3)颜色已知的条件熵：H （number|colour ）=H （colour,number ）- H(colour)=(5.25-1.24) bit=4.01 bit 2-12 解：（1）实验Ｘ和Ｙ的平均信息量： H(X,Y)= - (,)i j ijp x y ålb (,)i j p x y = -(,)i j ijr x y ålb (,)i j r x y=H(724,124,0,124,14,0,124,724) =2.3 bit/符号（2）由联合概率，可得p(1y )=11(,)p x y +21(,)p x y +31(,)p x y=11(,)r x y +21(,)r x y +31(,)r x y=724+124+0 =13同理可得P(2y )=p(3y )=13,则实验Y 的平均信息量：H(Y)=H(13,13,13)=1.58 bit/符号（3）在已知实验Y结果的条件下，实验X的平均信息量：H(X|Y)=H(X,Y)-H(Y)=(2.3-1.58) bit/符号=0.72 bit/符号2-13解：由X和Y的联合概率，可得P(x=0)=p(x=0,y=0)+p(x=0,y=1)= 18+38=12同理，p(x=1)= 12, p(y=0)=p(y=1)=12由于Z=XY，由X和Y的联合概率，可得P(z=0)= P(x=0,y=0)+P(x=1,y=0)+P(x=0,y=1)= 7 8P(z=1)=p(x=1,y=1)= 1 8P(x=0,z=0)= P(x=0,y=0)+ P(x=0,y=1)= 12, P(x=0,z=1)=0P(x=0,y=0)P(x=0,y=0) P(x=0,y=0) P(x=0,y=0)P(x=1,z=0)= P(x=1,y=0)= 38, P(x=1,z=1) =P(x=1,y=1)=18P(y=0,z=0)= 12P(y=0,z=1)=0 P(y=1,z=0)=38P(y=1,z=1)=18P(x=0,y=0,z=0)= 18P(x=0,y=0,z=1)=0 P(x=0,y=1,z=0)=38P(x=0,y=1,z=1)=0 P(x=1,y=0,z=0)= 38P(x=1,y=1,z=0)=0P(x=0,y=0,z=1)=0 P(x=0,y=1,z=1)=0 P(x=1,y=1,z=1)= 18,则:(1) H(X)=H(12,12)=1 bitH(Y)=H(12,12)=1 bitH(Z) =H(18,78)= 0.54 bitH(X,Z)=H(12,0,38,18)=1.41 bitH(Y,Z) =H(12,0,38,18)=1.41 bitH(X,Y,Z) =H(18,0,38,0,38,0,0,18)=1.8 bit(2) H(X,Y)=H(18,38,18, 38)=1.81 bitH(X|Y)= H(X,Y) – H(Y)=0.81 bit H(Y |X)= H(X,Y) – H(X)=0.81 bit H(X|Z)= H(X,Z) – H(Z)=0.87 bit H(Z|X)= H(X,Z) – H(X)=0.41 bit H(Y|Z)= H(Y ,Z) – H(Z)=0.87 bit H(Z|Y)=H(Y ,Z)-H(Y)=0.41bitH(X|Y ,Z)=H(X,Y ,Z)-H(Y ,Z)=0.4bit H(Y|X,Z)=H(X,Y ,Z)-H(X,Z)=0.4bit H(Z|X,Y)=H(X,Y ,Z)-H(X,Y)=0(3) I(X;Y)=H(X)-H(X|Y)=0.19bit I(X;Z)=H(X)-H(X|Z)=0.13bit I(Y;Z)=H(X)-H(Y|Z)=0.13bitI(X;Y|Z)=H(X|Z)-H(X|Y,Z)=0.47bit I(Y;Z|X)=H(Y|X)-H(Y|X,Z)=0.41bit I(X;Z|Y)=H(X|Y)-H(X|Y ,Z)=0.41bit 2-14 解：依题意，可得信道传输概率p(y=0|x=0)=1-p(y=1|x=0)=3/4, p(y=1|x=1)=1-p(y=0|x=1)=7/8 联合概率：p(x=0,y=0)=p(y=0|x=0)p(x=0)=3/8同理：p(x=0,y=1)=1/8,p(x=1,y=0)=1/16,p(x=1,y=1)=7/16 概率：p(y=0)=p(x=0,y=0)+p(x=1,y=0)=7/16 p(y=1)=p(x=0,y=1)+p(x=1,y=1)=9/16后验概率：p(x=0|y=0)=p(x=0,y=0)/p(y=0)=(3/8)/(7/16)=6/7 同理：p(x=1|y=0)=1/7,p(x=0|y=1)=2/9,p(x=1|y=1)=7/9,则（1） I （x;y=0）=(|0)(|0)log()i i ii p x y p x y p x ==å）22(0|0)(1|0)(0|0)log (1|0)log (0)(1)p x y p x y p x y p x y p x p x =======+====616177(log log )/0.41/117722bit bit =+=符号符号22222(|)()(|)log ()(0|0)(1|0)(0)(0|0)log (0)(1|0)log (0)(1)(0|1)(1|1)(0)(0|1)log (1)(1|1)log (0)(1)76(l 167i j j i j iji p x y p y p x y p x p x y p x y p y p x y p y p x y p x p x p x y p x y p y p x y p y p x y p x p x ========+=========+===+======å（2）I(X;Y)=222261277192977799og log log log )/111116716916922220.31/bit bit +++=符号符号21211111211212211212)(|)()(|)()(|)()112121722343412a P x a x a P x a P x a x a P x a P x a x a P x a =====+===+====???2-29 解：由已知起始概率和转移概率，可得：P(x 2223122211222122213255P(),()2424111111)(log log log ) 1.5224444111111H(|)(log log log ) 1.52244442211H(|)log 0log )0.9183333221H(|)log 333x a P x a bit bit x a bit bitx a bit bitx a =====---==---==-+-==--同理可得：由起始概率，可得：H(x 另外：21log 0)0.9183bit bit+=2111211222132332213122321333H(|)()(|)()(|)()(|)111( 1.50.9180.918) 1.209244H(|)()(|)()(|)()(|)755( 1.50.9180.918) 1.257122424x x P x a H x a P x a H x a P x a H x a bit bit x x P x a H x a P x a H x a P x a H x a bit bit H ==+=+==???==+=+==???12,31213121213212,3(,)H()H(|)H(|)H()H(|)H(|)(1.5 1.209 1.257) 3.996(,) 3.996()/331.322/L x x x x x x x x x x x x x x bit bitH x x x H x bit bit =++=++=++====符号符号12312311321231231231122332)w w w 122w w 23311w w 4311w w 43w w w 1833w ,w ,w ,141414()w (|)(|)(|)833( 1.50.9180.918) 1.251141414r r r w w w w H x H x a w H x a w H x a bit bit¥++=+=+=++=====++=???，（设各稳定时的概率为，，则解得：该链的极限平均符号熵为000111220(3)log 3 1.58/ 1.2511(/)10.211.417883333(log log log ) 1.4137/1414141414141.251()10.1151.4171.251/H bit r y H H H bit bit H r y H H H bit r ¥¥¥====-=-=-==---==-=-=-===符号符号符号2-30解：依题意，状态转移图如下图所示，其状态转移概率矩阵为P=213310⎛⎫⎪ ⎪ ⎪⎝⎭设状态稳定概率为1W 、2W ，则：231W +2W =1W 131W =2W 解得：1W =34 ；2W =141W +2W =1则：H(X |1S )=-232log 23-132log 13=0.918bit H(X |2S )=0信源熵为：H （X ）=1W H(X |1S )+2W H(X |2S )=(34*0.918+14*0)bit=0.688bit2-32解：（1）由状态图，可得状态转移概率矩阵为：P=122122122p p p p p p p p p ⎛⎫- ⎪ ⎪ ⎪- ⎪ ⎪ ⎪- ⎪⎝⎭设状态稳定概率为1W ,2W ,3W ，则： （1-p ）1W +2p 2W +2p3W =1W2p1W + (1-p) 2W +2p3W =2W 解得：1W =2W =3W =13，2p1W +2p2W +(1-p) 3W =3W 即p(0)=p(1)=p(2)= 131W +2W +3W =1(2) H(X|0)=H(X|1)=H(X|2)= - (1-p) 2log (1-p) -2p 2log 2p -2p 2log 2p= - (1-p) 2log (1-p) - p 2log 2pH ∞(X)=p(0)H(X|0)+p(1)H(X|1)+p(2)H(X|2)= - (1-p) 2log (1-p) - p 2log 2p bit (3) H(X)= 2log 3=1.58bit(4) 令()0dH X dp ∞=，得lnln(1)1120ln 2(1)ln 2ln 2ln 2pp p p --+---=- 解得p=23，则： 当p=23时，H ∞(X)= （- 132log 13-232log 13）bit =1.58 bit当p=0 时， H(X)=0当p=1时，H(X)=13-1 解（1）由输入概率分布和概率转移，可得： 00(,)p x y =00(|)p y x 0()p x =23*34=12同理，可得：01(,)p x y =14； 10(,)p x y =112； 11(,)p x y =16，则：0()p y =00(,)p x y +10(,)p x y =12+112=7121()p y =01(,)p x y +11(,)p x y =14+16=512因此，H(X)=( - 342log 34- 142log 14) bit =0.811 bit H(X ，Y)=( - 122log 12- 142log 14 - 1122log 112-162log 16)bit=1.73bit H(Y)=( -7122log 712 - 5122log 512)bit=0.98bit H(Y|X)=H(X ，Y)-H(X)=(1.73-0.811)bit=0.919 bitH(X|Y )= H(X ，Y)-H(X)=(1.73-0.98)bit=0.75bit I(X ；Y)=H(X)-H(X|Y)=(0.811-0.75)bit=0.061bit （2）该信道是对称DMC 信道，信道容量为 C= 2log m -1log mijij j pp =∑= 2log 2 +23 2log 23+ 13 2log 13=0.082bit 达到信道容量时输入概率分布为：0()p x = 1()p x =123-2 解：(1)由信源的概率分布和转移概率，可得11(,)p x y =11(|)p y x 1()p x =12α 同理可得：12(,)p x y =12α，13(,)p x y =0 ，21(,)p x y =12（1-α）， 22(,)p x y =14（1-α），23(,)p x y =14（1-α），则：1()p y =11(,)p x y +21(,)p x y =12α+12（1-α）=12，同理可得: 2()p y =14α+14；3()p y =14（1-α）因此，接收端的平均不确定度为：2222211111111log ()log ()(1)log (1)22444444311log (1)log (1)()244bit -??--??+??=-+?-?（2）由于噪声产生的不确定度为：22222111111111(|X )=l o g l o g 0l o g l o g l o g 22222244443()22H Y bit ????--?---¶=-由于互信息为：223113I X;Y)=H(Y)-(Y|X)=[-log (1)log (1)]24422+?抖+?-?-（（）令(;)0dI X Y d =¶,可得：35?，则：(3(;)()0.161bit 5max i p a C I X Y C ==?=）3-6 解：该信道的概率转移矩阵为 110022110022P=11002211022骣÷ç÷ç÷ç÷ç÷ç÷ç÷ç÷÷ç÷ç÷ç÷ç÷ç÷ç÷ç÷÷ç÷ç÷ç÷ç÷ç÷ç÷ç÷÷ç桫 可见，该信道为对称DMC 信道，因此，该信道的信道容量为： 42222211111C log m log log 4log ()log ()12222ij ij j p p bit ==+=++=å3-7解：（1）由发送符号的概率分布和转移概率，可得： 1111111(,)(|)()0.536p x y p y x p x ==? 同理可得：12132122233132331121(,),(,),(,),(,)10151510113(,),(,),(,),(,)0103010p x y p x y p x y p x y p x y p x y p x y p x y ========11121311211()(,)(,)(,)615303p y p x y p x y p x y =++=++= 同理可得：2311(),()26p y p y ==;111111(,)16(|)1()23p x y p x y p y ===同理可得：21311222321323331221(|)(|)(|)(|)5555313(|)(|)(|)(|)05105p x y p x y p x y p x y p x y p x y p x y p x y ========，，，，，，因此，222222112233H Y)=p(y )log p(y )-p(y )log p(y )-p(y )log p(y )111111log log log 1.459332266bit=---=（（2）H Y|X)=(;)log (|i j j i ijp x y p y x -å（）222221113112213log log log log log 6210101551551010=----- 222131139log log log 101030101010--- 1.175bit =（3）当接收为2 y ，发出为2x 是正确，发出的是1x 和3x 为错误，由于各自概率为：122232113(|),(|),(|)555p x y p x y p x y === 因此，接收端收到一个符号2y 的错误概率为：123213(|)(|)0.855i p p x y p x y =+=+= （4）从接收端看的平均错误概率为：1213111232213233[(|)(|)]()[(|)(|)]()[(|)(|)]()e P p x y p x y p y p x y p x y p y p x y p x y p y =+++++ 213112321323(,)(,)(,)(,)(,)(,)p x y p x y p x y p x y p x y p x y =+++++ 211311153010101510=+++++0.733= （5）同理可得，从发送端看的平均错误概率为：__210.733e e p p == （6）从转移矩阵来看，正确发送的概率11x y -的概率为0.5，有一半失真；22x y -的概率为0.3，产生失真；33x y -的概率为0，完全失真。
信息论与编码基础第2章离散信源及其信息测度
故：
P1(Xi) = P2 (Xi)= ···= PN (Xi)
N
P( X ) P( X1, X 2, , X N ) P( X i ) i 1
2.1 信源的数学模型及分类
15
设各随机变量 Xi 取自同样符号集 A={a1, a2, …, aq}，则：
N
P( X i ) P(ai1 , ai2 ,..., aiN ) P(aik ), ik {1, 2,..., q} k 1
... ...
aq P(aq )
q
P(ai ) 1
i 1
称事件ai发生所含有的信息量为 ai 的自信息量。定义为：
I (ai )
f [P(ai )] logr
1 P(ai )
logr
P(ai )
2.2 离散信源的信息熵
24
I(ai)代表两种含义：(1) 当事件ai 发生以前，表示事件ai 发生 的不确定性；(2) 当事件ai 发生以后，表示事件ai 所提供的信 息量。
1
信息论与编码基础
第二章 离散信源及其信息测度
第二章 离散信源及其信息测度
2
消息是信息的载荷者。对信息的研究，要从消息开始。 信源是产生消息或消息序列的源头。我们并不关心信源的内
部结构，不关心消息的产生原因和过程，而研究信源各种可 能的输出，以及输出各种可能消息的不确定性。 对收信者而言，在收到消息之前，对于信源发送什么消息是 不可预知的、随机的。因此可以用随机变量和随机过程来描 述信源输出的消息，或者说用一个概率空间来描述信源。 不同的信源输出不同类型的消息。可以根据消息不同的随机 性质来对信源进行分类。
qN
qN N
k 1
P(i ) P(aik ) 1
信息论与编码第2章习题解答
信息论与编码第2章习题解答2.1设有12枚同值硬币，其中⼀枚为假币。
只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。
现⽤⽐较天平左右两边轻重的⽅法来测量（因⽆砝码）。
为了在天平上称出哪⼀枚是假币，试问⾄少必须称多少次？解：分三组，每组4个，任意取两组称。
会有两种情况，平衡，或不平衡。
(1) 平衡：明确假币在其余的4个⾥⾯。
从这4个⾥⾯任意取3个，并从其余8个好的⾥⾯也取3个称。
⼜有两种情况：平衡或不平衡。
a ）平衡：称⼀下那个剩下的就⾏了。
b ）不平衡：我们⾄少知道那组假币是轻还是重。
从这三个有假币的组⾥任意选两个称⼀下，⼜有两种情况：平衡与不平衡，不过我们已经知道假币的轻重情况了，⾃然的，不平衡直接就知道谁是假币；平衡的话，剩下的呢个⾃然是假币，并且我们也知道他是轻还是重。
(2) 不平衡：假定已经确定该组⾥有假币时候：推论1：在知道该组是轻还是重的时候，只称⼀次，能找出假币的话，那么这组的个数不超过3。
我们知道，只要我们知道了该组（3个）有假币，并且知道轻重，只要称⼀次就可以找出来假币了。
从不平衡的两组中，⽐如轻的⼀组⾥分为3和1表⽰为“轻（3）”和“轻（1）”，同样重的⼀组也是分成3和1标⽰为“重（3）”和“重（1）”。
在从另外4个剩下的，也就是好的⼀组⾥取3个表⽰为“准（3）”。
交叉组合为：轻（3） + 重（1）？=======？轻（1） + 准（3）来称⼀下。
⼜会有3种情况：(1)左⾯轻：这说明假币⼀定在第⼀次称的时候的轻的⼀组，因为“重（1）”也出现在现在轻的⼀边，我们已经知道，假币是轻的。
那么假币在轻（3）⾥⾯，根据推论1，再称⼀次就可以了。
(2)右⾯轻：这⾥有两种可能：“重（1）”是假币，它是重的，或者“轻（1）”是假币，它是轻的。
这两种情况，任意取这两个中的⼀个和⼀个真币称⼀下即可。
(3)平衡：假币在“重（3）”⾥⾯，⽽且是重的。
根据推论也只要称⼀次即可。
2.2 同时扔⼀对骰⼦，当得知“两骰⼦⾯朝上点数之和为2”或“⾯朝上点数之和为8”或“骰⼦⾯朝上之和是3和4”时，试问这三种情况分别获得多少信息量？解：设“两骰⼦⾯朝上点数之和为2”为事件A ，则在可能出现的36种可能中，只能个骰⼦都为1，这⼀种结果。
信息论与编码第二章习题参考答案
2.1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“3和5同时出现”事件的自信息量； （2）“两个1同时出现”事件的自信息量；（3）两个点数的各种组合（无序对）的熵或平均信息量； （4）两个点数之和（即2，3，…，12构成的子集）的熵；（5）两个点数中至少有一个是1的自信息。
解：（1）一个骰子点数记为X ，另一个骰子的点数记做Y ，X 、Y 之间相互独立，且都服从等概率分布，即同理一个骰子点数为3，另一个骰子点数为5属于组合问题，对应的概率为181616161613Y Py 5X Px 5Y Py 3X Px P 1=⨯+⨯===+===）（）（）（）（对应的信息量为比特）（）（17.4181-lb P -I 11===lb（2）两个骰子点数同时为1的概率为）（）（3611Y Py 1X Px P 2==== 对应的信息量为比特）（）（17.5361-lb P -I 22===lb（3）各种组合及其对应的概率如下,6,5,4,3,2,1Y X 3616161Y X P ===⨯==）（共6种可能18161612Y X P =⨯⨯=≠）（ 共有15种可能因此对应的熵或者平均自信息量为34.418118115-3613616-H 1=⨯⨯⨯⨯=）（）（lb lb 比特/符号 （4）令Z=X+Y ，可以计算出Z 对应的概率分布如下对应的熵为符号比特）（）（）（）（）（）（）（/1.914366366-3653652-3643642-3633632-3633632-3623622-361361-2H 1=⨯⨯⨯⨯⨯⨯⨯⨯⨯⨯⨯⨯⨯=lb lb lb lb lb lb lb （5）X 、Y 相互独立，所以联合熵为比特）（）（597.06162Y X,I =⨯=lb2.2 设在一只布袋中装有100个大小、手感完全相同的球，每个球上涂有一种颜色。
100个球的颜色有下列3种情况：（1）红色球和白色球各50个； （2）红色球99个，白色球1个； （3）红、黄、蓝、白色球各25个。
信息论与编码第二章答案
第二章信息的度量2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。
2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。
2.3熵是对信源什么物理量的度量？答：平均信息量2.4设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：kk k xi q xi q X H i log 1log 1)(log )()(2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。
答：)|;();();(Y Z X I Y X I YZ X I 2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量)()|(log );(xi q yj xi Q y x I ，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告知的是xi 出现的可能性更小了。
从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。
2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。
答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201s x p s x p s x p s x p s x p s x p 即：43)|(0)|(41)|(31)|(32)|(0)|(0)|(41)|(43)|(222120121110020100s s p s s p s s p s s p s s p s s p s s p s s p s s p 可得：1)()()()(43)(31)()(31)(41)()(41)(43)(210212101200s p s p s p s p s p s p s p s p s p s p s p s p得：114)(113)(114)(210s p s p s p )]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 0.25（bit/符号）2.8一个马尔可夫信源，已知：0)2|2(,1)2|1(,31)1|2(,32)1|1(x x p x x p x x p x x p 试画出它的香农线图，并求出信源熵。
信息论与编码_曹雪虹_PPT第二章
引言
有效性和可靠性是通信系统中研究的中 心问题，信息论是在信息可度量基础上， 研究有效地和可靠地传递信息的科学。因 此，概率论、随机过程是信息论研究的基 础和工具。
信源的数学模型 正如绪论中所述，在通信系统中收信者在未收到 消息以前，对信源发出什么消息是不确定的， 所以可用随机变量或随机矢量来描述信源输出 的消息。或者说，用概率空间来描述信源。 离散信源的数学模型就是离散型的概率空间：
信息量与不确定性： 信息是事物运动状态或存在方式的不确定性的 描述。那么 , 根据香农信息的定义，信息该如何度 量呢？ 当人们收到一封E_Mail，或看了电视，到底得 到多少信息量呢？显然，信息量与不确定性消除的 程度有关。消除多少不确定性，就获得多少信息量 。那么，不确定性的大小能度量吗？ 用数学的语言来讲，不确定性就是随机性，具 有不确定性的事件就是随机事件。因此，可以应用 研究随机事件的数学工具 —— 概率论来度量不确 定性的大小。简单地说，不确定性的大小可以直观 地看成是猜测某随机事件是否发生的难易程度。
连续参数马尔可夫链
马尔可夫过程
有限维概率分布(簇) 转移概率
绝对概率
极限分布
平稳分布
状态空间的性质
补1 马尔可夫过程的概念
补1.1 有关定义
随机过程马尔可夫性：（物理描述）
当随机过程在时刻 ti 所处的状态为已知的条件下，过 程在时刻 t(>ti)所处的状态，与过程在ti时刻以前的状态无 关，而仅与在ti时刻的状态有关。这种已知“现在”状态的 条件下，“将来”状态与“过去”状态无关的性质，称为 马尔可夫性或无后效性。 具有马尔可夫性或无后效性的随机过程，即是马尔可 夫过程。
彭代渊王玲-信息论与编码理论-第二章习题解答精选全文
1第2章 信息的度量2.1 同时扔一对质地均匀的骰子，当得知“两骰子面朝上点数之和为5”或“面朝上点数之和为8”或“两骰子面朝上点数是3和6”时，试问这三种情况分别获得多少信息量？解：某一骰子扔得某一点数面朝上的概率是相等的，均为1/6，两骰子面朝上点数的状态共有36种,其中任一状态出现都是等概率的,出现概率为1/36。
设两骰子面朝上点数之和为事件a ，有：⑴ a=5时，有1+4，4+1，2+3，3+2，共4种，则该事件发生概率为4/36=1/9，则信息量为I(a)=-logp(a=5)=-log1/9≈3.17(bit)⑵ a=8时，有2+6，6+2，4+4，3+5，5+3，共5种，则p(a)=5/36,则I(a)= -log5/36≈2.85(bit) ⑶ p(a)=2/36=1/18,则I(a)=-log1/18≈4.17(bit)2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几”，则答案中含有多少信息量？如果你在已知今天是星期三的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）？解：设“明天是星期几”为事件a ：⑴ 不知道今天是星期几：I(a)=-log1/7≈2.81(bit) ⑵ 知道今天是星期几：I(a)=-log1=0 (bit)2.3 居住某地区的女孩中有20%是大学生，在女大学生中有80%是身高1米6以上的，而女孩中身高1米6以上的占总数的一半。
假如我们得知“身高1米6以上的某女孩是大学生”的消息，求获得多少信息量？解：设“居住某地区的女孩是大学生”为事件a ，“身高1米6以上的女孩”为事件b ，则有： p(a)= 0.2，p(b|a)=0.8，p(b)=0.5，则“身高1米6以上的某女孩是大学生”的概率为：32.05.08.02.0)()|()()|(=⨯==b p a b p a p b a p信息量为：I=-logp(a|b)=-log0.32≈1.64(bit)2.4 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志：“你是否是红绿色盲？”，他回答“是”或“否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？解：⑴ 男同志回答“是”的概率为7%=0.07，则信息量I=-log0.07≈3.84(bit) 男同志回答“否”的概率为1-7%=0.93，则信息量I=-log0.93≈0.10(bit) 平均信息量为：H 1=-(0.07×log0.07+0.93×log0.93) ≈0.37(bit/符号) ⑵ 问女同志的平均自信息量：H 2=-[0.05×log0.05+(1-0.05) ×log(1-0.05)] ≈0.045(bit/符号)2.5 如有7行9列的棋型方格，若有两个质点A 和B ，分别以等概率落入任一方格内，2且它们的坐标分别为（X A ，Y A ）、（X B ，Y B ），但A 、B 不能落入同一方格内。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
∑p(x y ) = p( y ), ∑p(x y ) = p(x )
i= 1 i j j j= 1 i j i
n
m
得 p(y0) =∑ p(xiy0) = p(x0y0) +p(x1y0) =1/2+0 = 1/2
p(y1) =∑ p(xiy1) = p(x0y1) +p(x1y1) = 0+1/6 =1/6 p(y2) =∑ p(xiy2) = p(x0y2) +p(x1y2) = 1/6+1/6=1/3
• 如果信道是无噪的,当信源发出消息xi后,信宿必 能准确无误地收到该消息,彻底消除对xi的不确 定度,所获得的信息量就是xi的不确定度I(xi),即 xi本身含有的全部信息。 • 一般而言,信道中总是存在着噪声和干扰,信源 发出消息xi,通过信道后信宿只可能收到由于干 扰作用引起的某种变型yj 。 • 信宿收到yj 后推测信源发出xi的概率p(xi|yj)称为 后验概率。 • 信源发出消息xi的概率p(xi) 称为先验概率。
0 1/4 2 1/2 1 1/2 1
Y 0
• 信源熵
2 1 2 2 1 1 H( X ) = H( , ) = − log − log = 0.92bit / 符号 3 3 3 3 3 3
17
由
p(xi y j ) = p(xi ) p( y j / xi ) = p( y j ) p(xi / y j )
1 1
• 同理: p(u1|v0)=2/5，p(u0|v1)=1/3，p(u1|v1)=2/3
H(U | V) = −∑∑ p(ui v j ) log p(ui | v j ) = 0.95
i=0 j =0
11
2.2.3 互信息
• 设有两个随机事件X和Y ,X取值于信源发出的离 散消息集合, Y取值于信宿收到的离散符号集合
13
互信息
• 互信息
• 定义为 xi的后验概率与先验概率比值的对数
I (xi ; y j ) = log 2
I (xi ; y j ) = log p(xi | y j ) p(xi ) = log
p(xi | y j ) p(xi )
p(xi y j ) = log p( y j | xi ) p( y j )
ij
7
• 例2-9二进制通信系统用符号“0”和“1”,由于存 在失真,传输时会产生误码,用符号表示下列事件： u0：一个“0”发出：u1：一个“1”发出 v0：一个“0”收到；v1：一个“1”收到。 • 给定下列概率： p(u0)＝1/2, p(v0 |u0)＝3/4，p(v0 |u1)=1/2 求： ⑴已知发出一个“0”,求收到符号后得到的信息量； ⑵已知发出的符号,求收到符号后得到的信息量 ⑶知道发出的和收到的符号,求能得到的信息量； ⑷已知收到的符号，求被告知发出的符号得到的 信息量。
p(x1 | y1) I (x1; y1) = log 2 =0 p(x1)
15
p(x2 | y1) 1/ 2 I (x2; y1) = log 2 = log 2 =1 bit 1/ 4 p(x2 )
1/ 4 I (x3; y1) = I (x4; y1) = log 2 =1bit 1/ 8
• 表明从y1分别得到了x2 x3 x4各 1比特的信息量。 • 消息y1使x2 x3 x4的不确定度各减少 减少1bit 。
8
• 解：⑴ p(v1 |u0) =1－p(v0 |u0) =1/4
H(V | u0 ) = −∑ p(vi | u0 ) log p(vi | u0 )
i
= − p(v0 | u0 ) log 2 p(v0 | u0 ) − p(v1 | u0 ) log 2 p(v1 | u0 ) 3 3 1 1 = − log 2 − log 2 = 0.82 4 4 4 4
p(x0 y0 ) 1/ 2 p(x0 | y0 ) = = =1 p( y0 ) 1/ 2 得
p(x1 y0 ) p(x1 | y0 ) = =0 p( y0 ) 同理 p(x0 |y1)=0 ； p(x1 |y1)=1
p(x0 |y2)=1/2； p(x1 |y2)=1/2
H( X | Y) = −∑ p(xi , y j ) log p(xi | y j ) = 0.33bit / 符号
• H(X|Y)：
– 表示接收到输出符号Y 后关于输入变量X的 平均不确定度。 平均不确定度 这个对X尚存在的平均不
确定度是由于干扰(噪声) 引起的
21
平均互信息
• 平均互信息 平均互信息定义
I ( X;Y) = H( X ) − H( X | Y)
• Y未知,X 的不确定度为H(X) • Y已知,X 的不确定度变为H(X |Y)
i =0 1
1
3 8
3 5 • 解法1 H(V) = H( 8 , 8 ) = 0.96 H(U | V) = H(UV) − H(V) = 1.91− 0.96 = 0.95
• 解法2：利用贝叶斯公式:
1 3 × p(u0 ) p(v0 | u0 ) 2 4 3 p(u0 | v0 ) = = = 5 p(v0 ) 5 8
• 联合自信息量 联合自信息量
I (xi y j ) = −log p(xi y j )
5
离散信源熵
• 离散信源熵H(X)
H(X ) = ∑ p(xi )I (xi ) = −∑ p(xi ) log p(xi )
i i
• 信源熵具有以下三种物理含意： – 信息熵H(X)表示信源输出后,每个离散消息 所提供的平均信息量。 – 信息熵H(X)表示信源输出前,信源的平均不 确定性。 – 信息熵H(X)反映了变量X的随机性 。
I (xi ; y j ) = I (xi ) − I (xi | y j )
• 两个不确定度之差,是不确定度被消除的部分 。
16
• 例2-8:一个二进信源X发出符号集{0,1},经过
离散无记忆信道传输,信道输出用Y表示,由于 信道中存在噪声,接收端除收到0和1的符号外, 还有不确定符号“2” X • 已知X的先验概率: 3/4 p(x0)=2/3, p(x1)= 1/3, • 符号转移概率： p(y0|x0)=3/4, p(y2|x0)=1/4 p(y1|x1)=1/2, p(y2|x1)=1/2，
p(xi ) p( y j )
I (xi ; y j ) = I (xi ) − I (xi | y j ) = I ( y j ) − I ( y j | xi )
• 互信息I(xi;yj)表示接收到某消息yj后获得的 关于事件xi的信息量。
14
• 例某地二月份天气 X = x1 晴 x2 阴 x3 雨 x4 雪 构成的信源为： p(x) 1/ 2 1/ 4 1/ 8 1/ 8
9
H(V | U) = −∑∑ p(uivj ) log p(vj | ui )
i=0 j =0
1
1
3 3 1 1 1 1 1 1 = − log 2 − log 2 − log 2 − log 2 8 4 8 4 4 4 4 4 = 0.91 比特/ 符号
• ⑶解法1：
H(UV) = −∑∑ p(ui v j ) log p(ui v j )
• 条件熵
H(Y | X ) = −∑ p(xi , y j ) log p( y j | xi )
ij
1 3 1 1 1 1 1 1 = − log − log − log − log = 0.88bit / 符号 2 4 6 4 6 2 6 2
18
• 联合熵 H(X,Y)＝H(X)＋H(Y|X)=1.8bit/符号 由
i=0 j =0 1 1
3 3 1 1 1 1 1 1 = − log 2 − log 2 − log 2 − log 2 8 8 8 8 4 4 4 4 = 1.91 比特/ 符号
• 解法2 • H(UV) = H(U) + H(V|U) = 1+0.91 = 1.91比特/符号
10
• ⑷
5 p(v0 ) = ∑ p(ui v0 ) = 8 i=0 p(v1) = ∑ p(uiv1) =
ij
20
2 1 2 2 1 1 H( X ) = H( , ) = − log − log = 0.92bit / 符号 3 3 3 3 3 3
H( X | Y) = −∑ p(xi , y j ) log p(xi | y j ) = 0.33bit / 符号
ij
• H(X)：
– 表示接收到输出符号Y前关于输入变量X的 平均不确定度。 平均不确定度
• ⑵联合概率：
p(u0v0) = p(v0 |u0) p(u0) = 3/4×1/2 = 3/8 p(u0v1) = p(v1 |u0) p(u0) = 1/4×1/2 = 1/8 p(u1v0) = p(v0 |u1) p(u1) = 1/2×1/2 = 1/4 p(u1v1) = p(v1 |u1) p(u1) = [1－p(v0 |u1)] =1/2×1/2 = 1/4
• 求得自信息量分别为
1 I (x1) = −log 2 =1bit, I (x2 ) = 2bit, I (x3 ) = I (x4 ) = 4bit 2
• 若得知“今天不是晴天”,把这句话作为收到的消息 y1 • 当收到y1后,各种天气发生的概率变成后验概率了 • p(x1|y1) = 0, p(x2|y1) = 1/2 , p(x3|y1) = 1/4 , p(x4|y1) = 1/4
1 1 1 H(Y) = H( , , ) 2 3 6 1 1 1 1 1 1 = − log − log − log =1.47bit / 符号xi | y j ) =