信息与编码复习总结

第一章⏹信息是关于事物运动状态或存在方式的不确定性的描述。

抽象的、非物理的，是信息的哲学层表达。

⏹消息是指包含信息的语言、文字、符号、数据、图像等。

消息是信息的载体。

是具体的、非物理的形式，是信息的数学层表达⏹信号：运用声、光、电等物理量来运载信息。

信号是载荷信息的实体，是具体的、物理的形式，是信息的物理层表达⏹信息是具体信号与消息的内涵，是信号载荷的内容，是消息描述的对象。

⏹反过来，信号则是信息在物理表达上的外延，消息则是信息在数学表达上的外延。

同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。

同样，同一类型信号或消息也可以代表不同内容的信息。

⏹消息是信息的数学载体、信号是信息的物理载体通信系统的模型\例题： 一个布袋中包含100个球，其中80个红球，20个白球。

（1）随机地抽取一个球观察颜色后放回布袋，则出现白球的概率多少？（2）随机抽取一个球，记录颜色后不放回布袋，接着再取一球记录颜色，试问如果第一个是红球，第二个分别是红球和白球的概率？（3）随机抽取一个球，记录颜色后不放回布袋，试问，取出两个球，先后是白球和红球的概率？（1）解: 设 W i ={第i 次取出是白球}, i =1,2,……2.010020)(==i W p {}n a a a X ,,,21 ∈{}m b b b Y ,,,21 ∈1)(),|(),(),(0)1(≤≤j i i j j i b a p a b p b p a p ∑∑∑∑∑=========ni mj jimj i jmj jni i ba p a bp bp a p 111111)(1)|(1)(1)()2(∑∑====mj i jin i j j i a p ba pb p b a p 11)()()()()3()|()()|()()()4(j i j i j i j i b a p b p a b p a p b a p ==)|()()()()(Y X )5(i j j j i j i a b p b p b p a p b a p ==相互独立时：与当∑===ni j i j i j j i j i b a p b a p b p b a p b a p 1)()()()()|()6(2）解: 设 W i ={第i 次取出是白球}, i =1,2,……R j ={第j 次取出是红球}， j =1,2,……（3）解: 设 W i ={第i 次取出是白球}, i =1,2,……R j ={第j 次取出是红球}， j =1,2,……⏹⏹ 1、信源编码的主要目的是提高__ 有效性____， 信道编码的主要目的是提高_可靠性_____。

⏹ 2、根据是否允许失真，信源编码可分为___无失真信源编码__和____限失真信源编码___。

⏹ 3、如果从随机不确定性的角度来定义信息，信息反映的__不确定性_____消除量。

⏹ 4、简述信息、消息与信号3个名词⏹ 5、给出通信系统的基本模型，并说明各组成部分的含义。

⏹ 6、简述通信系统的性能指标，并说明通过什么渠道优化这些性能指标。

有效性——信源编码 可靠性——信道编码 安全性——加密编码798.09979)|(12==R R p 202.09920)|(12==R W p 16.09980*10020)|(*)()(12121===W R p W p R W p第二章● 按信源发出符号所对应的随机变量之间有无统计依赖关系，可将离散信源分为_______和_______两大类。

习题2-1,习题2-2⏹ 1、掷两粒骰子，当点数之和为5时，该消息包含的信息量是______bit 。

⏹ 2、从大量统计资料知道，女性色盲发病率为0.5%，如果你问一位女士：“你是否是色盲？”她的回答可能是“是”，可能是“否”，问 （1）这两个回答中各含多少信息量？ （2）平均每个回答中含有多少信息量？ 解：教材39页 2-2 , 2-5,2-7,2-15sym bolbit x I x p x I x p X H bitx p x I x p bit x p x I x p N N Y Y N N N Y Y Y / 045.0)()()()()( 007.0995.0log )(log )(%5.99)( 64.7005.0log )(log )(%5.0)(=+==-=-===-=-==第二章复习（1）信息是可以定量描述的，可以比较大小。

由概率决定；（2）对应特定信源，可以求出所含不确定度，也就是消除不确定度所需的信息量；（3）可通过对信源的观察、测量获得信息，以减少对信源的不确定度；（4）考虑信源符号概率分布和符号之间的相关性，信源不确定度会下降；（5）通过传输，信宿可以得到信息I(X;Y)，从而减小对信源的不确定度：H(X/Y)=H(X)-I(X;Y)（6）信息通过系统传输，只会丢失信息，不会增加。

丢失部分H(X/Y)是由噪声引起的。

1、一维连续随机变量X在[a，b]区间内均匀分布时，其信源熵为________。

2、分别说明下列表达式的含义。

（1）自信息量（2）熵（3）联合熵（4）平均互信息量（5）条件熵4、简述最大离散熵定理5、简述数据处理定理6、一阶马尔可夫信源的状态图如图所示，信源X的符号集为（0，1，2）。

（1）求信源平稳后的概率分布P(0)，P(1)，P(2)；（2）求此信源的极限熵。

有⎪⎪⎭⎫⎝⎛/83/83/81/81/81/83/83/811、设信道输入X={3,1,1}，输出Y={1，1，2}， 规定失真函数为则失真矩阵D=____________。

2、分别说明下列表达式的含义。

（1）信息率失真函数R （D ）； （2）信道容量C 。

⎪⎪⎪⎪⎪⎭⎫ ⎝⎛1000001001000001ji j i y x y x d -=),(第五章分组码：每个符号序列依照固定的码表映射成一个码字。

定长码：码中所有码字的长度都相同。

变长码：码中的码字长短不一。

非奇异码：信源符号和码字是一一对应。

奇异码：信源符号和码字不是一一对应。

唯一可译码：任意有限长的码元序列，只能被唯一地分割成一个个的码字。

即时码：在唯一可译码中有一类码，它在译码时无须参考后继的码符号就能立即做出判断，译成对应的信源符号。

非即时码：接收端收到一个完整的码字后，不能立即译码，还需等下一个码字开始接收后才能判断是否可以译码。

解（1）⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡128/1128/164/132/116/18/14/12/1)(87654321x x x x x x x x X P X 符号/984.1log 12812log 641log 321log 161log 81log 41log 21)(log )()(128/1264/1232/1216/128/124/122/1281bit x p x p X H i i i =⨯-------=-=∑=（2）（3）984.1128/17264/1632/1516/148/134/122/11)(81=⨯⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑=i i i x p k K4）在编r 元哈夫曼码时，信源符号m 要满足m=(r-1)n+r ，其中m为任意正整数，n 表示缩减的次数。

本题中r =3（三进制），所以m=(r-1)n +r =2n +3，取n=3，则m =9。

984.1128/17264/1632/1516/148/134/122/11)(81=⨯⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑=i i i x p k K %100984.1984.1)(===K X H η设一个三状态马尔可夫信源X={a1,a2,a3}，其状态图如图所示。

求（1）稳态下各状态概率W i；（2）稳态下各字母a i出现的概率；328.1128/14264/1332/1316/128/124/112/11)(81=⨯⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑=iiixpkK%27.943328.1984.13)(===lblbKXHη（3）H(X|s i ); （4）H ∞(X);（5）对各状态s j 求Huffman 编码； （6）计算平均码长。

解：（1）稳态下个状态概率（2）稳态下各字母ai 出现的概率（3）⎪⎩⎪⎨⎧=∑=∑1jj j i i ij W W W p 333322311323322221121331221111W W p W p W p W W p W p W p W W p W p W p =++=++=++3212211321412143W W W W W W W W =+=+=72,73,72321===W W W 72)|()|()|()(72)|()|()|()(73)|()|()|()(333232131332322212123132121111=++==++==++=s a p W s a p W s a p W a p s a p W s a p W s a p W a p s a p W s a p W s a p W a p 01)|(/121212121)|(/5.1414141412121)|(221=-==--==---=lb s X H bit lb lb s X H bit lb lb lb s X H 符号符号（4）（5）在状态s 1下的Huffman 编码在状态s 2下的Huffman 编码在状态s 3下一定发出a 1，无需编码 （6）平均码长符号/761735.172)|()|()|()|()(33221131bit s X H W s X H W s X H W s X H W X H i i i =⨯+⨯=⋅+⋅+⋅=∑==∞符号码元/5.14124122111=⨯+⨯+⨯=K 符号码元/12112112=⨯+⨯=K 03=K 符号码元/76720731725.1332211=⨯+⨯+⨯=⋅+⋅+⋅=W K W K W K K1、m 元惟一可译码存在的充要条件是各码字的长度k i 符合克劳夫特不等式____________。

2、R(D)是______参数，它是满足D 准则下平均传送每信源符号的所需的最________比特数，因此只要信息率______信息率失真函数，则一定存在一种编码方法，其译码失真满足要求。

第六章⏹ 1、设一个(7,4)分组码的生成矩阵为求该码的全部码字⏹ 2、某分组码的校验矩阵为 求：⏹ （1）n=? , k=?, 该码的码字有多少个？ ⏹ （2）该码的生成矩阵G ？⏹ （3）矢量010111和100011是否是码字？⎪⎪⎪⎪⎪⎭⎫⎝⎛=0111000110010010100101110001G ⎪⎪⎪⎭⎫⎝⎛=100011010101001110H⏹ 3、某码空间的生成矩阵为校验矩阵为______, 码集中有____个码字,伴随式有____个，信息组（110）对应的码字c1是_____ ，信息组（010）对应的码字c2是_____ 。