三种实用的纠错编码技术及其软件实现

答案~信息论与编码练习

1、有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？ 解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量＝14000(bit/symbol)。 下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为： 信道容量（最大信息传输率）为： C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为： Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒 此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为： 试求这两个信道的信道容量，并问这两个信道是否有噪声？ 3 、已知随即变量X 和Y 的联合分布如下所示： 01 100.980.020.020.98P ?? =?? ??11112222 1111222212111122221111222200000000000000000000000000000000P P ????????????==????????????11 222 2111 2222 2 log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。(2)为对称信道，输入为等概率分布时达到信道容量无噪声

汉明码纠错

汉明码的编码检错原理 针对4位数据的汉明码编码示意图 汉明码是一个在原有数据中插入若干校验码来进行错误检查和纠正的编码技术。以典型的4位数据编码为例，汉明码将加入3个校验码，从而使实际传输的数据位达到7个（位），它们的位置如果把上图中的位置横过来就是： 数据位1234567 代码P1P2D8P3D4D2D1 说明第1个 汉明码 第2个 汉明码 第1个 数据码 第3个 汉明码 第2个 数据码 第3个 数据码 第4个 数据码 注：Dx中的x是2的整数幂（下面的幂都是指整数幂）结果，多少幂取决于码位，D1是0次幂，D8是3次幂，想想二进制编码就知道了 现以数据码1101为例讲讲汉明码的编码原理，此时D8=1、D4=1、D2=0、D1=1，在P1编码时，先将D8、D4、D1的二进制码相加，结果为奇数3，汉明码对奇数结果编码为1，偶数结果为0，因此P1值为1，D8+D2+D1=2，为偶数，那么P2值为0，D4+D2+D1=2，为偶数，P3值为0。这样，参照上文的位置表，汉明码处理的结果就是1010101。在这个4位数据码的例子中，我们可以发现每个汉明码都是以三个数据码为基准进行编码的。下面就是它们的对应表： 汉明码编码用的数据码 P1D8、D4、D1 P2D8、D2、D1 P3D4、D2、D1 从编码形式上，我们可以发现汉明码是一个校验很严谨的编码方式。在这个例子中，通过对4个数据位的3个位的3次组合检测来达到具体码位的校验与修正目的（不过只允许一个位出错，两个出错就无法检查出来了，这从下面的纠错例子中就能体现出来）。在校验时则把每个汉明码与各自对应的数据位值相加，如果结果为偶数（纠错代码为0）就是正确，如果为奇数（纠错代码为1）则说明当前汉明码所对应的三个数据位中有错误，此时再通过其他两个汉明码各自的运算来确定具体是哪个位出了问题。 还是刚才的1101的例子，正确的编码应该是1010101，如果第三个数据位在传输途中因干扰而变成了1，就成了1010111。检测时，P1+D8+D4+D1的结果是偶数4，第一位纠错代码为0，正确。P1+D8+D2+D1的结果是奇数3，第二位纠错代码为1，有错误。P3+D4+D2+D1的结果是奇数3，第三但纠错代码代码为1，有错误。那么具体是哪个位有错误呢？三个纠错代码从高到低排列为二进制编码110，换算成十进制就是6，也就是

信息论与编码课后习题答案

1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 341)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为 用霍夫曼编码方法 代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3

信息论与编码试题集与答案(2014)

一填空题 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前 后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大,最大熵值为。 3、香农公式为 为保证足够大的信道容量，可采用（1）用频带换信噪比； （2）用信噪比换频带。 4、只要，当N 足够长时，一定存在一种无失真编码。 5、当R ＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 6、1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 7.人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 8.信息的 可度量性 是建立信息论的基础。 9.统计度量 是信息度量最常用的方法。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。

信息论与编码理论课后习题答案高等教育出版社

信息论与编码理论习题解 第二章-信息量和熵 解: 平均每个符号长为:154 4.0312.032= ?+?秒 每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号 所以信息速率为444.34 15 9183.0=?比特/秒 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=?比特/秒 解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特 解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以

比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???? ??37种排法，Y 表示梧桐树可以栽 种的位置，它有???? ??58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有 两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得

信息论与编码试卷及答案

一、概念简答题（每题5分，共40分） 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？ 平均自信息为：表示信源的平均不确定度，表示平均每个信源消息所提供的信息量。 平均互信息：表示从Y获得的关于每个X的平均信息量；表示发X前后Y的平均不确定性减少的量；表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？ 最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 最大熵值为 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？ 信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。 平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。 数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有， 。说明经数据处理后，一般只会增加信息的损失。

5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。香农公式为 ，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。 由得，则 6.解释无失真变长信源编码定理。只要，当N足够长时，一定存在一种无失真编码。 7.解释有噪信道编码定理。答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。 2）因为失真矩阵中每行都有一个0，所以有，而。 二、综合题（每题10分，共60分） 1.黑白气象传真图的消息只有黑色和白色两种，求： 1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵；

信息论与编码课后答案

一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态 的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==

信息论与编码理论习题答案

第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信 息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit

2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 8,6,4,2,0=i √ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知，

(完整版)数字通信原理第五章纠错编码习题解答

第五章 纠错编码习题解答 1、已知一纠错码的三个码组为(001010)、(101101)、(010001)。若用于检错，能检出几位错码？若用于纠错，能纠正几位错码？若纠检错结合，则能纠正几位错码同时检出几位错码？ [解]该码的最小码距为d 0=4，所以有： 若用于检错，由d 0≥e +1，可得e =3，即能检出3位错码； 若用于纠错，由d 0≥2t +1，可得t =1，即能检出1位错码； 若纠检错结合，由d 0≥e +t +1 （e >t ），可得t =1，e =2，即能纠正1位错码同时能检出2位错码。 2、设某(n ,k )线性分组码的生成矩阵为： 001011100101010110G ?? ??=?????? ①试确定该(n ,k )码中的n 和k ； ②试求该码的典型监督矩阵H ； ③试写出该码的监督方程； ④试列出该码的所有码字； ⑤试列出该码的错误图样表； ⑥试确定该码的最小码距。 [解] ①由于生成矩阵G 是k 行n 列，所以k =3，n =6。 ②通过初等行变换，将生成矩阵G 变换成典型生成矩阵

[] 100101010110001011k G I Q ?? ??==?????? 由于101110110011011101T Q P Q ???? ????=???? ????????，　＝＝，可知典型监督矩阵为 []110100011010101001r H PI ?? ??=?? ????＝ ③监督方程为5424315 300 00 a a a a a a a a a ⊕⊕=??⊕⊕=??⊕⊕=? ④所有码字见下表 ⑤错误图样表即错误图样与校正子关系表，见下表

汉明码计算及其纠错原理详解

汉明码计算及其纠错原理详解 当计算机存储或移动数据时，可能会产生数据位错误，这时可以利用汉明码来检测并纠错，简单的说，汉明码是一个错误校验码码集，由Bell 实验室的R.W.Hamming 发明，因此定名为汉明码。 汉明码（Hamming Code），是在电信领域的一种线性调试码，以发明者理查德·卫斯里·汉明的名字命名。汉明码在传输的消息流中插入验证码，以侦测并更正单一比特错误。由于汉明编码简单，它们被广泛应用于内存（RAM ）。其SECDED （single error correction，double error detection）版本另外加入一检测比特，可以侦测两个或以下同时发生的比特错误，并能够更正单一比特的错误。因此，当发送端与接收端的比特样式的汉明距离（Hamming distance）小于或等于1时（仅有1 bit发生错误），可实现可靠的通信。相对的，简单的奇偶检验码除了不能纠正错误之外，也只能侦测出奇数个的错误。 在数学方面，汉明码是一种二元线性码。对于每一个整数，存在一个编码，带有个奇偶校验位个数据位。该奇偶检验矩阵的汉明码是通过列出所有米栏的长度是两两独立。 汉明码的定义和汉明码不等式：设：m=数据位数，k=校验位数为，n=总编码位数＝m+k，有Hamming不等式： a）总数据长度为N，如果每一位数据是否错误都要记录，就需要N位来存储。 b）每个校验位都可以表示：对或错；校验位共K位，共可表示2k种状态 c）总编码长度为N，所以包含某一位错和全对共N+1种状态。 d）所以2k≧N+1 e）数据表见下 无法实现2位或2位以上的纠错，Hamming码只能实现一位纠错。 以典型的4位数据编码为例，演示汉明码的工作 D8=1、D4=1、D2=0、D1=1， P1 =1，P2=0、P3=0。 汉明码处理的结果就是1010101 假设：D8出错，P3’P2’P1’=011=十进制的3，即表示编码后第三位出错，对照存储

信息论与编码理论习题答案全解

信息论与编码理论习题答案全解

第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少 信息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit

2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 信道 X Y 9,7,5,3,1=i 8,6,4,2,0=i √Χ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知，

纠错输出编码(ECOC)综述和基本原理

纠错输出编码（ECOC ）综述和基本原理 目录 <机器学习导论> (1) 《Solving Multiclass Learning Problems via Error-Correcting Output Codes 》 (2) A Subspace to ECOC (3) 中文参考文献 (5) <机器学习导论> 在纠错输出编码中，主要的分类任务通过由基学习器实现的一组子任务来定义。其思想是：将一个类从其他类区分开来的原始任务可能是一个困难的问题。作为替代，我们定义一组简单的分类问题，每个专注于原始任务的一个方面，并通过组合这些简单的分类器来得到最终的分类器。 这时，基分类器是输出为-1/+1的二元分类器，并且有一个K*L 的编码矩阵W ，其K 行是关于L 个基学习器dj 类的二元编码。例如，(2, )[ 1 1 1 1]M =-++-表示若一个样本属于第2类(C 2)，则该样本应在h 1和h 4上取负值，在h 2和h 3上取正值；(, 3)[ 1 1 1]T M =-++可理解为第三个基分类器h 3的任务是将属于C 1类的样本与属于C 2和C 3类的样本区分开。同时(, 3)M 也决定了如何构造基分类器h 3的训练样本集T 3：所有标记为C 2类及C 3类的样本形成正样本3χ+，而标记为C 1类的实例构成负样本3χ-，对h 3的训练应使得3T ?∈i x ，当3χ+∈i x 时，3()1h =+i x ；当3χ-∈i x 时，3()1h =-i x 。 这样，编码矩阵使得我们可以用二分类问题定义多分类问题，并且这是一种适用于任意可以实现二分基学习器的学习算法的方法，例如，线性或多层感知器，决策树或初始定义的两类问题的SVM 。 典型的每类一个判别式的情况对应于对角矩阵，其中L=K ，例如，对于K=4，我们有 W=【】 这里的问题是：如果某一个基学习器存在错误，就会有误分类，因为类的码

信息论与编码理论第二章习题答案

I (X ;Y=1)= P(x/Y 1)I(x;Y 1) x P(x/Y 1)log P(x/Y 1) P(x) = P(X 0/Y 1)log P(X 0/Y 1) P(X 0) P(X 1/Y 1)log P(X 1/Y 1) P(X 1) 部分答案，仅供参考。 信息速率是指平均每秒传输的信息量点和划出现的信息量分别为log3Jog3， 2’ 一秒钟点和划出现的次数平均为 1 15 2 1 ~4 0.20.4 - 3 3 一秒钟点和划分别出现的次数平均为巴5 4 4 那么根据两者出现的次数，可以计算一秒钟其信息量平均为10 log 3 5 竺 5 4 2 4 4 2 解： ⑻骰子A和B，掷出7点有以下6种可能： A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量 -log(1/6)=1+log3 ~ bit (b)骰子A和B,掷出12点只有1种可能： A=6,B=6 概率为1/36，所以信息量 -log(1/36)=2+log9 ~ bit 解： 出现各点数的概率和信息量： 1 点：1/21 , log21 ?bit ; 2 点：2/21 , log21-1 ?bit ; 3 点：1/7 , log7 4 点：4/21 , log21-2 5 点：5/21 , log (21/5 )~; 6 点：2/ 7 , log(7/2)? 平均信息量： (1/21) X +(2/21) X +(1/7) X +(4/21) X +(5/21) X +(2/7) 解： X=1:考生被录取；X=0考生未被录取； Y=1：考生来自本市；Y=0考生来自外地； Z=1:考生学过英语；z=o：考生未学过英语 P(X=1)=1/4, P( X=q=3/4; P( Y=1/ X=1)=1/2 ；P( Y=1/ X=0)=1/10 ；P(Z=1/ Y=1 )=1, P( Z=1/ X=0, Y=0 )=, P( Z=1/ X=1, Y=0 )=, P(Z=1/Y=0)= (a)P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)= P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)= P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=

RS纠错编码原理

RS 基本概念 GF(2m )域 域在RS 编码理论中起着至关重要的作用。 简单点说域m GF(2)有m 2(设m 2= q )个符号 且具有以下性质： 域中的每个元素都可以用a 0，a 1，a 2，a m-1 的和来表示。除0、1外其余所有元素由本原多项式 P (x )生成。本原多项式的特性是得到的余式等于0。 在纠错编码运算过程中，加、减、乘和除的运算是在伽罗华域中进行 在GF 域上的加、减、乘、除运算定义如下（GF(4 2)为例）： 1、 加、减运算均定义为元素的二进制表示方式进行异或运算。如：a 8 +a 10 ，先查表， 将其化为二进制表示方式得0101+0111，经过异或运算得0010，再查表得a 1，即：a 8+a 10= a 1 。 减运算与加运算相同，即：a 8-a 10= a 1 。 2、 乘运算定义为元素的指数相加后进行模15运算后所得的新元素，但若有一个元素 为0，则相乘结果为0。如：a 7*a 13，(7+13)mod 15=5，即a 7*a 13= a 5 。 3、 除运算定义为元素的指数相减后进行模15运算后所得的新元素(指数为正数)。若 被除数为0，则结果为0。如：a 5/a 9，(5-9)mod 15=11，即a 5/a 9= a 11 。 下面以一个较简单例子说明域的构造。 GF (42) 的所有元素 例：m=4,本原多项式 4p(x)=x +x+1求GF (4 2) 的所有元素： 因为α为p (x )的根得到4 ++1αα=0 或4 =+1αα (根据运算规则)

符号(n，k)RS GF(2)域中，符号(n，k)RS的含义如下： 在介绍之前需要说明一些符号。在4 m表示符号的大小，如m = 8表示符号由8位二进制数组成 n表示码块长度， k表示码块中的信息长度 K=n－k = 2t表示校验码的符号数 t表示能够纠正的错误数目 RS的编码算法 GF(2)域上的RS(15,11)码，码长n=15字符，码元长k=11本项目RS纠错算法选择在4 字符，码距d=5，纠错能力t=2字符，每字符为4bits，即一个码组合7.5字节。每11个有效字节加4个纠错字节。每一帧报文分成若干组，以11个字节为一组，对这11个字节作纠错，生成4字节里德-所罗门码纠错码，和前11个字节一起共15个字节构成纠错后的一组报文。一帧报文以每11个字节分组后，若最后一组字节数不满11个字节，剩余字节填77H，凑满11个字节再进行纠错。 对一个信息码符多项式，RS校验码生成多项式的一般形式为 (13－2) 式中，m0是偏移量，通常取K0 = 0或K0 = 1，而(n-k)≥2t (t为要校正的错误符号数)。 x+a x+a x+a x+a 对于R（15，11）对应生成多项式为g(x)=413362310 信息码符多项式为

信息论与编码习题参考答案(全)

信息论与编码习题参考答案 第一章 单符号离散信源 1.1同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： bit P a I N n P bit P a I N n P c c N 17.536log log )(361 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： (3)信源空间： bit x H 32.436log 36 62log 3615)(=??+?? =∴ (4)信源空间： bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.11136 log log )(3611333==-=∴==

1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解： bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率 1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？ 解： bit w P w P w P w P m m P m I w P w I bit m P m P m P m P m bit m P m I bit m P m I n n y y n n y y n n y y n n y y 0454.0log99.5%99.5%-log0.5%-0.5% )(log )()(log )()(H % 5.99log )(log )(%5.0log )(log )(36 6.0log93%93%-log7%-7% )(log )()(log )()(H 105.0%93log )(log )(84.3%7log )(log )(: =??=?-?-=-=-=-=-==??=?-?-==-=-==-=-=平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于女： 平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于男士

第二节 纠错编码原理

第二节 纠错编码原理 一、纠错编码的原理 一般来讲，信源发出的消息均可用二进制信号来表示。例如，要传送的消息为A 和B ，则我们可以用1表示A ，0表示B 。在信道传输后产生了误码，0错为1，或1错为0，但接收端却无法判断这种错误，因此这种码没有任何抗干扰能力。如果在0或1的后面加上一位监督位（也称校验位），如以00表示A ，11表示B 。长度为2的二进制序列共有种组合，即00、01、10、11。00和11是从这四种组合中选出来的，称其为许用码组，01、10为禁用码。当干扰只使其中一位发生错误，例如00变成了01或10，接收端的译码器就认为是错码，但这时接收端不能判断是哪一位发生了错误，因为信息码11也可能变为01或10，因而不能自动纠错。如果在传输中两位码发生了错误，例如由00变成了11，译码器会将它判为B ，造成差错，所以这种1位信息位，一位监督位的编码方式，只能发现一位错误码。 224=按照这种思路，使码的长度再增加，用000表示A ，111表示B ，这样势必会增强码的抗干扰能力。长度为3的二进制序列，共有8中组合：000、001、010、011、100、101、110、111。这8种组合中有三种编码方案：第一种是把8种组合都作为码字，可以表示8种不同的信息，显然，这种编码在传输中若发生一位或多位错误时，都使一个许用码组变成另一个许用码组，因而接收端无法发现错误，这种编码方案没有抗干扰能力；第二种方案是只选四种组合作为信息码字来传送信息，例如：000、011、101、110，其他4种组合作为禁用码，虽然只能传送4种不同的信息，但接收端有可能发现码组中的一位错误。例如，若000中错了一位，变为100，或001或010，而这3种码为禁用码组。接收端收到禁用码组时，就认为发现了错码，但不能确定错码的位置，若想能纠正错误就还要增加码的长度。第三种方案中规定许用码组为000和111两个，这时能检测两位以下的错误，或能纠正一位错码。例如，在收到禁用码组100时，若当作仅有一位错码，则可判断出该错码发生在“1”的位置，从而纠正为000，即这种编码可以纠正一位差错。但若假定错码数不超出两位，则存在两种可能性，000错一位及111错两位都可能变为100，因而只能检错而不能纠错。 从上面的例子可以得到关于“分组码”的一般概念。如果不要求检错或纠错，为了传输两种不同的信息，只用1位码就够了，我们把代表所传信息的这位码称为信息位。若使用了2位码或3位码，多增加的码位数称为监督位。我们把每组信息码附加若干监督码的编码称为分组码。在分组码中，监督码元仅监督本码组中的信息码元。 图8-2分组码的结构 分组码一般用符号(表示， 其中k 是每组码中信息码元的数目，n 是码组的总位数，又称为码组的长度（码长），为每码组中的监督码元数目，或称为监督位数目。通常将分组码规定为如图8-2所示的结构，图中前面位为信息位，后面附 )n n a a ??,n k n k r ?=k 12(,,...,)r a

信息论与编码课后习题答案

1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=符号 2．设有一个无记忆信源发出符号A 和B ，已知4 3 41)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( = bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 1614141)(=?=AA p 1634341 )(=?=AB p 1634143)(=?=BA p 1694343)(=?=BB p 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3

纠错编码

在通信系统中,为提高信息传输可靠性,广泛使用了具有一定纠错能力的信道编码技术, 如奇偶校验码、行列监督码、恒比码、汉明码、循环码(CRC)等编码技术。这些编码技术因 其编码方式比较简单,其检错、纠错能力都不是很强,无法满足数字通信系统中高可靠传输的性能要求,必须采用高性能的强纠错编码技术。 下面介绍几种高性能强纠错编码技术： 1里德- 索罗门码(Read - Solomon) 里德-索罗门码,简称RS码,是一种重要的线性分组编码方式,对突发性错误有较强的纠错能力。该编码技术是利用伽罗华创造的伽罗华域(Galois Field)中的数学关系来把传送数据包的每个 字节映射成伽罗华域中的一个元素(又称符号) ,每个数据包都按码生成多项式为若干个字节 的监督校验字节,组成RS的误码保护包,接收端则按校验矩阵来校验接收到的误码保护包是 否有错,有错时则在错误允许的范围内纠错。RS纠错编码具有很强的纠正突发误码的能力。为了纠正一个错误,要2个符号的检测码,一个用来确定位置,一个用来纠错。一般来说纠t个错误需要2t个检验符,这时要计算2t个等式,确定t个位置和纠t个错。能纠t个符号的RS 码生成多项式为: g ( x) = ( x + a0 ) ( x + a1 ) ( x + a2) …( x + a2t - 1 ) 。 2卷积码(Convolution codes) 卷积码是一种非分组编码,适用于前向纠错法。在许多实际情况下,卷积码的性能常优于分组式编码。卷积编码是将信息序列以k个码元分段,通过编码器输出长为n的一个码段。卷积 码的监督码元并不实行分组监督,每一个监督码元都要对前后的信息单元起监督作用,整个编解码过程也是一环扣一环,连锁地进行下去。卷积编码后的n个码元不仅与本段的信息元有关,而且也与其前N - 1段信息有关,故也称连环码,编码过程中互相关联的码元个数为nN。卷积编码的结构是:“信息码元、监督码元、信息码元、监督码元…”。在解码过程中,首先将接收到的信息码与监督码分离,由接收到的信息码再生监督码,这个过程与编码器相同;再将此再 生监督码与接收到的监督码比较,判断有无差错,并纠正这些差错。 3交织编码 交织编码,其基本思路是将i个能纠t个错的分组码( n, k)中的码元比特排列成i行n列的方阵,每个码元比特记作B ( i, n) 。交织前如果遇到连续j个比特的突发错误,且j >> t,对其中的连续2个码组而言,错误数已远远大于纠错能力t,因而无法正确对出错码组进行纠错。交织后, 总的比特数不变,传输次序由原来的B (1, 1) , B (1, 2) , B (1, 3). . . B (1, n) , B (2, 1) , B (2, 2) , B (2, 3). . . B (2,n) , . . . . . . B ( i, 1) , B ( i, 2) , B ( i, 3). . . B ( i, n)转变为B (1, 1) , B (2, 1) , B (3, 1). . . B ( i, 1) , B (1, 2) , B (2, 2) , B(3, 2). . . B ( i, 2). . . . . . . . . B (1, n) , B (2, n) , B (3, n) , . . . B ( i, n)的次序。此时因干扰或衰落引起的突发错误图样正好落在分组码的纠错能力范围内,可以正确纠正这些 被分解开的差错。通常把码组数i称为交织度,用这种方法构造的码称为交织码。 使用交织编码的好处是提高了纠正突发错误的能力但又不增加新的监督码元,从而不会降低 编码效率。理论上交织度i越大,抗突发错误的能力就越强。 4格状编码调制