信息论与纠错编码题库
第八章线性分组码
8.1 什么是检错码？什么是纠错码？两者有什么不同？
答：能发现错误但不能纠正错误的码称为检错码；不仅能发现错误而且还能纠正错误的码称为纠错码。
8.2 试述分组码的概念，并说明分组码的码率r的意义。
答：分组码是把信息序列以每k个码元分组，即每k个码元组成一个信息组。n表示码长,k 表示信息位的数目，码率r=k/n，它说明在一个码字中信息为所占的比重。
8.3 什么是码的生成矩阵和校验矩阵？一个（n，k）线性分组码的生产矩阵和校验矩阵各是几行几列的矩阵？
答：线性分组码的2个码字将组成n维向量空间的一个k维子空间，而线性空间可由其基底张成，因此线性分组码的个码字完全可由k个独立的向量组成的基底张成。设k个向量为
（7.3-2）
将它们写成矩阵形式：
（7.3-3）
（n,k）码中的任何码字，均可由这组基底的线性组合生成。即
C=MG=(mk-1,mk-2,m0)G
式中 M=(mk-1,mk-2,m0)是k个信息元组成的信息组。这就是说，每给定一个信息组，通过式（7.3-3）便可求得其相应的码字。故称这个由k 个线性无关矢量组成的基底所构成的k×n阶矩阵G为码的生成矩阵（Generator Matrix）。
校验矩阵H 的每一行代表求某一个校验位的线性方程的系数(n-k)线性分组码有r=n-k 个校验元，故须有r 个独立的线性方程，因此H 矩阵必由线性无关的r 行组成，是一个(n-k)×n 阶矩阵，一般形式为
一个（n,k ）线性分组码生成矩阵有k 行n 列校验矩阵有(n-k)行n 列。
8.4 什么样的码成为系统码？系统码的生成矩阵和校验矩阵在形式上有何特点？
答：若信息组为不变的形式，称在码字的任意k 位中出现的码为系统码；一个系统码的生成矩阵G ，其左边k 行k 列是一个k 阶单位方阵，系统码的校验矩阵H ，其右边r 行r 列组成一个r 阶单位方阵。
8.5 什么是对偶码？试举例说明之。
答：若把（n,k ）码的H 矩阵看成是(n,r)码的生成矩阵Gd,而（n,k ）码的G 矩阵就是（n,r ），码的校验矩阵Hd,则称这两种码为互为对偶码。例如课本列举的（7，3）码
8.6 试述码的距离和重量的概念。线性分组码的最小距离有何实际意义？ 答：两个码字之间，对应位取值不同的个数，称为它们之间的汉明距离，简称距离用d(c1,c2)表示。码字中非零码元的个数，称为该码子的汉明重量，简称重量，用w(c)表示。一个线性分组码的最小距离是衡量码抗干扰能力的重要参数。码的最小距离愈大，其抗干扰能力愈强。
8.7 如果要构造一个能纠2个错的线性分组码，则其H 矩阵中至少应保证多少列线性无关？ 答：4列 根据定理8.2检测e 个错，则要求码的最小距离d 大于等于e+1 纠正t 个错，则要求码的最小距离d 大于等于2t+1
纠正t 个错误同时检测e 个错误，则要求d 大于等于t+e+1
而根据定理8.3 （n,k ）线性分组码有最小距离为d 的重要条件是H 矩阵中任意d-1列线性无关
所以是4列
8.8 什么是接收序列y 的伴随式s ？为什么伴随式s 只由错误图样e 决定？ 答：令
?
?
???
??
?????---------0,2
,1
,0,22,21,20,12,11,1..................,...k n n k n n k n n n n n h h h h h h h h
h ?????
???????11
01000
011010011100101010001Gd=H=
T
T eH yH s ==
其中y 为接收码字e 为接收图样，称s 为接收序列的伴随式。由式可知若e=0，则s=0;若 e ≠0,则s ≠0,因此伴随式s 只由错误图样e 决定。
8.9 如何构造一个码的标准阵列？标准阵列有哪些性质？ 答：先把子群中的全部k
2个码字
1c ,2c ,```,k 2c 置于表的第一行，并把该子群的加法恒等元
1e =1c =0(即全零码字放在行的首位)在余下的n 2-k 2个n 重中，选择一个n 重2e 作为第二行
得首位元素，意识第二行的元素是
2e 和每个码字i c （i=1,2,```, k 2）相加，并把2e +i c 置于
i c 的下面即同一列。第三行再从其余的n 重 中选择一个3e 作为首位元素，同理将3e +i c 置
于
i c 的下面完成第三行。以此类推，一直将n 重用完为止。
如果把陪集看成是错误图样，则每一个陪集中具有相同的错误图样。
每一个陪集中的k
2个n 重都有相同的伴随式而不同的陪集具有不同的伴随式。 对于同一列的各子集
1φ,2φ ,… , k 2φ来说，其中n-k 2个n 重得错误图样虽然不同，但全部对
应于同一许用码字。
8.10 如何利用标准阵列译码？为什么说用标准阵列译码时，译码错误概率的大小与陪集首的选择有关？
答：当输入译码的接收序列为y 时，经查表总能确定y 落在标准阵列的第j 行第i 列，译码器就能判定发送码字是第i 列（即子集i φ）所对应的许用码字i c 而粗我图样即第j 行所在陪
集的陪集首
j
e
用上述方法译码时，译码正确的概率大小与陪集首的选择有关。显然任意选择陪集首不是好的方法。根据最大似然译码准则，重量最轻得错误图样产生的可能性最大，所以应选优先择
重量小的n 重作为陪集首，这样构造的译码表，可使
j e +i c 与i
c 之间的激励最小，从而使译
码器以更大的概率正确译码，这就是最小译码距离。
8.11 什么是完备码？为什么说汉明码是完备码？ 答：如果某一（n ，k ）线性分组码能使
n-k 2=n 0?? ???+n 1?? ???+…+n t ?? ???
成立，即错误图样正好等于伴随式数目，则称这种码为完备码。
显然，汉明码是t=1完备码。
8.12 某分组码的校验矩阵为
H =????
??????000011010101001110 求：（1） n = ？k= ？该码的码字有多少？
（2） 该码的生成矩阵；
（3） 矢量010111和100011是否为码字。 解：（1）n=6,k=3,该码有8个码字。 （2）由校验矩阵可得 4c +3c +2c =0
5c +3c +1c =0 5c +4c +0c =0 所以
5c =5c 4c = 4c 3c = 3c 2c = 4c +3c 1c =5c +3c
0c =5c +4c
由此可得生成矩阵为：
??
??
?
?????=011100101010110001G
（3）经验证，010111不是码字，100011是码字。
8.13 某二元（n ，k ）系统线性分组码的全部码字如下 00000 01011 10110 11101 求：（1） n = ？k= ？
（2） 码的生成矩阵G 和校验矩阵H 。 解：（1）n=5，k=2。
根据码字可以得n=5，又因为总共4个码字，说明信息位有2位，即k=2。
（2）码的生成矩阵G=??????1101001101，校验矩阵H=??
??
?
?????100100101100101。
i c =i m ·G ，且G = [k I : P ],根据全部的码字可以得出P 。进而可以得到G 。
又H =[T
P : r I ] ，从而推出矩阵H 。其中k I 、r I 为单位矩阵
8.14 已知一个线性分组码的校验矩阵为
H=????
??????100101101011010011110 试求其生成矩阵。当输入信息序列为 1001 1100 1101时，求编码器输出的码字序列。
解：生成矩阵G=?????
????
???11
11000
01101001010010
1100001
输出的码字序列为：1001100,1100110,1101001。
根据G = [k I : P ]，H =[T
P : r I ]的关系，由H 矩阵可以写出G 矩阵。 又由i c =i m ·G 可以分别得出信息序列为1001,1100,1101的码字分别为： 1001100,1100110,1101001。
8.15 设一个（7，4）分组码的生成矩阵为
G=?????
???????01
11000
110010010100101110001 求：（1） 该码的全部码字 （2） 码的标准序列 （3） 码的简化译码表 答： (1)
（3）译码表
8.16 构造8.15题中（7,4）分组码的对偶码，构造其系统码形式的G 矩阵和H 矩阵，并写出全部码字。 答： G 矩阵
????
?????
???=100011101011010011011G ?????
????
???=10
00110
010001100101110001101H
码字：
8.17 某（5,2）线性分组码的H 矩阵
H = ????
??????100110100100111 求：（1）该码的G 矩阵
（2）该码的标准阵列 （3）该码的简化译码表 （4）说明该码是否为完备码 答：（1）由H 矩阵的形式可知，该线性分组码为系统码 根据系统码可知
H =[P : r I ] G = [k I : T
P ] ????
?
?????=110111P k I 、r I 为单位矩阵
所以可以求出 G = ?
?
?
?
??1011011101 （2）根据题意（5,2）的线性分组码可以知道 信息组 m = ?????
????
???110110
00 然后 根据c = m G 可以求出c = ?????
????
???11
0110
00 * ??
????1011011101 = ?????
???????01
11
1110110110
00000 所以
(3)由标准阵列可以得到错误图样表（陪集首）j e 与 其伴随式 s = j e . T
H 根据公式计算有
（4根据（2）（3）可以知道伴随式数目为 k
-n 2
= 8（个） 又由于完备码的概念是使得
k
-n 2
∑=???
? ??=???? ??++???? ??+???? ??≥t i i t 0n n ...1n 0n 的= 成立
∑=???
? ??t
i i 0n 表示错误个数小于等于t 的错误图样数 根据（2）（3）可以知道 明显e 的个数大于伴随式的个数 所以不相等 也就是说明 改码不是完备码
8.18 试构造GF （2）上的（15,11）汉明码。求出其系统码形式的H 矩阵和G 矩阵
答：取 r = 4构造GF （2）上的（15,11）的汉明码。 当r = 4时，有15个非全0的四重，即 （0001）（0010）（0100）（1000）（0011） （0101）（0110）（0111）（1001）（1010） （1011）（1100）（1101）（1110）（1111） 构成H 矩阵
?????
????
???=10
001010
1011011
010011001101101001011110001110000111111110000H 根据H 矩阵和G 矩阵的关系以及系统码的概念有 H =[P : r I ] G = [k I : T
P ]
?????
????
???=10
101011011
110011011011111000111011111110000P k I 、r I 为单位矩阵
所以有G 矩阵
????????????????
??????????????????=11
1110000000000
01110100000000010110010000000000110001000000011010000100000001
1100000100000
100100000010000111000000001000011000000000100101000000000010110000000000001G
答案~信息论与编码练习
1、有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？ 解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量＝14000(bit/symbol)。 下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为： 信道容量（最大信息传输率）为： C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为： Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒 此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为： 试求这两个信道的信道容量，并问这两个信道是否有噪声？ 3 、已知随即变量X 和Y 的联合分布如下所示： 01100.980.020.020.98P ?? =?? ??11112222 1111222212111122221111222200000000000000000000000000000000P P ???????? ????==???? ????????11 2222111 22222log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。(2)为对称信道，输入为等概率分布时达到信道容量无噪声
信息论与编码理论习题答案
信息论与编码理论习题 答案 LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】
第二章 信息量和熵 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速 率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息 量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log = bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log = bit 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log = bit (b) ? ??????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和， Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、 )|,(Y Z X H 、)|(X Z H 。
信息论与编码试卷与答案
一、（11’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是 0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 （6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。 （8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关 三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分） 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分） I(A|B)=-log0.375=1.42bit （1分） 四、（5'）证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明：
信息论与编码课后习题答案
1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 341)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为 用霍夫曼编码方法 代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3
信息论与编码试题集与答案(新)
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （√ ） 2. 线性码一定包含全零码。 （√ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （√ ） 7. 循环码的码集中的任何一个码字的循环移位仍是码字。 （√ ） 8. 信道容量是信道中能够传输的最小信息量。 （×） 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方 法叫做最佳译码。 （√ ）
信息论与编码试题-精选.
模拟试题一 一、概念简答题（共10题，每题5分） 1.简述离散信源和连续信源的最大熵定理。 2.什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。 3.解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？ 4.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。 5.设某二元码字C={111000，001011，010110，101110}， ①假设码字等概率分布，计算此码的编码效率？ ②采用最小距离译码准则，当接收序列为110110时，应译成什么码字？ 6.一平稳二元信源，它在任意时间，不论以前发出过什么符号，都按 发出符号，求
和平均符号熵 7.分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。
8.二元无记忆信源，有求：（1）某一信源序列由100个二元符号组成，其中有m个“1”，求其自信息量？（2）求100个符号构成的信源序列的熵。 9.求以下三个信道的信道容量：
，，
10.已知一（3，1，3）卷积码编码器，输入输出关系为：
试给出其编码原理框图。 二、综合题（共5题，每题10分） 1.二元平稳马氏链，已知P（0/0）=0.9，P（1/1）=0.8，求： （1）求该马氏信源的符号熵。 （2）每三个符号合成一个来编二进制Huffman码,试建立新信源的模型，给出编码结果。 （3）求每符号对应的平均码长和编码效率。 2.设有一离散信道，其信道矩阵为，求：（1）最佳概率分布？
信息论与编码试卷及答案
一、概念简答题（每题5分，共40分） 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？ 平均自信息为：表示信源的平均不确定度，表示平均每个信源消息所提供的信息量。 平均互信息：表示从Y获得的关于每个X的平均信息量；表示发X前后Y的平均不确定性减少的量；表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？ 最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 最大熵值为 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？ 信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。 平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。 数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有， 。说明经数据处理后，一般只会增加信息的损失。
5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。香农公式为 ，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。 由得，则 6.解释无失真变长信源编码定理。只要，当N足够长时，一定存在一种无失真编码。 7.解释有噪信道编码定理。答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。 2）因为失真矩阵中每行都有一个0，所以有，而。 二、综合题（每题10分，共60分） 1.黑白气象传真图的消息只有黑色和白色两种，求： 1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵；
信息论与编码理论课后习题答案高等教育出版社
信息论与编码理论习题解 第二章-信息量和熵 解: 平均每个符号长为:154 4.0312.032= ?+?秒 每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号 所以信息速率为444.34 15 9183.0=?比特/秒 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=?比特/秒 解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特 解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以
比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???? ??37种排法，Y 表示梧桐树可以栽 种的位置，它有???? ??58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有 两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得
信息论与编码期中试卷及答案
信息论与编码期中试题答案 一、（10’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 二、（10?）判断题 （1）信息就是一种消息。（? ） （2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（? ） （3）概率大的事件自信息量大。（? ） （4）互信息量可正、可负亦可为零。（? ） （5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。 （? ） （6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。（? ） （7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。（? ） （8）信源变长编码的核心问题是寻找紧致码（或最佳码）。 （? ） （9）信息率失真函数R(D)是关于平均失真度D的上凸函数. ( ? ) 三、（10?）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （5分） 故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （4分） I(A|B)=-log0.375=1.42bit （1分）
信息论与编码习题与答案第四章
4-1 设有一个二元等该率信源{}1,0∈X ,2/110==p p ，通过一个二进制对称信道（BSC ）。其失真函数ij d 与信道转移概率ij p 分别定义为 j i j i d ij =≠???=,0,1 ，j i j i p ij =≠? ??-=,1,εε 试求失真矩阵d 和平均失真D 。 解：由题意得， 失真矩阵为d ??????=0110d ，信道转移概率矩阵为P ?? ????--=εεεε11)(i j 平均失真为ε εεεε=?-+?+?+?-= =∑0)1(211211210)1(21),()()(,j i d i j p i p D j i 4-3 设输入符号与输出符号X 和Y 均取值于{0,1,2,3}，且输入符号的概率分布为P(X=i)=1/4,i=0,1,2,3,设失真矩阵为 ????? ???????=0111101111011110d 求)(),(,,max min max min D R D R D D 以及相应的编码器转移概率矩阵。 解：由题意，得 0min =D 则symbol bit X H R D R /24log )()0()(2min ==== 这时信源无失真，0→0,1→1,2→2,3→3，相应的编码器转移概率矩阵为
????? ???????=1000 010*********)j (i P ∑===30 3,2,1,0max ),()(min i j j i d i p D ，，14 1141041141141141141041min{?+?+?+??+?+?+?= }04 1141141141141041141141?+?+?+??+?+?+?， 43}43,43,43,43min{== 则0)(max =D R 此时输出概率分布可有多种，其中一种为：p(0)=1,p(1)=p(2)=p(3)=0 则相应的编码器转移概率矩阵为????? ???????=0001000100010001)(i j P
信息论与编码试题集与答案
一填空题（本题20分，每小题2分） 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。 按照信息的地位，可以把信息分成客观信息和主观信息。 人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。 信息的可度量性是建立信息论的基础。 统计度量是信息度量最常用的方法。 熵是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是∞。 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 18、离散平稳有记忆信源的极限熵，。 19、对于n元m阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X在[a，b]区间内均匀分布时，其信源熵为 log2（b-a）。
信息论与编码课后答案
一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态 的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==
信息论与编码期末试卷
上海大学2011～2012学年度冬季学期试卷（A卷） 课程名:信息论与编码课程号: 07276033学分: 4 应试人声明： 我保证遵守《上海大学学生手册》中的《上海大学考场规则》，如有考试违纪、作弊行为，愿意接受《上海大学学生考试违纪、作弊行为界定及处分规定》的纪律处分。 应试人应试人学号应试人所在院系 题号 1 2 3 4 得分——————————————————————————————————————一：填空题(每空2分，共40分) 1：掷一个正常的骰子，出现‘5’这一事件的自信息量为________,同时掷两个正常的骰子，‘点数之和为5’这一事件的自信息量为___________.（注明物理单位） 2：某信源包含16个不同的离散消息，则信源熵的最大值为___________,最小值为_____________. 3：信源X经过宥噪信道后，在接收端获得的平均信息量称为______________. 4：一个离散无记忆信源输出符号的概率分别为p(0)=0.5,p(1)=0.25,p(2)=0.25,则由60个符号构成的消息的平均自信息量为__________. 5：信源编码可提高信息传输的___有效___性，信道编码可提高信息传输的___可靠_性. 6:若某信道的信道矩阵为 ? ? ? ? ? ? ? ? ? ? ? ? 001 100 010 100 ，则该信道为具有____归并____性能的信道 7：根据香农第一定理（定长编码定理）若一个离散无记忆信源X的信源熵为H(X)，对其n个符号进行二元无失真编码时，其码字的平均长度必须大于____________ 8：若某二元序列是一阶马尔科夫链，P(0/0)=0.8，P(1/1)=0.7，则‘0’游程长度为4的概率为____________,若游程序列为312314，则原始的二元序列为_________. 9:若循环码的生成多项式为1 ) (2 3+ + =x x x g，则接收向量为（1111011）的伴随多项式为_______________ 10:对有32个符号的信源编4进制HUFFMAN码，第一次取_______个信源进行编码. 11:若一个线性分组码的所有码字为：00000,10101,01111,11010，则该码为（____,_____）,该码最多可以纠正_______位错误，共有________陪集. 12：码长为10的线性分组码若可以纠正2个差错,其监督吗至少有__5____位. 13：（7,4）汉明码的一致校验矩阵为 ? ? ? ? ? ? ? ? ? ? 1,0,1,0,1, ,1 0,1,1,0,0, ,1 0,0,0,1,1, ,1 3 2 1 r r r ，则3 2 1 r r r 为__________. _______________________________________________________________ 草稿纸 成绩
信息论与编码理论习题答案全解
信息论与编码理论习题答案全解
第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少 信息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit
2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 信道 X Y 9,7,5,3,1=i 8,6,4,2,0=i √Χ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知，
信息论与编码试题集与答案(新)
" 1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. ? 7. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 8. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （ ） 2. 线性码一定包含全零码。 （ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. " 5. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 6. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 7. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （ ） 8. 循环码的码集中的任何一个码字的循环移位仍是码字。 （ ） 9. 信道容量是信道中能够传输的最小信息量。 （×） 10. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 11. ！ 12. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方
信息论与编码理论第二章习题答案
I (X ;Y=1)= P(x/Y 1)I(x;Y 1) x P(x/Y 1)log P(x/Y 1) P(x) = P(X 0/Y 1)log P(X 0/Y 1) P(X 0) P(X 1/Y 1)log P(X 1/Y 1) P(X 1) 部分答案，仅供参考。 信息速率是指平均每秒传输的信息量点和划出现的信息量分别为log3Jog3， 2’ 一秒钟点和划出现的次数平均为 1 15 2 1 ~4 0.20.4 - 3 3 一秒钟点和划分别出现的次数平均为巴5 4 4 那么根据两者出现的次数，可以计算一秒钟其信息量平均为10 log 3 5 竺 5 4 2 4 4 2 解： ⑻骰子A和B，掷出7点有以下6种可能： A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量 -log(1/6)=1+log3 ~ bit (b)骰子A和B,掷出12点只有1种可能： A=6,B=6 概率为1/36，所以信息量 -log(1/36)=2+log9 ~ bit 解： 出现各点数的概率和信息量： 1 点：1/21 , log21 ?bit ; 2 点：2/21 , log21-1 ?bit ; 3 点：1/7 , log7 4 点：4/21 , log21-2 5 点：5/21 , log (21/5 )~; 6 点：2/ 7 , log(7/2)? 平均信息量： (1/21) X +(2/21) X +(1/7) X +(4/21) X +(5/21) X +(2/7) 解： X=1:考生被录取；X=0考生未被录取； Y=1：考生来自本市；Y=0考生来自外地； Z=1:考生学过英语；z=o：考生未学过英语 P(X=1)=1/4, P( X=q=3/4; P( Y=1/ X=1)=1/2 ；P( Y=1/ X=0)=1/10 ；P(Z=1/ Y=1 )=1, P( Z=1/ X=0, Y=0 )=, P( Z=1/ X=1, Y=0 )=, P(Z=1/Y=0)= (a)P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)= P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)= P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源 1.1同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： bit P a I N n P bit P a I N n P c c N 17.536log log )(361 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： (3)信源空间： bit x H 32.436log 36 62log 3615)(=??+?? =∴ (4)信源空间： bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.11136 log log )(3611333==-=∴==
1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解： bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率 1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？ 解： bit w P w P w P w P m m P m I w P w I bit m P m P m P m P m bit m P m I bit m P m I n n y y n n y y n n y y n n y y 0454.0log99.5%99.5%-log0.5%-0.5% )(log )()(log )()(H % 5.99log )(log )(%5.0log )(log )(36 6.0log93%93%-log7%-7% )(log )()(log )()(H 105.0%93log )(log )(84.3%7log )(log )(: =??=?-?-=-=-=-=-==??=?-?-==-=-==-=-=平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于女： 平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于男士
信息论与编码期末考试题(全套)
(一) 一、判断题共10 小题,满分20 分、 1、当随机变量与相互独立时,条件熵等于信源熵、( ) 2、由于构成同一空间得基底不就是唯一得,所以不同得基底或生成矩阵有可能生成同一码集、( ) 3、一般情况下,用变长编码得到得平均码长比定长编码 大得多、( ) 4、只要信息传输率大于信道容量,总存在一种信道编译 码,可以以所要求得任意小得误差概率实现可靠得通 信、 ( ) 5、各码字得长度符合克拉夫特不等式,就是唯一可译码存在得充分与必要条件、() 6、连续信源与离散信源得熵都具有非负性、( ) 7、信源得消息通过信道传输后得误差或失真越大,信宿收到消息后对信源存在得不确 定性就越小,获得得信息量就越小、 8、汉明码就是一种线性分组码、( ) 9、率失真函数得最小值就是、( ) 10、必然事件与不可能事件得自信息量都就是、( ) 二、填空题共 6 小题,满分20 分、 1、码得检、纠错能力取决 于、 2、信源编码得目得就是 ;信道编码 得目得就是、 3、把信息组原封不动地搬到码字前位得码就叫 做、 4、香农信息论中得三大极限定理就 是、、、 5、设信道得输入与输出随机序列分别为与,则成立得 条件、 6、对于香农-费诺编码、原始香农-费诺编码与哈夫曼编码,编码方法惟一得就是、 7、某二元信源,其失真矩阵,则该信源得=、 三、本题共 4 小题,满分50 分、 1、某信源发送端有2种符号,;接收端有3种符号,转移概率矩阵为、 （1）计算接收端得平均不确定度; （2）计算由于噪声产生得不确定度; （3）计算信道容量以及最佳入口分布、 2、一阶马尔可夫信源得状态转移图如右图所示, 信源得符号集为、 (1)求信源平稳后得概率分布; (2)求此信源得熵; (3)近似地认为此信源为无记忆时,符号得概率分布为平 稳分布、求近似信源得熵并与进行比较、 4、设二元线性分组码得生成矩阵为、 (1)给出该码得一致校验矩阵,写出所有得陪集首与与之相 对应得伴随式; (2)若接收矢量,试计算出其对应得伴随式并按照最小距离 译码准则 试着对其译码、 (二) 一、填空题(共15分,每空1分) 1、信源编码得主要目得就是 ,信道编码得主要目得就是。 2、信源得剩余度主要来自两个方面,一就是 ,二就是。 3、三进制信源得最小熵为 ,最大熵为。 4、无失真信源编码得平均码长最小理论极限制为。 5、当时,信源与信道达到匹配。 6、根据信道特性就是否随时间变化,信道可以分为与。 7、根据就是否允许失真,信源编码可分为与。 8、若连续信源输出信号得平均功率为,则输出信号幅度得概 率密度就是时,信源具有最大熵,其值为值。 9、在下面空格中选择填入数学符号“”或“” (1)当X与Y相互独立时,H(XY) H(X)+H(X/Y) H(Y)+H(X)。 (2) (3)假设信道输入用X表示,信道输出用Y表示。在无噪有损 信道中,H(X/Y) 0, H(Y/X) 0,I(X;Y) H(X)。 三、(16分)已知信源 (1)用霍夫曼编码法编成二进制变长码;(6 分) (2)计算平均码长;(4分) (3)计算编码信息率;(2分)