编码理论习题

目录

第一章概述 (1)

1.1：通信的主要目的是什么？ (1)

1.2-1：信道编码的主要目的是什么？ (1)

1.2-2：信源编码的主要目的是什么？ (1)

1.3：仙农编码定理的主要内容是什么？ (1)

1.4：请画出数字通信系统模型的通用框图。 (1)

1.5：信源编码扩张了数据么，为什么？ (2)

1.6：信道编码扩张了数据么，为什么？ (2)

1.7：为什么要用信源编码器？理想的信源编码器应该满足什么要求？ (2)

1.8：为什么要用信道编码器？ (2)

1.9：为什么要用调制器？ (2)

1.10：有哪些典型的传输信道、存储媒质和信道干扰？ (2)

1.11：为什么要用解调器？ (3)

1.12：信道译码器的功能是什么？ (3)

1.13：为什么要用信源译码器？ (3)

1.14：请画出数字通信系统模型的简化框图。 (3)

1.15：简述信道编码的主要应用领域？ (3)

1.16：简述分组码和卷积码的相同点和不同点。Ppt 7-20 (3)

1.17：硬判决和软判决有什么不同？ppt 22 (4)

1.18：仙农信息论的基本思想是什么？ (4)

1.19：什么是正交振幅调制？PPT41-42 (4)

1.20：最大后验概率译码和最大似然译码之间的关系是什么？PPT45-48 (5)

1.21：最小距离译码准则和最大似然译码准则的关系。PPT48 (5)

1.22：列出2种典型传输错误并说明其不同点。PPT50-51 (5)

1.23：列出3种差错控制方式，比较传输效率。PPT53-57 (6)

1.24：计算题：自信息、概率、互信息、信息熵、条件熵 (6)

1.25：信息熵和消息的平均信息量、信源的平均不确定性之间有什么关系？PPT81-82 .8

1.26：简述等长信源编码定理的主要内容。PPT86 (8)

1.27：简述前缀码和惟一可译码之间的关系。PPT91 (9)

1.28：霍夫曼编码唯一么？简述霍夫曼编码的主要步骤。PPT97-100 (9)

1.29：计算题：游程编码压缩率 (9)

1.30：简述LZ编码的分段方法和编码方法。PPT103-104 (10)

1.31：求LZ编码后的码字。 (10)

1.32：计算题：求信道容量。 (10)

1.33：求具有如下信道传递矩阵的信道的容量。 (11)

1.34：简述信道编码定理的内容。PPT110 (11)

1.35：什么是无记忆信道和二元对称信道？PPT27 (12)

1.36：仙农的信息定义是什么？信息量的多少跟事件发生的不确定性之间有什么关系？

ppt75 (12)

第二章数学基础 (12)

2.1：某些域中元素有大小之分，另一些域中的元素无大小之分，各举一个例子。 (12)

2.2：交换律、分配律、结合律在群上成立么？在环上成立么？在域上成立么？PPT3、

12、14 (12)

2.3：简述群、环、域三者之间的关系？ (12)

2.4：存在含有256个元素的有限域么？为什么？ (13)

2.5：构造一个含13个元素的有限域。在该域中，3的逆元和负元是什么？ (13)

2.6：全体整数的集合对普通减法是否构成一个群？为什么？ (13)

2.7：全体非负整数的集合在加法和乘法下是否构成群？为什么？PPT3 (13)

2.8：证明群的性质定理1-4。PPT6-7 (13)

2.9：简述循环群的定义，什么是生成元？PPT8 (14)

2.10：什么是有限域？什么是扩域？什么是域的特征？PPT16-18 (14)

2.11：证明有限域的性质定理1-3。PPT19-21 (14)

2.12：证明有限域的特征定理1-3。PPT18,23-25 (15)

2.13：简述本原元的定义，并且会用该定义判断当给定q时有限域GF(q)上的本原元。

(15)

2.14：什么是多项式？什么是首一多项式？PPT27 (15)

2.15：掌握根据本原多项式和本原元生成GF(2)的扩域GF(2m)的方法。PPT27-29 (15)

2.17：什么是本原多项式？PPT38 (15)

2.18：证明GF(2)上的多项式f(x)满足[f(x)]2= f(x2) PPT39 (15)

2.19：GF(2)上的多项式的根的特点是什么。PPT46 (15)

2.20：什么是域元素的共轭元。PPT47 (16)

2.21：什么是最小多项式？PPT49 (16)

2.22：什么是矢量空间？PPT56 (16)

2.23：矢量空间有哪些性质？PPT58 (16)

2.24：简述n重的定义。PPT59 (16)

2.25：什么是线性组合？什么是线性相关？PPT63 (16)

第三章 (17)

3.1：简述线性(n,k)分组码的定义。PPT2 (17)

3.2：什么是生成矩阵？请具体构造几个线性(n,k)分组码的生成矩阵。PPT4-5 (17)

3.3：什么是线性系统(n,k)分组码？ (18)

3.4：什么是一致校验方程？什么是一致校验矩阵？什么是对偶码？PPT7-10 (18)

3.5：什么是伴随式？伴随式纠错的原理是什么？PPT11-14 (18)

3.6：什么是汉明重量？什么是汉明距离？汉明距离的性质是什么？ (19)

3.7：重量分布和距离分布的定义是什么？简述二者之间的联系。 (19)

3.8：如何计算线性分组码的检错纠错能力？PPT19-22 (19)

3.9：什么是最大距离可分码？PPT23 (19)

3.10：简述标准阵的构造步骤？PPT25-17 (19)

3.11：标准阵的性质是什么？证明标准阵的性质2。PPT28 (20)

3.12：什么是陪集和陪集首？PPT29 (20)

3.13：简述基于标准阵的译码策略和最小距离译码策略的内容。PPT30 (20)

3.14：证明陪集的性质定理1-4。PPT34-36 (20)

3.15：简述伴随式译码方法的步骤。PPT39 (21)

3.16：请构造一种线性分组码，给出具体的生成矩阵，一致校验矩阵，以及译码方法等。

(21)

4.1：什么是循环右移？什么是循环码？PPT2 (21)

4.2：什么是码字多项式？证明码字多项式v(i)(x)就是x i v(0)(x)/(x n+1)的余式。PPT3-5 (21)

4.3：证明循环码的代数性质定理1-3？PPT6-9 (22)

4.4：简述系统循环码的编码原理和编码步骤？ppt15 (22)

4.5：请构造一个具体的循环码并且采用适当的算法进行译码？ (23)

4.6：如何根据码字多项式g(x)得到循环码的生成多项式？ (24)

带计算器，书，打印PPT

第一章概述

1.1：通信的主要目的是什么？

通信: 采用某种方法，借助某种媒介将信息从甲地传送到乙地的过程

通信的目的：要把对方不知道的消息及时可靠地(有时秘密的)传送给对方

1.2-1：信道编码的主要目的是什么？

纠错编码：主要用于实现信道纠错，又叫做信道编码或者差错控制编码

信道编码的主要作用是：通过对做完信源编码后的信息加入冗余信息，使得接收方在收到信号后，可通过信道编码中的冗余信息，做前向纠错。保证通信的可靠性。

1.2-2：信源编码的主要目的是什么？

信源编码的主要作用是：在保证通信质量的前提下，将模拟信号转化为数字信号，尽可能的通过对信源的压缩，提高通信时的有效性。就是让通信变得更加的有效率。以更少的符号来表示原始信息，所以减少了信源的冗余度。

1.3：仙农编码定理的主要内容是什么？

仙农编码定理：如果系统的传输率小于信道容量，那么适当选择编码技术就能实现可靠通信，即可以将差错率减小到任意小的程度。更确切地，每个信道都具有固定的信道容量C，对任何小于C的信息传输率R，存在一个码长为n码率为R的分组码，若用最大似然译码，

则其译码错误概率为

)

(R

nE

e

b

Ae

P-

≤

。对于码率为R约束长度为n

e

的卷积码，其译码错误

概率也有类似的关系，即

)

(R

nE

e

b

Ae

P-

≤

其中A和B都为大于0的数，Eb(R)和Ee(R)

为正实函数，叫做误差指数。

1.4：请画出数字通信系统模型的通用框图。

所有的数字通信系统，如雷达，遥控遥测，数字存储系统，计算机等，都可以归结为如下的模型：

数字传输和存储有共同之处，两者都是将数据从信源传送到目的地

1.5：信源编码扩张了数据么，为什么？

信源: 信源可以是人或机器，信源发出的消息可以是语言、文字、图像、声音、传感器输出的数据等，信源的输出可以是连续波形，也可以是离散的符号序列

信源编码器：将信源输出变成二元数字(bit)序列，称为信息序列，在信源连续的情况下，还需要进行模/数(A/D)转换（模拟量analogue->数字量digital的转换，模拟信号进行数字化）。理想信源编码器模型要满足(1)为表示信源输出所要求的单位时间的比特数要尽量小；(2)信源的输出S可从信息序列U中确切的重新构造

答：信源编码没有扩张数据。信源编码减少了数据的冗余度。

信源编码器：将信源输出变成二元数字(bit)序列，称为信息序列，在信源连续的情况下，还需要进行模/数(A/D)转换。理想信源编码器模型要满足(1)为表示信源输出所要求的单位时间的比特数要尽量小；(2)信源的输出S可从信息序列U中确切的重新构造

1.6：信道编码扩张了数据么，为什么？

答：信道编码扩张了数据。人为增加冗余度，使其具有自动检错和纠错的能力。

信道编码器：将信息序列U变换成离散的有结构的编码序列X，这称为码字。即为了使传输有效，人为的增加一些冗余度，使其具有自动检错和纠错的能力。码字的结构主要用以对付传输或存储码字的有扰信道。

1.7：为什么要用信源编码器？理想的信源编码器应该满足什么要求？

答：为了减少数据的冗余。

信源编码器：将信源输出变成二元数字(bit)序列，称为信息序列，在信源连续的情况下，还需要进行模/数(A/D)转换。

理想信源编码器模型要满足：

(1)为表示信源输出所要求的单位时间的比特数要尽量小；

(2)信源的输出S可从信息序列U中确切的重新构造

1.8：为什么要用信道编码器？

为了使传输有效，人为的增加一些冗余度，使其具有自动检错和纠错的能力。

信道编码器：将信息序列U变换成离散的有结构的编码序列X，这称为码字。即为了使传输有效，人为的增加一些冗余度，使其具有自动检错和纠错的能力。码字的结构主要用以对付传输或存储码字的有扰信道，码字的设计和实现是本课程的主题。

1.9：为什么要用调制器？

调制器（写入单元）：离散符号不适合于在实际信道上传输或记录在数字存储媒质上。调制器将信道编码器的每个输出的离散符号，通过调制变成适合传输(或存储)的持续时间为T的波形，此波型进入信道(或存储媒质)，并受噪声干扰。

1.10：有哪些典型的传输信道、存储媒质和信道干扰？

典型的传输信道：有线信道、无线信道、电话线路、高频无线线路、遥测线路、微波线路、卫星线路、光纤信道、磁记录信道、大气光信道、水声信道等

典型的存储煤质：磁芯和半导体存储器、磁带、磁鼓、磁盘、光存储器、光盘等

典型的干扰：开关脉冲噪声、热噪声、串音、闪电、磁涂层缺损、光盘划痕等

1.11：为什么要用解调器？

解调器(或读出单元) ：处理接收到的每个持续时间为T的波形，并产生一个可能是离散的（量化的）或连续的（未量化的）输出。对应于编码序列X的解调器的输出序列Y称为接收序列

1.12：信道译码器的功能是什么？

信道译码器：将接收序列Y变换成二元序列V，称为估值序列。在理想的情况下，V与信息序列U完全一致，但是噪声会造成译码错误。译码方法根据信道编码规则和信道（或存储煤质）的噪声特性而定。

1.13：为什么要用信源译码器？

信源译码器：把估值序列V变成信源输出的估值(原来消息的估值)，并将此估值传送给用户。如果信源是连续的，需要进行数/模转换（D/A转换）。在一个精心设计的系统中，除非信道(或存储煤质)的干扰太强，否则这个估值将是信源输出的准确重现

1.14：请画出数字通信系统模型的简化框图。

离散信源：指原来的信源和信源编码器

编码信道：调制器、实际信道和解调器

信宿：信源译码器和用户

1.15：简述信道编码的主要应用领域？

通信系统：如卫星、有线和无线的电话通信、军事通信等，利用纠错码来实现可靠通信和敌人的恶意干扰

计算机系统：如计算机存储器、数字磁带、磁盘、光盘、数字逻辑电路中

商业领域：如条形码，由黑白相间的不同宽度的条纹来代表不同的信息，包含了一定的纠错信息，可以纠正由于条码的模糊不清等原因造成的读写错误，因此条形码在运输、仓储、超级市场管理等物流行业获得了广泛的应用

1.16：简述分组码和卷积码的相同点和不同点。Ppt 7-20

分组码：

编码器：将信息序列分为长度为K比特的消息段U=[u

1,u

2

, …,u

K

],称为消息,分组进行编

码,总共有2K

个消息,将每个消息U独立的变换成长度为N比特的码字的序列V=[v

1

,v

2

, …,v

N

]

(N, K)分组码：所有个2K

码字的集合

码速率：比值R=K/N ，可以理解为码字含有信息比特数量，为使编码不冲突，R ≤1

纠错机理：当R ＜1时,码字比消息多了n-k 个比特,称为校验位,可以抗干扰

无记忆：每个N 长的码字V 由相应的K 长消息U 唯一确定

分组码可用组合逻辑电路来实现

卷积码：

编码器：也是接收长度K 比特的信息序列U =[u 1,u 2, …,u K

],并产生一个长度为N 比特的码字的序列V =[v 1,v 2, …,v N

] 有记忆：每一编码组不仅与同一时间单元上K 比特消息有关，还与前m 个输入有关。

因而编码器的存储器为m 级

(N, K, m)卷积码：有K 个输入，N 个输出，存储级为m 的编码器产生的序列集

码速率：比值R=K/N

在K

数，当保持K,N 不变时，可通过增大存储级来添加更多的冗余度

卷积码有记忆，必须用序列逻辑电路来实现

1.17：硬判决和软判决有什么不同？ppt 22

因为存在噪声或干扰，信号在信道中传输，经常会发生错误，所以接收端必须进行判决

以确定发送端发送的是什么码元：

硬判决：当用二元码时，调制器仅有二元输入。类似的，解调器输出采用二元量化时，译码器只有二元输入，这种情况下，解调器采用硬判决。高于门限值的认为是1，低于门限值的认为是0。

软判决：如解调器输出未量化或者量化门限大于2，则解调器采用软判决。供给译码器

的值不止二个，而有Q 个（通常为 2m 个）。另一方面，在某些情况下也可由解调器输出的未量化的模拟电压序列或其变换序列作为似然函数，送入译码器译码。译码器利用解调器送入的 Q 进制量化序列或模拟序列,并利用码的代数结构译码的方法称为软判决译码,它是一种概率译码方法。

删除信号：对没有把握做出正确判决的信号，就暂时搁置起来不做判决，并用“×”表

示，称为删除符号

1.18：仙农信息论的基本思想是什么？

1948年，仙农在一篇具有历史意义的论文指出证明了：对信息进行适当的编码，在不

牺牲信息传输和存储速率的情况下，可以将有扰信道或存储介质引入的差错减到任意低的程度。

仙农编码定理解决了纠错码的存在性问题，从此纠错编码的研究与应用开始了前所未有

的发展，人们一直在不停的努力解决构造性问题

过程比结果更重要：为了接近信息传输率的上限，已经提出了很多的纠错编码技术

1.19：什么是正交振幅调制？PPT41-42

QAM ：Quadrature Amplitude Modulation

数据信号：由相互正交的两个载波的幅度变化表示

幅度、相位联合调制：在最小距离相同的条件下可实现更高的频带利用率

QAM最高已达到1024-QAM(1024个样点) ，样点数目越多，传输效率越高

举例：具有16个样点的16-QAM信号，每个样点表示一种矢量状态，16-QAM有16态，每4位二进制数规定了16态中的一态，16-QAM中规定了16种载波和相位的组合，16-QAM

的每个符号和周期传送4比特

调制的原理：发送数据在编码器内被分成两路，各为原来两路信号的1/2，然后分别与一对正交调制分量相乘，求和后输出。接收端完成相反过程，正交解调出两个相反码流，均衡器补偿由信道引起的失真，判决器识别复数信号并映射回原来的二进制信号。

1.20：最大后验概率译码和最大似然译码之间的关系是什么？PPT45-48

最大后验概率译码：对于每个输入Y，如果译码器能在码字集合中选择一个码字X，作为发送码字的估值，并且使P(X/Y)最大，称这种规则为最大后验概率译码。则这种译码规则一定能使译码器输出的错误概率最小，为最佳译码。

最大似然译码：假设发送端发送每个码字概率P(Xi)均相等，且P(Y)与译码方式无关。若能在码字集合选择合适的码字X，使得P(Y/X)最大，则这种译码规则被称为最大似然译码。如果发送端发送每个码字概率P(Xi)不相等，最大似然译码则不是最佳译码。

贝叶斯公式：

如果先验满足均匀分布，那么最大后验概率和最大似然估计得到的结果一致。

1.21：最小距离译码准则和最大似然译码准则的关系。PPT48

最小距离译码器：在BSC中，MLD规则变成了选择能使Y和X之间的汉明距离为最小的向量，作为码字X的估计值

MLD：对应的译码器称为最大似然译码器

BSC信道：二进制信道

DMC信道：离散无记忆信道

1.22：列出2种典型传输错误并说明其不同点。PPT50-51

（1）随机错误：

定义：接收序列中的传输错误是随机出现的

这样的信道称为随机错误信道

常见于无记忆信道中，因为噪声随机独立的影响每个传输信号

深空通信和卫星通信信道都是典型的随机错误信道

为纠正随机错误而设计的码称为纠随机错误码

（2）突发错误

定义：不同状态特性下，错误出现的概率不一样，这种错误为突发错误

信道状态特性变化较大，进而有突发错误信道的概念。常出现在有记忆信道中，此时噪声对各次传输的影响是彼此相关的

突发错误的例子：无线通信(由多径传输引起的信号衰落造成的错误)，有线和电缆传输(开关脉冲和串话的影响)，磁带记录(涂层缺损和灰尘引起的带脱落)

纠突发错误码：为纠正突发错误而设计的码

（3）不同点：随机错误的特点是码元间的错误相互独立，及每个码元的错误概率与它前后的错误无关。突发错误则不然，一个码元的错误往往影响前后码元的错误概率。即一个码元产生错误则后面几个码元都可能发生错误。

1.23：列出3种差错控制方式，比较传输效率。PPT53-57

（1）前向纠错(FEC)：利用纠错码自动的纠正接收端检查出的错误

单向传输系统一般只能这样差错控制

优点：不需要反馈信道，译码实时性好，控制电路简单，能进行一个用户对多个用户的同播通信

缺点：译码设备较复杂，对信道适应性差，所选用的纠错码必须与信道的干扰情况相匹配，编码效率低

例子：磁带存储系统(记录在磁带上的信息很久以后再重读)，深空通信系统(飞行体上的编码设备很简单，地面的译码设备可以很强大)，军事通信

（2）自动要求重传(ARQ)：当接收端检查到错误时，就自动要求发送端重新传送该消息

优点：易于实现，成本和复杂性低

缺点：必须有反馈信道，实现控制较复杂，难以用于同播系统，通信效率低，很难适合实时传输系统

双向传输系统可使用这种方法进行差错控制

（3）混合差错控制(HEC)：是FEC和ARQ方式的结合，具有FEC和ARQ方式的优点

发送端：发送有纠错和检错能力的码

接收端：检查错误情况，如果错误在该码的纠错能力范围内，则自动进行纠正；如果信道干扰很严重，错误超过纠错能力，但是能检测出来，则经反馈信道请求发送端重发适用于环路时延大的高速传输系统中，如卫星通信

（4）信息反馈方式(IRQ)

接收端：把接收到数据，原封不动的通过反馈信道送回发送端

发送端：比较发送数据和反馈数据，如发现错误，则重新发送出错的消息，直到没有发信错误为止

优点：不需要检、纠错、编、译码器，控制设备和检错设备较简单

缺点：需要反馈信道，环路时延较大，发送端需要存储器存储已经发送的码组

仅适用于传输效率较低，数据信道错误率较低，有双向传输信道和控制简单的系统中（5）传输速率：自动要求重传(ARQ)通信效率低，混合差错控制(HEC)传输速率较高，信息反馈方式(IRQ)传输速率较低。

1.24：计算题：自信息、概率、互信息、信息熵、条件熵

对于如图1.1所示的BSC信道，信源符号发生的概率为P(x1)=0.6,P(x2)=0.4, 求(1) 信源X中事件x1和x2分别的自信息(以比特为单位)；(2)接收符号yi(i=1,2)发生的概率；(3)求条件概率P(xi|yi)；(4)收到消息yi(i=1,2)后，获得的关于xi(i=1,2)的信息量；(5)x和yi之间的互信息；

(6)信源X和信源Y的信息熵；(7)条件熵H(X|Y)和H(Y|X)

概念：

自信息PPT76：

考虑离散随机变量X，其样本空间为{xi, i=1, 2,…,n}，则事件X=xi的自信息的定义为

自信息的单位由对数的底来决定，以2为底，单位就是比特(bits)，以e为底就是奈特(nats)。自信息非负。

条件自信息量PPT78:

定义：在给定Y=yi的情况下，考虑离散随机变量X，其样本空间为{xi, i=1, 2,…,n}，则事件X=xi的条件自信息量的定义为

其中P(xi|yi)是xi的条件概率，也称为后验概率。P(xi)称为先验概率。条件自信息量非负

互信息PPT79:

定义：x i和y i之间的互信息定义为

互信息的性质：

性质1：互易性，I(x i;y i)= I(y i;x i)

性质2：当x i和y i是统计上独立的，即P(x i|y i)= P(x i)，则I(x i;y i)=0

性质3：互信息量可以是正的，也可以是负的

平均自信息量(信息熵)PPT81:

定义：离散随机变量X的平均自信息定义为，其样本空间为{xi, i=1, 2,…,n}，则事件X=xi 的平均自信息量的定义为

H(X)表示每个信源符号的平均信息量

条件熵（平均条件自信息量）PPT84：

平均条件自信息H(X|Y)定义为

条件概率：

P(AB)：

P(AB)=P(A)-P(AB) P(AB)=P(B)-P(AB)

若A与B相互独立P(AB)=P(A)P(B)

当P(A)>0 P(AB)=P(A)P(B|A)

当P(B)>0 P(AB)=P(B)P(A|B)

答：

（1）X1的自信息I(x1)=-log20.6= I(x2)=-log20.4=

（2）P(y1)=0.6*（5/6）+0.4*（3/4）=0.8

P(y2)=0.6*（1/6）+0.4*（1/4）=0.2

（3）P(x1|y1)=P(x1y1)/P(y1)=P(y1|x1)P(x1)/P(y1)=(5/6)*0.6/0.8=5/8

P(x1|y2)=P(x1y2)/P(y2)=P(y2|x1)P(x1)/P(y2)=(1/6)*0.6/0.2=1/2

P(x2|y1)=P(x2y1)/P(y1)=P(y1|x2)P(x2)/P(y1)=(3/4)*0.4/0.8=3/8

P(x2|y2)=P(x2y2)/P(y2)=P(y2|x2)P(x2)/P(y2)=(1/4)*0.4/0.2=1/2

（4）I(x1|y1)=log2(P(x1|y1))=log2(5/8)

I(x1|y2)=log2(P(x1|y2))=log2(1/2)

I(x2|y1)=log2(P(x2|y1))=log2(3/8)

I(x2|y2)=log2(P(x2|y2))=log2(1/2)

（5）I(x1;y1)=log2(P(x1|y1) /P(x1))=log2(5/8 / 0.6)

I(x1;y2)=log2(P(x1|y2) /P(x1))=log2(1/2 / 0.6)

I(x2;y1)=log2(P(x2|y1) /P(x2))=log2(3/8 / 0.4)

I(x2;y2)=log2(P(x2|y2) /P(x2))=log2(1/2 / 0.4)

（6）H(X)=-(P(x1)logP(x1)+P(x2)logP(x2))=-(0.6log0.6+0.4log0.4)=

H(Y)=-(P(y1)logP(y1)+P(y2)logP(y2))=-(0.8log0.8+0.2log0.2)=

（7）H(X|Y)==-(P(x1y1)log(P(x1|y1)) + P(x2y1)log(P(x2|y1)) + P(x1y2)log(P(x1|y2)) + P(x2y2)log(P(x2|y2)))=-( 0.5log0.5+ 0.3log0.3+0.1log0.1+0.1log0.1)

1.25：信息熵和消息的平均信息量、信源的平均不确定性之间有什么关系？PPT81-82

平均自信息量即信息熵，定义：离散随机变量X的平均自信息定义为，其样本空间为{xi, i=1,

2,…,n}，则事件X=xi的平均自信息量的定义为

平均自信息量表示信源输出后，每个消息(或符号)提供的平均信息量

平均自信息量表示信源输出前，信源的平均不确定性

例如：上页例子中，H(Y)>H(X)，对于信源X，两个输出消息不是等概率的，事先大致可以猜测消息x1会出现，故信源X的不确定性要小

H(X)表示变量X的随机性

当信源符号是等概率出现的时候，信息熵可以达到最大值

1.26：简述等长信源编码定理的主要内容。PPT86

定理: 一个熵为H(X)的离散无记忆信源，若对信源长为N的符号序列进行等长编码，

设码字是从r 个字母的码符号集合中，选取 个码元组成。对于任意的ε>0，只要满足 ()r X H N l log ε+≥

则当N 足够大时，可实现几乎无失真编码，即译码错误概率可为任意小。

1.27：简述前缀码和惟一可译码之间的关系。PPT91

前缀码/前缀条件码

定义: 若码C 中，没有任何完整的码字是其他码字的前缀，称此码为前缀码，也称即时码或非延长码

前缀码和即时码的定义是一致的：如果没有一个码字是其他码字的前缀，则在译码过程中，当收到一个完整码字的码符号序列时，就能直接把它译成对应的信源符号，无需等待下一个信号到达后才作判断，这就是即时码

关系：前缀码是惟一可译码的一类子码：即前缀码一定是惟一可译码，但是惟一可译码不一定是前缀码

1.28：霍夫曼编码唯一么？简述霍夫曼编码的主要步骤。PPT97-100

不唯一。一个离散无记忆信源有7个符号xi, i=1,..,7， P(X=x1)=0.46, P(X=x2)=0.30, P(X=x3)=0.12, P(X=x4)=0.06, P(X=x5)=0.03, P(X=x6)=0.02, P(X=x7)=0.01, 将7个信源符号按照概率递减的顺序进行排序构造如下页图所示的2种霍夫曼树

霍夫曼编码的步骤：

将信源符号按照概率递减的顺序进行排序

将0和1符号分别分配给概率最小的两个信源符号，并将这两个概率最小的符号合并成一个新符号，用这两个信源符号的概率之和作为这个新符号的概率

以此类推继续这个过程，直到只剩下2个符号为止，从而完成霍夫曼树的构造

从树的最后一个节点，依编码路径从后往前返回，读出每个分支上对应的符号标示，即可得到对应的码字

1.29：计算题：游程编码压缩率

考虑比特流

111111111111111000000000000000000111111，如果对之用游程编码方案进行压

缩编码，那么压缩率为多少？PPT102

游程编码定义：游程指的是信源输出的字符序列中，各种字符连续的重复出现的字符串的个数

游程编码：就是将这种字符序列映射成字符串的长度和字符串的位置的标志序列

考虑比特序列111111111111111000000000000000000111111，可以被表示成(15,1),(18,0),(6,1)，字符最长的重复的数目为18，因此把该比特序列编码为(01111,1), (10010,0), (00110,1)，此时压缩率为18:39=1:2.17

1.30：简述LZ编码的分段方法和编码方法。PPT103-104

LZ编码分段的方法为：(1)游程先取第一个符号作为第一段，然后再继续分段(2)若有出现与前面符号一样时，就再添加紧跟后面的一个符号一起组成一段(3)尽可能取最少个连着的符号并保证各段都不相同(4)以此类推，直至信源符号序列结束

编码方法为：首先去掉最后一个符号，然后看剩下的字符串在字典中的排序，这个排序值转换成二进制数作为指针K的值，最后一个信源符号作为码字第2项d的值，即得到码字(K, d) K是信源去掉最后一个符号后在原序列的位置的二进制码

d就是信源最后一个码字

举例：考虑比特序列101011011010101011，根据上面的编码方法可把该比特序列分段为1, 0, 10, 11, 01, 101, 010, 1011

码字为：(000,1),( 000,0), (001,0), (001,1), (010,1), (011,1), (101,0), (110,1)

以1011的码字为例，去掉最后一个符号为101，在字典中的字段位置为0110，最后一个符号为1，所以码字为(110,1)

1.31：求LZ编码后的码字。

考虑比特序列01010110011010101011，如果用LZ编码，那么其分段是什么，编码后的码字又是什么？

0,1,01,011,00,11,010,10,101,1

(000,0),( 000,1), (001,1), (011,1), (001,0), (010,1), (011,0), (010,0),( 1000,1),( 000,1)

1.32：计算题：求信道容量。

考虑一个如图1.2所示的BSC信道，其信道转移概率为P(0|1)=P(1|0)=p，求该信道的容量。

PPT106

定义：考虑某种概率分布为P(x)的离散无记忆信源，对于一个固定的信道，信道容量被定义为最大的平均互信息，此时传输每个符号平均获得的信息量最大，即对于每个固定的信道可以达到最大的信息传输率，即

其约束条件为

如果ω=0.5，用信道容量的公式，可以获得BSC 的信道容量为C=1+plog2p+(1-p)log2(1-p)，熵函数为H(p)=-plog2p-(1-p)log2(1-p)，因此得到C=1-H(p)

1.33：求具有如下信道传递矩阵的信道的容量。

??????----q p q p p q q p 11

一个信道，也可由它的传递概率组成的矩阵来表示

例如二元BSC 信道的信道矩阵为

一般离散单符号信道的信道矩阵为

1.34：简述信道编码定理的内容。PPT110

定理：假设DMS 有信源字符集X ，熵为每信源符号H(X)比特，而且信源每Ts 秒产生一个符号，那么信源的平均信息率为每秒H(X)/ Ts 比特，假设信道可以每Tc 秒使用一次，而信道容量为每次信道使用C 比特，那么每单位时间的信道容量为每秒钟C/Tc 比特。如果H(X)/ Ts ≤ C/Tc ，那么就存在编码方案使得在有噪声的信道上传输的信源消息，能够以任意小的错误概率进行恢复。

1.35：什么是无记忆信道和二元对称信道？PPT27

无记忆信道：如果在给定时间间隔上，检测器的输出只与在该时间间隔上传送的信号有关，而与任何前面时间的传送的信号无关，称此信道为无记忆信道

离散无记忆信道：是一种M 元输入、Q 元输出的信道模型

二元对称信道: 二进制对称信道（Binary Symmetric Channel ）是离散无记忆信道（discrete memoryless channel ）在M=Q=2时的特例。

1.36：仙农的信息定义是什么？信息量的多少跟事件发生的不确定性之间有什么关系？ppt75

仙农对于信息的定义：信息是事物运动状态或存在方式不确定性的描述

一个句子中所含信息的多少，同句子中所表达的事件出现的概率有关：呈现相反的关系 信息量的多少，同事件发生的不确定性有关：呈现相反的关系

第二章 数学基础

2.1：某些域中元素有大小之分，另一些域中的元素无大小之分，各举一个例子。 有理数域、实数域可以比较大小。复数域无法比较大小。

2.2：交换律、分配律、结合律在群上成立么？在环上成立么？在域上成立么？PPT3、12、14

（1） *的结合律在群上成立，交换律不一定成立，若*的交换律在群上成立则称为阿贝尔

群，分配律群上不成立。

（2） 乘法的结合律在环上成立，加法和乘法在环上满足分配律，乘法的交换律不一定成

立，交换律（乘法）在交换环上成立。

（3） 在全体元素下加法在域上满足交换律、乘法在非零元素下满足交换律、加法和乘法

之间在群上满足分配律、结合律。

2.3：简述群、环、域三者之间的关系？

群定义：一个集合G ，在其上定义了一个二元运算*，若它满足以下条件称为群

满足封闭性，即对G 中任意两个元素a,b,有a*b ∈G

二元运算*满足结合律

G 中存在一个元素e ，称为恒元或单位元，使得G 中任何元素，有a*e=e*a=a

对于G 中任何一个元素a ，G 中存在另一个元素 ，称作a 的逆元，使得e a a a a =*'='*

环定义：非空元素集合R 中，定义了两种二元运算，称作加法和乘法，这样的代数系统(R,+,·)称为一个环，若它满足以下条件

R 中全体元素在加法下构成交换群，单位元为0，逆元记为-a

乘法运算满足封闭性

满足乘法结合率，即 (a ·b)·c=a ·(b ·c) ，

加法和乘法之间满足分配律

a ·(b+c)=a ·b+a ·c, (b+c)·a=

b ·a+

c ·a,

全体整数集合在实数加法和乘法运算下构成交换环

域定义：非空元素集合F 中，定义了两种二元运算，称作加法和乘法，这样的代数系统(F,+,·)称为一个域，若它满足以下条件

F 中全体元素在加法下构成交换群，恒元为0

F 中非零元素在乘法下为交换群，恒元为1

加法和乘法之间满足分配律

(a+b)·c=a ·c+b ·c

环中全体元素在加法下构成交换群，单位元为0，逆元记为-a

域中全体元素在加法下构成交换群，恒元为0

域中非零元素在乘法下为交换群，恒元为1

2.4：存在含有256个元素的有限域么？为什么？

不是

由有限域的性质可知：有限域的特征数必为某一素数

256不是素数

2.5：构造一个含13个元素的有限域。在该域中，3的逆元和负元是什么？ 加法逆元称为负元，则逆元为1/3，负元为-3

2.6：全体整数的集合对普通减法是否构成一个群？为什么？

不构成群，群的二元运算需要满足结合律，而减法不满足结合律 3-(2-1)与(3-2)-1不等

2.7：全体非负整数的集合在加法和乘法下是否构成群？为什么？PPT3

均不构成群。

对于加法和乘法而言，在全体非负整数即自然数集合下满足封闭性和结合律，均存在恒元，但不存在逆元。对于加法而言，0为恒源，不存在逆元a ’，使得a+a ’=0，；对于乘法而言，1为恒元，不存在逆元a ’，使得a*a ’=1

2.8：证明群的性质定理1-4。PPT6-7

定理1：群G 的恒元是唯一的

证明：假定G 中有两个恒元e 和e '，则有

e e e e =*'=' 证毕

定理2：任何一个群元素的逆元是唯一的 证明：假定元素a 有两个逆元

，则

证毕 定理3：若a,b ∈G ，则

证明：

所以a*b和互为逆元

定理4：给定G中任意两个元素a和b，则方程a*x=b和y*a=b在G中有唯一解证明：方程a*x=b的解是x=a-1*b，这是因为a*a-1*b=e*b=b，同理，y*a=b的解是y=b*a-1。

下面证明解的唯一性。如果在方程a*x=b中，除了x=a-1*b，还有另外一个解x1，使a*x1=b,则把该式两边左乘以a的逆元a-1，则有a-1*a*x1=a-1*b，由此可得e*x1=x1=a-1*b。同理，可证方程y*a=b的解的唯一性

2.9：简述循环群的定义，什么是生成元？PPT8

定义：若存在a∈G是一个集合，使得G中的每个元素都是a的某次幂，即an(n是整数)，则称G是循环群

生成元：该循环群由a生成，a是该群的生成元

2.10：什么是有限域？什么是扩域？什么是域的特征？PPT16-18

有限域：阶为有限的域，也称为Galois(伽罗华)域, 阶：域中元素的个数

扩域的定义：对任何正整数m，可以将素域GF(q)扩展为有qm个元素的域，称为GF(q)的扩域，记为GF(qm)。称GF(q)为GF(qm)的基域。此外已经证明，任何有限域的阶都是素数的幂次

有限域的特征：设F是域，0和e是加法和乘法的单位元，若对任意正整数n，都有ne≠0，则称域F的特征是0；若有正整数n，使ne=0，则称使ne=0成立的最小正整数n为域F的特征。域的特征或是0，或是有限的素数。

2.11：证明有限域的性质定理1-3。PPT19-21

2.12：证明有限域的特征定理1-3。PPT18,23-25

2.13：简述本原元的定义，并且会用该定义判断当给定q 时有限域GF(q)上的本原元。

本原元：在有限域GF(q)中，若非零元素a 的阶为q-1，则称之为本原元。

有限域的元素个数是有限的，域中的全体非零元素集合构成有限乘群，乘群中每个元素的阶是有限的，可以证明，该群是循环群，本原元能生成这个群

例如：对于GF(5)={0,1,2,3,4}，元素1的阶是1；元素2的阶是4，因为21=2, 22=4, 23=3, 24=1;元素3的阶是4，因为31=2, 32=4, 33=2, 34=1;元素4的阶是2，因为41=4, 42=1。元素2和3是本原元

2.14：什么是多项式？什么是首一多项式？PPT27

多项式定义：二元域GF(2)中表达式f (x )=f 0+f 1x +…+f n

x n

，其中fi=0或1。若fn ≠0，则

称f(x)是n 次多项式，记为deg(f(x))=n ，fn 称为多项式的首项系数。GF(2)中共有2n 个多项式

首一多项式：首项系数为1的多项式

2.15：掌握根据本原多项式和本原元生成GF(2)的扩域GF(2m)的方法。PPT27-29 本原多项式定理：GF(2)上的任意m 次既约多项式可以除尽x (2^m-1)+1

例子：x 3+x+1除尽x 7+1。x 7+1=（x 3+x+1）*（x 4+x 2+x+1）（mod 2）

2.16：什么是最高公因式？什么是公倍式？什么是最低公倍式？PPT36

最高公因式：若f(x)为a(x)与b(x)的所有公因式中次数最高的，并且首项系数为1，记为gcd(a(x), b(x))

f(x)为a(x)与b(x)的公倍式：当a(x)≠0, b(x)≠0，并且a(x)| f(x)，b(x)|f(x)

最低公倍式：若f(x)为a(x)与b(x)的所有公倍式中次数最低的，并且首项系数为1，记为LCM(a(x), b(x))

2.17：什么是本原多项式？PPT38

本原多项式定理：GF(2)上的任意m 次既约多项式可以除尽x 2^m-1+1

本原多项式的定义：若m 次既约多项式p(x)可以除尽x n +1的最小整数n 满足n=2m -1，则称p(x)是本原多项式

例子：x3+x+1除尽x7+1。x7+1=（x3+x+1）*（x4+x2+x+1）（mod 2）

2.18： 证明GF(2)上的多项式f(x)满足[f(x)]2= f(x 2) PPT39

2.19： GF(2)上的多项式的根的特点是什么。PPT46

定理：若f(x)为GF(2)上的一个m 次既约多项式，则其扩域GF(2m )含有f(x)的m 个根；进一步的，若m|d ，则任何GF(2d )含有f(x)的根

定理：若f(x)是系数取自GF(2)的多项式，令b 是GF(2)扩域中的元素，若b 是f(x)的根，则对任意的l ≥0，b2l 也是f(x)的根

既约多项式定义：不能被任何次数更小的多项式整除的多项式称为既约多项式。

a|b的意思是：1、a为除数，b为被除数，即a|b（“|”是整除符号），读作“a整除b”或“b能被a整除”

2.20：什么是域元素的共轭元。PPT47

注：元素b2l称为b的共轭元，以上定理说明若是b是多项式f(x)的根，则b的所有共轭元b2l也是f(x)的根

2.21：什么是最小多项式？PPT49

定义：令m(x)是使得m(b)=0成立的次数最低的多项式，则称m(x)是b的最小多项式

定理1：域元素b的最小多项式是既约的

定理2：令f(x)是GF(2)上的多项式，m(x)是域元素b的最小多项式，若b是f(x)的根，则f(x)可以除尽m(x)

2.22：什么是矢量空间？PPT56

定义：令V是元素的集合，在其上定义了一个称作是加法(+)的二元运算。令F是域。在域F 中的元素和V中的元素之间还定义了一个数乘运算(·)。若集合V满足下述条件，就称它为域F上的矢量空间或线性空间：

条件1：V是加法下的可交换群

条件2：对F中的任意元素a和V中的任意元素v，a·v是V中的元素

条件3：分配率。对任意u,v∈V和a,b∈F，有a·(u+v)=a·u+a·v, (a+b)·v=a·v+b·v

条件4：结合率。对任意v∈V和a,b∈F，有(a·b)·v=a·(b·v)

条件5：令1是F的单位元，则对任意v∈V ，有1·v= v

2.23：矢量空间有哪些性质？PPT58

性质1：令0是域F中的零元，对任意的v∈V，有0·v=0

性质2：对任意c∈F，有c·0=0

性质3：对任意c∈F和v∈V ，有

(-c)·v=c·(-v)=-(c·v)

性质4：如果c·v=0,则c=0或者v=0

2.24：简述n重的定义。PPT59

n重：GF(2)上的n个分量的有序序列(a1,a2,…,an)称作n重,共有2n个不同的n重，令Vn表示所有n重的集合

2.25：什么是线性组合？什么是线性相关？PPT63

令v1,v2,…,vk∈V是k个矢量，a1,a2,…,ak∈F是k个标量，称∑ai vi为线性组合

定理：令v1,v2,…,vk是域F上矢量空间V的k个矢量，则v1,v2,…,vk的所有线性组合构成V的一个子空间

例：GF(2)中的两个5重(00111)和(11101)的所有线性组合是：0·(00111)+0·(11101)=(00000), 0·(00111)+1·(11101)=(11101), 1·(00111)+0·(11101)=(00111), 1·(00111)+1·(11101)=(11010), 这4个5重构成一个子空间

定义：域F上矢量空间V的一组矢量v1,v2,…,vk称作是线性相关的，当且仅当存在不全为0

的标量a1,a2,…,ak ，使得01=∑=k i i i v a 。否则称v1,v2,…,vk 是线性独立的

第三章

3.1：简述线性(n,k)分组码的定义。PPT2

分组码：将消息序列分组进行编码

在分组码中，二元信息序列被分成长度固定的一组组消息；每组消息u 有k 个信息位，共有2k 个不同的消息

编码器按照一定规则将每个输入消息u 变换成二元n 重v ，n>k ，这个二元n 重v 称作消息u 的码字或码矢。所有2k 个码字组成的集合称作是分组码

线性分组码：具有线性性质的分组码

定义：长为n ，有2k 个码字的分组码，当且仅当其2k 个码字构成GF(2)上所有n 重矢量空间的一个k 维子空间时，称作线性(n,k)分组码

3.2：什么是生成矩阵？请具体构造几个线性(n,k)分组码的生成矩阵。PPT4-5 因为线性(n,k)分组码C 是一个k 维子空间，所以在码C 中能找到k 个线性独立的码字g 0, g 1,…, g k-1,使得C 中的每个码字v 都是这k 个码字的一种线性组合，即v=u0g0+u1g1+…+uk-1gk-1 将这k 个线性独立的码字作为行，得到k ×n 阶矩阵

????????????=??????? ??=-------111110111110100100110n k k k n n k g g g g g g g g g g g g G

此矩阵称为码C 的生成矩阵。线性(n,k)分组码任何k 个线性独立的码字都可以用来构成码C 的生成矩阵

举例: (7,4)线性分组码

如果表格所表示的线性分组码，有如下的生成矩阵