2013-2014第二学期编码理论
编码理论第一章
编码理论——绪论
14
译码就是把编码器输出的编码信号进行反变换。一般认为 这种变换是可逆的。译码器也可分成信源译码器和信道译码 器及保密译码器三种。信宿是消息传送的对象，即接收消息 的人或机器。图1-1给出的模型只适用于收发两端单向通信的 情况。它只有一个信源和一个信宿，信息传输也是单向的。 更一般的情况是：信源和信宿各有若干个，即信道有多个输 入和多个输出，另外信息传输也可以双向进行，例如广播通 信是一个输入、多个输出的单向传输的通信，而卫星通信则 是多个输入、多个输出的多向传输的通信。
率失真信源编码理论是信源编码的核心问题是编码理论绪论20随着数学理论如小波变换分形几何理论数学形态学等以及相关学科如模式识别人工智能神经网络感知生理心理学等的深入发展世界范围内的有关专家一直在追求寻找现有压缩编码的快速算法同时又在不断探索新的科学技术在压缩编码上的应用因此新颖高效的现代压缩方法相继产生
编码理论——绪论
11
存在着各种天然和人为干扰使被传信号产生错误。除此以 外，非指定用户或敌人还会通过各种方法(如搭线、电磁波接 收、声音接收等)对所传输的信号进行侦听(称被动攻击)。更 有甚者，有些非法入侵者主动对系统进行骚扰，采用删除、 更改、增添、重放、伪造等手段，向系统注入信号或破坏被 传的信号，以达到欺骗别人，有利于自己的目的，这种攻击 称为主动攻击。因此,保护系统中所传消息的真实性、完整性， 是一个更为困难的问题，也是密码系统所必须完成的另一个 更为艰巨的任务。
编码理论——绪论
21
用SOFM算法所生成的码本就很少依赖于初始码本，且生成 的码本的拓扑结构能用来进一步提高编码效率和降低计算复 杂度。然而，现有的一些用于编码的神经网络模型都是在模 拟人脑功能的思想下建立的，没有考虑信源的特点和肉眼的 视觉机理，因此压缩效果不太理想。从理论上讲，神经网络 可以模拟肉眼的信息处理过程。这种模拟不限于网络结构方 面，还包括网络的学习机制；但大多数神经网络的学习算法 中，使用的只是均方误差或P阶矩误差失真准则，也没有考虑 人类视觉系统的特性。
编码理论第5章
000 001 010 100 011 110
乘法运算：
011 110 3 4 1 001
101 111 6 5 4 110
因为本原元a=x，所以p(a)=0
111
101
3 1 x 1 x 1 0
α 010
举例
x7-1=(x-1)[(x-z)(x-z2)(x-z2-z)][(x-z-1)(x-z2-1)(x-z2-z1)] 在扩域GF(23)上，可得到x3+x+1=(x-z)(x-z2)(x-z2z), x3+x2+1=(x-z-1)(x-z2-1)(x-z2-z-1) 计算(x-z)(x-z2)(x-z2-z)=(x2-z2x-zx+z3)(x-z2-z)=x3z2x2-zx2-z2x2+z4x+z3x-zx2+z3x+z2x+z3x-z5z4=x3+(z4+z3+z2)x-(z5+z4), 由于在GF(23)上, z3=z+1, 所以z4+z3+z2=z3z+z3+z2=(z+1)z+(z+1) +z2=1, z5+z4=z3(z2+z)=(z+1)z(z+1)=z(z+1)2=z(z2+1)=z3+z=z +1+z=1，故得到(x-z)(x-z2)(x-z2-z)= x3+x+1 同理可以计算x3+x2+1=(x-z-1)(x-z2-1)(x-z2-z-1)
BCH码限定理
编码理论
第八章 优化方法
8.1 密度进化方法 8.2 基于EXIT图的优化方法
第九章 保密通信
第一章 序论
编码理论的内容包括三个方面
以保证数字信息传输和处理的可靠性为目的的差错控制编 码（error-control coding），又称为信道编码（channel coding）； 以提高数字信息传输、存储处理的有效性为宗旨的信源编 码（Source coding）； 以增加数字信息传输、存储的安全性为目标的数据加密编 码（data encryption）；
虽然分组码在理论分析和数学描述方面已经非常成熟，并且在实
际的通信系统中也已经得到了广泛的应用，但分组码固有的缺陷
因此，在译码过程中必须等待整个码字全部接收到之后才能开始
大大限制了它的进一步发展。首先，由于分组码是面向数据块的，
进行译码。在数据块长度较大时，引入的系统延时是非常大的。
分组码的第二个缺陷是它要求精确的帧同步，即需要对接收码字 或帧的起始符号时间和相位精确同步。另外，大多数基于代数的 分组码的译码算法都是硬判决算法，而不是对解调器输出未量化 信息的软译码，从而造成了一定程度的增益损失。
卷积码的译码通常有如下几个比较流行的译码算法：
由Wozencraft和Reiffen在1961年提出，Fano和 Jelinek分别在1963年和1969年进行改进了的序 贯译码算法。该算法是基于码字树图结构的一种 次优概率译码算法。 由Massey在1963年提出的门限译码算法。这个 算法利用码字的代数结构进行代数译码。
课程内容（续）
第六章 编织码
6.1 编织码编码基本原理 6.2 编织码的译码 6.3 编织卷积码的活性距离特性 6.4 基于删余技术的编织码 6.5 编织码的因子图与和积算法分析
编码理论简介
课堂练习1
• 设x1, x2, …, xn是任意一组正实数，p1, p2, …, pn是任 意一组和为1的非负实数，试问下面的不等式哪一
个正确，请证明pi=1/n的情况：
n
n
(1) pilogxi log( pixi)
i1
i1
n
n
(2) pilogxi log( pixi)
i1
i1
• 证明
i 1j 1
p (u k)p (v j/u k)
k 1
• 设D为允许失真度，对给定信源分布P(U) ，如果把信
道矩阵P(V|U)限定在允许失真信道集合BD内选取，那
么 I(U;V)所能逼近的最小值就是率失真函数:
R(D )m in{I(U ;V)} P(V|U) BD
15
限失真信源编码定理
• 香农第三定理：在信息传输率R>R(D) 时，只 要有足够的码长，则必然存在一种编码方法， 使译码平均失真可以任意接近允许失真D。
18
信道编码理论的研究
• 1948年，香农信道编码定理 • 1952年费诺(R.M.Fano)证明费诺不等式和香农
信道编码逆定理 • 1957年沃尔夫维兹证明信道编码强逆定理 • 1961年费诺描述分组码中码率、码长和错误率
的关系，并证明了香农信道编码定理的充要性 • 1965年格拉格尔(R.G.Gallager)发展并简洁地
• 其中R(D)是率失真函数，也就是最佳编码率
16
现代信源编码方法的研究
• 寻找现有压缩编码的快速算法 • 寻找新颖高效的现代压缩方法，比如： • 分形编码、小波编码 • 神经网络编码，DPCM编码 • 模型编码（Model Based Coding）
2013-2014第二学期编码理论
南 京 师 范 大 学 2013 级硕士研究生 2013 —2014 学年第 二 学期 《编码理论基础》 课程试卷
注：1、本卷考试形式为闭卷，考试时间为 2 小时。
2、考生不得将装订成册的试卷拆散，不得将试卷或答题卡带出考场。
3、可以使用计算器 专业
姓名
学号□□
□□□□
□
□
□
<编码理论> 1 一、（12分）设F 是域K 的一个子域， 证明：F 与K 有相同的特征。
二、（12分）设q F 为一个含有q 个元素的有限域，并且q F 的特征不等
于2.证明：q F 中所有元素之和一定为零。
三、（12分）试求出有限域7F 的所有本原元。
四、（12分）证明：多项式2()1p x x =+和2()4q x x x =++在有限域11F 上
都是不可约的，试问：有限域11[]/()F x p x 〈〉和11[]/()F x q x 〈〉同构吗？为什么？
五、（12分）设12n α,α,⋅⋅⋅,α是多项式1n x -在有限域q F 上的n 个根，证
明：对于任意1k n ≤<，有120k k k n α+α+⋅⋅⋅+α=。
六、（20分）设q F 为一个含有q 个元素的有限域，设r 和n 是两个正整数，r n ≤。
试求q F 上的秩为r 的r n ⨯阶矩阵的个数。
进一步，试求出q F 上的n 阶可逆矩阵的个数。
七、（20分） 设
1336040251262045A ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭ ， 0014b ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭
试求出七元域GF(7)上的非齐次线性方程组T Ax b =的解。
编码理论2(参考答案)
1概念题（30分，每题6分）1.1设C是一个线性分组码，他的生成矩阵G=P I k，I k是一个k X n阶矩阵。
请问：○1码C中含有多少个非零码字？○2码C的校验矩阵是什么？○3校验矩阵的秩与码字最小汉明码之间有什么关系？解：○12k−1个非零码字○2校验矩阵是H=(I n+k|P T)○3d≤R+11.2请分别用生成矩阵和校验矩阵的语言来描述一个向量C=(C1,C2,…,C n)是码字的充要条件。
解：C=M∙GH∙C T=0T或者 C∙H T=01.3伴随式是如何定义的？伴随式为零是否一定无传输错误,为什么？解：设C是一个q元[n, k]线性码，其校验矩阵为H。
对任意y∈V(n,q)，称yH T为y的伴随，记为S(y)。
1.4请描述利用标准阵的伴随式译码方法的主要步骤。
解：1）计算接收矢量y的伴随式S(y)2）在伴随列表中找到S(y)所对应的陪集代表元a。
3）将y译为码字y-a。
1.5伴随式译码、最小距离译码、和最大似然译码三者彼此之间有什么关系？2计算题（30分，每题10分）2.1设C使一个（n, k）线性码。
用A0和A e分别表示码C中汉明重量为奇数和偶数的码字个数。
假设已知A0>0。
请计算A0和A e的值。
解：A0=A e=2k−12.2设某个通信系统中使用的是以H=10001000110111101111为校验矩阵的汉明码。
如果在接收端收到的向量是r=(1001010)，并且假定传输错误个数不超过1个。
请计算出译码后的正确码字。
解：10010112.3设C1是(n1,k1,d1)线性码，C2是(n2,k2,d2)线性码，它们的生成矩阵分别为G1=P1I k和G2=P2I k。
假定C是以H=I n1+n2−k ⋮P1T I k P2T为校验矩阵的线性码。
请问码C的码长=？，信息位=？，码间最小距离=？解：请问码C的码长=n1+n2，信息位=k，码间最小距离=d1+d2…….3 证明题（40分）3.1（20分）请证明循环码中次数最低的非零码字多项式是唯一的。
编码理论第八章
h1n h2n = (h1 , h2 ,, hn ) h(nk )n
其中， h1 , h2 ,, hn 是H矩阵的列向量。
编码理论——线性分组码
17
因此，
T T C i H T = ci1h 1 + ci 2 h T + + cin h n 2 也就是说，n个矢量 h T 一定是线性相关的。 j
2
维n重空间S的一个子空间。这个子空间是由k个基底张成的，记作 码空间C，它是一个k维n重空间。n维n重空间的另外n-k个基底则 张成一个n-k维的子空间，称为校验空间H。分组编码器的工作， k 就是要把k维k重的信息组空间的 2 个矢量一一对应到k维n重码空 间C。
编码理论——线性分组码
8
8.2
（2）矢量空间 由初等数学可知，平面上的二维矢量的全体构成一个二维的矢 量空间，空间的三维矢量全体构成三维矢量空间。推广可以得到一 n 般的n维矢量 VR 空间。 例如：实数域R上的n重数组全体{( a1 , a 2 , , a n ); ai 组成一线性空间。 GF(2)上的n重数组全体{( a1 , a 2 , , a n ); ai 间V n 。
0 1 0 0
0 0 1 0
0 0 0 1
1 1 1 0
0 1 1 1
1 1 0 1
（1）对于信息组(1 0 1 1 )，对应码字是什么？ （2）设计一个（7，4）分组编码器原理图。 （3）若接收到一个7位码r=（1 0 0 1 1 0 1），判断它是否是码字。
编码理论——线性分组码
13
解：（1）由生成矩阵可知，得到的一定是系统码。由 Ci = mG 得
对二进制分组码来说，g ij
g11 g1n G= g g kn k1
编码理论第1章绪论-课件
4．网络信息论
• 1961年 • 香农 • 发表“双路通信信道”论文 • 开拓了多用户信息理论的研究→多用户信息论→网
络信息论
14
5．保密编码
• 保密学——一门研究通信安全和保护信息资源的既 古老又年青的学科
包括：密码编码学、密码分析学 • 密码编码学——信息安全技术的核心 主要任务——对消息进行加密、认证 • 密码分析学——与密码编码学相反 主要任务——破译密码、伪造认证 • 两个分支——既相互对立又相互依存
1977年，齐弗(J．Ziv)和兰佩尔(A．Lempel)提出了 LZ算法——一种通用编码方法
10
2．限失真信源编码
• 1959年，香农发表“保真度准则下的离散信源编码 定理”——Coding theorems for a discrete source at the fidelity criterion
度～信源统计特性相匹配
9
1．无失真信源编码(续)
• 无失真信源编码的方法 1948年，香农提出香农编码 1952年，费诺(Fano)提出费诺编码 1952年，霍夫曼(D．A．Huffman)提出霍夫曼编码，
并证明它是最佳码——有限长度的分组码中，平均 码长最短
1982年，里斯桑内(J．Rissanen)在多年研究的基础 上，与兰登(G．G．Langdon)一起将算术码（非分 组码）实用化
些部分 • 信道噪声——通信系统各处干扰、噪声的集中等
效体现
6
2．通信系统模型(续)
(4)译码器——编码器功能之反 • 也分成信源译码器、信道译码器、保密译码器三种 (5)信宿——消息传送的归宿 [说明] ①对实际通信系统，还应包括换能、调制、发射等各
种变换处理 ②Байду номын сангаас述模型只针对一对一单向通信系统。还有一对多
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
南 京 师 范 大 学 2013 级硕士研究生 2013 —2014 学年第 二 学期 《编码理论基础》 课程试卷
注：1、本卷考试形式为闭卷，考试时间为 2 小时。
2、考生不得将装订成册的试卷拆散，不得将试卷或答题卡带出考场。
3、可以使用计算器 专业
姓名
学号□□
□□□□
□
□
□
<编码理论> 1 一、（12分）设F 是域K 的一个子域， 证明：F 与K 有相同的特征。
二、（12分）设q F 为一个含有q 个元素的有限域，并且q F 的特征不等
于2.证明：q F 中所有元素之和一定为零。
三、（12分）试求出有限域7F 的所有本原元。
四、（12分）证明：多项式2()1p x x =+和2()4q x x x =++在有限域11F 上
都是不可约的，试问：有限域11[]/()F x p x 〈〉和11[]/()F x q x 〈〉同构吗？为什么？
五、（12分）设12n α,α,⋅⋅⋅,α是多项式1n x -在有限域q F 上的n 个根，证
明：对于任意1k n ≤<，有120k k k n α+α+⋅⋅⋅+α=。
六、（20分）设q F 为一个含有q 个元素的有限域，设r 和n 是两个正整数，r n ≤。
试求q F 上的秩为r 的r n ⨯阶矩阵的个数。
进一步，试求出q F 上的n 阶可逆矩阵的个数。
七、（20分） 设
1336040251262045A ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭ ， 0014b ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭
试求出七元域GF(7)上的非齐次线性方程组T Ax b =的解。