信息论基础课件
合集下载
信息论基础课件3.1-3.2.2
第三章 信道容量
信源 信道 信宿
噪声 图3.1.1 通信系统的简化模型
信源→ 每发一个符号提供平均信息量H(X) bit/信符 信源 每发一个符号提供平均信息量 信符 无噪信道→信宿可确切无误的接收信息 无噪信道 信宿可确切无误的接收信息 传递作用→ 传递作用 随机干扰作用 本章主要讨论在什么条件下， 本章主要讨论在什么条件下，通过信道的信息量 最大， 最大，即信道容量问题
的上凸函数， 因为 I ( X ; Y )是 p ( x i )的上凸函数，因此总能 找到一种 概率分布 p ( x i )(即某一种信源 )，使信道所能传送的 信息率为最大。 信息率为最大。我们就 信道容量。 信道容量。 称这个最大的信息传输 率为
信道容量： 信道容量： = max { I ( X ; Y )} C
x4 某信道的信道 0 .4
( 3 )" 收到 y 3的条件下推测输入 x 2 " 的概率 解： ) p( x 3 y 2 ) = p( x 3 ) p( y 2 / x 3 ) = 0.2 × 0.2 = 0.04 (1
(2) p( y 4 ) = p( x1 ) p( y 4 / x1 ) + p( x 2 ) p( y 4 / x 2 ) + p( x 3 ) p( y 4 / x 3 ) + p( x 4 ) p( y 4 / x 4 )
a1
b1 [P] = b2 M bs p( a 1 / b1 ) p( a / b ) 1 2 M p( a 1 / b s )
a2
L
ar
p( a r / b1 ) p( a r / b 2 ) M p( a r / b s )
7
信源 信道 信宿
噪声 图3.1.1 通信系统的简化模型
信源→ 每发一个符号提供平均信息量H(X) bit/信符 信源 每发一个符号提供平均信息量 信符 无噪信道→信宿可确切无误的接收信息 无噪信道 信宿可确切无误的接收信息 传递作用→ 传递作用 随机干扰作用 本章主要讨论在什么条件下， 本章主要讨论在什么条件下，通过信道的信息量 最大， 最大，即信道容量问题
的上凸函数， 因为 I ( X ; Y )是 p ( x i )的上凸函数，因此总能 找到一种 概率分布 p ( x i )(即某一种信源 )，使信道所能传送的 信息率为最大。 信息率为最大。我们就 信道容量。 信道容量。 称这个最大的信息传输 率为
信道容量： 信道容量： = max { I ( X ; Y )} C
x4 某信道的信道 0 .4
( 3 )" 收到 y 3的条件下推测输入 x 2 " 的概率 解： ) p( x 3 y 2 ) = p( x 3 ) p( y 2 / x 3 ) = 0.2 × 0.2 = 0.04 (1
(2) p( y 4 ) = p( x1 ) p( y 4 / x1 ) + p( x 2 ) p( y 4 / x 2 ) + p( x 3 ) p( y 4 / x 3 ) + p( x 4 ) p( y 4 / x 4 )
a1
b1 [P] = b2 M bs p( a 1 / b1 ) p( a / b ) 1 2 M p( a 1 / b s )
a2
L
ar
p( a r / b1 ) p( a r / b 2 ) M p( a r / b s )
7
数字通信原理4信息论基础1103页PPT文档
xMy1,pxMy1 xMy2,pxMy2 ...xMyN,pxMyN
满足条件：
M i1
N j1pxiyj 1
2020/4/5
11
离散信源的联合熵与条件熵(续)
第四章 信息论基础
两随机变量的联合熵
定义4.2.3 两随机变量 X :x iy Y j,i 1 , 2 ,. M ; .j .1 , 2 ,,. N ..,
I[P(xM)]
H(X)
图4－2－1 符号的平均信息量与各个符号信息量间关系 的形象表示
2020/4/5
7
离散信源的熵(续) 示例：求离散信源
X: 0 1 2 3
pX: 38 14 14 18
的熵。
第四章 信息论基础
按照定义：
H X i4 1pxilopg xi 8 3lo8 3g 1 4lo1 4g 1 4lo1 4g 8 1lo8 1g
2020/4/5
6
4、离散信源的平均信息量：信源的熵
第四章 信息论基础
离散信源的熵
定义4.2.2 离散信源 X:xi,i 1 ,2 ,.N ..的,熵
H X iN 1p xilop x g i
熵是信源在统计意义上每个符号的平均信息量。
I[P(x1)]
I[P(x2)]
I[P(x3)]
I[P(x4)]
同时满足概率函数和可加性两个要求。
2020/4/5
4
离散信源信的息量(续)
第四章 信息论基础
定义 离散消息xi的信息量:
IPxi loP g1xiloP gxi
信息量的单位与对数的底有关：
log以2为底时，单位为比特：bit
log以e为底时，单位为奈特：nit
《信息论基础》课件
2
信息论与数学中的概率论、统计学、组合数学等 学科密切相关，这些学科为信息论提供了重要的 数学工具和理论基础。
3
信息论与物理学中的量子力学、热力学等学科也 有密切的联系，这些学科为信息论提供了更深层 次的理论基础。
信息论未来发展趋势
信息论将继续深入研究量子信 息论和网络信息论等领域，探 索更高效、更安全的信息传输
和处理技术。
随着人工智能和大数据等技 术的快速发展，信息论将在 数据挖掘、机器学习等领域
发挥更大的作用。
信息论还将继续关注网络安全 、隐私保护等问题，为构建安 全可靠的信息社会提供重要的
理论支持。
2023
REPORTING
THANKS
感谢观看
海明码（Hamming Code）： 一种能够纠正一位错误的线性 纠错码。
里德-所罗门码（ReedSolomon Code）：一种广泛 应用于数据存储和通信领域的 强纠错码。
差错控制机制
前向纠错（FEC）
01
在发送端采用纠错编码，使得接收端能够自动纠正传输过程中
的错误。
自动重传请求（ARQ）
02
接收端检测到错误后请求发送端重传数据，直到接收正确为止
常见信道编码技术
线性分组码
将信息序列划分为若干组，对每组进行线性 编码，常见的有汉明码、格雷码等。
循环码
将信息序列进行循环移位后进行编码，常见的有 BCH码、RS码等。
卷积码
将信息序列进行卷积处理后进行编码，常见 的有Convolutional Code等。
2023
PART 04
信息传输与错误控制
。
混合纠错（HEC）
03
结合前向纠错和自动重传请求，以提高数据传输的可靠性和效
信息论基础线性分组码PPT
设码字x5 (x0 , x1, x2 , x3, x4 )， 可得 信息位 码字
00 00000 01 01101 10 10111 11 11010
x2
x3
x0 x0
x1
x4 x0 x1
20
线性分组码的基本概念
改写为
1 1
x0 x0
1 0
x1 x1
1 x2 0 0 x2 1
二战期间在路易斯维尔大学当教授，1945年参加曼哈顿计划， 负责编写电脑程式，计算物理学家所提供方程的解。该程式 是判断引爆核弹会否燃烧大气层，结果是不会，于是核弹便 开始试验。
1946至76年在贝尔实验室工作。他曾和约翰·怀尔德·杜奇、 克劳德·艾尔伍德·香农合作。1956年他参与了IBM 650的程 式语言发展工作。
码字无关！
记S= en·HT ，称之为接收序列rn的伴随式.
36
线性分组码的译码
（n，k）线性分组码的校验矩阵，用列向量
表出：
h1,1
h1,2
H
h2,1
h2,2
h1,n
h2,n
h1
h2
hn
hnk
,1
hnk ,2
hnk
,n
其中，hn-i为H矩阵的第i列.
37
线性分组码的译码
设en=(e1， e2，…，en)=(0，…，ei1，0，…，ei2，0，…， ei3，0，…，eit，0，…，0)
信息位 码字
00 00000
1(01) 1(10) 11
01 01101 10 10111
f (11) 11010
11 11010
1(01101) 1(10111) 11010
f (1(01) 1(10)) 1(01101) 1(10111)
第一章信息论基础PPT课件
2021
43
信息传输和传播手段经历了五次重大 变革：
1 语言的产生。
2 文字的产生。
3 印刷术的发明。
4 电报、电话的发明。
5 计算机技术与通信技术相结 合，促进了网络通信的发展。
2021
44
1.3 信息传输系统
通信的基本问题是在彼时彼地精确地或近似地再现此时此 地发出的消息。
各种通信系统，一般可概括的统计模型： 信息传输系统模型
2021
17
语法信息
仅仅考虑其中形式因素的部分。
语义信息
考虑其中含义因素的部分。
语用信息
考虑其中效用因素的部分。
2021
18
1.1 信息的概念
物质、能量和信息是构成客观世界的 三大要素。 信息是物质和能量在空间和时间上分 布的不均匀程度，或者说信息是关于 事物运动的状态和规律。
2021
19
信息存在于自然界，也存在于人类社会，
2021
15
认识论比本体论的层次要低，因为
认识主体具有感觉能力、理解能力和 目的性，所以从认识论层次上研究信 息“事物的运动状态及其变化方式”就 不再像本体论层次上那样简单，他必 须考虑到形式、含义和效用。
2021
16
全信息
同时考虑事物运动状态及其变化方式的 外在形式、内在含义和效用价值的认识 论层次信息。
信源
信源译码器 信道编码器
等效干扰 信道
等效信源 等效信宿
信
干
道
扰
源
信宿
信源译码器 信20道21 译码器
45
这个模型包括以下五个部分： 1.信源 信源是产生消息的源。
2. 编码器 编码器是将消息变成适合于 信道传送的信号的设备。
信息论基础课件2[1][1].1.1- 2
![信息论基础课件2[1][1].1.1- 2](https://img.taocdn.com/s3/m/5d523fd3360cba1aa811da2f.png)
r i 1
a2
…
ar p(ar)
p(a2) …
0 p(a i ) 1i 1,2, r
p(a i ) 1
信息论与编码-信源熵
需要注意的是，大写字母X,Y,Z代表随机变量，指 的是信源整体，带下标的小写字母代表随机事件的 某一结果或信源的某个元素。两者不可混淆。
信息论与编码-信源熵
(4) 如p(xi)=1，则I(xi) =0 ;(必然事件不含有任何不确定 性，所以不含有任何信息量）
(5) 自信息量也是一个随机变量，它没有确定的值。
信息论与编码-信源熵
例2、 设有12枚同值硬币，其中有一枚为假币，且只知道假币
的重量与真币的重量不同，但不知究竟是轻是重。现采 用天平比较两边轻重的方法来测量（因无法码）。问至 少需要称多少次才能称出假币？ 解：用天平每称一次能获得一定的信息量，能消除部分的不 确定性。测量若干次后，能消除全部不确定性，获得全部信 息，也就能确定出假币。 设“在12枚同值硬币中，某一枚为假币”该事件为a, p(a ) 1 / 12 则 p 又设“假币是重、或是轻”该事件为b，则(b) 1 / 2
(5)当X与Y相互独立时，
p( y j / xi ) p( y j ), p( xi / y j ) p( xi ), p( xi y j ) p( xi ) p( y j )
( 6) p( x i / y j ) p( x i y j )
p( x i y j )
i 1
n
p( y j / xi )
i 1 n j 1 i 1 j 1 i 1
n
m
n
m
n
p( xi y j ) p( y j ), p( xi y j ) p( xi )
a2
…
ar p(ar)
p(a2) …
0 p(a i ) 1i 1,2, r
p(a i ) 1
信息论与编码-信源熵
需要注意的是，大写字母X,Y,Z代表随机变量，指 的是信源整体，带下标的小写字母代表随机事件的 某一结果或信源的某个元素。两者不可混淆。
信息论与编码-信源熵
(4) 如p(xi)=1，则I(xi) =0 ;(必然事件不含有任何不确定 性，所以不含有任何信息量）
(5) 自信息量也是一个随机变量，它没有确定的值。
信息论与编码-信源熵
例2、 设有12枚同值硬币，其中有一枚为假币，且只知道假币
的重量与真币的重量不同，但不知究竟是轻是重。现采 用天平比较两边轻重的方法来测量（因无法码）。问至 少需要称多少次才能称出假币？ 解：用天平每称一次能获得一定的信息量，能消除部分的不 确定性。测量若干次后，能消除全部不确定性，获得全部信 息，也就能确定出假币。 设“在12枚同值硬币中，某一枚为假币”该事件为a, p(a ) 1 / 12 则 p 又设“假币是重、或是轻”该事件为b，则(b) 1 / 2
(5)当X与Y相互独立时，
p( y j / xi ) p( y j ), p( xi / y j ) p( xi ), p( xi y j ) p( xi ) p( y j )
( 6) p( x i / y j ) p( x i y j )
p( x i y j )
i 1
n
p( y j / xi )
i 1 n j 1 i 1 j 1 i 1
n
m
n
m
n
p( xi y j ) p( y j ), p( xi y j ) p( xi )
信息论基础教学课件ppt信息论基础概述信息论基础概论
33
§1.2.1 通信系统模型
例如，奇偶纠错 将信源编码输出的每个码组的尾补一个1或0 当传输发生奇数差错，打乱了“1”数目的奇偶性，就 可以检测出错误。
34
§1.2.1 通信系统模型
(a) 无检错
(b) 可检错 (奇校验) (c) 可纠错(纠一个错)
图1.4 增加冗余符号增加可靠性示意图
35
§1.2.1 通信系统模型
信源的消息中所包含的信息量 以及信息如何量度
核心 问题
29
§1.2.1 通信系统模型
编码器(Encoder)
编码器的功能是将消息变成适合于信道传输的信号 编码器包括：
信源编码器(source encoder) 信道编码器(channel encoder) 调制器(modulator)
信源编码器
信道编码器
调制器
功能：将编码器的输出符号变成适合信道传输的信号 目的：提高传输效率 信道编码符号不能直接通过信道输出，要将编码器的输 出符号变成适合信道传输的信号，例如，0、1符号变成 两个电平，为远距离传输，还需载波调制，例如，ASK， FSK，PSK等。
36
§1.2.1 通信系统模型
信道(channel)
13
§1.1.2 信息的基本概念
1949年，Weaver在《通信的数学》中解释香农的工 作时，把通信问题分成三个层次： 第一层：通信符号如何精确传输？（技术问题） 第二层：传输的符号如何精确携带所需要的含义？（语义问题） 第三层：所接收的含义如何以所需要的方式有效地影响行为？ （效用问题）
14
§1.1.2 信息的基本概念
§1.1.2 信息的基本概念
信息的三个基本层次：
语法(Syntactic)信息 语义(Semantic) 信息 语用(Pragmatic)信息
§1.2.1 通信系统模型
例如，奇偶纠错 将信源编码输出的每个码组的尾补一个1或0 当传输发生奇数差错，打乱了“1”数目的奇偶性，就 可以检测出错误。
34
§1.2.1 通信系统模型
(a) 无检错
(b) 可检错 (奇校验) (c) 可纠错(纠一个错)
图1.4 增加冗余符号增加可靠性示意图
35
§1.2.1 通信系统模型
信源的消息中所包含的信息量 以及信息如何量度
核心 问题
29
§1.2.1 通信系统模型
编码器(Encoder)
编码器的功能是将消息变成适合于信道传输的信号 编码器包括：
信源编码器(source encoder) 信道编码器(channel encoder) 调制器(modulator)
信源编码器
信道编码器
调制器
功能：将编码器的输出符号变成适合信道传输的信号 目的：提高传输效率 信道编码符号不能直接通过信道输出，要将编码器的输 出符号变成适合信道传输的信号，例如，0、1符号变成 两个电平，为远距离传输，还需载波调制，例如，ASK， FSK，PSK等。
36
§1.2.1 通信系统模型
信道(channel)
13
§1.1.2 信息的基本概念
1949年，Weaver在《通信的数学》中解释香农的工 作时，把通信问题分成三个层次： 第一层：通信符号如何精确传输？（技术问题） 第二层：传输的符号如何精确携带所需要的含义？（语义问题） 第三层：所接收的含义如何以所需要的方式有效地影响行为？ （效用问题）
14
§1.1.2 信息的基本概念
§1.1.2 信息的基本概念
信息的三个基本层次：
语法(Syntactic)信息 语义(Semantic) 信息 语用(Pragmatic)信息
信息论基础课件2.1.3
1
（3）最大离散熵定理
定理：信源X中包含n个不同的离散消息时，信源熵 H（X）有 H ( X ) log2 n 当且仅当X中各个消息出现的概率全相等时，上式 取等号。
1 p( xi ) log2 n 证明： H ( X ) log2 n p( x i ) log2 p( x i ) i 1 i 1
r
pi log pi pi log[ pi (1 )qi ]
i 1
r
r
r
i 1
r 1 pi l og (1 ) qi l ogqi pi i 1 i 1
1 (1 ) qi l og[ pi (1 )qi ] (1 ) qi l og qi i 1 i 1
p( x i y j ) log 2 [ p( x i ) p( y j / x i )]
i j
p( x i y j ) log2 p( x i ) p( x i y j ) log 2 p( y j / x i )
i j
i
j
p( x i ) log2 p( x i ) H (Y / X )
i
i
j
H ( X ) H (Y / X )
得证。
8
7、极值性（香农辅助定理）
,q 对于任意n及概率矢量 P ( p1 , p2 ,, pn ) 和 Q (q1 , q2 ,，n ) n n 有如下不等式成立 H ( p1 , p2 ,, pn ) pi log pi pi log qi
l 1
k l 1
k
H ( X ) [ p j log p j ] ( pi ) log(pi ) [ l log l ]
（3）最大离散熵定理
定理：信源X中包含n个不同的离散消息时，信源熵 H（X）有 H ( X ) log2 n 当且仅当X中各个消息出现的概率全相等时，上式 取等号。
1 p( xi ) log2 n 证明： H ( X ) log2 n p( x i ) log2 p( x i ) i 1 i 1
r
pi log pi pi log[ pi (1 )qi ]
i 1
r
r
r
i 1
r 1 pi l og (1 ) qi l ogqi pi i 1 i 1
1 (1 ) qi l og[ pi (1 )qi ] (1 ) qi l og qi i 1 i 1
p( x i y j ) log 2 [ p( x i ) p( y j / x i )]
i j
p( x i y j ) log2 p( x i ) p( x i y j ) log 2 p( y j / x i )
i j
i
j
p( x i ) log2 p( x i ) H (Y / X )
i
i
j
H ( X ) H (Y / X )
得证。
8
7、极值性（香农辅助定理）
,q 对于任意n及概率矢量 P ( p1 , p2 ,, pn ) 和 Q (q1 , q2 ,，n ) n n 有如下不等式成立 H ( p1 , p2 ,, pn ) pi log pi pi log qi
l 1
k l 1
k
H ( X ) [ p j log p j ] ( pi ) log(pi ) [ l log l ]
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
容易得到相 应的系统码 ： 为 1 0 0 0 1 G s 0 1 0 1 1 0 0 1 1 1 于是：一致校验矩阵 H 0 1 1 1 0 Hs 1 1 1 0 1
12
(5,3)线性分组码码例
1 0 1 1 0 G 0 1 0 1 1 1 1 0 1 0
1
它不但能发现差错，而且能将差错自动纠正过 来，避免频繁重发所消耗的时间，从而大大提
高了通讯的可靠性。本节和下一节介绍两种纠
错码：线性分组码和循环码。
线性分组码是分组码的一个子类，由于线性码
的编码和译码容易实现，至今仍是应用最广泛
的一类码。
2
6.2线性分组码
6.2.1 线性分组码的描述
定义1：一（n,k）线性分组码C是n维n长向量构成的 线性空间中的一个k维线性子空间。 因此我们研究线性分组码就是研究n维向量空 间中的k维子空间。 定义2：一个(n,k)线性分组码C是如下集合
c c c c c
c0
因为线性分组 码（ , k）事实上是一个 维线性子空间 ， n k 利用线性代数 的知识 , 线性分组码作 为线性空 间存在 一个对偶空间 。 （ n , k） 码 中 的 向 量 和 对 偶 空 中 任 意 向 量 正 交 。 间
而 这 个 对 偶 空 间 作 为维 线 性 空 间 的 k维 子 空 间 n n 也 是 一 个 线 性 分 组 码 ， 为 原 （ , k） 线 性 分 组 码 称 n 的对偶码。
m 0 , m1 , m 2 , m 0 m1 m 2
6
•线性分组码的性质： 利用分组码的第一个定义自然可以得到线性分组 码的三个性质：
（1） 零 向 量 （， 0） 是 一 个 码 字 ， 称 为 零 字 。 0 0， 码 （2） 任 意 两 个 码 字 的 和 仍 码 字 是 （3） 码 字 的 总 个 数 为 k 个 ， 任 意 码 字 是 线 性 分 组 2 c 码的生成矩阵 的行向量的线性组合。 G
0 0 1 1 1 1 G 0 1 1 0 0 1 1 0 1 0 1 1
( 3)设信息位为 ( m1 , m 2 , m 3 ) m
C mG 0 0 1 1 1 1 ( m 1 , m 2 , m 3 )0 1 1 0 0 1 1 0 1 0 1 1
c mG
这里的G就是由k维线性子空间的任意一组基向量 组成的线性子空间的生成矩阵。因此线性分组码 的生成矩阵不是唯一的。
•特别的如果对于二进制的编码c,m都是二元向量， G中的元也只有0，1。因此 c mG 的计算是模二 加或模二乘运算
4
•模二加法
+ 0 1
0 1
0 1
1 0
•模二乘法
0 1
系统码由于生成矩阵的 特殊性可以给我们研究 分组码带来方便。一个 简单的应用 我们直接得到一个系统 码的一致校验矩阵 : 设G [I k Q k (n -k) ], 则H [(Q k ( n k ) )T , I n k ]
11
•例：一个（5，3）线性分组码的生成矩阵为：
1 0 G 1 0 1 1 1 0 0 1 1 1 0 1 0
0 0 0
1 0 1
5
例： ,3)偶校验码是一个（ 3）线性分组码， (4 4， 它的生成矩阵为
1 0 0 1 G 0 1 0 1 0 0 1 1 1 0 0 1 c0 , c1 , c 2 , c 3 m0 , m1 , m 2 0 1 0 1 0 0 1 1
C {c | c mG },
其中m 为任意的 维向量， k G是k行n列秩为k ( k n)的矩阵
G称为码C的生成矩阵。
3
因此线性分组码C可以看作对消息m利用
进行编码得到码字c g 00 g 0,n1 G g k 1,0 g k 1,n1
10001
10110 01100 11101 00111
01100
10001 10110 11010 11101
10011
110 111
13
定 理 线 性 分 组 码 的 最 小 码 距 d min d , 当 且 仅 当 为 其 一 致 校 验 矩 阵 中 任 意d 1列 线 性 无 关 ， H 某d列 线 性 相 关 。
定理：任何满足下式的n维向量均是一个(n,k) 线性分组码的码字。
H 0
T
T
其中的H是分组码的一致校验矩阵
10
定义：如果线性分组码的生成 阵G具有如下形式： 矩
G [ I k Q k ( n k ) ], 则此码为系统码
•在线性空间理论中线性空间的生成矩阵G都可以 在不改变线性空间的条件下利用矩阵的初等行变 换把它化成上述形式。因此：在不改变码字集合 的条件下任何一个线性分组码都可以对应一个系 统码。
14
充分性： 若任意d - 1列线性无关，某 列hi 1 , hi 2 hid 线性相关， d 则必存在全不为零的i 1 , a id .有：a i 1 hi 1 a id hid 0 a 因此码字 (0, 0, a i 1 ,0, 0, a id ,0, 0)的汉明重量恰好 c 为d. 显然不可能有小于的码字了。 证毕 d
（2）构造这码的生成矩阵 （3）构造这码的一致校验矩阵 （4）求系统码的生成矩阵及一致校验矩阵
解：(1)因为码字数 M 8 2 k 2 3 , 所以 k 3, n 6
为(6，)线性分组码 3
16
( 2)生成矩阵 G为k 3行， n 6列的矩阵，由 k 3个 线性独立的码字组成。 故
(必要性) 证明：
h 记H为n个列向 量的矩阵 1 , h2 , hn , 若H中某d 1列
线性相 关， a i 1 hi 1 a i 2 hi 2 a id 1 hid 1 T
于是可以构造一个码字c：
c (0, 0, a i 1 , 0, a i 2 ,0 0, a id 1 ,0, 0) 显然码字 的汉明重量 (c ) d 1. c 这与d是最小汉明重量矛盾
1 1 1 1 0 0 所以，H 1 0 0 1 1 0 0 0 1 0 0 1
18
（4）系统码的生成矩阵及一致校验矩阵
0 0 1 1 1 1 G 0 1 1 0 0 1 1 0 1 0 1 1
经初等行变换，得系统码的生成矩阵
1 0 0 1 0 0 G s 0 1 0 1 1 0 0 0 1 1 H hr 1,0 hr 1,n1
9
由G kn 和H ( n k )n的意义有： T 0 k ( n k ) GH 注意G、H的行列的关系
注：虽然满足上式的 矩阵形式不唯一，但一 H 个码 的对偶码是唯一的。
1 1 1 1 0 0 H s 0 1 1 0 1 0 0 0 1 0 0 1
19
8
设对偶码的生成矩阵为 ，c是线性分组码（ k )的 H n, 任意向量。则： T 0 cH
反之，任意满足 T 0的向量c一定是线性分组码 cH ( n, k )中的码字。 因此我们可以 利用 T 0来判断接收向 量在传输 cH r
过程中是否发 生错误。 这个方程叫做 线性分组 码的 校验方程。矩阵 叫做线性分组 码的一致 H 校验矩阵
15
例、下面是某(n,k)线性二元码的全部码字：
C 1 000000 C 2 001111 C 3 011001 C 4 011110 , , , C 5 101011 C 6 101100 C 7 110010 C 8 110101 , , ,
（1）求n,k为何值？
利用性质（1）可以得到线性分组码的第四条性质： (4) 线性分组码的最小距离等于最小非零码字的汉明 重量
7
证明：要证明： min min (c ) d
对二元向量 和c有：d(c, c) (c c) c
所以： d (c , c ) min (c c ) min (c ) min
消息m 000 001 010
G生成码字 Gs生成码 对偶码 字 码字 00000 11010 01011 00000 00111 01011 00000 11101 01110
1 0 0 0 1 G s 0 1 0 1 1 0 0 1 1 1
011
0 1 1 1 0 100 Hs 1 1 1 0 1 101
检错码在发现差错后必须通过要求对方重发一遍 来获得正确的信息，在实时信息采集系统中可能 是有困难的（信息源已经发生变化）。就是在发 方保留有原信息样本的情况下，也只有在差错率 很低的条件下是比较可行的。如果通信条件比较 恶劣，差错出现频繁，以至多次重发仍然得不到 一份正确的信息。在这种情况下，只采用“检错” 手段就显得无能为力了。这时就要采用“纠错 码”，
17
所以， C 1 m 3
C 2 m2 C 3 m1 m 2 m 3 C 1 C 2 C 4 C 6 C 4 m1 C 5 m1 m 3 C 1 C 4
即：C 1 C 2 C 3 C 4 0 C1 C 4 C 5 0 C3 C6 0