信息论与编码课程总结

信息论与编码
《信息论与编码》这门课程给我带了很深刻的感受。

信息论是人类在通信工程实践之中总结发展而来的，它主要由通信技术、概率论、随机过程、数理统计等相结合而形成。

它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。

学习这门课程之后，我学到了很多知识，总结之后，主要有以下几个方面：
首先是基本概念。

信息是指各个事物运动的状态及状态变化的方式。

消息是指包括信息的语言、文字和图像等。

信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载到具有某种物理特性的信号上去。

信号是信息的载荷子或载体。

信息的基本概念在于它的不确定性，任何已确定的事物都不含有信息。

信息的特征：（1）接收者在收到信息之前，对其内容是未知的。

（2）信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识。

（3）信息可以产生，也可以消失，同时信息可以被携带、存储及处理。

（4）信息是可以量度的，信息量有多少的差别。

编码问题可分解为3类：信源编码、信道编
码、加密编码。

=
理论上传输的最少信息量
编码效率实际需要的信息量。

接下来，学习信源，重点研究信源的统计特性和数学模型，以及各类离散信源的信息测度
—熵及其性质，从而引入信息理论的一些基本概念和重要结论。

本章内容是香农信息论的基础。

重点要掌握离散信源的自信息，信息熵（平均自信息量），条件熵，联合熵的的概念和求法及其它们之间的关系，离散无记忆的扩展信源的信息熵。

另外要记住信源的数学模型。

通过学习信源与信息熵的基本概念，了解了什么是无记忆信源。

信源发出的序列的统计性质与时间的推移无关，是平稳的随机序列。

当信源的记忆长度为m+1时，该时刻发出的符号与前m 个符号有关联性，而与更前面的符号无关，这种有记忆信源叫做m 阶马尔可夫信源。

若上述条件概率与时间起点无关，则信源输出的符号序列可看成齐次马尔可夫链，这样的信源叫做齐次马尔可夫信源。

之后学习了信息熵有关的计算，定义具有概率为
()
i p x 的符号i x 的自信息量为：()log ()i i I x p x =-。

自信息量具有下列特性：（1）
()1,()0i i p x I x ==（2）()0,()i i p x I x ==∞（3）非负性（4）单调递减性（5）可加
性。

信源熵是在平均意义上来表征信源的总体特征，它是信源X 的 函数，一般写成H （X ）。

信源熵：()()log ()i i i
H X p x p x =-∑，条件熵：(|)(,)log (|)
i j i j ij
H X
Y p x y p x y =-∑联合
熵(|)(,)log (,)i j i j ij
H X
Y p x y p x y =-∑，联合熵
H(X,Y)与熵H(X)及条件熵H(Y|X)的关系：
(,)()(|)()(|)H X Y H X H Y X H X H X Y =+=+。

互信息:
,(|)(|)(;)(,)log
()(|)log
()
()
j i j i i j i j i ij
i j
j j p y x p y x I X Y p x y p x p y x p y p y =
=
∑
∑。

熵的性质：非负性，对称性，确定
性，极值性。

接下来接触到信道，知道了信道的分类，根据用户数可以分为，单用户和多用户；根
据输入端和输出端可以分为无反馈和反馈信道；根据信道参数与时间可以分为固定参数和时变参数；根据信道受噪声种类分为随机差错信道和突发差错信道根据输入输出信号的特点分为离散信道，连续信道，半离散半连续，波形信道。

学习了信道容量的相关计算，信道容量C=()
m ax (;)i p a I X Y 含义，表征信道能传输的最大信息量，或者信道的最大传输能力。

以上是信息论部分的知识，下面就进入到编码的部分，我们首先接触到时是信源编码的相关概念。

分组码:将信源消息分成若干组，即符号序列i x ，1
2
(,,,,,)l
L
i i i i i x x x x x = ，
序列中的每个符号取自符号集A ，123{,,,,,}l
i i n x a a a a a ∈ 。

而每个符号序列
i
x 依照固
定的码表映射一个码字
i
y ，这样的码称为分组码，也叫快码。

码可以分为固定长度码和变
长码； 分组码又分为奇异码和非奇异码；若信源符号和码字是一一对应的，该码为非奇异码，反之为奇异码。

非奇异码又分为非唯一可译码和唯一可译码；任意有限长的码元序列，只能被唯一分割成一个个码字，称唯一可译码；值得注意的是奇异码不是唯一可译码，而非奇异码中有唯一可译码和非唯一可译码。

唯一可译码又分为非即时码和即时码；接收端收到一个完整的码字后，不能立即译码，还需等下一个码字开始接受后才能判断是否可以译码，称为非即时码，即时码又称非延时码，任意一个码字都不是其他码字的前缀部分，叫异前缀码。

唯一可译码的充要条件：1
1i
n
K i m -=≤∑。

定长编码定理：由L 个符号组
成的、每个符号的熵为()L H X 的无记忆平稳信源符号序列（12,,,,,l L X X X X ）,可用
L
K 个符号12,,,,,L
k K Y Y Y Y (每个符号有m 种可能值)进行定长编码。

对任意
0,0,log m (X )+L L K H L
εδε>>≥只要
,则当L 足够大时，必可使译码差错小于δ；当
log m (X )-2L L K H L
ε≤时，译码差错一定是有限值。

当L 足够大时，译码几乎必定出错。

然后学习了如何计算编码效率，编码效率：(X )log m
L L H K L η=,其中(X )L H 为平均符号熵。

最
佳编码效率：(X ),>0(X )+L L H H ηεε
=，单个符号变长编码定理：若离散无记忆信源的符号熵为
(X)H ,每个信源符号用m 进制码元进行变长编码，一定存在一种无失真编码方法，其码字
平均长度K 满足下列不等式
(X)(X)+1logm
logm
H H K ≤≤
.平均输出信息率为log L K K m L
=。

码
字平均长度：1
n
i i i k p k ==
∑
10码字平均长度：1
n
L i i i K p k ==
∑
及 信源符号的平均码长：
log L K K m L
=。

然后了解了集中常见的编码方法。

费诺编码：平均码长1
()n
i i i K p a K ==∑
，i K 为码长；
信息传输速率：()H X R K
=。

哈夫曼编码：把信源符号i x (i=1,2,…,m)出现的概率i p 按
由大到小的顺序排列；(2)对两个概率最小的符号分别标“0”和“1”，然后把这两个概率相加作为一个新的辅助符号的概率；(3)将这个新的辅助符号与其他符号一起重新按概率大小顺序排列；(4)跳到第2步，直到出现概率相加为1为止；(5)用线将符号连接起来，得到一个码树，树的m 个端点对应m 个信源符号；6)从最后一个概率为1的节点开始，沿着码树分别到达每个信源符号，将一路遇到的“0”和“1”顺序排列起来，就是对应端点的信源符号的码字。

最后学习了信道的纠错编码，纠错码分类：从功能角度，分为检错码和纠错码；从对信息序列的处理方法，分为分组码和卷积码；从码元与原始信息的关系，分为线性码和非线性码。

噪声均化的三种方法：增加码长N ，卷积，交错。

基底不是唯一的，生成矩阵也就不是唯一的。

非系统码的生产矩阵可以通过运算转变为系统形式，此过程叫系统化。

与任何一个（n,k ）分组线性码的码空间C 相对应，一定存在一个对偶空间D.空间的n-k 个基底排列起来可构成一个（n-k ）⨯n 矩阵，将这个矩阵称为码空间C 的校验矩阵H.。

线性码的任意码字c 一定正交于其对偶码的任意一个码字，也必定正交于校验矩阵H 的任意一个行矢量，即0T cH =,0为零矩阵，若0T cH =，则c 为码字，反之，则不是码字。

校验矩阵的定义[]T
n k H P I -=- 。

信息论与编码是一门比较有难度的课程，接触的知识点比较广，比较全，先行课程也比较多。

通过学习这门课程，我加深了对基本概念的理解，在学习新概念时要经常与已学概念进行对比，分析与已有概念间的区别与联系，深刻探讨其物理意义的差别，避免知识点之间的混淆。

提升了数学推导与证明能力。

虽然学起来有点吃力，但是经过一定时间的复习，目前对知识的掌握更深了一个层次，对知识的理解也更加深了一步。