信息论与编码课程论文

《信息论与编码》课程论文

——通过信息论对已有知识产生的新认识

马赛

1143031014《信息论与编码》课程是通信专业的一门基础课。其讲述的理论——香农信息论是当今信息科学的基础，可以说没有信息论的理论支持，就没有当今的信息化社会。

通过对于信息论的学习，我认识到，信息论的贡献就是解释了什么是“信息”，同时使用数学工具，对信息及伴随它产生的各种事物概念进行了解析。近代科学的重大飞跃往往都是因人类对于一个事物有了强有力的分析工具而产生的。有了信息论这一近乎完备（存在一些缺陷）的解析理论，人类才得以驾驭信息，社会才有了长足的进步。

在学习时，我习惯于把正在学习的知识和自己已经掌握的知识进行联系。通过这种方法，可以增进对正在学习知识的理解，同时对已掌握的知识也有新的认识。下文中，列举了两个问题，同时使用信息论的角度去进行解释。

一、计算机的存储容量与信息量的联系

当今的计算机已经十分普及。存储容量，无论内存还是外存，都是判定一台计算机性能的重要指标。现在的个人计算机硬盘容量已经达到了TB级别，而在20年前，几百MB的硬盘都十分罕见。在追求更高的存储容量时，我们是否思考过存储的东西是什么？KB、MB、GB等单位究竟代表的含义是什么？

这是计算机科学的基本知识：“8 bit = 1 byte”。bit即“位”，这是计算机存储单元最基本的单位；而信息论中也将信息量——用于衡量信息的量的单位称为bit，这两个概念有什么联系吗？

在课程讲解时提到过这个问题，幻灯片上的答案如是解释：两者代表着不同的概念，信息论中的bit代表着信息量；而计算机中的bit代表着计算机中的二元数字1和0。

我认为两者是同一种概念，都代表信息量，而计算机中的bit是更为细化的概念，单指计算机中的信息量。信息的一种解释是：对于不确定性的消除。信息量是对信息的一种衡量手段，描述对事件不确定性消除的程度。而描述事件不确定性的量就是这个事件发生的概率，因此一个事件发生的概率与事件包含的信息量具有对应的关系。这是香农信息论对于信息量的定义。

计算机存储的依然是信息，只是信息的存储形式是01二进制数字。如果说计算机中的bit只是二元数字的话，那么这个单位就丧失了“信息”这个定义了。

用户通过互联网下载各种资料，下载的资料需要占用本地的存储空间，这是一个众所周知的例子。其实这个过程就是一个消除不确定性的过程。我们一般常识中的“空”硬盘，实际上是没有存储信息，而空间就在那里，空间中的信息有不确定，有不确定度；写入信息，实际上就是在消除不确定性，让空间中的信息确定，让其有序。这就是一种典型的信息传递过程。

计算机是2元存储结构，一个二进制符号代表1bit，根据实际计算，一个二进制符号的最大信息量即H0(X) = log22 = 1bit，这是一个将符号等同于无记忆的，每个符号之间没有联系，达到了信息量的最大值。这是最为简化的处理结果，也是最为可行的处理结果。如果严格按照信息论的角度去分析，其实每个符号之间是有联系的——各种编码、指令，如果01只是随机出现，那么只是一盘散沙。当然这是严格的理论解释，如果实际应用到存储信息的计量，那么将是不可行，计算机界的先驱是非常有远见的。

二、关于称硬币问题的思考

本来讲，称硬币问题只是小学生用来训练思维的题目，锻炼学生的枚举能力，从穷举可能情况的方法来解题。当然，信息论提出了一种迥然不同的解题思路。

从信息论的角度思考，称硬币可以等同为消除不确定度的过程，也就是一种信息传递的过程。称硬币包含的所有不确定度除以一次称硬币消除的不确定度即至少需要的次数。这种思路是一种“存在性”的解题思路，涵盖了所有情形，并非一次一次去穷举。正如香农的三大定理一样，均是存在性定理，证明一个事物“存在”，但是没有具体给出具体的实现。这是一种真正理论层次的定理，正是这样的理论促进着领域的不断发展。从“存在性”的角度看问题，这是我们值得去秉承的一种思路，极富有指导性意义。

三、结束语

本学期学习的《信息论与编码》课程让我收获到的不仅仅是香农信息论方面的知识，更主要的是提供了一种从不同角度看问题的指导性思路，以及从量化的角度理解信息的认识。作为通信专业的本科生，多掌握专业知识并不是首要任务；首要的任务就是要建立起对“信息”这一概念的认识，对于它如何分析，如何量化，如何处理，这些都是基于认识这一个基础上的。因此《信息论与编码》是一门十分重要的课程，不仅需要掌握，更要理解，而且要深入到“认识论”的程度——对于信息的理解要更为理论化，而非主观推测。