信息论与编码复习

“信息论与编码”复习

1．消息、信号、信息的含义、定义及区别。

信息是指各个事物运动的状态及状态变化的方式。

消息是指包含信息的语言，文字和图像等。

信号是消息的物理体现。

消息是信息的数学载体、信号是信息的物理载体

信号：具体的、物理的

消息：具体的、非物理的

信息：非具体的、非物理的

同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。同样，同一类型信号或消息也可以代表不同内容的信息

2．信息的特征与分类。

1接收者在收到信息之前，对其内容是未知的，所以信息是新知识，新内容；

2信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识；

3信息可以产生，也可以消失，同时信息可以被携带，被存储及处理；

4信息是可以量度的，信息量有多少的差别。

3．狭义信息论、广义信息论、一般信息论研究的领域。

狭义信息论：信息论是在信息可以量度的基础上，对如何有效，可靠地传递信息进行研究的科学。它涉及信息量度，信息特性，信息传输速率，信道容量，干扰对信息传输的影响等方面的知识。

广义信息论：信息是物质的普遍属性，所谓物质系统的信息是指它所属的物理系统在同一切其他物质系统全面相互作用（或联系）过程中，以质、能和波动的形式所呈现的结构、状态和历史。包含通信的全部统计问题的研究，除了香农信息论之外，还包括信号设计，噪声理论，信号的检测与估值等。

概率信息：信息表征信源的不定度，但它不等同于不定度，而是为了消除一定的不定度必须获得与此不定度相等的信息量

4．信息论的起源、历史与发展。

?1924年，Nyquist提出信息传输理论；

?1928年，Hartly提出信息量关系；

?1932年，Morse发明电报编码；

?1946年，柯切尼柯夫提出信号检测理论；

?1948年，Shannon提出信息论，“通信中的数学理论”—现代信息论的开创性的权

威论文，为信息论的创立作出了独特的贡献。

5．通信系统的物理模型（主要框图），各单元（方框）的主要功能及要解决的主要问题。

信源的核心问题是它包含的信息到底有多少，怎样将信息定量地表示出来，即如何确定信息量。

信宿需要研究的问题是能收到或提取多少信息。

信道的问题主要是它能够传送多少信息，即信道容量的多少。

6．通信的目的？要解决的最基本问题？通信有效性的概念。提高通信有效性的最根本途径？通信可靠性的概念。提高通信可靠性的最根本途径？通信安全性的概念，提高通信安全性的最根本途径？

通信系统的性能指标主要是有效性，可靠性，安全性和经济性。通信系统优化就是使这些指标达到最佳。

从提高通信系统的有效性意义上说，信源编码器的主要指标是它的编码效率，即理论上所需的码率与实际达到的码率之比。提高通信有效性的最根本途径是信源编码。减少冗余。

提高可靠性：信道编码。增加冗余。

提高安全性：加密编码。

7．随机事件的不确定度和它的自信息量之间的关系及区别？单符号离散信源的数学模型，自信息量、条件自信息量、联合自信息量的含义？

信源符号不确定度：具有某种概率的信源符号在发出之前，存在不确定度，不确定度表征该符号的特性。符号的不确定度在数量上等于它的自信息量，两者的单位相同，但含义不同：

?不确定度是信源符号固有的，不管符号是否发出；

?自信息量是信源符号发出后给予收信者的；

?为了消除该符号的不确定度，接受者需要获得信息量。

自信息量

条件自信息量：

联合自信息量：

8．信息量的性质？含义？分别从输入端、输出端和系统总体来理解互信息量的含义。

自信息量指的是该符号出现后，提供给收信者的信息量。

9. 各种熵（信源熵，条件熵，联合熵（共熵），等）的含义及其关系。

信源熵：

条件熵：

疑义度：

噪声熵：

联合熵：

10. 信源熵的基本性质与定理及其理解？

?熵的性质

对称性

非负性

确定性

香农辅助定理

最大熵定理

条件熵小于无条件熵

信源熵和平均自信息量两者在数值上是相等的，但含义并不同。信源熵表征信源的平均不确定度，平均自信息量是消除信源不确定度所需要的信息的量度。

信源熵是在平均意义上来表征信源的总体特性，它是信源X的函数，而X是指随机变量的整体（包括概率空间）。信源给定，概率空间就给定，信源熵就是一个确定值。

小结：信源熵H(X)的三种物理含义：

表示信源输出后，每个离散消息所提供的平均信息量。

表示信源输出前，信源的平均不确定度。

反映了变量X的随机性。

11. 平均互信息量的定义及物理意义？疑义度及噪声熵？

12. 平均互信息量的性质及理解？

13. 平均互信息量关于信源概率和信道转移概率的凸性定理。

14. 最大离散熵定理及理解。

16. 数据处理定理及其含义。

17. 信源的种类（详细分类）？各举出几个例子。

按时间和幅度分类：

离散信源单符号离散信源文字，数字，数据等

离散序列信源

连续信源连续幅度信源话音，图像，图形等

随机波形信源

按符号之间的关系：

无记忆信源发出单个符号的无记忆信源

发出符号序列的无记忆信源

有记忆信源发出符号序列的有记忆信源

发出符号序列的马尔可夫信源

18. 离散平稳信源的定义，平均符号熵，极限熵的定义，含义与理解。

信源所发符号序列的概率分布与时间的起点无关，这种信源我们称之为多符号离散平稳信源。

19.马尔可夫信源的定义，含义及其极限熵？

当信源的记忆长度为m+1时，该时该发出的符号与前m个符号有关联性，而与更前面的符号无关。

马尔可夫链极限熵：

为了使马尔可夫链最后达到稳定，成功之路遍历的马尔可夫链，还必须满足两个条件：

平稳信源的概率分布特性具有时间推移不变性，而齐次马氏链只要求转移概率具有推移不变性，因此一般情况下平稳包含齐次，但齐次不包含平稳。

20. 信源的冗余度的定义和含义？为什么有些信源有冗余度？冗余度的计算。

冗余度，表示给定信源在实际发出消息时所包含的多余信息。

它来自两个方面，一是信源符号间的相关性；二是信源符号分布的不均匀性.

21. 连续信源的熵的定义？

连续信源的不确定度应为无穷大，是相对熵，或叫差熵。在取两熵之间的差时才具有信息的所有特性。

22. 几种特殊连续信源的熵。

幅度连续的单个符号信源熵

波形信源熵

24. 信源输出值受限的最大连续熵定理。

限峰功率最大熵定理：对于定义域为有限的随机变量X，当它是均匀分布时，具有最大熵。

25. 信源输出的平均功率受限的最大连续熵定理。

限平均功率最大熵定理：对于相关矩阵一定随机变量X，当它是正态分布时具有最大熵。H c(X) = 1/2 ln()

28. Shannon第一定理—离散无失真信源编码定理（定长和变长）及含义？

克劳夫特不等式只是用来说明唯一可译码是否存在，并不能作为唯一可译码的判据。

29. 信道的数学模型和分类？

30. 信息传输速率R的定义？信道转移概率、信道矩阵和信道容量C的定义？几种离散无噪信道的C？

31. 强对称，对称，准对称信道的含义及其C？

式中，m为信道输出符号集中符号的数目。

强对称信道：

或：

32. 离散信道容量的一般计算方法及其步骤？

33.连续信道，连续信道的C的定义。连续单符号加性信道：

多维无记忆加性连续信道：

34. 香农公式的含义？

由香农公式得到的值是其信道的下限值。

35 Shannon第二定理（信道编码定理）及其含义？

35. 对信源编码器有些什么基本要求？编码效率的定义？如何提高编码效率？

36. 什么是最佳编码？说出Shannon、Fano和Huffman编码的基本方法和主要特点。

37. 理解Huffman编码是最佳编码？

38. 游程编码相关定义与步骤？

39. 算术编码（非分组码）相关定义与步骤？