信息论速成1

信息理论基础
第一章
4、信息、消息和信号
绪论
信息：①、比较抽象的概念； ②、是通信系统中传送的对象； ③、包含在消息中。 消息：①、消息比较具体，但不是物理的；
②、消息有不同的形式，能被人的感觉感知；
例如：语言、文字、符号、数据、图片等
③、构成消息的条件：
＊能被通信双方理解 ＊可以传递
信息理论基础
组成部分：信源译码器——第五章 信道译码器——第六章
⑥、信宿：信息传送过程中的接收者，即接收信息的 人或物。
信息理论基础
信息理论课程讲授的核心内容：
香农三大定理
1、第一定理：信源编码定理（第五章） 解决信息传输的有效性——最有效的方法。
2、第二定理：有噪信道编码定理（第六章） 解决信息传输的可靠性——最可靠的方法。
信息理论基础
第一章
③、信道：
绪论
定义：将信号从发端传到收端的媒质或通道；
信道种类：电话线、电缆、光纤、电波等。
信道的主要研究内容——第四章 ＊数学模型：简单、扩展、组合信道 ＊平均互信息 ＊级联信道的信息不可增加性 ＊信道容量
信息理论基础
第一章
④、干扰源：
绪论
定义：系统所有噪声和干扰等效成信道干扰；
I(xi | yj) = – log p(xi | yj)
释：①、I(xi)是事件xi本身所具有的不确定性；
②、I(xi | yj) 是事件yj 发生后， 事件xi 尚存在的不 确定性； ③、条件自信息量单位同自信息量。
信息理论基础
第二章
一、互信息量
信息的统计度量
§2.2 互信息量和条件互信息量
1、定义：事件xi 和事件yj之间的互信息量定义为
3、第三定理：限失真信源编码定理（第七章） 解决信源的信息在失真准则下进行压缩的极限。 信息传输定理（信息处理定理）：
4、信息在传输、存贮和处理过程中的不可增加性 （第四章）
信息理论基础
第二章
内容提要
信息的统计度量
§2.1 自信息量和条件自信息量
§2.2 互信息量和条件互信息量
§2.3 离散集的平均自信息量
信源 信源编码器 纠错编码器 调制器
信道
干扰源
信宿Βιβλιοθήκη 信源译码器纠错译码器
解调器
信息理论基础
第一章
简化模型
信源 消息
绪论
译码器
信宿 消息
编码器
信道 信号 信号 干扰 干扰源
①、信源： 定义：产生消息的源(消息序列)； 消息：消息是文字、语言、图像等； 消息可以是离散的，或连续的； 消息是随机的，用随机变量或随机过程表示； 信源研究的主要问题——第三章 消息的统计特性； 信源产生消息的速率。
1 (Hat) = log210 (Bits) = 3.322 (Bits)
④、p(xi)小 → 不确定性大 → 信息量大 p(xi)大
→
不确定性小 → 信息量小
信息理论基础
第二章
2、联合事件
信息的统计度量
定义：假设二维联合集合XY上元素(xi , yj)发生概率为 p(xi , yj)，则其自信息量定义为
§2.4 离散集的平均互信息量
信息理论基础
第二章
一、自信息量
1、简单事件
信息的统计度量
§2.1 自信息量和条件自信息量
定义：假设任意简单随机事件xi的发生概率为p(xi)， 则自信息量定义为
I(xi) = - log p(xi)
释：①、由于p(xi)≤1，取“-”号使得I(xi)≥0； ②、自信息量I(xi)的物理意义： 当事件xi发生前，表示该事件发生的不确定性； 当事件xi发生后，表示该事件所提供的信息量。
信息理论基础
第一章
美国人 阿拉伯人 中国人 植物人
绪论
信息和消息不一样，同一条消息可产生不同的效果：
911事件是消息
信息理论基础
第一章
2、广义的信息概念
绪论
①、信息表征客体变化、客体之间的差异和关系； 客观世界三大要素：物质、能量、信息 物质运动需要能量，运动产生差异，差异产生信息。 没有完全一样的客观物体： 例如：双胞胎兄弟难区分—母亲能区分，存在差异。 ②、信息表征客体的行为和能力，而不是客体本身。
信息理论基础
第一章
②、编码器：
绪论
定义：将信源发出消息变换成适于信道传送的设备； 组成部分：信源编码器、纠错编码器、调制器； 信源编码器：对信源输出的消息进行变换(信源压缩) 提高传输有效性——第五章、第七章
纠错编码器：对信源编码器输出的消息进行变换 提高传输可靠性——第六章、(第九章) ＊提高有效性和可靠性是通信系统的根本问题 调制器：将纠错编码器输出的消息变换成适于信道传 输的信号。
I(xi ; yj) = log [p(xi | yj)/p(xi)]
释：①、I(xi ; yj) = [– log p(xi)] – [– logp(xi | yj)] = I(xi) – I(xi | yj) = 先验的不确定性 – 尚存在的不确定性 ②、表示事件xi 发生后传递给事件yj的信息量； 表示事件yj发生所能提供的关于事件xi的信息量。
信息理论基础
信
息
论
考试方式：期末闭卷 授课教师：李 景 文 教材：信息理论基础
北京航空航天大学出版社
教材主编：周荫清
信息理论基础
第一章
主要内容 §1.1 信息论
绪论
§1.2 信息
§1.3 通信系统数学模型
信息理论基础
第一章
§1.1 信息论
绪论
信息论：应用数理统计的方法研究信息的传输、 存储和处理的一门学科。经典信息论、广义信息论、 信息科学。 1、经典信息论 又称为数学信息论、狭义信息论、近代信息论、 香农信息论。 创始人：美国工程师C.E.Shannon（香农）。
1、概率论的核心概念是随机变量。
随机变量的精确描述是分布律和概率密度。
随机变量的粗略描述是数字特征(均值和方差)。 2、信息论的核心概念是信息。 信息的精确描述是信息量(自信息量、条件自信息 量和互信息量)。
信息的粗略描述是什么？——熵
信息理论基础
第二章
信息的统计度量
二、定义：在离散集X上，随机变量I(xi)的数学期望定 义为平均自信息量
信息理论基础
第二章
信息的统计度量
③、单位：取决于对数以什么为底
＊比特(Bit)： I(xi) = - log2 p(xi) = - lb p(xi)
如：p(xi) = 0.5，则I(xi) = - lb 0.5 = 1 (Bit) ＊奈特(Nat)：I(xi) = - loge p(xi) = - ln p(xi) 1 (Nat) = log2e (Bits) = 1.443 (Bits) ＊哈特莱(Hat)：I(xi) = - log10 p(xi) = - lg p(xi)
信息理论基础
第一章
绪论
3、概率信息——定量描述 又称为香农信息、狭义信息，由香农提出来的， 从事件不确定性(随机性)和概率测度出发定义信息。
例如：
甲袋（100个球） 红(50)、白色(50) 随意取出一球为红色 | 不确定性小、概率大(1/2) | 当被告知取出球为红色 (不确定性没有了) | 消除的不确定性少 (获得信息少) 乙袋（100个球） 红(25)、白(25)、兰(25)、黑(25) 随意取出一球为红色 | 不确定性大、概率小(1/4) | 当被告知取出球为红色 (不确定性没有了) | 消除的不确定性多 (获得信息多)
即事件yj的发生有助于肯定事件xi的发生。
若 p(xi | yj) < p(xi)，则I(xi ; yj) < 0
即事件yj的发生不利于肯定事件xi的发生。
④、I(xi ; yj) ≤ I(xi)
I(xi ; yj) ≤ I(yj)
即任何两事件的互信息量不能大于其中任一事件的自信息量。
信息理论基础
干扰种类：加性干扰、乘性干扰；
加性干扰：与信道输入统计无关 如内部噪声等； ＊输出信号是输入信号与加性干扰相加的结果。 乘性干扰：与信道输入信号大小或特性有关 如放大器放大倍数受温度影响； ＊输出信号是输入信号与乘性干扰相乘的结果。
信息理论基础
第一章
⑤、译码器：
绪论
定义：从信道输出的受到干扰的信号中最大限度提取 信源输出消息的信息； ＊如果没有干扰——信息无损失(如无失真信源编码) ＊如果存在干扰——信息有损失(如限失真信源编码、 有噪信道编码)
第二章
二、条件互信息量
信息的统计度量
事件zk给定条件下，事件xi 和事件yj之间的互信息 量定义为条件互信息量
I ( xi ; y j | zk ) log
p ( xi | y j zk ) p ( xi | zk )
释：①、I(xi ; yj zk) = I(xi ; zk) + I(xi ; yj | zk)
信息理论基础
第一章
§1.2 信息
1、通俗的信息概念
绪论
最普通的概念：信息是一种消息。
例如有人告诉你一条消息。(获得信息？获得多少？) ①、包含许多原来未知的新内容——信息量大 例如：信息论这门课期末不考试——信息量大 ②、包含许多原来知道的旧内容——信息量小 例如：信息论这门课期末考试——信息量小
②推广：
I ( x; yy1 y2 ... yn ) I ( x; y ) I ( x; y1 | y ) I ( x; y2 | yy1 ) ... I ( x; yn | yy1 y2 ... yn 1 )
信息理论基础
第二章
一、引入
信息的统计度量
§2.3 离散集的平均自信息量
1948年，《A Mathematical Theory of Communication》