第二章 信源与信息熵
合集下载
信息论第二章(2)
5 联合自信息量：
若有两个消息xi，yj 同时出现，它们所带有的信息量， 称为联合自信息量
I ( xi y j ) log p( xi y j ) (bit)
6 条件自信息量：
事件xi在事件yj给定的条件下的自信息量，称为条件自 信息量
I ( xi y j ) log p( x｜y j ) （bit） ｜ i
i
j
1 H (( X ))＝(p( xy) log p( xy) H XY H X | Y ) X ,Y
平均互信息与各类熵之间关系的集合图（维拉图）表示：
I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X) = H(X)+H(Y)-H(XY) 图中，左边的圆代表 H(XY)= H(X)+H(Y)- I(X;Y) 随机变量X的熵，右 边的圆代表随机变量 Y的熵，两个圆重叠 H(X|Y) 部分是平均互信息 H(Y|X) I(X;Y)。每个圆减去 =H(X)-I(X;Y) =H(Y)-I(X;Y) I(X;Y)后剩余的部分 代表两个条件熵。 I(X;Y)
i 1 i
n
★定义自信息的数学期望为平均自信息量H
n 1 H ( X ) E log p ( xi ) log p ( xi ) (bit/符号) p ( xi ) i 1
(X)，称为信息熵：
★熵的含义：
① 熵是从整个集合的统计特性来考虑的，它从平均意义上来表征 信源的总体特征。 ② 在信源输出后，信息熵H(X)表示每个消息提供的平均信息量；
复习
3 离散信源的数学模型：
x2 x3 ... ... xn X x1 P ( x) P ( x ) P ( x ) P ( x ) ... ... P( x ) 1 2 3 n 要满足的条件： P ( xi ) 0,
若有两个消息xi，yj 同时出现，它们所带有的信息量， 称为联合自信息量
I ( xi y j ) log p( xi y j ) (bit)
6 条件自信息量：
事件xi在事件yj给定的条件下的自信息量，称为条件自 信息量
I ( xi y j ) log p( x｜y j ) （bit） ｜ i
i
j
1 H (( X ))＝(p( xy) log p( xy) H XY H X | Y ) X ,Y
平均互信息与各类熵之间关系的集合图（维拉图）表示：
I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X) = H(X)+H(Y)-H(XY) 图中，左边的圆代表 H(XY)= H(X)+H(Y)- I(X;Y) 随机变量X的熵，右 边的圆代表随机变量 Y的熵，两个圆重叠 H(X|Y) 部分是平均互信息 H(Y|X) I(X;Y)。每个圆减去 =H(X)-I(X;Y) =H(Y)-I(X;Y) I(X;Y)后剩余的部分 代表两个条件熵。 I(X;Y)
i 1 i
n
★定义自信息的数学期望为平均自信息量H
n 1 H ( X ) E log p ( xi ) log p ( xi ) (bit/符号) p ( xi ) i 1
(X)，称为信息熵：
★熵的含义：
① 熵是从整个集合的统计特性来考虑的，它从平均意义上来表征 信源的总体特征。 ② 在信源输出后，信息熵H(X)表示每个消息提供的平均信息量；
复习
3 离散信源的数学模型：
x2 x3 ... ... xn X x1 P ( x) P ( x ) P ( x ) P ( x ) ... ... P( x ) 1 2 3 n 要满足的条件： P ( xi ) 0,
《信息论与编码》课件1第2章
I(ai)是一个随机变量并不难理解。因为ai发生可以使收 信者获得大小为I(ai)的自信息，然而在信源未发出消息之 前，收信者不仅对ai是否发生具有不确定性，而且对于能 够获得多少自信息也是不确定的。因此，伴随着X=ai的随 机发生而发生的自信息I(ai)是一个随机变量，并且与随机 变量X具有相同的概率分布, 即自信息I(ai)是一个发生概率 为P(X=ai)
如果消息ai已发生，则该消息发生所含有的自信息定 义为
1
1
I (ai ) log P(ai ) log pi
(2.4)
第2章 离散无记忆信源与信息熵
可以很容易地证明, 自信息的定义满足上面提出的四个
(1) 此自信息的定义是根据消息发生的概率建立的一个 工程定义，而不是根据这个消息对人的实际意义而建立的 定义。这一纯粹技术性的定义仅仅抓住了“信息”一词在
(2) 自信息I(ai) 在消息ai发生之前，自信息I(ai)表示ai发生的不确定性; 在消息ai发生以后，自信息I(ai)表示ai所含有的（或提
第2章 离散无记忆信源与信息熵
(3) 在式(2.4)中关于对数的底未作明确规定。这是 因为对数的底仅仅影响到度量的单位，实际中可根据
如果取对数的底为2，则所得信息量的单位为比特 （bit， binary unit），此时logx用lbx
第2章 离散无记忆信源与信息熵
第2章 离散无记忆信源与信息熵
2.1 离散无记忆信源 2.2 自信息和熵 2.3 熵函数的性质 2.4 联合事件的熵及其关系 2.5 连续信源的信息测度 习题2
第2章 离散无记忆信源与信息熵
信息理论的研究对象是以各类信息的获取、表示、 传输和处理为目的的信息系统。图2-1给出了一个典型 的通信系统物理模型。在这样的通信系统中，一个贯 穿始终的、最基本的问题便是信息，即信源输出的是 信息，在系统中传输的是信息，接收者获得的也是信 息。可见，在信息理论的学习和研究中，首先需要对
如果消息ai已发生，则该消息发生所含有的自信息定 义为
1
1
I (ai ) log P(ai ) log pi
(2.4)
第2章 离散无记忆信源与信息熵
可以很容易地证明, 自信息的定义满足上面提出的四个
(1) 此自信息的定义是根据消息发生的概率建立的一个 工程定义，而不是根据这个消息对人的实际意义而建立的 定义。这一纯粹技术性的定义仅仅抓住了“信息”一词在
(2) 自信息I(ai) 在消息ai发生之前，自信息I(ai)表示ai发生的不确定性; 在消息ai发生以后，自信息I(ai)表示ai所含有的（或提
第2章 离散无记忆信源与信息熵
(3) 在式(2.4)中关于对数的底未作明确规定。这是 因为对数的底仅仅影响到度量的单位，实际中可根据
如果取对数的底为2，则所得信息量的单位为比特 （bit， binary unit），此时logx用lbx
第2章 离散无记忆信源与信息熵
第2章 离散无记忆信源与信息熵
2.1 离散无记忆信源 2.2 自信息和熵 2.3 熵函数的性质 2.4 联合事件的熵及其关系 2.5 连续信源的信息测度 习题2
第2章 离散无记忆信源与信息熵
信息理论的研究对象是以各类信息的获取、表示、 传输和处理为目的的信息系统。图2-1给出了一个典型 的通信系统物理模型。在这样的通信系统中，一个贯 穿始终的、最基本的问题便是信息，即信源输出的是 信息，在系统中传输的是信息，接收者获得的也是信 息。可见，在信息理论的学习和研究中，首先需要对
2015秋.信息论.第2章离散信源与信息熵
第2章离散信源与信息熵信号 信号+干扰 消息干扰消息 信源 编码器 信道 译码器 信宿 噪声源通信系统模型信息2.1 信源的分类和描述信源是信息的发源地，可以是人、生物、机器或其他事物。
信源的输出是包含信息的消息。
消息的形式可以是离散的或连续的。
信源输出为连续信号形式（如语音），可用连续随机变量描述。
连续信源←→模拟通信系统信源输出是离散的消息符号（如书信），可用离散随机变量描述。
离散信源←→数字通信系统离散信源…X i…X j…离散无记忆信源：输出符号Xi Xj之间相互无影响；离散有记忆信源：输出符号Xi Xj之间彼此依存。
3离散信源无记忆有记忆发出单个符号发出符号序列马尔可夫信源非马尔可夫信源y j将一粒棋子随意地放在棋盘中的某列；棋子放置的位置是一个随机事件；可看做一个发出单个符号的离散信源。
x i1212,,...,(),(),...,()m m x x x X P p x p x p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦就数学意义来讲，信源就是一个概率场，可用概率空间来描述信源。
由离散随机变量X 表示棋子位置：10()1,()1m i ii p x p x =≤≤=∑i x 其中，代表随机事件的某一结果。
2.2离散信源的信息熵信息的可度量性是信息论建立的基础；香农的信息论用事件发生概率的对数来描述事件的不确定性，得到消息的信息量，建立熵的概念。
2.2.1自信息量–定义2.1 任意随机事件x i 的自信息量定义为：i i i 1(x )log log (x )(x )I P P ==-小概率事件所包含的不确定性大，自信息量大。
大概率事件所包含的不确定性小，自信息量小。
概率为1的确定性事件，自信息量为零。
i i i 1(x )log log (x )(x )I P P ==-信息量的单位与公式中的对数取底有关。
以2为底，单位比特（bit ）；以e 为底，单位奈特（nat ）；()22log log ,log log ln log c a c b b x e x a==⋅–例：棋盘共8列，甲随手一放，将一枚棋子放在了第3列。
4第二章3-熵的计算
q
q
（3）根据概率关系，可以得到联合熵与条件熵的关系： 根据概率关系，可以得到联合熵与条件熵的关系： 联合熵与条件熵的关系
H ( X1 X 2 ) = −∑∑ P(ai a j ) logP(ai a j )
i =1 j =1
q q
q
qபைடு நூலகம்
= −∑∑ P (ai a j ) log( P (ai )P (a j | ai ))
得：
H ( X ) = −∑ P(ai ) logP(ai ) = 1.542( Bit / Symbol)
i =1 3
H ( X 2 / X 1 ) = −∑∑ P(ai a j ) logP(a j / ai ) = 0.87(Bit / Symbol)
i =1 j =1 3
3
3
H ( X 1 X 2 ) = −∑∑ P(ai a j ) logP(ai a j ) = 2.41( Bit / Symbols)
0.71比特/符号
•
从另一角度（来研究信源X的信息熵的近似值） 从另一角度（来研究信源X的信息熵的近似值）：
（ 1 ） 由于信源 X 发出的符号序列中前后两个符号之间有依 由于信源X 赖性，可以先求出在已知前面一个符号X 已知前面一个符号 赖性， 可以先求出在已知前面一个符号Xl＝ai时，信源输出 下一个符号的平均不确定性 的平均不确定性： 下一个符号的平均不确定性：
0.71比特/符号
二维平稳信源X：
条件熵H(X2|X1） 平均符号熵H2(X) 简单信源X符号熵H(X)
H(X2|X1) ≤H2(X) ≤H(X) H(X1X2)=H(X1)+H(X2|X1)=2H2(X)
有记忆平稳信源的联合熵、条件熵、 有记忆平稳信源的联合熵、条件熵、平均符号熵 与无记忆信源熵之间的定量关系。 与无记忆信源熵之间的定量关系。
第2章 信源熵 第1讲 自信息量 与 互信息量
余 映 云南大学
17/38
计算举例
• 对于 2n 进制的数字序列, 假设每一符号的出现完 全随机且概率相等，求任一符号的自信息量。 解：设任一码元 xi 出现概率为 p(xi)，根据题意， p(xi) = 1/ 2n I (xi) = –log(1/ 2n) = n (bit) • 事件的自信息量只与其概率有关，而与它的取值 无关。
余 映 云南大学
18/38
信息量与不确定性的关系
• 信源中某一消息发生的不确定性越大，一旦它发生，并为 收信者收到后，消除的不确定性就越大，获得的信息也就 越大。 • 由于各种原因（例如噪声太大），收信者接收到受干扰的 消息后，对某信息发生的不确定性依然存在或者一点也未 消除时，则收信者获得较少的信息或者说一点也没有获得 信息。
余 映 云南大学 21/38
信息量与不确定性的关系
• 自信息量和不确定度的含义又有区别
– 不确定度只与事件的概率有关，是一个统计量，在静 态状态下也存在； – 自信息量只有该随机事件出现时才给出，不出现时不 给出，因此它是一个动态的概念。
余 映 云南大学
22/38
自信息的含义
• 在事件 xi 发生前：表示事件 xi 发生的不确定性。 • 在事件 xi 发生后：表示事件 xi 所提供的信息量。
余 映 云南大学
19/38
信息量与不确定性的关系
• 信息量的直观定义：
收到某消息获得的信息量＝不确定性减少的量 ＝(收到此消息前关于某事件发生的不确定性) －(收到此消息后关于某事件发生的不确定性) • 在无噪声时，通过信道传输，可以完全不失真地收到消息， 收到此消息后关于某事件发生的不确定性完全消除，此项 为零。因此得 收到某消息获得的信息量 ＝收到此消息前关于某事件发生的不确定性 ＝信源输出的某消息中所含有的信息量
第二章_离散信源与信息熵的关系
给出，为了书写方便以后写成： 和
y1 , y2 , Y q1 , q2 , ym qm
xn Y y1, y2 , Q q( y ), q( y ), p( xn ) ； 1 2
ym q ( ym )
一. Definition of the self-mutual information:
«信 息 论 基 础 »
第二章：信息的度量与信息熵
( The measure of Information &Entropy) §2. 1 自信息与条件自信息
( self—information & conditional self— information) §2. 2 自互信息与条件自互信息 (self—mutual
p ( x ) 则表达当收端已收到某种消息后, 再统计发端的发送 率： y 概率，所以此条件概率称为后验概率(Posterior Probability) 。
§2. 1 自信息与条件自信息 因此我们说事件 xi 以及它所对应的先验概率P( x )而定
i
义出的自信息 I [ p( xi )] ，所表达的不论事件是否有人接收这 个事件它所固有的不确定度，或者说它所能带来的信息 xi p ( ) 量。而消息事件 y j xi nk 它所对应的条件概率 yj 是在收端接收到已干扰的消息后的后验概率,如果当它为1 xi p ( ) 则属于透明传输；若 y j <1，则属于有扰传输。而当 xi p ( ) 后验概率大于先验概率是 y j > P( xi )，说明事件 y j 发生之后多少也解除了事件 xi 的部分不定度，即得到 了事件 X xi 的部分信息。由于概率越大，不定度越小。 从客观上讲，条件自信息一定不会大于无条件的自信息。 同时也反映出要得知一些条件，原事件的不定度一定会 减少，最坏的情况也不过保持不变，即条件与事件无关。
第二章信源及其信息量
X 1 q( X ) 1 3 1 6
2
1 2
3
计算出各事件Байду номын сангаас自信息量列表2-1如下：
消息xi 概率分布q (xi) 自信息量I (xi)
x1 1/3 log 3
x2 1/6 log 6
x3 1/2 log 2
自信息量I(ai)代表两种含义：
1.事件ai发生以前，表示事件发生的先验不确定性
x1 x2 x3 X 3 x0 （3）信源三: 等概信源 q ( X ) 0 . 25 0 . 25 0 . 25 0 . 25 3 熵 H(X3) = -4×0.25 log 0.25 = log4 = 2（比特/符号）
（4）信源四： 信源为确定事件
⑵.平均互信息量
定义xi ∈ X和yj ∈ Y之间的互信息量为I(xi ;yj )，在集合X上对 I(xi ;yj )进行概率加权统计平均，可得I(X;yj)为：
I ( X ; y j ) p xi y j I ( xi ; y j ) p xi y j log
i i
p ( xi y j ) p ( xi )
第2章 离散信源及其信息熵
内容提要： 根据香农对于信息的定义，信息是一个系 统不确定性的度量，尤其在通信系统中， 研究的是信息的处理、传输和存储，所以 对于信息的定量计算是非常重要的。本章 主要研究离散信源下各种信息的定量计算 ，讨论它们的性质和相互关系。
2.1 信源基本分类及其数学模型
在通信系统中，收信者在未收到信息以前， 对信源发出什么样的消息是不确定的，是随机的， 所以可以用随机变量、随机矢量或随机过程来描 述信源输出的消息，或者说用一个样本空间及其 概率测度来描述信源。 不同的信源根据其输出消息的不同的随机性 质进行分类。
2
1 2
3
计算出各事件Байду номын сангаас自信息量列表2-1如下：
消息xi 概率分布q (xi) 自信息量I (xi)
x1 1/3 log 3
x2 1/6 log 6
x3 1/2 log 2
自信息量I(ai)代表两种含义：
1.事件ai发生以前，表示事件发生的先验不确定性
x1 x2 x3 X 3 x0 （3）信源三: 等概信源 q ( X ) 0 . 25 0 . 25 0 . 25 0 . 25 3 熵 H(X3) = -4×0.25 log 0.25 = log4 = 2（比特/符号）
（4）信源四： 信源为确定事件
⑵.平均互信息量
定义xi ∈ X和yj ∈ Y之间的互信息量为I(xi ;yj )，在集合X上对 I(xi ;yj )进行概率加权统计平均，可得I(X;yj)为：
I ( X ; y j ) p xi y j I ( xi ; y j ) p xi y j log
i i
p ( xi y j ) p ( xi )
第2章 离散信源及其信息熵
内容提要： 根据香农对于信息的定义，信息是一个系 统不确定性的度量，尤其在通信系统中， 研究的是信息的处理、传输和存储，所以 对于信息的定量计算是非常重要的。本章 主要研究离散信源下各种信息的定量计算 ，讨论它们的性质和相互关系。
2.1 信源基本分类及其数学模型
在通信系统中，收信者在未收到信息以前， 对信源发出什么样的消息是不确定的，是随机的， 所以可以用随机变量、随机矢量或随机过程来描 述信源输出的消息，或者说用一个样本空间及其 概率测度来描述信源。 不同的信源根据其输出消息的不同的随机性 质进行分类。
2信源与信息熵2
i 1 j 1 n m
• 联合自信息量
I ( xi y j ) log2 p( xi y j )
• 条件自信息量和联合自信息量同样满足非负 性和单调递减性。 • 关系
I ( xi y j ) log2 p( xi ) p( y j / xi ) I ( xi ) I ( y j / xi ) log2 p( y j ) p( xi / y j ) I ( y j ) I ( xi / y j )
信源熵与自信息量的关系1:定性
• 信源熵用以表征信源的平均不确定性：一个 信源，无论是否输出符号，由于具有特定的 概率统计特性，因此具有特定的熵值。 • 信息量则只有当信源输出的符号被接收者收 到后才有意义。平均自信息量是能够消除信 源不确定性时所需信息的量度，即收到一个 信源符号，全部解除了这个符号的不确定性。 或者说获得这样大的信息量后，信源不确定 性就被消除了。
• 平均自信息量：表示信源中发出每个符号平均所能 提供的信息量。它只与信源中各个符号出现的概率 有关，可以用来表示信源输出信息的总体量度。 • 信源X的平均不确定度：表示总体平均意义上的信 源符号的不确定度(不管是否发出)。数值上等于平 均自信息量。 • 这个平均自信息量的表达式和统计物理学中热熵的 表达式很相似。在统计物理学中，热熵是一个物理 系统杂乱性(无序性)的度量。这在概念上也有相似 之处。所以，可以把信源X的平均不确定度称为 “信源熵”。
例2-5/6
• 例2-5(P19):
• 例2-6(P19): • 由于符号间通常存在关联性，实际信息量往 往远远小于理论值。
例2-7
• 例2-7(P19):二元信源的信息熵。
• 自信息量是针对无条件概率计算的，可以在 数学上进行简单的推广：将无条件概率换为 条件概率或联合概率。
• 联合自信息量
I ( xi y j ) log2 p( xi y j )
• 条件自信息量和联合自信息量同样满足非负 性和单调递减性。 • 关系
I ( xi y j ) log2 p( xi ) p( y j / xi ) I ( xi ) I ( y j / xi ) log2 p( y j ) p( xi / y j ) I ( y j ) I ( xi / y j )
信源熵与自信息量的关系1:定性
• 信源熵用以表征信源的平均不确定性：一个 信源，无论是否输出符号，由于具有特定的 概率统计特性，因此具有特定的熵值。 • 信息量则只有当信源输出的符号被接收者收 到后才有意义。平均自信息量是能够消除信 源不确定性时所需信息的量度，即收到一个 信源符号，全部解除了这个符号的不确定性。 或者说获得这样大的信息量后，信源不确定 性就被消除了。
• 平均自信息量：表示信源中发出每个符号平均所能 提供的信息量。它只与信源中各个符号出现的概率 有关，可以用来表示信源输出信息的总体量度。 • 信源X的平均不确定度：表示总体平均意义上的信 源符号的不确定度(不管是否发出)。数值上等于平 均自信息量。 • 这个平均自信息量的表达式和统计物理学中热熵的 表达式很相似。在统计物理学中，热熵是一个物理 系统杂乱性(无序性)的度量。这在概念上也有相似 之处。所以，可以把信源X的平均不确定度称为 “信源熵”。
例2-5/6
• 例2-5(P19):
• 例2-6(P19): • 由于符号间通常存在关联性，实际信息量往 往远远小于理论值。
例2-7
• 例2-7(P19):二元信源的信息熵。
• 自信息量是针对无条件概率计算的，可以在 数学上进行简单的推广：将无条件概率换为 条件概率或联合概率。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
发出符号序列的无记忆信源
——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间没有统计关联性。
需要用随机序列（或随机矢量） X =(X1, X2,…, Xl, …, XL)来描 述信源输出的消息，用联合概率分布p(X1, X2,…, Xl, …, XL)来表 示信源特性。 p (X 1 ) p ( X 2 ) … p (X l ) … p (X L ) 若该信源输出的每个符号是统计独立的，且具有相同的概率 空间，则该信源是离散平稳无记忆信源，亦称为独立同分布 （independently identical distribution，i. i. d.）信源。
发出单个符号的无记忆信源
可用一个离散型随机变量X来描述这个信源输出的消息。 随机变量X的样本空间就是符号集：
A {a1 , a2 ,
X的概率分布为：
, an }
p(ai)是X =ai的先验概率
P { p(a1 ), p(a2 ),
, p(an )}
单符号离散信源的数学模型—概率空间
X a1 P p(a ) 1
——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源。
需要用随机序列（或随机矢量） X =(X1, X2,…, Xl, …, XL)来描 述信源输出的消息，用联合概率分布p(X1, X2,…, Xl, …, XL)来表 示信源特性。 当L=2时，此时信源为X =(X1, X2) ，其概率空间为：
X (a1 , a1 ) P p(a , a ) 1 1
(a1 , a2 ) p(a1 , a2 )
n i , j 1 i j
(an , an ) p(an , an )
p(ai , a j ) 0
p(a , a ) 1
2.1.1 无记忆信源Fra bibliotek---信源的基本特性：具有随机不确定性。
2.1 信源的描述和分类
信源的分类
按照信源发出的消息在时间上和幅度上的分布情况可 将信源分成离散信源和连续信源两大类 离散信源: 文字、数据、电报—随机序列
信源
{ 连续信源: 话音、图像 随机过程
—
连续信源
指发出在时间和幅度上都是连续分布的连续消息 （模拟消息）的信源，如语言、图像、图形等都是 连续消息。
离散信源
指发出在时间和幅度上都是离散分布的离散消息的 信源，如文字、数字、数据等符号都是离散消息。
离散 离散无记忆信源 信源 离散有记忆信源
{
{发出符号序列的无记忆信源 发出符号序列的有记忆信源 { 发出符号序列的马尔可夫信源
发出单个符号的无记忆信源
2.1.1 无记忆信源
离散无记忆信源
所发出的各个符号是相互独立的，发出的符号序列 中的各个符号之间没有统计关联性，各个符号的出 现概率是它自身的先验概率。
发出单个符号的无记忆信源
——指信源每次只发出一个符号代表一个消息， 消息的数量是有限的。
例如扔骰子，每次实验结果必然是1～6点中的某一个面 朝上。每次实验的结果不随实验次数变化，也不与先前 的实验结果相关，因而该信源是单符号无记忆信源。可 用一个离散型随机变量X来描述这个信源输出的消息。
2.1.1 无记忆信源
p( X 1 , X 2 ,
Xl ,
X L ) p( X l ) [ p( X )]L
l 1
L
2.1.2 有记忆信源
发出符号序列的有记忆信源
——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间是相互依赖的。
此时的联合概率表示就需要引入条件概率来反映信源发出的 符号序列中各个符号之间的记忆特征：
2.1 信源的描述和分类
离散信源
指发出在时间和幅度上都是离散分布的离散消息的 信源，如文字、数字、数据等符号都是离散消息。
离散 离散无记忆信源 信源 离散有记忆信源
{
{发出符号序列的无记忆信源 发出符号序列的有记忆信源 { 发出符号序列的马尔可夫信源
发出单个符号的无记忆信源
2.1 信源的描述和分类
第二章 信源与信息熵
2.1 信源的描述和分类
信源 ---产生消息(符号)、消息序列和连续消息的来源。 ---产生随机变量、随机序列和随机过程的源。
在通信系统中收信者在未收到消息以前对信源发出 什么消息是不确定的,是随机的，所以可用随机变量、 随机序列或随机过程来描述信源输出的消息,或者说 用一个样本空间及其概率测度—概率空间来描述信源。
或
R p ( x) X
px ( x) 0,
b
a
pX ( x)dx 1 或
R
pX ( x)dx 1
解释：信源输出的消息也是单符号，但消息的数量是无限的。 符号集A的取值是介于a和b之间的一个连续值，或者取值 为实数集R等。
2.1.1 无记忆信源
发出符号序列的信源
a2 p(a2 )
an p(an )
p(ai ) 0
p (a ) 1
i 1 i
n
2.1.1 无记忆信源
连续信源
——输出在时间和幅度上都是连续分布的消息 。
单符号连续无记忆信源
概率空间： p ( x ) P X
X ( a, b)
——输出信号在幅度和时间上都是连续的。
某一时刻的取值是随机的，通常用随机过程 {x(t )} 来描述。
通信系统中的信号都是平稳遍历的随机过程。
对于确知的随机波形信号，可以进行采样、量化，使其变换 成时间和幅度都是离散的离散信号。
根据时域采样定理，一个频率受限（0 f fm）、时间受限 （0 t tB ）的任何随机波形完全可以由 2tB fm 个采样值来描述。 一般情况下，这些采样值之间是线性相关的，所以随机波形信 源也是一种有记忆信源。
p( x1 , x2 , x3 ,
xL ) x1 ) p( x1 , x2 , xL 1 ) x1 ) p( x1 , x2 , xL 2 ) x1 ) p( xL 1 | xL 2 ,
p( xL | xL 1 , p( xL | xL 1 ,
2.1.2 有记忆信源
随机波形信源
——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间没有统计关联性。
需要用随机序列（或随机矢量） X =(X1, X2,…, Xl, …, XL)来描 述信源输出的消息，用联合概率分布p(X1, X2,…, Xl, …, XL)来表 示信源特性。 p (X 1 ) p ( X 2 ) … p (X l ) … p (X L ) 若该信源输出的每个符号是统计独立的，且具有相同的概率 空间，则该信源是离散平稳无记忆信源，亦称为独立同分布 （independently identical distribution，i. i. d.）信源。
发出单个符号的无记忆信源
可用一个离散型随机变量X来描述这个信源输出的消息。 随机变量X的样本空间就是符号集：
A {a1 , a2 ,
X的概率分布为：
, an }
p(ai)是X =ai的先验概率
P { p(a1 ), p(a2 ),
, p(an )}
单符号离散信源的数学模型—概率空间
X a1 P p(a ) 1
——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源。
需要用随机序列（或随机矢量） X =(X1, X2,…, Xl, …, XL)来描 述信源输出的消息，用联合概率分布p(X1, X2,…, Xl, …, XL)来表 示信源特性。 当L=2时，此时信源为X =(X1, X2) ，其概率空间为：
X (a1 , a1 ) P p(a , a ) 1 1
(a1 , a2 ) p(a1 , a2 )
n i , j 1 i j
(an , an ) p(an , an )
p(ai , a j ) 0
p(a , a ) 1
2.1.1 无记忆信源Fra bibliotek---信源的基本特性：具有随机不确定性。
2.1 信源的描述和分类
信源的分类
按照信源发出的消息在时间上和幅度上的分布情况可 将信源分成离散信源和连续信源两大类 离散信源: 文字、数据、电报—随机序列
信源
{ 连续信源: 话音、图像 随机过程
—
连续信源
指发出在时间和幅度上都是连续分布的连续消息 （模拟消息）的信源，如语言、图像、图形等都是 连续消息。
离散信源
指发出在时间和幅度上都是离散分布的离散消息的 信源，如文字、数字、数据等符号都是离散消息。
离散 离散无记忆信源 信源 离散有记忆信源
{
{发出符号序列的无记忆信源 发出符号序列的有记忆信源 { 发出符号序列的马尔可夫信源
发出单个符号的无记忆信源
2.1.1 无记忆信源
离散无记忆信源
所发出的各个符号是相互独立的，发出的符号序列 中的各个符号之间没有统计关联性，各个符号的出 现概率是它自身的先验概率。
发出单个符号的无记忆信源
——指信源每次只发出一个符号代表一个消息， 消息的数量是有限的。
例如扔骰子，每次实验结果必然是1～6点中的某一个面 朝上。每次实验的结果不随实验次数变化，也不与先前 的实验结果相关，因而该信源是单符号无记忆信源。可 用一个离散型随机变量X来描述这个信源输出的消息。
2.1.1 无记忆信源
p( X 1 , X 2 ,
Xl ,
X L ) p( X l ) [ p( X )]L
l 1
L
2.1.2 有记忆信源
发出符号序列的有记忆信源
——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间是相互依赖的。
此时的联合概率表示就需要引入条件概率来反映信源发出的 符号序列中各个符号之间的记忆特征：
2.1 信源的描述和分类
离散信源
指发出在时间和幅度上都是离散分布的离散消息的 信源，如文字、数字、数据等符号都是离散消息。
离散 离散无记忆信源 信源 离散有记忆信源
{
{发出符号序列的无记忆信源 发出符号序列的有记忆信源 { 发出符号序列的马尔可夫信源
发出单个符号的无记忆信源
2.1 信源的描述和分类
第二章 信源与信息熵
2.1 信源的描述和分类
信源 ---产生消息(符号)、消息序列和连续消息的来源。 ---产生随机变量、随机序列和随机过程的源。
在通信系统中收信者在未收到消息以前对信源发出 什么消息是不确定的,是随机的，所以可用随机变量、 随机序列或随机过程来描述信源输出的消息,或者说 用一个样本空间及其概率测度—概率空间来描述信源。
或
R p ( x) X
px ( x) 0,
b
a
pX ( x)dx 1 或
R
pX ( x)dx 1
解释：信源输出的消息也是单符号，但消息的数量是无限的。 符号集A的取值是介于a和b之间的一个连续值，或者取值 为实数集R等。
2.1.1 无记忆信源
发出符号序列的信源
a2 p(a2 )
an p(an )
p(ai ) 0
p (a ) 1
i 1 i
n
2.1.1 无记忆信源
连续信源
——输出在时间和幅度上都是连续分布的消息 。
单符号连续无记忆信源
概率空间： p ( x ) P X
X ( a, b)
——输出信号在幅度和时间上都是连续的。
某一时刻的取值是随机的，通常用随机过程 {x(t )} 来描述。
通信系统中的信号都是平稳遍历的随机过程。
对于确知的随机波形信号，可以进行采样、量化，使其变换 成时间和幅度都是离散的离散信号。
根据时域采样定理，一个频率受限（0 f fm）、时间受限 （0 t tB ）的任何随机波形完全可以由 2tB fm 个采样值来描述。 一般情况下，这些采样值之间是线性相关的，所以随机波形信 源也是一种有记忆信源。
p( x1 , x2 , x3 ,
xL ) x1 ) p( x1 , x2 , xL 1 ) x1 ) p( x1 , x2 , xL 2 ) x1 ) p( xL 1 | xL 2 ,
p( xL | xL 1 , p( xL | xL 1 ,
2.1.2 有记忆信源
随机波形信源