2信源与信息熵1
合集下载
信息论与编码 第二章 信源与信息熵
现概率是它自身的先验概率。
无记忆信源
{发出符号序列的无记忆信源
发出单个符号的无记忆信源
{
离散 连续
2.1.1 无记忆信源
发出单个符号的离散无记忆信源
——指信源每次只发出一个符号代表一个消息， 且消息的取值个数是有限的（或可列无限多个）。 例如扔骰子，每次实验结果必然是1～6点中的某一 个面朝上。每次实验的结果不随实验次数变化，也 不与先前的实验结果相关，因而该信源是单符号离
p( X1 , X 2 , X l , X L ) p( X l ) [ p( X )]L
l 1
L
2.1.2 有记忆信源
有记忆信源——在不同时刻发出的符号是相互依赖的。 发出符号序列的有记忆信源 ——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间是相互依赖的。
I=－log2(1/2m)=m bit
2.2.1 自信息量
自信息量I (xi)的特性：
⑴ I (xi)是非负值
⑵ 当p(xi) = 1时， I (xi) = 0
⑶ 当p (xi) = 0时， I (xi) =∞
⑷ I (xi)是先验概率p (xi)的单调递减函数，即 当p (x1)＞p (x2)时， I (x1) ＜ I (x2) ⑸可加性 ： 两个独立事件的联合信息量等于它们分别的信 息量之和。
发出符号序列的无记忆信源
——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间没有统计关联性。
需要用随机序列（或随机矢量） X =(X1, X2,…, Xl, …, XL)来描 述信源输出的消息，用联合概率分布p(X1, X2,…, Xl, …, XL)来表 示信源特性。 p (X 1 ) p (X 2 ) … p (X l ) … p (X L ) 若离散信源输出的每个符号是统计独立的，且具有相同的概 率空间，则该信源是离散平稳无记忆信源，亦称为独立同分布 （independently identical distribution，i. i. d.）信源。
第二章 信源和信息熵
第二章 信源和信息熵
2.1 信源的数学模型及分类
通信系统模型及信息传输模型：
第二章 信源和信息熵
一、离散无记忆信源
例：扔一颗质地均匀的正方体骰子，研究其下落后， 朝上一面的点数。每次试验结果必然是1点、2点、3点、 4点、5点、6点中的某一个面朝上。每次试验只随机出 现其中一种消息，不可能出现这个集合以外的消息， 考察此事件信源的数学模型。
• 平均符号熵就是信源符号序列中平均每个信 源符号所携带的信息量。
• 条件熵≤无条件熵；条件较多的熵≤条件较少 的熵，所以：
第二章 信源和信息熵
离 散 平 稳 信 源 性 质（H1(X)<∞时）：
• 条件熵随N的增加是递减的； • 平均符号熵≥条件熵； • 平均符号熵HN(X)随N增加是递减的； • 极限熵
且：I(X1;X2)＝I(X2;X1)
第二章 信源和信息熵
注意：任何无源处理总是丢失信息的，至多保持原来 的信息，这是信息不可增性的一种表现。
二、离散平稳信源的极限熵 设信源输出一系列符号序列X1,X2, ‥XN 概率分布： 联合熵：
定义序列的平均符号熵＝总和/序列长度，即：
第二章 信源和信息熵
即：收信者所获得的信息量应等于信息传输前 后不确定性的减少的量。
例：设一条电线上串联8个灯泡，且损坏的可 能性为等概，若仅有一个坏灯泡，须获知多少 信息量才可确认？
第二章 信源和信息熵
例解：
测量前，P1(x)＝1/8，存在不确定性： I(P1(x))＝log8＝3bit
第一次测量获得信息量： 第二次测量获得信息量： 第三次测量获得信息量： 每次测量获得1bit信息量，需三次测量可确定坏灯泡
例：运用熵函数的递增性，计算熵函数 H（1/3,1/3,1/6,1/6）的数值。
第2章 信源熵 第1讲 自信息量 与 互信息量
余 映 云南大学
17/38
计算举例
• 对于 2n 进制的数字序列, 假设每一符号的出现完 全随机且概率相等，求任一符号的自信息量。 解：设任一码元 xi 出现概率为 p(xi)，根据题意， p(xi) = 1/ 2n I (xi) = –log(1/ 2n) = n (bit) • 事件的自信息量只与其概率有关，而与它的取值 无关。
余 映 云南大学
18/38
信息量与不确定性的关系
• 信源中某一消息发生的不确定性越大，一旦它发生，并为 收信者收到后，消除的不确定性就越大，获得的信息也就 越大。 • 由于各种原因（例如噪声太大），收信者接收到受干扰的 消息后，对某信息发生的不确定性依然存在或者一点也未 消除时，则收信者获得较少的信息或者说一点也没有获得 信息。
余 映 云南大学 21/38
信息量与不确定性的关系
• 自信息量和不确定度的含义又有区别
– 不确定度只与事件的概率有关，是一个统计量，在静 态状态下也存在； – 自信息量只有该随机事件出现时才给出，不出现时不 给出，因此它是一个动态的概念。
余 映 云南大学
22/38
自信息的含义
• 在事件 xi 发生前：表示事件 xi 发生的不确定性。 • 在事件 xi 发生后：表示事件 xi 所提供的信息量。
余 映 云南大学
19/38
信息量与不确定性的关系
• 信息量的直观定义：
收到某消息获得的信息量＝不确定性减少的量 ＝(收到此消息前关于某事件发生的不确定性) －(收到此消息后关于某事件发生的不确定性) • 在无噪声时，通过信道传输，可以完全不失真地收到消息， 收到此消息后关于某事件发生的不确定性完全消除，此项 为零。因此得 收到某消息获得的信息量 ＝收到此消息前关于某事件发生的不确定性 ＝信源输出的某消息中所含有的信息量
第2章信源与信息熵
7
称为符号x 的先验概率，信源数学模型表示为： 称为符号 i的先验概率，信源数学模型表示为：
X x1 P = p( x ) 1 x2 p( x 2 ) x3 L p( x 3 ) L xn p( x n )
n
称为概率空间， 称为概率空间，其中
长江大学电信学院
长江大学电信学院
12
X
概率论知识复习
1）条件概率
p ( xi | y j ) = p ( xi y j ) p( y j ) , p ( y j | xi ) = p( xi y j ) p( xi )
13
2）联合概率
p ( xi y j ) = p ( y j ) p ( xi | y j ), p( xi y j ) = p ( xi ) p ( y j | xi )
16
长江大学电信学院
X
2.2 离散信源熵和互信息
如果信源具有更多的消息，例如发10个 【例2.3 】如果信源具有更多的消息，例如发 个 数字0,1…..9(例如采用 位十进制树的中文电报 ， 例如采用4位十进制树的中文电报 数字 例如采用 位十进制树的中文电报)， 而且假定这是个消息是等概率分布的，均为0.1， 而且假定这是个消息是等概率分布的，均为 ， 这时信宿仅凭猜测的话，就更难猜了。 这时信宿仅凭猜测的话，就更难猜了。因为信源 发送什么消息更加不确定。 发送什么消息更加不确定。 现在讨论一种极端的情况， 【例2.4 】现在讨论一种极端的情况，信源只发送 一种消息，即永远只发送1或者只发送 或者只发送0， 一种消息，即永远只发送 或者只发送 ，从这样 的信源中我们就不能从中获取任何信息， 的信源中我们就不能从中获取任何信息，也就是 说信源的不确定性为0。 说信源的不确定性为 。
信息论与编码第2章信源与信息熵PPT课件
pji(l)p(ul Si |ul1Sj)
p(Si |Sj)
pji表示从第(l-1)时刻到第l时刻的状态 转移概率，称为一步状态转移概率。 此时，信源的随机状态序列服从马尔
四、 马尔可夫信源的状态转移图
【补充】 马尔可夫信源的状态序列在数学模型上 可以用马尔可夫链的状态转移图来描述 信源。
状态转移图也可称为香农线图。
2. 数学条件
② 信源某一时刻(l)所处的状态只由当前 输出的符号和前一时刻(l-1)信源的状 态唯一确定。 即：
p(ul Si | xl ak,ul1 Sj ) p(Si | ak,Sj )
(Si,Sj S; ak A)
三、 n阶马尔可夫信源的条件
3. 状态转移概率
设信源在第(l-1)时刻处于状态Sj时， 下一时刻转移到Si的状态概率为：
四、 马尔可夫信源的状态转移图
状态转移图的元素
① 每个圆圈代表一个状态。
② 状态之间的有向线段代表某一状态向 另一状态的转移。
③ 有向线的一侧标注发出的某符号ak和 条件概率p(ak|Sj)。 ak:p(ak|Sj)
S1
S2
【例2.5】
设一个二元一阶马尔可夫信源，信 源符号集为A={0,1}，条件概率为 p(0|0)=0.25，p(0|1)=0.50， p(1|0)=0.75，p(1|1)=0.50。 试画出该信源的状态转移图。 【课本P64 例3.5.2】
假设信源发出的消息x用二进码011表示接收到每个二进制码元后得到有关2012128492222符号符号符号2012128502222平均互信息量其中2012128512222熵的性质对称性确定性香农辅助定理最大熵定理条件熵小于无条件熵20121285222222012128532222对称性信息熵相同2012128542222确定性香农辅助定理loglog2012128552222最大熵定理条件熵小于无条件熵2012128562222平均互信息的性质互易性与熵和条件熵及联合熵关系极值性凸性函数性质信息不增性原理2012128572222同理2012128582222互易性2012128592222平均互信息与熵的关系2012128602222互信息量与熵的关系2012128612222极值性2012128622222凸性函数当条件概率分布给定时平均互信息量是输入概率分布的上凸函数当集合x的概率分布保持不变时平均互信息量是条件概率分布的下凸函数2012128632222信息不增性条件下假设在2012128642323离散无记忆信源的序列熵离散有记忆信源的序列熵2012128652323离散无记忆信源的序列熵ililil2012128662323离散无记忆信源的序列熵平均每个符号熵消息熵2012128672323离散有记忆信源的序列熵和消息熵2012128682323eg求信源的序列熵和平均符号熵361191118211342918792012128692323离散有记忆信源的序列熵和消息熵结论1是l的单调非增函数结论3是l的单调非增函数2012128702323马氏链极限熵左边遍历马氏链对于齐次2012128712323右边2012128722323eg求马氏链平均符号熵三个状态2012128732424幅度连续的单个符号信源熵loglimloglim2012128742424幅度连续的单个符号信源熵互信息条件熵联合熵相对熵2012128752424波形信源熵随机波形信源取条件熵相对熵2012128762424最大熵定理具有最大熵当它是均匀分布时变量对于定义域有限的随机限峰功率最大熵定理dxdxdxdxdxdxdxdxdxdxdxdxdxdxdx2012128772424最大熵定理限平均功率最大熵定理
p(Si |Sj)
pji表示从第(l-1)时刻到第l时刻的状态 转移概率，称为一步状态转移概率。 此时，信源的随机状态序列服从马尔
四、 马尔可夫信源的状态转移图
【补充】 马尔可夫信源的状态序列在数学模型上 可以用马尔可夫链的状态转移图来描述 信源。
状态转移图也可称为香农线图。
2. 数学条件
② 信源某一时刻(l)所处的状态只由当前 输出的符号和前一时刻(l-1)信源的状 态唯一确定。 即：
p(ul Si | xl ak,ul1 Sj ) p(Si | ak,Sj )
(Si,Sj S; ak A)
三、 n阶马尔可夫信源的条件
3. 状态转移概率
设信源在第(l-1)时刻处于状态Sj时， 下一时刻转移到Si的状态概率为：
四、 马尔可夫信源的状态转移图
状态转移图的元素
① 每个圆圈代表一个状态。
② 状态之间的有向线段代表某一状态向 另一状态的转移。
③ 有向线的一侧标注发出的某符号ak和 条件概率p(ak|Sj)。 ak:p(ak|Sj)
S1
S2
【例2.5】
设一个二元一阶马尔可夫信源，信 源符号集为A={0,1}，条件概率为 p(0|0)=0.25，p(0|1)=0.50， p(1|0)=0.75，p(1|1)=0.50。 试画出该信源的状态转移图。 【课本P64 例3.5.2】
假设信源发出的消息x用二进码011表示接收到每个二进制码元后得到有关2012128492222符号符号符号2012128502222平均互信息量其中2012128512222熵的性质对称性确定性香农辅助定理最大熵定理条件熵小于无条件熵20121285222222012128532222对称性信息熵相同2012128542222确定性香农辅助定理loglog2012128552222最大熵定理条件熵小于无条件熵2012128562222平均互信息的性质互易性与熵和条件熵及联合熵关系极值性凸性函数性质信息不增性原理2012128572222同理2012128582222互易性2012128592222平均互信息与熵的关系2012128602222互信息量与熵的关系2012128612222极值性2012128622222凸性函数当条件概率分布给定时平均互信息量是输入概率分布的上凸函数当集合x的概率分布保持不变时平均互信息量是条件概率分布的下凸函数2012128632222信息不增性条件下假设在2012128642323离散无记忆信源的序列熵离散有记忆信源的序列熵2012128652323离散无记忆信源的序列熵ililil2012128662323离散无记忆信源的序列熵平均每个符号熵消息熵2012128672323离散有记忆信源的序列熵和消息熵2012128682323eg求信源的序列熵和平均符号熵361191118211342918792012128692323离散有记忆信源的序列熵和消息熵结论1是l的单调非增函数结论3是l的单调非增函数2012128702323马氏链极限熵左边遍历马氏链对于齐次2012128712323右边2012128722323eg求马氏链平均符号熵三个状态2012128732424幅度连续的单个符号信源熵loglimloglim2012128742424幅度连续的单个符号信源熵互信息条件熵联合熵相对熵2012128752424波形信源熵随机波形信源取条件熵相对熵2012128762424最大熵定理具有最大熵当它是均匀分布时变量对于定义域有限的随机限峰功率最大熵定理dxdxdxdxdxdxdxdxdxdxdxdxdxdxdx2012128772424最大熵定理限平均功率最大熵定理
2信源与信息熵1new
• 可以理解，平稳马尔可夫信源肯定是齐次信源。 反 之不成立。(P11)
状态
• 教材P10：为了简化马尔可夫信源的数学处理过程， 引入状态的概念以替代随机向量。
• 状态si ：为了将高阶(m阶)马尔可夫链简化为一阶马 尔可夫链，可以将向量转换为状态变量。含义：一 个长度为m的符号序列！
• 理解：状态的数量是Q=nm；随着信源源源不断地发 出消息，符号序列不断变化，也即：状态不断变化。
• 这个空间共有qN个元素。
(aq aq aq )
p(aq aq aq )
• (对照：教材P9。)
多符号、无记忆、离散信源
• 在某些简单的情况下，信源先后发出的一个个符号
彼此是统计独立的，则N维随机向量的联合概率分布
满足
N
p( X )
p(xi )
i 1
• 即N维随机向量的联合概率分布可用随机向量中单个 随机变量的概率乘积来表示。
• 单符号、无记忆、离散信源 • 发出单个符号的、无记忆、离散信源：输出的都是单个符号
的消息，出现的消息数是有限的且只可能是符号集中的一种， 即符合完备性。若各符号出现的概率已知，则该信源就确定 了；反之，信源已知，则各符号出现的概率就确定了。
• 所以信源出现的符号及其概率分布就决定了信源。数学模型：
• X=(X1,X2,…,Xl,…,XN) • 来描述，其中N可为有限正整数或可数的无限值。 • 最简单的多符号信源是二阶信源。
• 注意理解：各个随机变量的概率空间可能相同，也 可能不同。
• 例如：两次红绿灯的消息、两次投掷硬币的结果、 有放回的两次摸球的结果；一次红绿灯消息加上一 次投掷硬币的结果、无放回的两次摸球的结果。
• 同时，符号的出现具有一定的规律性，所以可以使用随机变 量或者随机向量/矢量等数学理论来研究信息，这就是香农信 息论的基本点。
状态
• 教材P10：为了简化马尔可夫信源的数学处理过程， 引入状态的概念以替代随机向量。
• 状态si ：为了将高阶(m阶)马尔可夫链简化为一阶马 尔可夫链，可以将向量转换为状态变量。含义：一 个长度为m的符号序列！
• 理解：状态的数量是Q=nm；随着信源源源不断地发 出消息，符号序列不断变化，也即：状态不断变化。
• 这个空间共有qN个元素。
(aq aq aq )
p(aq aq aq )
• (对照：教材P9。)
多符号、无记忆、离散信源
• 在某些简单的情况下，信源先后发出的一个个符号
彼此是统计独立的，则N维随机向量的联合概率分布
满足
N
p( X )
p(xi )
i 1
• 即N维随机向量的联合概率分布可用随机向量中单个 随机变量的概率乘积来表示。
• 单符号、无记忆、离散信源 • 发出单个符号的、无记忆、离散信源：输出的都是单个符号
的消息，出现的消息数是有限的且只可能是符号集中的一种， 即符合完备性。若各符号出现的概率已知，则该信源就确定 了；反之，信源已知，则各符号出现的概率就确定了。
• 所以信源出现的符号及其概率分布就决定了信源。数学模型：
• X=(X1,X2,…,Xl,…,XN) • 来描述，其中N可为有限正整数或可数的无限值。 • 最简单的多符号信源是二阶信源。
• 注意理解：各个随机变量的概率空间可能相同，也 可能不同。
• 例如：两次红绿灯的消息、两次投掷硬币的结果、 有放回的两次摸球的结果；一次红绿灯消息加上一 次投掷硬币的结果、无放回的两次摸球的结果。
• 同时，符号的出现具有一定的规律性，所以可以使用随机变 量或者随机向量/矢量等数学理论来研究信息，这就是香农信 息论的基本点。
[数学]信源与信息熵
[数学] 信源与信息熵1. 信源在信息论中，信源是指产生和发送信息的原始来源。
它可以是一个物理设备，如计算机、手机或者是一个概念、事件等。
无论信源是什么，它都可以看作是一个随机变量，可以取多个可能的取值。
举个例子，考虑一个硬币的抛掷过程。
在这个例子中，信源可以是硬币的结果，可以是正面或反面。
硬币抛掷过程是一个随机过程，因此信源可以看作是一个随机变量。
2. 信息熵信息熵是信息论中一个重要的概念，用于度量信源的不确定性或者信息的平均量。
它是由信源的概率分布决定的。
假设信源有n个可能的取值，记为$x_1, x_2, \\ldots, x_n$。
每个取值n n出现的概率为n(n n)，满足$\\sum_{i=1}^n p(x_i)= 1$。
那么，信源的信息熵n定义为$$ H = -\\sum_{i=1}^n p(x_i) \\log p(x_i) $$信息熵的单位通常是比特（bits）或者纳特（nats）。
信息熵可以理解为平均需要多少比特或者纳特来表示信源的一个样本。
当信源的概率分布均匀时，信息熵达到最大值。
相反，当信源的概率分布集中在某几个取值时，信息熵较低。
3. 信息压缩信息熵在信息压缩中起到了重要的作用。
信息压缩是将信息表示为更短的形式，以便更有效地存储和传输。
根据信息论的哈夫曼编码原理，我们可以通过将频繁出现的符号用较短的二进制码表示，而将不经常出现的符号用较长的二进制码表示，从而实现信息的压缩。
在信息压缩过程中，我们可以根据信源的概率分布来选择合适的编码方式，以最小化编码长度和解码的平均长度之和。
4. 信息熵的应用信息熵在各个领域都有着广泛的应用。
在通信领域，信息熵可以用来评估信道的容量。
信道容量是一个信道在单位时间内可以传输的最大信息量。
通过计算信道的信息熵，我们可以确定如何更好地利用信道的带宽和传输速率。
在数据压缩领域，信息熵可以用来评估压缩算法的效果。
一个好的压缩算法应该能够将原始数据的信息量尽可能地减少，从而更高效地存储和传输数据。
第2章 信源与信息熵-1
27
联合自信息、条件自信息与自信息间 的关系
I(xiyj )=- log2p(xi)p(yj|xi)= I(xi)+I (yj|xi)
16
【例2.1 】某二元信源（含有两个不同消息的信源）发 送1的概率0.99，0的概率0.01，信宿仅凭猜测就可以简 单的认为信源发出的消息始终都是1，即使如此，猜错 的概率仅为百分之一。这说明在这种情况下，信源基 本上在发送1，信源的不确定性很小。 【例2.2 】某二元信源发送1和0的概率相等，均为0.5， 这时信宿不依赖通信仅凭猜测的话，猜错的概率高达 50%。这说明在这种情况下，猜测信源发送什么消息 就困难了，因为信源发送什么消息相当不确定。
X 0 1 0 1 p p P 0 1 / 2 1 / 2 1
8
单个连续信源
X (a, b) p ( x) P X
pX(x)为随机变量X的概率密度函数
b
a
p X ( x) 1
19
二、自信息量
1) 定义：一个符号消息 xi 的自信息量为其发生概率的 对数的负数，并记为 I(xi)； I (xi) = -log p(xi) 当p(xi)=0，则 I(xi)→∞；当p(xi)=1，则 I(xi)=0. 2) 自信息量的单位 自信息量的单位与所用对数的底有关：
1º对数的底是2 时，单位为比特 — bit(binary unit) 2º对数的底是 e (自然对数)时，单位为奈特
第二章
信源与信息熵
本章内容
• 信源的分类及基本的信源数学模型描述、自信息 和信息熵的定义及性质、互信息的概念及性质、 信源冗余度的描述等。
本章重点
• 理解信源不确定性的含义，熵函数H(X)的性质、 平均互信息量的定义、性质，联合信源的联合熵、 条件熵，离散平稳信源的信源熵、极限熵等概念 和计算方法。 • 了解马尔可夫信源的定义和计算方法。
联合自信息、条件自信息与自信息间 的关系
I(xiyj )=- log2p(xi)p(yj|xi)= I(xi)+I (yj|xi)
16
【例2.1 】某二元信源（含有两个不同消息的信源）发 送1的概率0.99，0的概率0.01，信宿仅凭猜测就可以简 单的认为信源发出的消息始终都是1，即使如此，猜错 的概率仅为百分之一。这说明在这种情况下，信源基 本上在发送1，信源的不确定性很小。 【例2.2 】某二元信源发送1和0的概率相等，均为0.5， 这时信宿不依赖通信仅凭猜测的话，猜错的概率高达 50%。这说明在这种情况下，猜测信源发送什么消息 就困难了，因为信源发送什么消息相当不确定。
X 0 1 0 1 p p P 0 1 / 2 1 / 2 1
8
单个连续信源
X (a, b) p ( x) P X
pX(x)为随机变量X的概率密度函数
b
a
p X ( x) 1
19
二、自信息量
1) 定义：一个符号消息 xi 的自信息量为其发生概率的 对数的负数，并记为 I(xi)； I (xi) = -log p(xi) 当p(xi)=0，则 I(xi)→∞；当p(xi)=1，则 I(xi)=0. 2) 自信息量的单位 自信息量的单位与所用对数的底有关：
1º对数的底是2 时，单位为比特 — bit(binary unit) 2º对数的底是 e (自然对数)时，单位为奈特
第二章
信源与信息熵
本章内容
• 信源的分类及基本的信源数学模型描述、自信息 和信息熵的定义及性质、互信息的概念及性质、 信源冗余度的描述等。
本章重点
• 理解信源不确定性的含义，熵函数H(X)的性质、 平均互信息量的定义、性质，联合信源的联合熵、 条件熵，离散平稳信源的信源熵、极限熵等概念 和计算方法。 • 了解马尔可夫信源的定义和计算方法。
第二章信源与信息熵
j i, j
I ( X ; Y ) p( yj ) I ( X ; yj ) p( xiyj ) log
p( xi / yj ) p( xi )
I(X;Y)=H(X)-H(X/Y)；I(Y;X)=H(Y)-H(Y/X)=I(X;Y)．
• 3.疑义度或损失熵
条件熵H(X/Y)信道上的干扰和噪声所造成的对信源符号x的平均不确定度．
X 0 P p
二元信源熵为
1 q
H (X ) p log p q log q p log p (1 p ) log(1 p ) H ( p)
信源信息熵H(X)是概率p的函数，通常用 H(p)表示。函数曲线如图
i i
I ( xi) 0; P( xi) 0;0 p( xi) 1
H(X ) 0
• 2.信源熵：表征信源的平均不确定度． 3.平均自信息：平均每个信源符号所能提供的信息 量.大小与信源熵相同.
• 例2.2.3二元信源是离散信源的一个特例。该信源X输出符号只 有两个，设为0和1。输出符号发生的概率分别为p和q，p+q=1。 即信源的概率空间为可得二元信源熵为
2.概率空间
一个离散信源发出的各个符号消息的集合 例如：
X＝｛x1，x2，…，xn｝
它们的概率分别为 P＝｛p(x1)，p(x2)，…，p(xn)｝ p(xi)称为符号xi的先验概率。 把他们写到一起就是概率空间:
X x1 P p( x1)
x2
n
...xn
xiyi 所包含的不确定度在数值上也等于它们的自信息量。
4.条件自信息量:当二者不独立 在给定y条件下，随机事件x所包含的不确定度在数值 上与条件自信息量相同，但两者含义不同。
I ( X ; Y ) p( yj ) I ( X ; yj ) p( xiyj ) log
p( xi / yj ) p( xi )
I(X;Y)=H(X)-H(X/Y)；I(Y;X)=H(Y)-H(Y/X)=I(X;Y)．
• 3.疑义度或损失熵
条件熵H(X/Y)信道上的干扰和噪声所造成的对信源符号x的平均不确定度．
X 0 P p
二元信源熵为
1 q
H (X ) p log p q log q p log p (1 p ) log(1 p ) H ( p)
信源信息熵H(X)是概率p的函数，通常用 H(p)表示。函数曲线如图
i i
I ( xi) 0; P( xi) 0;0 p( xi) 1
H(X ) 0
• 2.信源熵：表征信源的平均不确定度． 3.平均自信息：平均每个信源符号所能提供的信息 量.大小与信源熵相同.
• 例2.2.3二元信源是离散信源的一个特例。该信源X输出符号只 有两个，设为0和1。输出符号发生的概率分别为p和q，p+q=1。 即信源的概率空间为可得二元信源熵为
2.概率空间
一个离散信源发出的各个符号消息的集合 例如：
X＝｛x1，x2，…，xn｝
它们的概率分别为 P＝｛p(x1)，p(x2)，…，p(xn)｝ p(xi)称为符号xi的先验概率。 把他们写到一起就是概率空间:
X x1 P p( x1)
x2
n
...xn
xiyi 所包含的不确定度在数值上也等于它们的自信息量。
4.条件自信息量:当二者不独立 在给定y条件下，随机事件x所包含的不确定度在数值 上与条件自信息量相同，但两者含义不同。
第2章.信源与信息熵
p( x1 , x2 ,, xL ) p( xL | x1 , x2 ,, xL 1 ) p( x1 , x2 ,, xL 1 ) p( xL | xL m , , xL 1 ) p( x1 , x2 ,, xL 1 ) p( xL | xL m , , xL 1 ) p( xL 1 | x1 , x2 ,, xL 2 ) p( x1 , x2 ,, xL 2 ) p( xL | xL m , , xL 1 ) p( xL 1 | xL m1 ,, xL 2 ) p( x1 , x2 ,, xL 2 )
P中第i行元素对应于从某一个状态si 转移到所有状态s j ( s j S )的 第j列元素对应于从所有状态si ( si S )转移到同一个状态s j的转移 概率，列元素之和不一定为1。
29
转移概率。矩阵中的每一行元素都是非负的，且每行之和均为1。
2.1.3 马尔可夫信源
切普曼· 柯尔莫郭洛夫方程 ( k步转移概率pijk )与l (l k )步和k - l步转移概率之间有所谓
表述的复杂度将随着序列长度的增加而增加。 然而实际上信源发出的符号往往只与前若干个符号有较 强的依赖关系，随着长度的增加依赖关系越来越弱，因 此可以根据信源的特征和处理时的需要限制记忆的长度， 使分析简化。
18
2.1.3 马尔可夫信源
马尔可夫信源 当信源的记忆长度为m+1时，该时该发出的符号与前m 个符号有关联性，而与更前面的符号无关。这种有记忆 信源叫做m阶马尔可夫信源，可以用马尔可夫链来描述。
30
2.1.3 马尔可夫信源
切普曼· 柯尔莫郭洛夫方程 由前递推关系式可知，对于齐次马尔可夫链，一步转移 概率完全决定了k步转移概率。 为了确定无条件概率，引入初始概率，令：
P中第i行元素对应于从某一个状态si 转移到所有状态s j ( s j S )的 第j列元素对应于从所有状态si ( si S )转移到同一个状态s j的转移 概率，列元素之和不一定为1。
29
转移概率。矩阵中的每一行元素都是非负的，且每行之和均为1。
2.1.3 马尔可夫信源
切普曼· 柯尔莫郭洛夫方程 ( k步转移概率pijk )与l (l k )步和k - l步转移概率之间有所谓
表述的复杂度将随着序列长度的增加而增加。 然而实际上信源发出的符号往往只与前若干个符号有较 强的依赖关系，随着长度的增加依赖关系越来越弱，因 此可以根据信源的特征和处理时的需要限制记忆的长度， 使分析简化。
18
2.1.3 马尔可夫信源
马尔可夫信源 当信源的记忆长度为m+1时，该时该发出的符号与前m 个符号有关联性，而与更前面的符号无关。这种有记忆 信源叫做m阶马尔可夫信源，可以用马尔可夫链来描述。
30
2.1.3 马尔可夫信源
切普曼· 柯尔莫郭洛夫方程 由前递推关系式可知，对于齐次马尔可夫链，一步转移 概率完全决定了k步转移概率。 为了确定无条件概率，引入初始概率，令：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
且满足 : 0 ≤ P ( a i ) ≤ 1
q
∑ P (a ) = 1
i =1 i
• 例如：对二进制数字与数据信源、投掷硬币等： 例如：对二进制数字与数据信源、投掷硬币等：
单符号、无记忆、 单符号、无记忆、连续信源
• 发出单个符号的、无记忆、连续信源：有些输出的 发出单个符号的、无记忆、连续信源： 消息也是单个符号， 消息也是单个符号，但是符号取值或者消息的数量 是无限的。 例如 测量一节电池的电压。 例如， 是无限的。(例如，测量一节电池的电压。) • 数学模型：连续随机变量的取值范围和概率分布密 数学模型： 度函数。 度函数。
• 全概率公式：P(Y)=∑P(XiY)=∑ P(Xi)*P(Y|Xi) 全概率公式： 公式 ∑ ∑ • 贝叶斯公式：P(Xi|Y)=P(Xi)*P(Y|Xi)/ 贝叶斯公式： 公式 • ∑ P(Xi)*P(Y|Xi)
信源的分类
离散 1. 连续 2. 多符号 单符号 3. 有记忆 无记忆
信源的分类1 信源的分类
• 按照信源发出的消息在时间上和幅度上的分布情况 可将信源分成离散信源和连续信源两大类。 可将信源分成离散信源和连续信源两大类。 • 离散信源是指发出时间和幅度上都是离散分布的离 离散信源是指发出时间和幅度上都是离散分布的离 是指发出时间和幅度上都是离散 散消息的信源，如文字、数字、 散消息的信源，如文字、数字、数据等符号都是离 散消息。 散消息。 • 连续信源是指发出在时间或幅度上是连续分布的连 连续信源是指发出在时间或幅度上是连续分布的连 是指发出在时间或幅度上是连续 模拟消息的信源， 续/模拟消息的信源，如语音、图像、图形等都是连 模拟消息的信源 如语音、图像、 续消息。 续消息。
信源的分类3 信源的分类
• 对于发出多个符号的信源(多符号、符号序列信源 ： 对于发出多个符号的信源 多符号 符号序列信源) 多个符号的信源 多符号、 关联， 按照信源发出的多个符号彼此之间是否存在关联 按照信源发出的多个符号彼此之间是否存在关联， 还可分为无记忆信源和有记忆信源。 还可分为无记忆信源和有记忆信源。 • 无记忆信源是指所发出的各个符号之间是相互独立 无记忆信源是指所发出的各个符号之间是相互独立 的，发出的符号序列中的各个符号之间没有统计关 联性，各个符号的出现概率是它自身的先验概率。 先验概率 联性，各个符号的出现概率是它自身的先验概率。 (例如，有放回、两次摸球。) 例如， 例如 有放回、两次摸球。 • 有记忆信源是指发出的各个符号之间不是相互独立 有记忆信源是指发出的各个符号之间不是相互独立 各个符号出现的概率是有关联的。 例如 例如， 的，各个符号出现的概率是有关联的。(例如，无放 两次摸球。 回、两次摸球。)
多符号、无记忆、 多符号、无记忆、离散信源
• 在某些简单的情况下，信源先后发出的一个个符号 在某些简单的情况下， 彼此是统计独立的 彼此是统计独立的，则N维随机向量的联合概率分布 统计独立 维随机向量的联合概率分布 满足
• 客观信源的基本特性是具有随机、不确定性。当出现的符号 客观信源的基本特性是具有随机、不确定性 随机 是随机的，才能载荷信息。如果符号是确定的且已知， 是随机的，才能载荷信息。如果符号是确定的且已知，那么 该消息就没有包含信息。从数学上看，由于信息的不确定性， 该消息就没有包含信息。从数学上看，由于信息的不确定性， 信源可以认为是产生随机变量、随机向量 矢量 矢量、 信源可以认为是产生随机变量、随机向量/矢量、随机序列和 随机过程的源。 随机过程的源。 • 同时，符号的出现具有一定的规律性，所以可以使用随机变 同时，符号的出现具有一定的规律性， 规律性 量或者随机向量/矢量等数学理论来研究信息， 量或者随机向量 矢量等数学理论来研究信息，这就是香农信 矢量等数学理论来研究信息 息论的基本点。 息论的基本点。 • 在经典的香农信息论中，讨论信源的概率统计特性和基于此 在经典的香农信息论中， 的客观概率信息。 的客观概率信息。
多符号的序列信源
• 实际上，很多离散信源每次发出的消息总是由2个以 实际上，很多离散信源每次发出的消息总是由 个以 构成。 上的符号序列构成 上的符号序列构成。 • 描述一个符号需要一个离散型或连续型随机变量， 描述一个符号需要一个离散型或连续型随机变量， 所以描述此类多符号信源发出的符号序列构成的消 息应该使用时间或空间上离散的一系列随机变量， 息应该使用时间或空间上离散的一系列随机变量， 随机向量/矢量 这样，信源的输出可用N维 矢量。 即随机向量 矢量。这样，信源的输出可用 维随机 向量/矢量 向量 矢量 • X=(X1,X2,…,Xl,…,XN) • 来描述，其中N可为有限正整数或可数的无限值。 来描述，其中 可为有限正整数或可数的无限值 可为有限正整数或可数的无限值。 • 最简单的多符号信源是二阶信源。 最简单的多符号信源是二阶信源。 二阶信源
∑
i=1
p ( x i y j ) = p ( y j ),
∑
j
j =1
p ( xi y j ) = p ( xi ) p ( y 当 X 与 Y 相互独立时
/ xi ) = p ( y j ) p ( xi / y j ) , p(y
j
/ x i ) = p ( y j ), p (xi y j )
信源的分类2 信源的分类
• 根据信源发出的符号数目可以分为发出单个符号和发出多个 根据信源发出的符号数目可以分为发出单个符号和发出多个 符号数目 符号的信源。 符号的信源。 • 发出单个符号的信源是指信源每次只发出一个符号代表一个 发出单个符号的信源是指信源每次只发出一个符号代表一个 单个符号 消息。 例如 一次红绿灯的消息、一次投掷硬币的结果。 例如： 消息。(例如：一次红绿灯的消息、一次投掷硬币的结果。) 信源用随机变量的概率分布空间(离散 或者概率分布密度空 信源用随机变量的概率分布空间 离散)或者概率分布密度空 离散 连续)来表示 间(连续 来表示。 连续 来表示。 • 发出符号序列的信源是指信源每次发出一组含二个以上的符 发出符号序列的信源是指信源每次发出一组含二个以上的符 符号序列 号序列代表一个消息。 例如 两次红绿灯的消息、 例如： 号序列代表一个消息。 (例如：两次红绿灯的消息、两次投掷 硬币的结果、 一次红绿灯消息加上一次投掷硬币的结果。 信 硬币的结果、 一次红绿灯消息加上一次投掷硬币的结果。)信 源用随机向量/矢量、随机序列或者随机过程来表示。 源用随机向量 矢量、随机序列或者随机过程来表示。 矢量
j
∑
m
n
i =1
p ( x i ) = 1, p(y
∑
m
j =1
p ( y j ) = 1,∑ p ( x i / y j ) = 1,
i =1
n
∑
(3) (4) (5 )
j =1 n
j
/ x i ) = 1,
∑ ∑
j =1 m
m
n
i=1
p ( xi y j ) = 1 p ( xi y j ) = p ( xi )
• 信源的N重概率空间为： 信源的 重概率空间为： 重概率空间为
( a1 a1 L a1 ) L X p ( x) = p ( a1 a1 L a1 ) L
N
(a q a q L a q ) p (a q a q L a q )
• 这个空间共有 N个元素。 这个空间共有q 个元素。 • (对照：教材P9。) 对照：教材 。 对照
p ( x i / y j ) = p ( x i ), p ( x i y j ) = p ( x i ) p ( y j ) (6 ) p (xi / y j ) = p ( xi y j )
∑
n
, p(y
j
/ xi ) =
i=1
p ( xi y j )
∑
m
j =1
p ( xi y j )
• 随机变量的数学期望 随机变量的数学期望E: 数学期望 • • 离散型随机变量 离散型随机变量E(X)=∑Xi*P(Xi) 随机变量 ∑ 连续型随机变量 连续型随机变量
第2章 信源与信息熵 章
• 信源是信息的来源。例如声音、文字、图像和数据 信源是信息的来源。例如声音、文字、 等。 • 在信息论中，信源是产生消息(符号 、消息 符号 序 在信息论中，信源是产生消息 符号 消息(符号 符号)、 符号)序 列和连续消息的来源； 列和连续消息的来源；信源输出是以符号形式出现 的具体消息。 的具体消息。
2.1 信源的描述与分类
• 实际应用中分析信源所采用的方法往往要由信源的 特性而定。 特性而定。
• 不同类型的信源采用不同的数学模型进行表示。 不同类型的信源采用不同的数学模型进行表示。
概率论的常用公式
随机变量 (1 ) (2) X , Y 分别取值于集合 { x1 , x 2 ,L x i ,L , x n } / x i ), p ( x i y j ) ≤ 1 和 { y1 , y 2 ,L y i ,L , y m } : 0 ≤ p ( x i ) , p ( y j ), p ( x i / y j ), p ( y
X (a ,b ) p ( x) = p ( x) 并满足 或 R p ( x) p ( x ) dx = 1
∫
b a
p ( x ) dx = 1 或
∫
R
• 在有些情况下，可以将符号的连续取值进行量化或 在有些情况下，可以将符号的连续取值进行量化或 量化 离散化，将符号取值转换成有限的或可数的离散值， 离散化，将符号取值转换成有限的或可数的离散值， 从而就可以把连续信源转换成离散信源来处理。 从而就可以把连续信源转换成离散信源来处理。
• 注意理解：各个随机变量的概率空间可能相同，也 注意理解：各个随机变量的概率空间可能相同， 可能不同 不同。 可能不同。 • 例如：两次红绿灯的消息、两次投掷硬币的结果、 例如：两次红绿灯的消息、两次投掷硬币的结果、 有放回的两次摸球的结果； 有放回的两次摸球的结果；一次红绿灯消息加上一 次投掷硬币的结果、无放回的两次摸球的结果。 次投掷硬币的结果、无放回的两次摸球的结果。
q
∑ P (a ) = 1
i =1 i
• 例如：对二进制数字与数据信源、投掷硬币等： 例如：对二进制数字与数据信源、投掷硬币等：
单符号、无记忆、 单符号、无记忆、连续信源
• 发出单个符号的、无记忆、连续信源：有些输出的 发出单个符号的、无记忆、连续信源： 消息也是单个符号， 消息也是单个符号，但是符号取值或者消息的数量 是无限的。 例如 测量一节电池的电压。 例如， 是无限的。(例如，测量一节电池的电压。) • 数学模型：连续随机变量的取值范围和概率分布密 数学模型： 度函数。 度函数。
• 全概率公式：P(Y)=∑P(XiY)=∑ P(Xi)*P(Y|Xi) 全概率公式： 公式 ∑ ∑ • 贝叶斯公式：P(Xi|Y)=P(Xi)*P(Y|Xi)/ 贝叶斯公式： 公式 • ∑ P(Xi)*P(Y|Xi)
信源的分类
离散 1. 连续 2. 多符号 单符号 3. 有记忆 无记忆
信源的分类1 信源的分类
• 按照信源发出的消息在时间上和幅度上的分布情况 可将信源分成离散信源和连续信源两大类。 可将信源分成离散信源和连续信源两大类。 • 离散信源是指发出时间和幅度上都是离散分布的离 离散信源是指发出时间和幅度上都是离散分布的离 是指发出时间和幅度上都是离散 散消息的信源，如文字、数字、 散消息的信源，如文字、数字、数据等符号都是离 散消息。 散消息。 • 连续信源是指发出在时间或幅度上是连续分布的连 连续信源是指发出在时间或幅度上是连续分布的连 是指发出在时间或幅度上是连续 模拟消息的信源， 续/模拟消息的信源，如语音、图像、图形等都是连 模拟消息的信源 如语音、图像、 续消息。 续消息。
信源的分类3 信源的分类
• 对于发出多个符号的信源(多符号、符号序列信源 ： 对于发出多个符号的信源 多符号 符号序列信源) 多个符号的信源 多符号、 关联， 按照信源发出的多个符号彼此之间是否存在关联 按照信源发出的多个符号彼此之间是否存在关联， 还可分为无记忆信源和有记忆信源。 还可分为无记忆信源和有记忆信源。 • 无记忆信源是指所发出的各个符号之间是相互独立 无记忆信源是指所发出的各个符号之间是相互独立 的，发出的符号序列中的各个符号之间没有统计关 联性，各个符号的出现概率是它自身的先验概率。 先验概率 联性，各个符号的出现概率是它自身的先验概率。 (例如，有放回、两次摸球。) 例如， 例如 有放回、两次摸球。 • 有记忆信源是指发出的各个符号之间不是相互独立 有记忆信源是指发出的各个符号之间不是相互独立 各个符号出现的概率是有关联的。 例如 例如， 的，各个符号出现的概率是有关联的。(例如，无放 两次摸球。 回、两次摸球。)
多符号、无记忆、 多符号、无记忆、离散信源
• 在某些简单的情况下，信源先后发出的一个个符号 在某些简单的情况下， 彼此是统计独立的 彼此是统计独立的，则N维随机向量的联合概率分布 统计独立 维随机向量的联合概率分布 满足
• 客观信源的基本特性是具有随机、不确定性。当出现的符号 客观信源的基本特性是具有随机、不确定性 随机 是随机的，才能载荷信息。如果符号是确定的且已知， 是随机的，才能载荷信息。如果符号是确定的且已知，那么 该消息就没有包含信息。从数学上看，由于信息的不确定性， 该消息就没有包含信息。从数学上看，由于信息的不确定性， 信源可以认为是产生随机变量、随机向量 矢量 矢量、 信源可以认为是产生随机变量、随机向量/矢量、随机序列和 随机过程的源。 随机过程的源。 • 同时，符号的出现具有一定的规律性，所以可以使用随机变 同时，符号的出现具有一定的规律性， 规律性 量或者随机向量/矢量等数学理论来研究信息， 量或者随机向量 矢量等数学理论来研究信息，这就是香农信 矢量等数学理论来研究信息 息论的基本点。 息论的基本点。 • 在经典的香农信息论中，讨论信源的概率统计特性和基于此 在经典的香农信息论中， 的客观概率信息。 的客观概率信息。
多符号的序列信源
• 实际上，很多离散信源每次发出的消息总是由2个以 实际上，很多离散信源每次发出的消息总是由 个以 构成。 上的符号序列构成 上的符号序列构成。 • 描述一个符号需要一个离散型或连续型随机变量， 描述一个符号需要一个离散型或连续型随机变量， 所以描述此类多符号信源发出的符号序列构成的消 息应该使用时间或空间上离散的一系列随机变量， 息应该使用时间或空间上离散的一系列随机变量， 随机向量/矢量 这样，信源的输出可用N维 矢量。 即随机向量 矢量。这样，信源的输出可用 维随机 向量/矢量 向量 矢量 • X=(X1,X2,…,Xl,…,XN) • 来描述，其中N可为有限正整数或可数的无限值。 来描述，其中 可为有限正整数或可数的无限值 可为有限正整数或可数的无限值。 • 最简单的多符号信源是二阶信源。 最简单的多符号信源是二阶信源。 二阶信源
∑
i=1
p ( x i y j ) = p ( y j ),
∑
j
j =1
p ( xi y j ) = p ( xi ) p ( y 当 X 与 Y 相互独立时
/ xi ) = p ( y j ) p ( xi / y j ) , p(y
j
/ x i ) = p ( y j ), p (xi y j )
信源的分类2 信源的分类
• 根据信源发出的符号数目可以分为发出单个符号和发出多个 根据信源发出的符号数目可以分为发出单个符号和发出多个 符号数目 符号的信源。 符号的信源。 • 发出单个符号的信源是指信源每次只发出一个符号代表一个 发出单个符号的信源是指信源每次只发出一个符号代表一个 单个符号 消息。 例如 一次红绿灯的消息、一次投掷硬币的结果。 例如： 消息。(例如：一次红绿灯的消息、一次投掷硬币的结果。) 信源用随机变量的概率分布空间(离散 或者概率分布密度空 信源用随机变量的概率分布空间 离散)或者概率分布密度空 离散 连续)来表示 间(连续 来表示。 连续 来表示。 • 发出符号序列的信源是指信源每次发出一组含二个以上的符 发出符号序列的信源是指信源每次发出一组含二个以上的符 符号序列 号序列代表一个消息。 例如 两次红绿灯的消息、 例如： 号序列代表一个消息。 (例如：两次红绿灯的消息、两次投掷 硬币的结果、 一次红绿灯消息加上一次投掷硬币的结果。 信 硬币的结果、 一次红绿灯消息加上一次投掷硬币的结果。)信 源用随机向量/矢量、随机序列或者随机过程来表示。 源用随机向量 矢量、随机序列或者随机过程来表示。 矢量
j
∑
m
n
i =1
p ( x i ) = 1, p(y
∑
m
j =1
p ( y j ) = 1,∑ p ( x i / y j ) = 1,
i =1
n
∑
(3) (4) (5 )
j =1 n
j
/ x i ) = 1,
∑ ∑
j =1 m
m
n
i=1
p ( xi y j ) = 1 p ( xi y j ) = p ( xi )
• 信源的N重概率空间为： 信源的 重概率空间为： 重概率空间为
( a1 a1 L a1 ) L X p ( x) = p ( a1 a1 L a1 ) L
N
(a q a q L a q ) p (a q a q L a q )
• 这个空间共有 N个元素。 这个空间共有q 个元素。 • (对照：教材P9。) 对照：教材 。 对照
p ( x i / y j ) = p ( x i ), p ( x i y j ) = p ( x i ) p ( y j ) (6 ) p (xi / y j ) = p ( xi y j )
∑
n
, p(y
j
/ xi ) =
i=1
p ( xi y j )
∑
m
j =1
p ( xi y j )
• 随机变量的数学期望 随机变量的数学期望E: 数学期望 • • 离散型随机变量 离散型随机变量E(X)=∑Xi*P(Xi) 随机变量 ∑ 连续型随机变量 连续型随机变量
第2章 信源与信息熵 章
• 信源是信息的来源。例如声音、文字、图像和数据 信源是信息的来源。例如声音、文字、 等。 • 在信息论中，信源是产生消息(符号 、消息 符号 序 在信息论中，信源是产生消息 符号 消息(符号 符号)、 符号)序 列和连续消息的来源； 列和连续消息的来源；信源输出是以符号形式出现 的具体消息。 的具体消息。
2.1 信源的描述与分类
• 实际应用中分析信源所采用的方法往往要由信源的 特性而定。 特性而定。
• 不同类型的信源采用不同的数学模型进行表示。 不同类型的信源采用不同的数学模型进行表示。
概率论的常用公式
随机变量 (1 ) (2) X , Y 分别取值于集合 { x1 , x 2 ,L x i ,L , x n } / x i ), p ( x i y j ) ≤ 1 和 { y1 , y 2 ,L y i ,L , y m } : 0 ≤ p ( x i ) , p ( y j ), p ( x i / y j ), p ( y
X (a ,b ) p ( x) = p ( x) 并满足 或 R p ( x) p ( x ) dx = 1
∫
b a
p ( x ) dx = 1 或
∫
R
• 在有些情况下，可以将符号的连续取值进行量化或 在有些情况下，可以将符号的连续取值进行量化或 量化 离散化，将符号取值转换成有限的或可数的离散值， 离散化，将符号取值转换成有限的或可数的离散值， 从而就可以把连续信源转换成离散信源来处理。 从而就可以把连续信源转换成离散信源来处理。
• 注意理解：各个随机变量的概率空间可能相同，也 注意理解：各个随机变量的概率空间可能相同， 可能不同 不同。 可能不同。 • 例如：两次红绿灯的消息、两次投掷硬币的结果、 例如：两次红绿灯的消息、两次投掷硬币的结果、 有放回的两次摸球的结果； 有放回的两次摸球的结果；一次红绿灯消息加上一 次投掷硬币的结果、无放回的两次摸球的结果。 次投掷硬币的结果、无放回的两次摸球的结果。