3.2_离散无记忆信源及其扩展源解析
合集下载
信息论与编码第二章 离散信源新
例2：箱中有赤、橙、黄、青、兰、紫六种颜 色的32只彩球，其中赤16球，澄8球，黄4 球，青2球，蓝、紫各1球。有放回抽取：
x 赤橙黄青蓝紫 p(x) 1/21/41/81/16 1/32 1/3 2
精选ppt
二 离散无记忆的扩展信源
实际情况下，信源输出的消息往往不是单个符号，而是由 许多不同时刻发出的符号所组成的符号序列。设序列由N个 符号组成，若这N个符号取自同一符号集{ a1 , a2 , … , ak}， 并且先后发出的符号彼此间统计独立，我们将这样的信源称
f ( pi ) 0 。
（3）小概率事件发生，会给人 以极大的刺激，提供很大的信息量，即
p(ai ) 0 ， f ( pi ) 。
（4）独立事件的联合信息量，应等于它们各自信息量之和。
先验概率越大I(，a i得)到 的f信[p 息(a 量i越)小 ]， 反l之o 信p 息(a g 量i)越 大lop (1 g a i)
如果各维联合概率分布均与时间起点无关，那么，信源是完全平 稳的。这种各维联合概率分布均与时间起点无关的完全平稳信源 称为离散平稳信源。这时有：
P(xi) = P(xj) P(xi xi+1) = P(xj xj+1) …… P(xi xi+1 … xi+N ) =精选pPpt(xj xj+1 … xi+N )
bj
接收端
先验概率 p(ai ) 是指在接收到一个符号以前，选择符合ai 作为输入符号的概率
后验概率 p(ai bj ) 是指在接收到一个符号bj 以后，选择符合ai 作为输入符号的概率
精选ppt
自信息
解决信息的度量问题 信源发出的消息是随机的。未接收之前，收信者
对信源发出的消息是不确定的。消息传到收信者 后，才消除了不确定性，获得了信息。 某一消息发出的不确定性越大，一旦发生，接收 者消除的不确定性就越大，获得的信息也就越大。 一般而言，收信者所获取的信息量，在数量上等 于通信前后不确定性消除（减少）的量。
x 赤橙黄青蓝紫 p(x) 1/21/41/81/16 1/32 1/3 2
精选ppt
二 离散无记忆的扩展信源
实际情况下，信源输出的消息往往不是单个符号，而是由 许多不同时刻发出的符号所组成的符号序列。设序列由N个 符号组成，若这N个符号取自同一符号集{ a1 , a2 , … , ak}， 并且先后发出的符号彼此间统计独立，我们将这样的信源称
f ( pi ) 0 。
（3）小概率事件发生，会给人 以极大的刺激，提供很大的信息量，即
p(ai ) 0 ， f ( pi ) 。
（4）独立事件的联合信息量，应等于它们各自信息量之和。
先验概率越大I(，a i得)到 的f信[p 息(a 量i越)小 ]， 反l之o 信p 息(a g 量i)越 大lop (1 g a i)
如果各维联合概率分布均与时间起点无关，那么，信源是完全平 稳的。这种各维联合概率分布均与时间起点无关的完全平稳信源 称为离散平稳信源。这时有：
P(xi) = P(xj) P(xi xi+1) = P(xj xj+1) …… P(xi xi+1 … xi+N ) =精选pPpt(xj xj+1 … xi+N )
bj
接收端
先验概率 p(ai ) 是指在接收到一个符号以前，选择符合ai 作为输入符号的概率
后验概率 p(ai bj ) 是指在接收到一个符号bj 以后，选择符合ai 作为输入符号的概率
精选ppt
自信息
解决信息的度量问题 信源发出的消息是随机的。未接收之前，收信者
对信源发出的消息是不确定的。消息传到收信者 后，才消除了不确定性，获得了信息。 某一消息发出的不确定性越大，一旦发生，接收 者消除的不确定性就越大，获得的信息也就越大。 一般而言，收信者所获取的信息量，在数量上等 于通信前后不确定性消除（减少）的量。
中南大学信息论与编码讲义-第三章
3.1率失真函数
• R(δ)的计算
0 1 D= 1 0
例3.1(续)P{U=0}=p,P{U=1}=q。 d(u,v)=0 ● δmin=∑up(u) minv d(u,v)=0。 ● δmax=minv ∑up(u) d(u,v)=min{p,q}=p。 ●对于δmin≤δ≤δmax，选择达到了R(δ)试验信道。即， E(d)=P(U≠V)=δ,求I的最小值。 方法1：由定理1.2知，H(U|V)≤H(δ)。故有 I(U;V)=H(U)-H(U|V)=H(p)-H(U|V)≥H(p)-H(δ)。下面通过证 明可以找到一个试验信道达到这个值H(p)-H(δ)。 定义一个反向试验信道，即给定转移概率p(u|v)。如 图所示：
u v v
= ∑ p (u ) min d (u , v)
u v
率失真函数的性质
• R(δ)是δ≥δmin的下降函数
如果δ1>δ2，则满足E(d)≤kδ2的所有试验信道，一定是满足 E(d)≤kδ1的试验信道，所以Rk (δ1) ≤ Rk (δ2) 。所以 Rk (δ)在δ≥δmin范围内是下降函数。
第三章
离散无记忆信源及率失真函数
离散无记忆信源及率失真函数
一 般 可以 对 信源 输出的信息进行失真处理 , 降 低信 息率 , 提 高传输 效率那么允许在一定程度的失真 条件下 , 能够把信源信 息压 缩到什 么程 度 , 至少需 要 多 少比特的 信 息 率 才 能 描 述 信 源 呢 ? 本章主要讨论在一定程度的失真情况下，所需的最 少信息率。
证明：(略)
率失真函数的性质
• R (δ)在δ≥δmin范围内是连续的。 • 存在一个δmax，当δ≥δmax时，R(δ)=0。
《离散无记忆源》课件
游程编码
将连续出现的相同符号用一个符号和长度表示，以减少码符号数目。
LZ77编码
通过查找输入符号序列中的重复子串，用相对地址表示重复子串，以 减少码符号数目。
解码方法与解码误差
01
解码是编码的反过程，目的是从码符号序列中恢复出原始的符号序列。
02
解码方法主要有最大概率解码和算术解码两种。最大概率解码是根据每个码符 号对应的最大概率进行解码，算术解码是根据实数区间的长度进行解码。
详细描述
互信息用于描述两个随机变量之间的相互依赖程度，基于互 信息的优化设计通过最大化互信息来增强离散无记忆源中变 量之间的关联性，从而提高离散无记忆源的可靠性。
基于失真-率函数的优化设计
总结词
基于失真-率函数的优化设计是一种利用失真-率函数来衡量离散无记忆源的失真程度，并以此为依据 进行优化设计的方法。
详细描述
失真-率函数用于描述离散无记忆源的失真程度，基于失真-率函数的优化设计通过最小化失真-率函数 来降低离散无记忆源的失真度，从而提高离散无记忆源的可靠性。
06
离散无记忆源的未来研究方向
信源编码的算法优化
算法复杂度降低
研究更高效的算法，降低离散无记忆源 信源编码的复杂度，提高实时性和计算 效率。
03
离散无记忆源的编码与解码
信源编码的基本原理
编码过程中应遵循的三个基本原 则是：无失真编码、限失真编码 和强归纳编码。
限失真编码是指在信息损失可接 受的条件下，尽可能地压缩信息 ，以减少所需的带宽或存储空间 。
信源编码是一种将信源输出的符 号序列转换为更短的码符号序列 的过程，目的是减少信息传输所 需的带宽或存储空间。
无失真编码是指编码后的码符号 序列能够完全恢复原始符号序列 ，没有信息损失。
将连续出现的相同符号用一个符号和长度表示，以减少码符号数目。
LZ77编码
通过查找输入符号序列中的重复子串，用相对地址表示重复子串，以 减少码符号数目。
解码方法与解码误差
01
解码是编码的反过程，目的是从码符号序列中恢复出原始的符号序列。
02
解码方法主要有最大概率解码和算术解码两种。最大概率解码是根据每个码符 号对应的最大概率进行解码，算术解码是根据实数区间的长度进行解码。
详细描述
互信息用于描述两个随机变量之间的相互依赖程度，基于互 信息的优化设计通过最大化互信息来增强离散无记忆源中变 量之间的关联性，从而提高离散无记忆源的可靠性。
基于失真-率函数的优化设计
总结词
基于失真-率函数的优化设计是一种利用失真-率函数来衡量离散无记忆源的失真程度，并以此为依据 进行优化设计的方法。
详细描述
失真-率函数用于描述离散无记忆源的失真程度，基于失真-率函数的优化设计通过最小化失真-率函数 来降低离散无记忆源的失真度，从而提高离散无记忆源的可靠性。
06
离散无记忆源的未来研究方向
信源编码的算法优化
算法复杂度降低
研究更高效的算法，降低离散无记忆源 信源编码的复杂度，提高实时性和计算 效率。
03
离散无记忆源的编码与解码
信源编码的基本原理
编码过程中应遵循的三个基本原 则是：无失真编码、限失真编码 和强归纳编码。
限失真编码是指在信息损失可接 受的条件下，尽可能地压缩信息 ，以减少所需的带宽或存储空间 。
信源编码是一种将信源输出的符 号序列转换为更短的码符号序列 的过程，目的是减少信息传输所 需的带宽或存储空间。
无失真编码是指编码后的码符号 序列能够完全恢复原始符号序列 ，没有信息损失。
第5讲离散无记忆信源
尤为重要的是：
一类重要的符号序列有记忆离散信源----马尔可夫 信源： 某一个符号出现的概率只与前面一个或有限个 符号有关，而不依赖更前面的那些符号。
2.2 离散无记忆扩展信源
1. 单个符号的离散信源----每次只发出一个符号代表一 个消息，且消息数量有限。
a1 X P p ( a1 ) a2 p ( a2 ) p ( ar ) ar
则称此信源为离散平稳信源。 注：平稳信源既是指在发出符号不变的前提下，发出符号 概率不依时间而改变，今后不特别说明时，我们提到的信 源都是平稳信源。
2、平稳信源等价条件
p ( xk ) p ( xt ) p( x x ) p( x x ) k k 1 t t 1 (1) p ( xk xk N ) p ( xt xt N )
符号集
X {a1 , a2 ,
r
, ar },
i
p ai 0
p(a ) 1
i 1
2. 发出符号序列离散信源－－每次发出一组 含两个以上的符号序列来代表一个消息
信源X输出用N维随机序列（随机矢量）
X X 1 X2 Xl X N 来描述信源输出的消息，
用联合概率分布来表示信源特性。在上述随机矢量 中，若每个随机变量 X i (i 1, 2,
中每个符号才能使得X i 有r N 个，因此相当如后式中的i1 ,
, iN 都从
注2、
H(XN)=NH(X):每个消息所能提供的平均信息量为每个信源
符号平均信息量的N倍。
X a1 例1、设信源空间 1 P 4 信源的熵？
解：X 2的概率空间为
a2 1 2
第三章离散信源
p(xi )
? 熵函数的自变量是X,表示信源整体，实质上是无
记忆信源平均不确定度的度量。试验后平均信息
量为熵
不确定性＝携载的信息
? 单位：以2为底，比特/符号
? 为什么要用熵这个词与热熵的区别？
例3.2.1二元熵函数是对0－1分布的随机变量所求的熵：
X
0
1
＝
P（x）
p
1-p
则： H(X) = -plogp-(1-p)log(1-p)=H(p)
? ?X
??P( X
? )??
?
? x1,
? ?
p(
x1
),
x2,? , p(x2 ),?
xi ,? , , p(xi
),?
,
p(
xn ? xn )??
,
n i?1
p(xi )
?
1
则信源X的N次扩展信源用 X N来表示,该新信源有 nN个元素(消息序列)
取值于同一集合
，且分量之间
统计{ 独x1 ,立x 2，, ? 则, x由n }随机矢量 X 组成的新信源称为
离散无记忆信源 X的N次扩展信源。
离散无记忆信源 X的N次扩展信源 (或称序列信 源)的熵就是离散信源 X的熵的N倍。
H ( X N ) ? NH ( X )
理解
若单符号离散信源的数 学模型为 :
qN
qN q
? P(? i ) ? ?? P(aik ) ? 1
i?1
i? 1 ik ? 1
有记忆信源：输出的随机序列 X中各随机变量 之间有依赖关系，但记忆长度有限。 m阶马尔可夫信源：信源每次发出的符号只与 前m个符号有关，与更前面的符号无关。
P(xi |? xi?2xi?1xi?1xi?2xi?3 ? xi?m ? xi?1)
3.2_离散无记忆信源及其扩展源
【例3.3】
设离散无记忆信源X的概率空间为：
a2 a3 3 1 1 , p(ai ) 1 i 1 4 4 求：X的二次扩展信源的熵。 a 1 X 1 P 2
【例3.3】
解：二次扩展信源的概率空间为
X2的信 源符号
1 2
Байду номын сангаас
3
4
3.2 离散无记忆信源 及其扩展源
3.2.1 离散无记忆信源
【思考】实际通信过程中，信源发送 消息往往不是单个符号，而是符号序 列。当字符组成序列(如句子或文章) 时，会出现问题。
3.2.1 离散无记忆信源 分两种情况来讨论： 字符之间不存在统计关联的信源 【 两个新问题 】 叫做无记忆信源； 字符之间存在统计关联的信源叫 1. 随着序列的伸延，信源选取字符的 做 有记忆信源。 例如，一个袋子里有 10个黑球和 概率是否随着时间改变 ？ 10个白球。从袋子拿球，有放回的， 2. 序列前后字符之间是否统计相关？ 就相当于无记忆的；无放回的，就 假设所讨论的信源是 平稳信源， 是有记忆 的。 即信源选取字符的概率不随时间改变。
3.2.1 离散无记忆信源
1.
【特点】 ① 信源发出的各符号之间相互独立； ② 发出的符号序列中各个符号之间没 有统计关联性；
③ 各个符号的出现概率是它自身的先 验概率。
3.2.1 离散无记忆信源
2. 【定义】设信源X输出符号集 A={a1,a2,…,aq} ，q是信源发出的消息符 号个数，每个符号发生的概率为 p(ai)(i=1,2,…,q)，这些消息符号彼此互不 相关，且满足：
N次扩展
三、离散无记忆信源的 N次扩展信源
2014.信息论.第3章离散信源
设信源输出符号集合，每次信源输
9
是⼀一个离散⽆无记忆信源，其概率空间为
其中
信源X的符号集合为
N次扩展信源X N符号集合为
15
的有记忆平稳信源（⼆二维平稳信源）输
23
当且仅当X 1和X 2统计独⽴立时等号成⽴立，此时信源相当于⼆二次⽆无记忆扩展；
当X 1和X 2之间相关时，联合熵⼩小于信息熵之和，即⼩小于单个消息符号X 熵的 2 倍。
由于
25
例：设某⼆二维离散信源X =的原始信源X 的信源模型为
中前后两个符号的条件概率
7/92/901/83/41/80
2/11
9/11
(1)若该信源为⼆二维⽆无记忆扩展信源，求信源的熵。
(2)若该信源为⼆二维平稳信源，如表，求信源的熵。
26
原始信源的熵为：
由条件概率确定的条件熵为：
由于符号之间的依赖性，条件熵⽐比信源熵减少了0.672bit
⼆二维离散⽆无记忆扩展信源的熵为：2H(X)=2*1.542=3.084(bit ）7/92/901/83/4
1/8
2/119/11
27
信源X=
平均每发⼀一个消息所能提供的信息量，即联合熵
则每⼀一个信源符号所提供的平均信息量
⼩小于信源X所提供的平均信息量H(X)=1.542bit，这是
由于符号之间的统计相关性所引起的。
28
维平稳信源输出序列每N个符号⼀一组；各
30
则有：
时：
随N的增加是⾮非递增的；
给定时，平均符号熵≥条件熵；
–平均符号熵随N增加是⾮非递增的；
34
解：
35
1,2,......,J 某时刻随机
……
43
44。
离散无记忆的扩展信源精品PPT课件
根据信息熵的定义，N次扩展信源熵
H (X )
H(X
N
)
XN
P( X ) logP( X )
XN
P(i ) log
1
P(i )
可以证明离散无记忆信源 X的 N次扩展信源 X N的熵 等于信源 X的熵值的 N倍，即：
H ( X N ) NH ( X )
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
信息论
2.4 离散无记忆的扩展信源
2.4.1 单符号离散无记忆信源
X P
x1 p( x1 )
x2 ... p(x2 ) ...
xi ... p(xi ) ...
xq
p(
xq
)
0 p(xi ) 1 q
p(xi ) 1
i 1
信源X 的符号集 X x1, x2,..., xq ，每个符号的发生概
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
因为是无记忆的（彼此统计独立），若
i (ai1 ai2 ai3 ...aiN )
则 P(i ) P(ai1 )P(ai2 )...P(aiN ) pi1 pi2 ... piN ,
其中 i1, i2 ,..., iN 1, 2,.., q 又 0 P(i ) 1
电子信息工程学院
信息论
2.4
离散无记忆的扩展信源
3、任意进制离散无记忆信源的N次扩展信源
X
P
x1 p(x1 )
x2 p(x2 )
xi p(xi )
xq p(xq )
N次扩展信源
X N
P
a1 p(a1 )
a2
p(a2 )
aqN p(aqN
H (X )
H(X
N
)
XN
P( X ) logP( X )
XN
P(i ) log
1
P(i )
可以证明离散无记忆信源 X的 N次扩展信源 X N的熵 等于信源 X的熵值的 N倍，即：
H ( X N ) NH ( X )
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
信息论
2.4 离散无记忆的扩展信源
2.4.1 单符号离散无记忆信源
X P
x1 p( x1 )
x2 ... p(x2 ) ...
xi ... p(xi ) ...
xq
p(
xq
)
0 p(xi ) 1 q
p(xi ) 1
i 1
信源X 的符号集 X x1, x2,..., xq ，每个符号的发生概
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
因为是无记忆的（彼此统计独立），若
i (ai1 ai2 ai3 ...aiN )
则 P(i ) P(ai1 )P(ai2 )...P(aiN ) pi1 pi2 ... piN ,
其中 i1, i2 ,..., iN 1, 2,.., q 又 0 P(i ) 1
电子信息工程学院
信息论
2.4
离散无记忆的扩展信源
3、任意进制离散无记忆信源的N次扩展信源
X
P
x1 p(x1 )
x2 p(x2 )
xi p(xi )
xq p(xq )
N次扩展信源
X N
P
a1 p(a1 )
a2
p(a2 )
aqN p(aqN
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1. 该信源输出的消息数是有限的。
2. 该信源每次只输出一个消息，出现 哪一种消息是随机的。 3. 6个不同的消息构成了互不相容的基 本事件集合，不可能出现这个集合 以外的消息。
【引例－例3.1】
【说明】 1. 利用离散型随机变量X来描述这个信 源输出的消息X= (x1,x2, …,x6)，其样 本空间即为符号集A。 2. 根据大量试验结果可得：各个消息 是等概率出现的，均为1/6。 因此， X的概率分布就是信源发出各种不同 符号的先验概率，即p(x1)=1/6， p(x2)=1/6，…，p(x6)=1/6。
X 1 P( X ) p( 1)
2 3 4 p( 2 ) p( 3 ) p( 4 )
N 2
且
p( i ) p(ai 1 ai 2 ) p(aik ) p(aik )
k 1 k 1
序列长度 N=2
例如：投硬币、书信、电报符号等
② 用离散随机变量的概率分布，表示 信源发出不同符号可能性的大小
三、数学模型
若单符号离散无记忆信源可能发出q种不 同的符号{a1,a2,…,aq}，相应的先验概率分别 为p(a1)，p(a2)，…，p(aq)，用随机变量X表 示这个信源，其信源的数学模型就是离散型 的概率空间: X a1 a2 aq
P( X ) P(a1a2 aq ) p(ai )
q
p(a ) 1,
i 1 i
q
0 p(ai ) 1 (i 1,2,, q)
i 1
则称该信源X为离散无记忆信源。
3.2.1 离散无记忆信源
3. 【数学模型】离散无记忆信源可用 信源空间[X,P(X)]来描述：
X a1 P( X ) p (a ) 1 aq p ( a2 ) p ( a q ) a2
【引例－例3.1】
【结论】 1. 抽象后得到该信源的数学模型：
x 1 X 1 P( X ) 6
6
x2 1 6
i
x3 1 6
x4 1 6
x5 1 6
x6 1 6
并满足
p( x ) 1
i 1
【引例－例3.1】
【结论】 2. 该信源输出的消息只可能是符号集 中任何一个，而且每次必定选取其 中一个。
二、二进制离散无记忆信源的 三次扩展信源 【典型实例】
三位PCM（脉码调制）信源由 5 011 7 110
2 001 4 100 6 101 8 111
单符号离散无记忆信源 (最简单的离散信源)
3.2.2 单符号离散信源
一、单符号离散无记忆信源 的定义
【定义】单符号离散无记忆信源 发出的消息是离散、有限的符 号，且一个符号代表一条完整 的消息。
3.2.2 单符号离散信源
二、单符号离散无记忆信源的 表示方法
① 用一个离散随机变量的可能取值， 来表示信源可能发出的不同符号
3.2.3 离散无记忆信源的 N次扩展源 一、二进制离散无记忆信源 的二次扩展信源
1. 典型实例
正交相移键控(QPSK) ：根据两个 二进制符号00、01、10和11进行 相位调制。
信源 X=(X1X2) 1 00, 2 01,3 10, 4 11
一、二进制离散无记忆信源的 二次扩展信源 2. 二次扩展信源的数学模型
当p1 p 2
1 2
0 1 2
1 1 2
四、单符号离散信源的熵
【定义】信源输出的各消息的自信息 量的数学期望为信源的平均自信息量 ，称为单符号离散信源的信息熵，简 称信源熵。
H ( X ) E[ I (ai )] p(ai ) log p(ai )
i 1 q
3.2.1 离散无记忆信源
1.
【特点】 ① 信源发出的各符号之间相互独立； ② 发出的符号序列中各个符号之间没 有统计关联性；
③ 各个符号的出现概率是它自身的先 验概率。
3.2.1 离散无记忆信源
2. 【定义】设信源X输出符号集 A={a1,a2,…,aq} ，q是信源发出的消息符 号个数，每个符号发生的概率为 p(ai)(i=1,2,…,q)，这些消息符号彼此互不 相关，且满足：
3.2 离散无记忆信源 及其扩展源
3.2.1 离散无记忆信源
【思考】实际通信过程中，信源发送 消息往往不是单个符号，而是符号序 列。当字符组成序列(如句子或文章) 时，会出现问题。
3.2.1 离散无记忆信源 分两种情况来讨论： 字符之间不存在统计关联的信源 【 两个新问题 】 叫做无记忆信源； 字符之间存在统计关联的信源叫 1. 随着序列的伸延，信源选取字符的 做 有记忆信源。 例如，一个袋子里有 10个黑球和 概率是否随着时间改变 ？ 10个白球。从袋子拿球，有放回的， 2. 序列前后字符之间是否统计相关？ 就相当于无记忆的；无放回的，就 假设所讨论的信源是 平稳信源， 是有记忆 的。 即信源选取字符的概率不随时间改变。
3.2.2 单符号离散信源
【引例－例3.1】
掷一颗质地均匀的骰子，研究其 下落后朝上一面的点数，将点数作为 这个随机试验的结果，并将这个随机 试验看作是一个信源。该信源输出了 有限个离散数字，组成了符号集 A:{1,2,3,4,5,6}，而且每一个数字代表 一条完整的消息。
【引例－例3.1】
【分析】
P( X ) p (a ) 1
0 p (ai ) 1 且满足 q p(a ) 1 i i 1 (i 1,2, , q )
p ( a2 ) p ( aq )
【例3.2】
对于二进制数字信源X={0,1}，有
X x1 0 x2 1 P p p2 1 x1 0 x2 1 1 p1 p1
2. 该信源每次只输出一个消息，出现 哪一种消息是随机的。 3. 6个不同的消息构成了互不相容的基 本事件集合，不可能出现这个集合 以外的消息。
【引例－例3.1】
【说明】 1. 利用离散型随机变量X来描述这个信 源输出的消息X= (x1,x2, …,x6)，其样 本空间即为符号集A。 2. 根据大量试验结果可得：各个消息 是等概率出现的，均为1/6。 因此， X的概率分布就是信源发出各种不同 符号的先验概率，即p(x1)=1/6， p(x2)=1/6，…，p(x6)=1/6。
X 1 P( X ) p( 1)
2 3 4 p( 2 ) p( 3 ) p( 4 )
N 2
且
p( i ) p(ai 1 ai 2 ) p(aik ) p(aik )
k 1 k 1
序列长度 N=2
例如：投硬币、书信、电报符号等
② 用离散随机变量的概率分布，表示 信源发出不同符号可能性的大小
三、数学模型
若单符号离散无记忆信源可能发出q种不 同的符号{a1,a2,…,aq}，相应的先验概率分别 为p(a1)，p(a2)，…，p(aq)，用随机变量X表 示这个信源，其信源的数学模型就是离散型 的概率空间: X a1 a2 aq
P( X ) P(a1a2 aq ) p(ai )
q
p(a ) 1,
i 1 i
q
0 p(ai ) 1 (i 1,2,, q)
i 1
则称该信源X为离散无记忆信源。
3.2.1 离散无记忆信源
3. 【数学模型】离散无记忆信源可用 信源空间[X,P(X)]来描述：
X a1 P( X ) p (a ) 1 aq p ( a2 ) p ( a q ) a2
【引例－例3.1】
【结论】 1. 抽象后得到该信源的数学模型：
x 1 X 1 P( X ) 6
6
x2 1 6
i
x3 1 6
x4 1 6
x5 1 6
x6 1 6
并满足
p( x ) 1
i 1
【引例－例3.1】
【结论】 2. 该信源输出的消息只可能是符号集 中任何一个，而且每次必定选取其 中一个。
二、二进制离散无记忆信源的 三次扩展信源 【典型实例】
三位PCM（脉码调制）信源由 5 011 7 110
2 001 4 100 6 101 8 111
单符号离散无记忆信源 (最简单的离散信源)
3.2.2 单符号离散信源
一、单符号离散无记忆信源 的定义
【定义】单符号离散无记忆信源 发出的消息是离散、有限的符 号，且一个符号代表一条完整 的消息。
3.2.2 单符号离散信源
二、单符号离散无记忆信源的 表示方法
① 用一个离散随机变量的可能取值， 来表示信源可能发出的不同符号
3.2.3 离散无记忆信源的 N次扩展源 一、二进制离散无记忆信源 的二次扩展信源
1. 典型实例
正交相移键控(QPSK) ：根据两个 二进制符号00、01、10和11进行 相位调制。
信源 X=(X1X2) 1 00, 2 01,3 10, 4 11
一、二进制离散无记忆信源的 二次扩展信源 2. 二次扩展信源的数学模型
当p1 p 2
1 2
0 1 2
1 1 2
四、单符号离散信源的熵
【定义】信源输出的各消息的自信息 量的数学期望为信源的平均自信息量 ，称为单符号离散信源的信息熵，简 称信源熵。
H ( X ) E[ I (ai )] p(ai ) log p(ai )
i 1 q
3.2.1 离散无记忆信源
1.
【特点】 ① 信源发出的各符号之间相互独立； ② 发出的符号序列中各个符号之间没 有统计关联性；
③ 各个符号的出现概率是它自身的先 验概率。
3.2.1 离散无记忆信源
2. 【定义】设信源X输出符号集 A={a1,a2,…,aq} ，q是信源发出的消息符 号个数，每个符号发生的概率为 p(ai)(i=1,2,…,q)，这些消息符号彼此互不 相关，且满足：
3.2 离散无记忆信源 及其扩展源
3.2.1 离散无记忆信源
【思考】实际通信过程中，信源发送 消息往往不是单个符号，而是符号序 列。当字符组成序列(如句子或文章) 时，会出现问题。
3.2.1 离散无记忆信源 分两种情况来讨论： 字符之间不存在统计关联的信源 【 两个新问题 】 叫做无记忆信源； 字符之间存在统计关联的信源叫 1. 随着序列的伸延，信源选取字符的 做 有记忆信源。 例如，一个袋子里有 10个黑球和 概率是否随着时间改变 ？ 10个白球。从袋子拿球，有放回的， 2. 序列前后字符之间是否统计相关？ 就相当于无记忆的；无放回的，就 假设所讨论的信源是 平稳信源， 是有记忆 的。 即信源选取字符的概率不随时间改变。
3.2.2 单符号离散信源
【引例－例3.1】
掷一颗质地均匀的骰子，研究其 下落后朝上一面的点数，将点数作为 这个随机试验的结果，并将这个随机 试验看作是一个信源。该信源输出了 有限个离散数字，组成了符号集 A:{1,2,3,4,5,6}，而且每一个数字代表 一条完整的消息。
【引例－例3.1】
【分析】
P( X ) p (a ) 1
0 p (ai ) 1 且满足 q p(a ) 1 i i 1 (i 1,2, , q )
p ( a2 ) p ( aq )
【例3.2】
对于二进制数字信源X={0,1}，有
X x1 0 x2 1 P p p2 1 x1 0 x2 1 1 p1 p1