3.2_离散无记忆信源及其扩展源解析

单符号离散无记忆信源 (最简单的离散信源)
3.2.2 单符号离散信源
一、单符号离散无记忆信源 的定义
【定义】单符号离散无记忆信源 发出的消息是离散、有限的符 号，且一个符号代表一条完整 的消息。
3.2.2 单符号离散信源
二、单符号离散无记忆信源的 表示方法
① 用一个离散随机变量的可能取值， 来表示信源可能发出的不同符号
3.2 离散无记忆信源 及其扩展源
3.2.1 离散无记忆信源
【思考】实际通信过程中，信源发送 消息往往不是单个符号，而是符号序 列。当字符组成序列(如句子或文章) 时，会出现问题。
3.2.1 离散无记忆信源 分两种情况来讨论： 字符之间不存在统计关联的信源 【 两个新问题 】 叫做无记忆信源； 字符之间存在统计关联的信源叫 1. 随着序列的伸延，信源选取字符的 做 有记忆信源。 例如，一个袋子里有 10个黑球和 概率是否随着时间改变 ？ 10个白球。从袋子拿球，有放回的， 2. 序列前后字符之间是否统计相关？ 就相当于无记忆的；无放回的，就 假设所讨论的信源是 平稳信源， 是有记忆 的。 即信源选取字符的概率不随时间改变。
X 1 P( X ) p( 1)
2 3 4 p( 2 ) p( 3 ) p( 4 )
N 2



且
p( i ) p(ai 1 ai 2 ) p(aik ) p(aik )
k 1 k 1

序列长度 N=2
3.2.1 离散无记忆信源
1.
【特点】 ① 信源发出的各符号之间相互独立； ② 发出的符号序列中各个符号之间没 有统计关联性；
③ 各个符号的出现概率是它自身的先 验概率。
3.2.1 离散无记忆信源
2. 【定义】设信源X输出符号集 A={a1,a2,…,aq} ，q是信源发出的消息符 号个数，每个符号发生的概率为 p(ai)(i=1,2,…,q)，这些消息符号彼此互不 相关，且满足：
二、二进制离散无记忆信源的 三次扩展信源 【典型实例】
三位PCM（脉码调制）信源由8个符 号组成：
1 000 3 010 5 011 7 110

2 001 4 100 6 101 8 111
3.2.2 单符号离散信源
【引例－例3.1】
掷一颗质地均匀的骰子，研究其 下落后朝上一面的点数，将点数作为 这个随机试验的结果，并将这个随机 试验看作是一个信源。该信源输出了 有限个离散数字，组成了符号集 A:{1,2,3,4,5,6}，而且每一个数字代表 一条完整的消息。
【引例－例3.1】
【分析】
P( X ) P(a1a2 aq ) p(ai )
q
p(a ) 1,
i 1 i
q
0 p(ai ) 1 (i 1,2,, q)
i 1
则称该信源X为离散无记忆信源。
3.2.1 离散无记忆信源
3. 【数学模型】离散无记忆信源可用 信源空间[X,P(X)]来描述：
X a1 P( X ) p (a ) 1 aq p ( a2 ) p ( a q ) a2
1. 该信源输出的消息数是有限的。
2. 该信源每次只输出一个消息，出现 哪一种消息是随机的。 3. 6个不同的消息构成了互不相容的基 本事件集合，不可能出现这个集合 以外的消息。
【引例－例3.1】
【说明】 1. 利用离散型随机变量X来描述这个信 源输出的消息X= (x1,x2, …,x6)，其样 本空间即为符号集A。 2. 根据大量试验结果可得：各个消息 是等概率出现的，均为1/6。 因此， X的概率分布就是信源发出各种不同 符号的先验概率，即p(x1)=1/6， p(x2)=1/6，…，p(x6)=1/6。
P( X ) p (a ) 1
0 p (ai ) 1 且满足 q p(a ) 1 i i 1 (i 1,2, , q )
p ( a2 ) p ( aq )
【例3.2】
对于二进制数字信源X={0,1}，有
X x1 0 x2 1 P p p2 1 x1 0 x2 1 1 p1 p1
【引例－例3.1】
【结论】 1. 抽象后得到该信源的数学模型：
x 1 X 1 P( X ) 6
6
x2 1 6
i
x3 1 6
x4 1 6
x5 1 6
x6 1 6
并满足
p( x ) 1
i 1
【引例－例3.1】
【结论】 2. 该信源输出的消息只可能是符号集 中任何一个，而且每次必定选取其 中一个。
当p1 p 2

1 2
0 1 2
1 1 2
四、单符号离散信源的熵
【定义】信源输出的各消息的自信息 量的数学期望为信源的平均自信息量 ，称为单符号离散信源的信息熵，简 称信源熵。
H ( X ) E[ I (ai )] p(ai ) log p(ai )
i 1 q
例如：投硬币、书信、电报符号等
② 用离散随机变量的概率分布，表示 信源发出不同符号可能性的大小
三、数学模型
若单符号离散无记忆信源可能发出q种不 同的符号{a1,a2,…,aq}，相应的先验概率分别 为p(a1)，p(a2)，…，p(aq)，用随机变量X表 示这个信源，其信源的数学模型就是离散型 的概率空间: X a1 a2 aq
3.2.3 离散无记忆信源的 N次扩展源 一、二进制离散无记忆信源 的二次扩展信源
1. 典型实例
正交相Leabharlann Baidu键控(QPSK) ：根据两个 二进制符号00、01、10和11进行 相位调制。
信源 X=(X1X2) 1 00, 2 01,3 10, 4 11
一、二进制离散无记忆信源的 二次扩展信源 2. 二次扩展信源的数学模型