离散无记忆信源及其扩展源
信息论与编码技术电子信息工程专业
主讲：孙静
机械电子工程系
3.2 离散无记忆信源
及其扩展源
3.2.1 离散无记忆信源
【思考】实际通信过程中，信源发送消息往往不是单个符号，而是符号序列。当字符组成序列(如句子或文章)时，会出现问题。
3.2.1 离散无记忆信源 【两个新问题】 1.随着序列的伸延，信源选取字符的概率是否随着时间改变？
2.序列前后字符之间是否统计相关？ 假设所讨论的信源是平稳信源，即信源选取字符的概率不随时间改变。
分两种情况来讨论：
字符之间不存在统计关联的信源叫做无记忆信源；
字符之间存在统计关联的信源叫做有记忆信源。 例如，一个袋子里有10个黑球和10个白球。从袋子拿球，有放回的，就相当于无记忆的；无放回的，就是有记忆的。
1.【特点】
①信源发出的各符号之间相互独立；
②发出的符号序列中各个符号之间没
有统计关联性；
③各个符号的出现概率是它自身的先
验概率。
2.【定义】设信源X 输出符号集A={a 1,a 2,…,a q } ，q 是信源发出的消息符号个数，每个符号发生的概率为p (a i )(i =1,2,…,q )，这些消息符号彼此互不相关，且满足： ),,2,1(1)(0,1)(1
q i a p a p i q i i =≤≤=∑=∏===q i i q a p a a a P X P 121)()()(
3.【数学模型】离散无记忆信源可用信源空间[X,P(X)]来描述： ??
????=??????)()()()(2121q q a p a p a p a a a X P X
3.2.2 单符号离散信源
【引例－例3.1】
掷一颗质地均匀的骰子，研究其下落后朝上一面的点数，将点数作为这个随机试验的结果，并将这个随机试验看作是一个信源。该信源输出了有限个离散数字，组成了符号集
A:{1,2,3,4,5,6}，而且每一个数字代表一条完整的消息。
【分析】
1.该信源输出的消息数是有限的。
2.该信源每次只输出一个消息，出现
哪一种消息是随机的。
3.6个不同的消息构成了互不相容的基
本事件集合，不可能出现这个集合
以外的消息。
【说明】
1.利用离散型随机变量X 来描述这个信源输出的消息X= (x 1,x 2, …,x 6)，其样本空间即为符号集A 。
2.根据大量试验结果可得：各个消息是等概率出现的，均为1/6。 因此，X 的概率分布就是信源发出各种不同符号的先验概率，即p (x 1)=1/6，p (x )=1/6，…，p (x )=1/6。
【结论】
1.抽象后得到该信源的数学模型： 1)(61616161616
1)(61
6
54321=????????=??????∑=i i
x p x x x x x x X P X 并满足
【结论】
2.该信源输出的消息只可能是符号集
中任何一个，而且每次必定选取其中一个。
单符号离散无记忆信源
(P50最简单的离散信源)
一、单符号离散无记忆信源
的定义
【定义】单符号离散无记忆信源发出的消息是离散、有限的符
号，且一个符号代表一条完整
的消息。
二、单符号离散无记忆信源的
表示方法
①用一个离散随机变量的可能取值，
来表示信源可能发出的不同符号
例如：投硬币、书信、电报符号等②用离散随机变量的概率分布，表示
信源发出不同符号可能性的大小
三、数学模型
若单符号离散无记忆信源可能发出q 种不同的符号{a 1,a 2,…,a q }，相应的先验概率分别为p (a 1)，p (a 2)，…，p (a q )，用随机变量X 表示这个信源，其信源的数学模型就是离散型的概率空间: 且满足 ??
????=??????)()()()(2121q q a p a p a p a a a X P X ????==≤≤∑1)()
,,2,1(1)(0q i i a p q i a p
【例3.2】
对于二进制数字信源X={0,1}，有 ???
?????=??????-===??????===??????==212110*********
2121
2121p p p p x x p p x x P X 当
【定义】信源输出的各消息的自信息量的数学期望为信源的平均自信息量，称为单符号离散信源的信息熵，简称信源熵。
∑=-==q i i i i a p a p a I E X H 1)
(log )()]([)(四、单符号离散信源的熵