第3章 离散信源
合集下载
第3章_离散信源()题与答案
该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。
求：(1)此消息的自信息量是多少？(2)此消息中平均每符号携带的信息量是多少？解：(1)此消息总共有14个0、13个1、12个2、6个3,因此消息发出的概率是：此消息的信息量是：I二-log p =87.811 bit3.2某一无记忆信源的符号集为｛0, 1｝，已知信源的概率空间为;x 口0 1:]P(X)」J/4 3/4：(1)求信息符号的平均熵；⑵ 由100个符号构成的序列，求某一特定序列(例如有m个“0”和(100 - m个“1”)的自信息量的表达式；⑶计算⑵中序列的熵。
解：(1)丁"133、H(X)二一p(X|) log p(X|) log log 0.811 biti\_4 4 4 4 J100 -m3—,10043〔00 -ml(xj - -log p(xj - -log 10厂=41.5 1.585m bit4H(X100) =100H(X) =100 0.811 =81.1 bit其概率空间为；X L X1 = 0 X2 =1 X3 = 2 X4 = 3J P(X)J '、3/8 1/4 1/41/8离散无记忆信源⑵此消息中平均每符号携带的信息量是: I /n =87.811/45=1.951 bitz-m 100 -mg盯(4〕3.5某信源的消息符号集的概率分布和二进制代码如题表 3.2所列(1)求信息的符号熵；(2)求每个消息符号所需要的平均二进制码的个数或平均代码长度。
进而用这一结果求码序列中的一个二进制码的熵；(3)当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现0和1的无条件概率P o和P i，求相邻码间的条件概率P o/1、P l/0、P i/1、P o/o。
解：(1)「1 1 1 1 1 1 1 1 \H(X) - p(xjlogp(x) log log log log 1.75 biti(2 2448888 丿⑵- 丁1111L =E(h)=為p(x)h 1 ——2 — 3 — 3=1.75i 2 4 8 81 1H N(X) H (X) H(X) =1 bitN L设消息序列长为N，则u0、u1、u2、u3的个数分别为N/2, N/4, N /8, N/8个。
第3章 离散信源
信息量单位
自信息的例子
【 例 ， 增 】 一 信 源 有 4 种 输 出 符 号 码 ， xi(i=0,1,2,3) ， 且 p(xi)=1/4。设信源向信宿发出x3，但由于传输中的干扰，接 收者收到x3后，认为其可信度为0.9。于是信源再次向信宿发 送该符号x3，信宿无误收到。问: (1) 信源在两次发送中发出的信息量各是多少? (2) 信宿在两次接收中得到的信息量又各是多少?
• 得到信源的样本空间为符号集
X=｛x1, x2, x3, x4, x5, x6｝。 各消息都是等概率出现的
X的概率分布就是各消息出现的先验概率：
p(x1)=p(x2)=p(x3)=p(x4)=p(x5)=p(x6)=1/6, 信源的数学模型为:
X P( X
)
1x/16
x2 1/ 6
x3 1/ 6
按照信源符号彼此之间的依存关系，离散信源又可分为： 离散无记忆信源和离散有记忆信源 • 离散无记忆信源：信源发出的一个个消息符号是相互 独立的。 - 前面已经出现的信源符号对后面将要出现哪个信源 符号没有影响； - 即：各符号序列中的各个符号之间是没有统计关联 的关系； - 各个符号的出现概率是它自身的先验概率。 - 离散无记忆信源包含发出单符号的无记忆离散信源 和发出符号序列的无记忆离散信源。
信源熵的例子1
【例3-5，P31】计算机中常见的信源是二元信源，二元 信源可以描述为
X 0 1 0 1
P
p
q
p
1 p
则二元信源的熵为
H(X ) p log p (1 p)log(1 p) • 如例3-3，p=1/2 H(X)=1比特/符号
说明
➢ 二元信源的信息熵H(X)是 概率p的函数，通常用H(p) 表示。
自信息的例子
【 例 ， 增 】 一 信 源 有 4 种 输 出 符 号 码 ， xi(i=0,1,2,3) ， 且 p(xi)=1/4。设信源向信宿发出x3，但由于传输中的干扰，接 收者收到x3后，认为其可信度为0.9。于是信源再次向信宿发 送该符号x3，信宿无误收到。问: (1) 信源在两次发送中发出的信息量各是多少? (2) 信宿在两次接收中得到的信息量又各是多少?
• 得到信源的样本空间为符号集
X=｛x1, x2, x3, x4, x5, x6｝。 各消息都是等概率出现的
X的概率分布就是各消息出现的先验概率：
p(x1)=p(x2)=p(x3)=p(x4)=p(x5)=p(x6)=1/6, 信源的数学模型为:
X P( X
)
1x/16
x2 1/ 6
x3 1/ 6
按照信源符号彼此之间的依存关系，离散信源又可分为： 离散无记忆信源和离散有记忆信源 • 离散无记忆信源：信源发出的一个个消息符号是相互 独立的。 - 前面已经出现的信源符号对后面将要出现哪个信源 符号没有影响； - 即：各符号序列中的各个符号之间是没有统计关联 的关系； - 各个符号的出现概率是它自身的先验概率。 - 离散无记忆信源包含发出单符号的无记忆离散信源 和发出符号序列的无记忆离散信源。
信源熵的例子1
【例3-5，P31】计算机中常见的信源是二元信源，二元 信源可以描述为
X 0 1 0 1
P
p
q
p
1 p
则二元信源的熵为
H(X ) p log p (1 p)log(1 p) • 如例3-3，p=1/2 H(X)=1比特/符号
说明
➢ 二元信源的信息熵H(X)是 概率p的函数，通常用H(p) 表示。
第3章 离散信源
离散有记忆信源
•
离散有记忆信源：信源先后发出的消息符号之间彼此 依存、互不独立的。 - 这类信源的数学表示比较困难； - 现实存在的信源多是离散有记忆信源； - 离散有记忆信源又可分为：有限记忆信源（马尔可 夫信源）和无限记忆信源。
信源分类小结
离散无记忆信源
单符号的无记忆离散信源 符号序列的无记忆离散信源 符号序列的有限记忆信源 符号序列的无限记忆信源
编码器 消息 信号 信 道 干扰 干扰器 译码器 消息 信 宿
信 源
在实际通信中最常见的信源有话音、文字、图像、数据等。
离散信源的数学模型
离散信源的数学模型
• •
信源可以输出多个符号，每个符号以一定的概率出现。 因此可以用概率来描述信源。
X x1 P p( x ) 1
则信源的熵为
x2 1 4
x3 1 4
1 1 1 1 H ( X ) p( xi ) logp( xi ) log 2 log 1.5 2 2 4 4 i 1
比特/符号
3
3.3.2 离散无记忆信源的扩展信源及其熵
可以一个符号一个符号的来研究信源，但有时这样不能满 足实际应用的需要。 • 汉语：更多地考察的是句子，而不是汉字。 • 英语：更多地考察的是单词，而不是字母。 • 图像：更多地考察的是整幅图像，而不是单个像素。 所以，有必要研究N次扩展信源。
我 们、要、的、把、看、… 碗、机、水、书、框、…
• •
p(们)=0.01，p(碗)=0.01 p(们|我)=0.05， p(碗|我)=0.001
有限记忆信源和无限记忆信源
离散有记忆信源分为 • 有限记忆信源 • 无限记忆信源 有限记忆信源 • 当记忆长度为m时称这种记忆信源为m阶马尔可夫信源， 即信源每次发出的符号与前m个符号有关，与更前面的 符号无关。
第3章 离散信源
求解N次扩展信源的熵
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
H ( X1 X 2 X N )
58
59
60
61
62
由平稳信源的平稳性和条件熵的性质可知：
1 N H N ( X ) H ( X n / X n1 ) H ( X N / X 1 , X 2 ,, X N 1 ) N n1
1
2
3
4
5
6
7
8
9
10பைடு நூலகம்
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
离散信源和连续信源的数学模型
根据随机变量的取值和统计特性进行信源分类 离散无记忆信源信源熵
离散信源的N次扩展信源
另外：
1
1 H N j (X ) H ( X 1 , X 2 ,, X N 1 , X N , X N 1 ,, X N j ) N j 1 [ H ( X 1 , X 2 ,, X N 1 , X N , X N 1 ,, X N j 1 ) N j H ( X N j / X 1 , X 2 ,, X N 1 , X N , X N 1 ,, X N j 1 )]
Sj
k m 1 S j
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
H ( X1 X 2 X N )
58
59
60
61
62
由平稳信源的平稳性和条件熵的性质可知：
1 N H N ( X ) H ( X n / X n1 ) H ( X N / X 1 , X 2 ,, X N 1 ) N n1
1
2
3
4
5
6
7
8
9
10பைடு நூலகம்
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
离散信源和连续信源的数学模型
根据随机变量的取值和统计特性进行信源分类 离散无记忆信源信源熵
离散信源的N次扩展信源
另外：
1
1 H N j (X ) H ( X 1 , X 2 ,, X N 1 , X N , X N 1 ,, X N j ) N j 1 [ H ( X 1 , X 2 ,, X N 1 , X N , X N 1 ,, X N j 1 ) N j H ( X N j / X 1 , X 2 ,, X N 1 , X N , X N 1 ,, X N j 1 )]
Sj
k m 1 S j
第三章离散信源及离散熵
电子科技大学
H(X) = −∑p(xi )lbp(xi )
i =1
4
1 1 1 1 1 1 = − lb − lb − lb × 2 2 2 4 4 8 8
2011-3-13
1 1 1 1 1 1 = lb2 + lb4 + lb8 = + × 2 + × 3 2 4 4 2 4 4 bol = 1.75(bit / sym )
2011-3-13
1、离散平稳信源及其数学模型 对于多符号离散信源发出的符号序列 X1X2 L 如果任意两个不同时刻k …， 如果任意两个不同时刻k和l，k=1,2, …， l=1,2, …，其概率分布相同，即 …，其概率分布相同， P(Xk ) = P(Xl ) 则称该多符号离散信源为一维离散平稳 信源。 信源。
该信源的离散熵
2011-3-13
H(X1X2 ) = −∑p(ai )lbp(ai )
= −∑∑p(xi1 xi 2 )lbp(xi1 xi 2 )
i1 =1i 2 =1 n n n n
n2
电子科技大学
i =1
= −∑∑p(xi1 xi 2 )lbp(xi1 )p(xi 2 / xi1 )
i1 =1i 2 =1
电子科技大学
H(X) = −∑p(i)lbp(i)
i =1
6
1 1 bol = − lb × 6 = lb6 = 2.585(bit / sym ) 6 6
2011-3-13
例2，求某一天简单的天气气象这一信源 的离散熵。 的离散熵。 该信源的数学模型为： 解： 该信源的数学模型为：
) ) ) 雨 x1(晴 x2(阴 x3( ) x4(雪 X 1 1 1 P(X) = 1 2 4 8 8
高等教育《信息论》第3章离散信源
X
P
x1
px1
x2
px2
xq
p
xq
(3.5)8
信源输出信息量的度量
定义 3.2.2 设信源 X 中，事件 xi 发生的概率为 pxi ，
则所含有的自信息量定义为
de f
I xi log pxi
(3.6)
定义 3.2.2 给出的自信息量的函数形式有如下性质：
① 信源中信息的量度与输出符号发生的概率有关。
000, 001, 011, 111,100,110, 010,101
5
3.1.2 信源的分类 无记忆信源
① 离散无记忆信源 信源发出的消息符号彼此是统计独立的，并且具有
相同的概率分布，其 N 维随机矢量的联合概率分布为
N
N
p X p X k aik pik
k 1
k 1
i 1, 2, , q
其中 N 可为有限正整数或可数无穷值。通常，总限定 N 是有限的，故只限于讨论“有限离散信源”。若在这随机
矢量中的每个随机变量Xk , k 1, 2, , N 都是离散的，则可 用N重离散概率空间的数学模型来描述这类信源。
X
P
a1
pa1
a2
pa2
aqN p aqN
(3.4)
其中
9
自信息量 I xi 是指某一信源发出某一消息符号 xi 所含
有的信息量，所发出的信息符号不同，它们含有的信息量
也就各不相同，故自信息量 I xi 是一个随机变量，不能用
它来作为整个信源输出信息的信息测度。为此，需要引入 平均自信息量，即信息熵来作为信源输出信息的信息测度。
定义 3.2.3 信源输出的各消息的自信息量的数学期望为 信源的平均自信息量，或称为信源的信息熵。
信息论第3章 离散信源
随机波形信源在某一固定时间t0的可能取值是连续和随 机的。对于这种信源输出的消息，可用随机过程来描述。 例：语音信号X(t)、热噪声信号n(t)、电视图像信号 X(r(t),g(t),b(t))等时间连续函数。
3.2离散无记忆信源
消息符号的自信息量
自信息量与熵
信源熵
3.3离散无记忆信源的扩展信源 离散信源 单符号离散信源 离散序列信源 离散无记忆信源 一般无记忆 平稳无记忆 离散有记忆信源 平稳序列信源 齐次马尔可夫链信源
3.3.1最简单的离散信源
3.3.2 N次扩展信源
例如在电报系统中，若信源输出的是二个二元数字组成的符号序列，此 时可认为是一个新的信源，它由四个符号（00，01，10，11）组成，我 们把该信源称为二元无记忆信源的二次扩展信源。
3.3.3 N次扩展信源的熵
3.4离散平稳信源
3.4.1平稳信源
二维平稳信源的熵－条件熵
平稳信源的熵－熵的可加性
二维平稳信源的熵－例题
3.4.3极限熵
N维平稳有记忆信源的熵
条件熵随N增加而递减
矢量熵H（X）
平均符号熵与极限熵
极限熵的意义
极限熵存在定理
定理证明
极限熵的计算
小结
3.5马尔可夫信源
《和初始状态无关，不是时间起点（时齐性）》
3.1.2 信源的分类
平稳随机序列信源
总体特点：信源输出的消息由一系列符号序列所组 成，可用N维随机矢量 X＝(X1,X2,…,XN)描述，且 随机矢量X 的各维概率分布都与时间起点无关 平稳 ！！ 离散平稳信源：每个随机变量Xi (i＝1,2,…,N)都是 离散型随机变量 连续平稳信源：每个随机变量Xi (i＝1,2,…,N) 都是 取值连续的随机变量
信息论第三章离散信源无失真编码讲解
2.等长码
在一组码字集合C中的所有码字cm (m = 1,2, …,M)，其码 长都相同，则称这组码C为等长码。
3.变长码
若码字集合C中的所有码字cm (m = 1,2, …,M)，其码长不 都相同，称码C为变长码。
4.奇异码
对奇异码来说，从信源消息到码 字的影射不是一一对应的。奇异码 不具备惟一可译性。
变长码分为即时码和延长码，为保证即时译码，要求变长 惟一可译码采用即时码。
对于变长码，要求整个码集的平均码长力求最小，此 时编码效率最高。
对于给定信源，使平均码长达到最小的编码方法，称 为最佳编码，得到的码集称为最佳码。
3.3.2 克拉夫特不等式
定理3.2
D进制码字集合C ={c1, c2,…, cM }，码集中
码C中每个码字cm( m = 1, 2, …，M)其码长的概率加权平均值为
M
n
nm p(c m )
(3-1)
m 1
式中nm是码字cm所对应的码字的长度，p ( cm )是码字cm出现的 概率。
对于等长码，由于码集C中的每个码字的码长都相同，平
均码长就等于每个码字的码长
n nm p(c m ) n p(c m ) n
信源编码包括两个功能： （1） 将信源符号变换成适合信道传输的符号； （2） 压缩信源冗余度，提高传输效率。
一般来说，信源编码可归纳为如图3-1所示的模型。
消息
信源
ui = ui1 ui2 … uiL
信源编码器
码字ci = ci1 ci2 … cin
信源符号 {a1,a2, …, aK}
图3-1
信道符号（码符号）{b1, b2, …, bD} 信源编码器模型
{a1, a2, …, aK}为信源符号集，序列中每一个符号uml都 取自信源符号集。
在一组码字集合C中的所有码字cm (m = 1,2, …,M)，其码 长都相同，则称这组码C为等长码。
3.变长码
若码字集合C中的所有码字cm (m = 1,2, …,M)，其码长不 都相同，称码C为变长码。
4.奇异码
对奇异码来说，从信源消息到码 字的影射不是一一对应的。奇异码 不具备惟一可译性。
变长码分为即时码和延长码，为保证即时译码，要求变长 惟一可译码采用即时码。
对于变长码，要求整个码集的平均码长力求最小，此 时编码效率最高。
对于给定信源，使平均码长达到最小的编码方法，称 为最佳编码，得到的码集称为最佳码。
3.3.2 克拉夫特不等式
定理3.2
D进制码字集合C ={c1, c2,…, cM }，码集中
码C中每个码字cm( m = 1, 2, …，M)其码长的概率加权平均值为
M
n
nm p(c m )
(3-1)
m 1
式中nm是码字cm所对应的码字的长度，p ( cm )是码字cm出现的 概率。
对于等长码，由于码集C中的每个码字的码长都相同，平
均码长就等于每个码字的码长
n nm p(c m ) n p(c m ) n
信源编码包括两个功能： （1） 将信源符号变换成适合信道传输的符号； （2） 压缩信源冗余度，提高传输效率。
一般来说，信源编码可归纳为如图3-1所示的模型。
消息
信源
ui = ui1 ui2 … uiL
信源编码器
码字ci = ci1 ci2 … cin
信源符号 {a1,a2, …, aK}
图3-1
信道符号（码符号）{b1, b2, …, bD} 信源编码器模型
{a1, a2, …, aK}为信源符号集，序列中每一个符号uml都 取自信源符号集。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
时间长度为bi，则该信源的时间熵定义为：Ht(X)=H(X)/b. 其中b为信源符号的
平均时间长度。
M
b p( xi ) bi
i 1
s / 符号
离散信源的时间熵（续）
K重符号序列离散无记忆信源的时间熵：
K K Ht (X ) H(X ) / B
bit / s 其中B Kb
为K重符号序列消息的平均时间长度。由于信源无记忆，上式也可以写成：
bit / s
由于信源有记忆，所以有：
K ( H t X ) KH ( X ) (Kb) KH ( X ) /(Kb) H ( X ) / b
bit / s
有记忆信源与无记忆信源相比，对外提供信息量的速度下降了。
离散信源的时间熵（续）
马尔可夫信源的时间熵： 若信源从状态Si转移到状态Sj，发出的符号是xij，它的时间长度设为bij，则 信源从状态Si发生转移并发出一个符号时，符号的平均长度为：
信源分类
若离散信源输出符号彼此间相互独立，而且所有符号服从同一种概率分布，则称之 为简单无记忆信源；
若输出符号间彼此相关，且每个符号只与它前面的一个符号相关，而这种相关性可 以用符号间的转移概率来描述，则称之为马尔可夫信源。
离散信源的熵
单符号离散无记忆信源熵： 若信源X含有M个符号，而且每个符号相互独立，则当信源每次发送一个 符号代表一条消息时，其信源熵可以表示为:
H(X ) 100% H ( X )max
信源符号的相关性越大，信源效率越低，要提高信源效率，要设法降 低符号之间的相关性。
信源的效率与冗余度（续）
（2）信源冗余度：
H ( X )max H ( X ) H(X ) R 1 1 100% H ( X )max H ( X )max
离散无记忆信源的不等长编码（续）
预备定理3.1 （Kraft不等式）设离散无记忆信源有M个符号， 每个符号被用D进制代码组进行编码，第i个符号对应的代码 组长度为Ni,则单义可译代码组存在的充分必要条件是：
D
i 1
M
N i
1
离散无记忆信源的不等长编码（续）
预备定理3.2 设{Pi}，{qi} (1<=i<=M)为两个非负元素集合， 且满足：
H (X ) P(x i )log 2 p(x i )
i 1
M
bit / 符号
其中，P(xi)是离散符号xi出现的概率。
离散信源的熵（续）
K重符号序列离散无记忆信源熵： 若信源X含有M个符号，而且每个符号相互独立，则当信源每次发送K个符号 代表一条消息时，其信源熵可以表示成为：
H ( X K ) K H ( X ) K p( xi ) log2 p( xi )
K ( H t X ) KH ( X ) ( Kb) H ( X ) / b
bit / s
K重符号序列离散无记忆信源对外提供信息量的速度与单符号无记忆信 源相同。
离散信源的时间熵（续）
K重符号序列离散有记忆信源的时间熵：
K K ( ) H ( Ht X X ) B H ( X ) /( Kb)
信源编码速率（续）
对于不等长编码，上式可以改写成：
N R log2 D K
其中平均码元长度
bit / 符号
N Pi N i
i 1
M
码元 / 消息
信源编码速率（续）
当D=2时
N R K
bit / 符号
表示当用二进制码对K重符号序列消息编码时，K重符号序列 的每一个符号所对应的二进制码元个数，即比特数。
信源符号之间的相关性越强，信源的冗余信息越多，信源的冗余 度越大，信源效率越低。
离散信源的无失真编码
X
S 无失真信源编码器
离散消息集合
输出代码集合
A 信道基本符号集合
离散信源无失真编码原理图
离散信源的无失真编码(续)
X={x1,x2,...,xM}为离散信源输出的M条K重符号序列消息集 合，即xi=(xi1, xi2,…, xik) (1=<i<=M)是一条K重符号序列消 息。 A={a1,a2,...,aD}是编码信道的信道基本符号集合，一般是D 进制数的D个数值。 S={s1,s2,...,sM}为无失真编码器输出的与M条K重符号序列 消息对应的D进制代码组集合。其中si=(si1, si2,…, siN) (1<=i<=M)是一个具有N个码元的码字，即代码组的长度为 N个D进制码元。 无失真编码就是要从信道基本符号集合A中每次取出N个符 号（码元），按照某种规则生成一个代码组si
离散信源的熵（续）
例：离散有记忆信源X含有3个符号。三个符号的概率分布分别为 P(x0)=11/36, P(x1)=4/9, P(x3)=1/4。3个符号之间的相关性可以用转移 概率来描述：
p(x0|x0)=9/11, p(x1|x0)=2/11, p(x2|x0)=0, p(x0|x1)=1/8, p(x1|x1)=3/4, p(x2|x1)=1/8, p(x0|x2)=0, p(x1|x2)=2/9, p(x2|x2)=7/9. 若信源每次发出2个符号来代表一条消息，求2重符号序列离散有记忆信 源的熵。
1 1
L
k
p(S j p(Si ) j
i 1 1
L
K
bit / s
| Si ) bij
信源的效率与冗余度
对于同样的信源内容及发同样的符号个数来代表一条消息，有记忆的信 源对外提供的平均信息量要比无记忆信源要小。 通常我们希望信源熵尽量的大，即它对外提供的平均信息量越大越好。 （1）信源效率：
离散信源的熵（续）
马尔可夫信源熵： 设马尔可夫信源当前时刻处于L个状态中的第i个状态，下一个时刻转移到K个 状态中的某一个，P(Sj|Si)是马尔可夫信源从状态Si 转到Sj的转移概率， 则马 尔可夫信源从状态Si 发生转移发出一个信源符号的条件熵定义为：
H i p( S j | S i ) log p( S j | S i )
信源编码速率
设离散信源输出的消息为K重符号序列消息，信源编码器采用D进制信 道符号对离散消息进行编码，生成的D进制代码组的长度为N,则信源编 码速率为：
N R log 2 D K
bit / 符号
物理意义：代表一个K重符号序列消息被编成一个由N个码元组成的D进制代码 组时，K重符号中的每一个字符所对应的由D进制码元个数及其所能携带的信 息量。
离散信源的熵（续）
数据压缩的目的： 信源符号之间的相关性降低了信源对外提供的信息量。或者说， 要提高信源对外提供的平均信息量，就要设法降低信源符号之 间的相关性， 也就是要设法消除信源中符号间的冗余度。
离散信源的熵（续）
马尔可夫信源熵：
马尔可夫信源由两部分内容组成：一定数目的状态与一定数目的信 源符号。信源发出的符号首先是通过状态转移到某一个状态，然后 在这个状态上发出信源符号。 马尔可夫信源始终在不同状态上进行转移，并在不同的状态发出信 源符号，从而产生符号序列消息。
KH ( X ) N log2 D
信源编码效率（续）
例题：设汉字符号信源的信源熵为H(X)=10 bit/符号，信 源编码器(I)输出的十进制符号“0”-“9”为等概率分布。 求信源编码器(I)与信源编码器(II)以及整个编码器的效 率。
离散无记忆信源的等长编码
设离散无记忆信源有M个符号，每次发出K重符号序列表示一条 消息。同时编码信道的基本符号有D个（D进制），信源编码器 的输出代码组长度为N。为了保证信源编码器生成的码字是唯
第三章 离散信源
若信源输出的消息为离散的符号形式，如手写文字，计算机输出的代码，则该信 源称为离散信源。其输出的消息称为离散消息。可用下列符号序列表示： …..X-2X-1X0X1X2……。 其中，Xi是在第i时刻产生的符号，i为整数，Xi为一个随机变量。 若离散信源输出的符号Xi相互独立，则称此信源为离散无记忆信源，否则称为离散 有记忆信源。 若离散信源每次发出一个符号来作为一条消息，则称为单符号离散信源；若每次发 出K个符号作为一条消息，则称为K重符号序列离散信源。
bi
p(S j | S i )bij j
1
K
s / 符号
K为下一个时刻的状态数。信源从任意状态发生转移，并发出一个符号， 符号的平均长度为
b
p(S i )bi i
1
L
s / 符号
离散信源的时间熵（续）
马尔可夫信源的时间熵定义为：
H (X ) H t(X ) b
p(S i ) p(S j | S i )log p(S j | S i ) i j
离散信源的无失真编码(续)
信源 信源编码器（I） 信源编码器（II）
二进制编码信道
输出汉字符号
输出十进制
输出二进制
中文电报信源编码器原理图
离散信源的无失真编码(续)
“0” “1 ” “2 ” “3 ” “4 ” ->01101 ->01011 ->11001 ->10110 ->11010 “5” “6” “7” “8” “9” ->00111 ->10101 ->11100 ->01110 ->10011
j 1
k
马尔可夫的信源熵定义为：
H ( X ) p(S i ) H i p(S i ) p(S j | S i ) log p(S j | S i )
i 1 i 1 j 1
L
L
k
离散信源的时间熵
离散信源的时间熵是指信源在单位时间（秒）内对外所能够提供的信息量， 而不管信源是单符号信源还是符号序列信源。或者说，时间熵反映了信源对 外提供信息量的速度。 单符号离散无记忆信源的时间熵: 设信源X含有M个符号，而且符号相互独立，第i个符号xi出现的概率是P(xi)，