多符号离散信源

H(X)=H(XN)=H(X)+H(X)+…+H(X)=NH(X)
(3) 举 例
3 X x1 , x 2 , x 3 ∑1 p ( x i ) = 1 P ( X ) = 1 , 1 , 1 i= 2 4 4 求这个离散无记忆信源的二次扩展信源，扩展信源的每个符号是信源X 求这个离散无记忆信源的二次扩展信源，扩展信源的每个符号是信源 的输出长度为2的符号序列 的符号序列。 的输出长度为 的符号序列。 因为信源X共有 个不同符号，所以由信源X中每两个符号组成的不同 共有3个不同符号 因为信源 共有 个不同符号，所以由信源 中每两个符号组成的不同 排列共有3 种 得二次扩展信源共有9个不同的符号 个不同的符号。 排列共有 2=9种，得二次扩展信源共有 个不同的符号。 因为信源X是无记忆的，则有 p(ai ) = p( xi ) p( xi ) (i1,i2 = 1,2,3; i = 1,2,…9) 因为信源 是无记忆的， 是无记忆的
(3) 多符号离散平稳信源
为了便于研究，假定随机矢量X中随机变量 为了便于研究， 不随时间的推移变化。 的各维联合概率分布均不随时间的推移变化 的各维联合概率分布均不随时间的推移变化。或 者说， 者说，信源所发符号序列的概率分布与时间的起 点无关，这种信源称为多符号离散平稳信源 多符号离散平稳信源。 点无关，这种信源称为多符号离散平稳信源。
a2 , …, ai ,…, aq X N a1 , = p(a ), p (a ),…, p(a ),…, p (a ) 1 2 i q P( X )
• •
其中q=nN，每个符号 i是对应于某一个由 个xi组成的序列 每个符号a 是对应于某一个由N个 其中 ai的概率 i)是对应的 个xi组成的序列的概率 的概率p(a 是对应的 是对应的N个
分量之间统计独立。 分量之间统计独立。
组成的新信源称为离散无记忆信源 离散无记忆信源X的 次 由随机矢量X组成的新信源称为离散无记忆信源 的N次 扩展信源。 重概率空间来描述它 重概率空间来描述它。 扩展信源。用N重概率空间来描述它。
N次扩展信源的数学模型 次扩展信源的数学模型
单符号离散信源的数学模型为
② 序列的成组传送
把信源输出的序列看成是一组一组发出的。 把信源输出的序列看成是一组一组发出的。
二个二进制数字组成一组 例1：电报系统中，可以认为每二个二进制数字组成一组。这样信源 ：电报系统中，可以认为每二个二进制数字组成一组。 输出的是由二个二进制数字组成的一组组符号。 输出的是由二个二进制数字组成的一组组符号。这时可以将它们等效 看成一个新的信源，它由四个符号00， ， ， 组成 组成， 看成一个新的信源，它由四个符号 ，01，10，11组成，把该信源称 为二进制无记忆信源的二次扩展 二次扩展。 为二进制无记忆信源的二次扩展。 三个二进制数字组成一组 例2：如果把每三个二进制数字组成一组，这样长度为 的二进制序列 ：如果把每三个二进制数字组成一组，这样长度为3的二进制序列 就有8种不同的序列 可等效成一个具有8个符号的信源 种不同的序列， 个符号的信源， 就有 种不同的序列，可等效成一个具有 个符号的信源，把它称为二 进制无记忆信源的三次扩展信源 三次扩展信源。 进制无记忆信源的三次扩展信源。
有一离散无记忆信源
1
2
表 2.1 X2 信源的符号 对应的消息序列 对应的消息序列 消息 概率 p(ai) a1 x1 x1 1/4 a2 x1 x2 1/8 a3 x1 x3 1/8 a4 x2 x1 1/8 a5 x2 x2 1/16 a6 x2 x3 1/16 a7 x3 x1 1/16 a8 x3 x2 1/16 A9 x3 x3 1/16
H ( X N ) = −∑ p (ai ) log 2 p (ai )
XN
求和号是对信源X 中所有n 个符号求和，所以求和号共有n 求和号是对信源 N中所有 N个符号求和，所以求和号共有 N个。 这种求和号可以等效于N个求和号 其中的每一个又是对X中的 个求和号， 中的n个符号求 这种求和号可以等效于 个求和号，其中的每一个又是对 中的 个符号求 和，所以
(2) 随机矢量/随机变量序列
多符号离散信源可用随机矢量 随机变量序列描述， 多符号离散信源可用随机矢量/随机变量序列描述， 即 X=X1,X2,X3，… 信源在不同时刻的随机变量X 信源在不同时刻的随机变量 i和Xi+r的概率分布 P(Xi)和P(Xi+r)一般来说是不相同的，即随机变量 一般来说是不相同的， 和 一般来说是不相同的 的统计特性随着时间的推移而有所变化。 的统计特性随着时间的推移而有所变化。
二进制无记忆信源的N次扩展：把每 个二进制数字 二进制无记忆信源的 次扩展：把每N个二进制数字 次扩展 组成一组，则信源等效成一个具有2 个符号的新信源， 组成一组，则信源等效成一个具有 N个符号的新信源， 把它称为二进制无记忆信源的N次扩展信源。 把它称为二进制无记忆信源的 次扩展信源。 次扩展信源
因为是无记忆的/统计独立
若ai =(xi1, xi2, xi3,…, xiN) 则p(ai)=p(xi1)p(xi2)… p(xiN) 其中i1,i2,…,iN∈{1,2,…,n} 其中 根据信息熵的定义， 次扩展信源的熵 根据信息熵的定义，N次扩展信源的熵
H ( X ) = H ( X N ) = −∑ P( X ) log P( X ) = −∑ p (ai ) log p (ai )
n
n
n
因此
H ( X N ) = ∑ p(ai ) log 2
XN
1 p ( xi1 ) p ( xi2 )… p ( xiN ) 1 p ( xi1 )
= ∑ p(ai ) log 2
XN
+ ∑ p (ai ) log 2
XN
1 p ( xi2 )
+ … + ∑ p (ai ) log 2
XN
1 p ( xiN）
实际的信源输出的消息是时间或空间上离散的一系列 随机变量。这类信源每次输出的不是一个单个的符号， 随机变量。这类信源每次输出的不是一个单个的符号，而 是一个符号序列。在信源输出的序列中， 是一个符号序列。在信源输出的序列中，每一位出现哪个 符号都是随机的， 符号都是随机的，而且一般前后符号的出现是有统计依赖 关系的。这种信源称为多符号离散信源。 关系的。这种信源称为多符号离散信源。 举例： 举例：
③ 离散无记忆信源的数学模型
离散无记忆信源X={ x1,x2,…,xn}，对它的输出消息序列， 离散无记忆信源 ，对它的输出消息序列， 可以用一组组长度为N的序列来表示它 的序列来表示它。 可以用一组组长度为 的序列来表示它。这时它就等效成 了一个新信源； 了一个新信源； 新信源输出的符号是N长的消息序列 长的消息序列， 新信源输出的符号是 长的消息序列，用N维离散随机矢 维离散随机矢 量来描述。 量来描述。 ai=(xi1,xi2,…,xiN) i=1,2, …,n 都是随机变量 每个分量xik (k=1,2,…,N)都是随机变量，都取值于同一信源 ，并且 都是随机变量，都取值于同一信源X，
p ( x i 2 ) ∑ p ( x i3 ) … ∑ p ( x i N )
i3 =1 i N =1
n
因为
∑ p( x
所以
ik =1
i
n
ik
) =1
k = 2,3,…, N
= ∑ p(ai ) log 2
i1 n
∑ p(a ) log
XN
1 2 p ( xi1 )
1 p ( xi1 )
= H(X )
2.2.2 离散平稳无记忆信源
(1) 离散无记忆信源 (2) 离散平稳无记忆信源的熵 (3) 举例
(1) 离散无记忆信源
① 基本概念 ② 序列的成组传送 ③ 离散无记忆信源的数学模型
① 基本概念
离散无记忆信源：为了方便， 离散无记忆信源：为了方便，假定随机变量序列
的长度是有限的， 的长度是有限的，如果信源输出的消息序列中符 号之间是无相互依赖关系/统计独立，则称这类信 统计独立 源为离散平稳无记忆信源 离散平稳无记忆信源的扩展 源为离散平稳无记忆信源/离散平稳无记忆信源的扩展。
可以算得 H(X)=1.5 比特 符号（此处的符号是指 信源的输出符号 i） 比特/符号 此处的符号是指X信源的输出符号 信源的输出符号x H(X)=H(X2)=3 比特 符号（此处的符号是指扩展信源的输出符号 比特/符号 此处的符号是指扩展信源的输出符号
ai ，它是由二个 i符号组成） 它是由二个x 符号组成）
∑ p(a ) = ∑ p(x ) p(x
i XN XN n n i1 n i1 =1 i2 =1
i2
)… p( xiN )
= ∑∑…∑ p( xi1 ) p( xi2 )… p( xiN ) = ∑ p( xi1 ) ∑ p( xi2 )…∑ p( xiN ) = 1
iN =1 i1 =1 i2 =1 iN =1
所以
H(X)=2H(X) 对上述结论的解释：因为扩展信源 N的每一个输出符 对上述结论的解释：因为扩展信源X
是由N个 所组成的序列， 号ai是由 个xi所组成的序列，并且序列中前后符号是统计 独立的。现已知每个信源符号x 含有的平均信息量为H(X)， 独立的。现已知每个信源符号 i含有的平均信息量为 ， 那么， 个 那么，N个xi组成的无记忆序列平均含有的信息量就为 NH(X)（根据熵的可加性）。因此信源 N每个输出符号含 ）。因此信源 （根据熵的可加性）。因此信源X 有的平均信息量为NH(X)。 有的平均信息量为 。
因为信源是无记忆的， 因为信源是无记忆的，所以消息序列
a i = ( xi1 , xi2 , L , xi N )的概率为 p ( a i ) = p ( xi1 ) p ( xi2 ) L p ( xi N ), i1 , i2 , L , i N ∈ {1, 2, L n}
(2) 离散平稳无记忆信源的熵
XN XN
可以证明：离散无记忆信源X的N次扩展信源的熵等于离散信源 的熵 可以证明：离散无记忆信源 的 次扩展信源的熵等于离散信源X的熵 次扩展信源的熵等于离散信源 的N倍，即 倍
H(X)=H(XN)=NH(X)
证明：H(X)=H(XN)=NH(X)
概率空间中的一个符号，对应于由N个 设 ai是XN概率空间中的一个符号，对应于由 个xi组成的序列 ai =(xi1, xi2,…, xiN) p(ai )=p(xi1) p(xi2)…p(xiN) 而 i1,i2, …,iN∈{1,2, …,n} N次扩展信源的熵 次扩展信源的熵
2.2.3 离散平稳有记忆信源
(1) 离散平稳有记忆信源的数学模型 (2) 离散平稳有记忆信源的信源熵 (3) 离散平稳有记忆信源的极限熵
(1) 离散平稳信源的数学模型
① 一维平稳信源 ② 二维平稳信源 ③ 离散平稳信源
Βιβλιοθήκη Baidu
① 一维平稳信源
对于随机矢量X=X1X2…XN， 若任意两个不同时刻i和 （大于1的任意整数 的任意整数）， 若任意两个不同时刻 和j（大于 的任意整数）， 信源发出消息的概率分布完全相同， 信源发出消息的概率分布完全相同，即 P(Xi=x1)=P(Xj=x1)=p(x1) P(Xi=x2)=P(Xj=x2)=p(x2) … P(Xi=xn)=P(Xj=xn)=p(xn) 一维平稳信源无论在什么时刻均以{p(x1), p(x2), …, p(xn)} 一维平稳信源无论在什么时刻均以 分布发出符号。 分布发出符号。
上式共有N项 上式共有 项，考察其中第一项
∑
X
N
p ( a i ) log 2
1 p ( x i1 )
=
∑
X
N
p ( x i1 ) p ( x i2 ) … p ( x i N ) log 2
1 2 p ( x i1 )
1 p ( x i1 ) n
=
∑
n
i1 = 1
p ( x i1 ) log
∑
n
i 2 =1
x2 , …，xn n X x1 , P ( X ) = p( x ), p( x ),…, p( x ) , ∑ p( xi ) = 1 n i =1 1 2
信源X的 次扩展信源用 表示，它是具有n 次扩展信源用X 信源 的N次扩展信源用 N表示，它是具有 N个符号的离 散信源， 散信源，其数学模型为
2.2 多符号离散信源
2.2.1 多符号离散信源 2.2.2 离散平稳无记忆信源 2.2.3 离散平稳有记忆信源 2.2.4 马尔可夫信源 2.2.5 信源冗余度及信息变差
2.2.1 多符号离散信源
(1) 多符号离散信源 (2) 随机矢量 随机变量序列 随机矢量/ (3) 多符号离散平稳信源
(1) 多符号离散信源