第三章 多符号离散信源与信道
第三章离散信道及其信道容量
0
0 1
不是一一对应,无扰有信息损失
1
(2)有扰信道 例3:
a1
0.9
X
0.1
a2
0.2 0.8
b1
Y
b2
0.9 0.1 [P] 0.2 0.8 有扰有信息损失,干扰严重
例4:
a1
X
a2
1/2 1/2 1/2 1/2
b1
Y
b2
1/ 2 1 / 2 [P] 1/ 2 1 / 2
P yi xi P xi yi
即E{log x} ≤log{E(X)}
即E{log x} ≤log{E(X)}
I(X
;Y
)
X
Y
P(x,
y)
log
P( x)P( y) P(x, y)
log
XY
P(x,
y)
P( x)P( y) P(x, y)
log1
0
∴ I(X;Y) ≥ 0
∵ logx为∩ 型凸函数,只有当且仅当 p(x.y)=P(x)P(y),即x和Y统计独立时I(X;Y)=0
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都 有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都 是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相 应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上 连续的随机信号。即信道输入和输出的随机变量的 取值是连续的，并且还随时间连续变化。一般用随 机过程来描述其输入和输出。
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1
(信息论)第3章离散信源
k = 1, 2, L, N
② 连续无记忆信源 若在 N 维随机矢量 X 中，每个随机变量 X k 是连续随 机变量，且相互独立，则 N 维随机矢量 X 的联合概率密 度函数为
p (X ) = ∏ p k
k =1 N
6
有记忆信源
{
无限记忆信源
有限记忆信源
有限记忆信源可用有限状态马尔可夫链来描述。当信 源记忆长度为 m+1 时，也就是信源每次发出的符号仅与前 m 个符号有关，与更前面的符号无关。这样的信源称为 m 阶马尔可夫信源。此时可用条件概率分布描述信源的统计 特性。
H (X ) = E[I (xi )] = −∑ p(xi ) log p(xi )
i =1
q
(3.7)
信源熵 是从平均意义上表征信源总体统计特征的一个 量，是信源的统计平均不确定性的描述。
10
例：设信源符号集
1 率分别为 p ( x1 ) = , 2
X = {x1 , x2 , x3 , x4 }
k
或 a 2 的概率。
14
2、离散无记忆二进制信源 X 的三次扩展信源 、
N X 3 = ( X 1 , X 2 , X 3 ) 共输出 q 个消息 三次扩展信源
符号，q=2, N=3。所以二进制三次扩展信源的符号序列 共有8个， ai , i = 1, 2, L, 8。它可等效为一个具有8个消息 符号的新信源 X 。同时每个消息符号具有如下的概率分 布
(3.1)
其中
p ( xi ) ≥ 0
i = 1,2,L, q
∑ p(x ) = 1
i =1 i
q
即信源的概率空间是完备。
1
① 离散信源的数学模型 其数学模型为离散型的概率空间：
第3章 离散信源
自信息的例子
【 例 ， 增 】 一 信 源 有 4 种 输 出 符 号 码 ， xi(i=0,1,2,3) ， 且 p(xi)=1/4。设信源向信宿发出x3，但由于传输中的干扰，接 收者收到x3后，认为其可信度为0.9。于是信源再次向信宿发 送该符号x3，信宿无误收到。问: (1) 信源在两次发送中发出的信息量各是多少? (2) 信宿在两次接收中得到的信息量又各是多少?
• 得到信源的样本空间为符号集
X=｛x1, x2, x3, x4, x5, x6｝。 各消息都是等概率出现的
X的概率分布就是各消息出现的先验概率：
p(x1)=p(x2)=p(x3)=p(x4)=p(x5)=p(x6)=1/6, 信源的数学模型为:
X P( X
)
1x/16
x2 1/ 6
x3 1/ 6
按照信源符号彼此之间的依存关系，离散信源又可分为： 离散无记忆信源和离散有记忆信源 • 离散无记忆信源：信源发出的一个个消息符号是相互 独立的。 - 前面已经出现的信源符号对后面将要出现哪个信源 符号没有影响； - 即：各符号序列中的各个符号之间是没有统计关联 的关系； - 各个符号的出现概率是它自身的先验概率。 - 离散无记忆信源包含发出单符号的无记忆离散信源 和发出符号序列的无记忆离散信源。
信源熵的例子1
【例3-5，P31】计算机中常见的信源是二元信源，二元 信源可以描述为
X 0 1 0 1
P
p
q
p
1 p
则二元信源的熵为
H(X ) p log p (1 p)log(1 p) • 如例3-3，p=1/2 H(X)=1比特/符号
说明
➢ 二元信源的信息熵H(X)是 概率p的函数，通常用H(p) 表示。
信息论-第3章多符号离散信源与信道
N维平稳 XX 信 1X2 源 XN共可以 rN种 发 不 出 同的
rN
0p(i)p(ai1ai2 aiN )1 p(i)1 i 1 6
3.1 离散平稳信源的数学模型
数学模型
信源空间
X Pp (11)
2 p(2)
p (rN rN)
r
0p (a i)1(i1 ,2 , ,r) p (a i)1 i 1
则 X 称为离散无记忆信源。
9
3.2 离散平稳无记忆信源的信息熵
若N维离散平稳信源 XX1X2 XN 中，各时刻 随机变量 Xk(k1,2, ,N)之间相互统计独立，则 我们将 XX1X2 XN称为N维离散平稳无记忆信源。 对N维离散平稳无记忆信源 XX1X2 XN，有
11
3.2 离散平稳无记忆信源的信息熵
二 离散无记忆信源的信息熵
1. 最简单离散信源 用一维随机变量X描述，其数学模型为
pX (x)p(aa 11)
a2 p(a2)
aq p(aq)
q
且
p(ai)1, p(ai)0,i1,2, ,q
i1
特点:
消 息 符 号 彼 此 统 计 独 立 消 息 符 号 具 有 相 同 概 率 分 布
第3章 多符号离散信源与信道
• 内容提要 3.1 离散平稳信源的数学模型 3.2 离散平稳无记忆信源的信息熵 3.3 离散平稳有记忆信源的信息熵 3.4 离散平稳有记忆信源的极限熵 3.5 马尔可夫信源的极限熵 3.6 信源的剩余度和结构信息
1
3.1 离散平稳信源的数学模型
1. 基本概念
2. 多符号离散信源：由多个符号组成的时间（或空间） 序列
第3章 离散信源
时间长度为bi，则该信源的时间熵定义为：Ht(X)=H(X)/b. 其中b为信源符号的
平均时间长度。
M
b p( xi ) bi
i 1
s / 符号
离散信源的时间熵（续）
K重符号序列离散无记忆信源的时间熵：
K K Ht (X ) H(X ) / B
bit / s 其中B Kb
为K重符号序列消息的平均时间长度。由于信源无记忆，上式也可以写成：
bit / s
由于信源有记忆，所以有：
K ( H t X ) KH ( X ) (Kb) KH ( X ) /(Kb) H ( X ) / b
bit / s
有记忆信源与无记忆信源相比，对外提供信息量的速度下降了。
离散信源的时间熵（续）
马尔可夫信源的时间熵： 若信源从状态Si转移到状态Sj，发出的符号是xij，它的时间长度设为bij，则 信源从状态Si发生转移并发出一个符号时，符号的平均长度为：
信源分类
若离散信源输出符号彼此间相互独立，而且所有符号服从同一种概率分布，则称之 为简单无记忆信源；
若输出符号间彼此相关，且每个符号只与它前面的一个符号相关，而这种相关性可 以用符号间的转移概率来描述，则称之为马尔可夫信源。
离散信源的熵
单符号离散无记忆信源熵： 若信源X含有M个符号，而且每个符号相互独立，则当信源每次发送一个 符号代表一条消息时，其信源熵可以表示为:
H(X ) 100% H ( X )max
信源符号的相关性越大，信源效率越低，要提高信源效率，要设法降 低符号之间的相关性。
信源的效率与冗余度（续）
（2）信源冗余度：
H ( X )max H ( X ) H(X ) R 1 1 100% H ( X )max H ( X )max
第3章 离散信道及其信道容量
对称离散信道及其容量
对称信道的信道容量容量
C＝max I ( X ; Y ) max[ H ( X ) H ( X | Y )] max[ H (Y ) H (Y | X )] max H (Y ) H (Y / X )
3.2 单符号离散信道
二进制对称信道（BSC）
1-p 0 p p 0
p 1 p P p 1 p
1
1 1-p
如果信道转移概率矩阵的每一行/每一列只包 含一个1，其余都为0，则信道是无干扰离散 息道，否则是有干扰信道
3.3 平均互信息及其特性
平均互信息量
I ( X ; Y ) p( xy) log
p ( ai )
几个特殊信道的信道容量
无干扰离散信道的信道容量
Y 1 1 1 1 1 1 1 (b) 无噪有损信道 部分理想化的无干扰离散信道 1 1 (c) 有噪无损信道 X 1 Y X 1 1 1 Y
aX
(a) 无噪无损信道
几个特殊信道的信道容量
X、Y一一对应 ( I(X;Y)=H(X)=H(Y) ) C＝maxI(X;Y)＝log n
如果上述方程组存在解{pi}:
P(a ) P(b
i i j
j
/ ai ) log
也就是说：C loge
一般离散信道的信道容量
特别的，当信道转移矩阵非奇异时，对n个i：
p(b
j
j
/ ai ) log
p (b j / ai ) p (b j )
信息论基础第3章离散信道及其信道容量
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
03-多符号离散信源
X的数学模型
a2 ,，an 2 X a1 , P( X ) p(a ), p(a ), , p(a ) 2 1 n2 并且
p(a ) p( x
i 1 i i1 1 i2 1
n2
n
n
i1
) p( xi2 / xi1 ) p( xi1 ) p( xi2 / xi1 ) 1
2013-7-25
电信学院 江小平
16/24
马尔可夫信源
2013-7-25
电信学院 江小平
17/24
信源的状态和符号集
有一类信源(马尔可夫信源)，输出的符号序列中符号之间 的依赖关系是有限的，即任何时刻信源符号发生的概率只 与前面已经发出的若干个符号有关，而与更前面发出的符 号无关。 设符号集为X和状态为S。信源输出的信息符号还与信源 所处的状态有关。 状态S∈{e1,e2,…,ej} 符号X∈{x1,x2, …,xn} 每一时刻信源发出一个符号后，所处的状态将发生转移。 信源输出的随机符号序列为 X1,X2, …,Xl-1,Xl, … 信源所处的随机状态序列为 S1,S2, …,Sl-1,Sl, …
电信学院 江小平
2013-7-25
18/24
马尔可夫信源定义
马尔可夫信源：信源输出的符号和所处的状态满足下列
两个条件。 某一时刻信源符号的输出只与此刻信源所处的状态有关， 与以前的状态和以前的输出符号都无关。即 P(Xl=xk /Sl=ei , Xl-1=xk-1 , Sl-1=ej ,…) =pl(xk /ei) 当具有时齐性时有 pl(xk /ei)= p(xk /ei) 信源某l时刻所处的状态由当前的输出符号和前一时刻(l-1) 信源的状态惟一确定。即
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第三章 多符号离散信源与信道3.1设X ＝X 1X 2…X N 是平稳离散有记忆信源，试证明：H(X 1X 2…X N )=H(X 1)+ H(X 2/ X 1)+H(X 3/ X 1 X 2)+…+H(X N / X 1 X 2…X N -1)。
(证明详见p161-p162)3.2试证明：logr ≥H(X) ≥H(X 2/ X 1) ≥H(X 3/ X 1 X 2) ≥…≥H(X N / X 1 X 2…X N -1)。
证明:)/()/()/()(log )(log log )()/()/()/()(:)/( )/(log )( )/(log )( )/(log )( )/(log )/()()/()/()/(:12121312121213122211111122111211111122111211111132112111111321121111212211132----==----==-=---==--=-==--=------≥≥≥≥∴≥≥≥≥=-=-=-=⎥⎦⎤⎢⎣⎡-≤∴=∑∑∑∑∑∑∑∑∑∑∑N N N N k k ri rik ik i i ik ik i i r i rik rik ik i i ik ik ik i i ri r ik ik i i ik rik ik ik i i ri rik ik i i ik r ik ik i i ik ik i k k ik i i ik ik i i ik X X X X H X X X H X X H X H r X H r r X H X X X X H X X X H X X H X H X X X X H a a a a p a aa p a a a a p a a a a p a a a a p a a a a p a a a a p a a a a p a a p X X X X H a a a a p a a a a p，即达到最大，又仅当输入均匀分布时重复应用上面式子可得条件概率的平稳性有由离散平稳有记忆信源3.3试证明离散平稳信源的极限熵：)/(lim 121-∞→∞=N N n X X X X H H(证明详见p165-p167)3.4设随机变量序列(XYZ)是马氏链，且X ：{a 1, a 2,…, a r }，Y ：{b 1,b 2, …,bs},Z:{c 1,c 2, …,cL}。
又设X 与Y 之间的转移概率为p(b j /a i )(i=1,2, …,r;j=1,2, …,s)；Y 与Z 之间的转移概率为p(c k /b j )(k=1,2,…,L;j=1,2, …,s)。
试证明：X 与Z 之间的转移概率：∑==sj j k i j i k b c p a b p a c p 1)/()/()/(证明:∑∑∑========∴=∴=================sj j k i j i k j k i j k sj i j k i j sj i j k i sj j k i k i k b Y c Z P a X b Y p a c p b c P a b c P Markov XYZ a X b Y c Z P a X b Y p a X b Y c Z p a X b Y c Z p a X c Z p a c p 1111)/()/()/()/(),/(),/()/( )/,()/,( )/()/(＝序列为3.5试证明：对于有限齐次马氏链，如果存在一个正整数n0≥1，对于一切i ，j ＝1，2，…，r ，都有p ij (n 0)>0，则对每个j ＝1，2，…，r 都存在状态极限概率：),,2,1()(lim r j p n p j ij n ==∞→(证明详见:p171~175)3.6设某齐次马氏链的第一步转移概率矩阵为：⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡p q p q p q 000210 2 1 0 试求：(1) 该马氏链的二步转移概率矩阵； (2) 平稳后状态“0”、“1”、“2”的极限概率。
解：[][]⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧-=--=-=---=-=--=⇒⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧=>=++⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡∙⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡++=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡==pq p pq q p p pq pq pq p q p pq q pq p q p i i p p p p p p p p q p q p q p p p p pq pqq p pqq p pq pqq p qp q p q p qp qp qP P P T11)1()0(11)1)(1()1(11)1()0()2,1,0(0)(1)2()1()0()2()1()0(000)2()1()0()2(200000)]2()[1(22222222＝由：3.7设某信源在开始时的概率分布为P{X 0=0}=0.6;P{ X 0=1}=0.3; P{ X 0=2}=0.1。
第一个单位时间的条件概率分布分别是：P{ X 1=0/ X 0=0}=1/3; P{X 1=1/ X 0=0}=1/3; P{ X 1=2/ X 0=0}=1/3; P{ X 1=0/ X 0=1}=1/3; P{ X 1=1/ X 0=1}=1/3; P{ X 1=2/ X 0=1}=1/3; P{X 1=0/ X 0=2}=1/2; P{ X 1=1/ X 0=2}=1/2; P{ X 1=2/ X 0=2}=0.后面发出的Xi 概率只与Xi-1有关，有P(Xi/Xi-1)=P(X 1/ X 0)(i ≥2)试画出该信源的香农线图，并计算信源的极限熵H ∞。
解：[][]bit/symbl439.1)21log 2141(2)31log 3183(3)31log 3183(3 )/(log )/()(41)(83)(83)()3,2,1(0)(1)()()()()()(02/12/13/13/13/13/13/13/1)()()()3,2,1)(()3,2,1,(0)2(023/13/13/19/218/718/79/218/73/102/12/13/13/13/13/13/13/102/12/13/13/13/13/13/13/1)]2([02/12/13/13/13/13/13/13/1210][21 0 3132132132132100=⨯⨯-⨯⨯-⨯⨯-=-=∴⎪⎪⎪⎩⎪⎪⎪⎨⎧===⇒⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧=>=++⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡∙⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=∴=>==∴⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡∙⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡==∴⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=∑∑=∞i j i j i j i i T i S S p S S p S p H S p S p S p i S p S p S p S p S p S p S p S p S p S p i S p j i n pij n P P P P ＝由存在极限概率信源具有各态经历性，，既有时二步转移概率均大于且一步转移概率为：有记忆信源：由题意，此信源为一阶香农线图如下：3.8某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为X ：{0,1,2}，并定义p -=1(1) 试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)； (2) 求信源的极限熵H ∞；(3) p 取何值时H ∞取得最大值。
解：)bit/symbl2log log ()2log 2312log 231log 31(3 )/(log )/()()2(31)(31)(31)()3,2,1(0)(1)()()()()()(2/2/2/2/2/2/)()()()3,2,1)(()3,2,1,(0)1(012/2/2/2/2/2/210][21 0 )1(3132132132132100pp p p p p p p p p S S p S S p S p H S p S p S p i S p S p S p S p S p S p S p p p p p p p p p p S p S p S p i S p j i n p n p p p p p p p p p P i j i ji j i i T i ij +-=⨯+⨯+⨯-=-=∴⎪⎪⎪⎩⎪⎪⎪⎨⎧===⇒⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧=>=++⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡∙⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=∴=>==∴⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=∑∑=∞＝由存在极限概率信源具有各态经历性，，既有时二步转移概率均大于移概率为：由题意，此信源一步转symble/bit 585.13log 323122122)2log 22log 2log ()2log log ((3)max ======∴=++++-=+-=∞∞∞H H p p p p p p p pp p p p p p p p p H 取得最大，且时即由熵的极限定理，当3.9某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为X ：{0,1,2}。
试求： (1)试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)； (2)求信源的极限熵H ∞；(3)求当p=0,p=1时的信息熵，并作出解释。
解:bit/symbl0)1(,1 bit/symbl 0)0(,0(3)bit/symbl )()log log ( )log 31log 31log 31log 31log 31log 31( )/(log )/()()2(31)(31)(31)()3,2,1(0)(1)()()()()()(000)()()()3,2,1)((,000210][21 0 )1(31321321321321=======+-=⨯++⨯++⨯+-=-=∴⎪⎪⎪⎩⎪⎪⎪⎨⎧===⇒⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧=>=++⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡∙⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=∴∴⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=∞∞=∞∑∑H H p H H p p H p p p p p p p p p p p p p p p p S S p S S p S p H S p S p S p i S p S p S p S p S p S p S p p p p p p p S p S p S p i S p p p p p p p P i j i j i j i i T i 时时＝由存在极限概率期性、各态经历性信源此信源为不可约、非周由状态转移图可知移概率为：由题意，此信源一步转pp3.10设某马尔柯夫信源的状态集合S ：{S 1S 2S 3}，符号集X ：{α1α2α3}。