离散无记忆的扩展信源
信息论基础ppt
X q(X
)
x 1 q(x
1
)
x2 q(x 2 )
xm q(x m )
x为各种长为N的符号序列，x = x1 x2 … xN ，xi { a1 , a2 , … , ak }，1 i N，序列集X = {a1a1… a1 , a1a1… a2 , … , akak… ak }，共有kN种序列，x X。
X q(
X
)
x1 q(
x1
)
x2 q(x2 )
xI q(xI )
q(xi )：信源输出符号消息xi的先验概率; I 满足：0 q(xi) 1，1 i I q(xi ) 1 i 1
1.3.2 离散无记忆的扩展信源
实际情况下，信源输出的消息往往不是单个符号，而是由
许多不同时刻发出的符号所组成的符号序列。设序列由N个 符号组成，若这N个符号取自同一符号集{ a1 , a2 , … , ak}， 并且先后发出的符号彼此间统计独立，我们将这样的信源称 作离散无记忆的N维扩展信源。其数学模型为N维概率空间：
P
p( p(
y1 y1
x1 ) x2 )
p( y1 xI )
p( y2 x1 ) p(y2 x2 )
p( y2 xI )
p( y J p( yJ
x1 x2
) )
p( yJ xI )
p (yjxi )对应为已知输入符号为xi，当输出符号为yj时的信道
转移概率，满足0 p (yjxi ) 1，且
波形信道 信道的输入和输出都是时间上连续， 并且取值也连续的随机信号。 根据统计特性，即转移概率p (yx )的不同，信道又可分类为：
无记忆信源 X的各时刻取值相互独立。
有记忆信源 X的各时刻取值互相有关联。
信息论第2章(2010)
ai 后所获得的信息量。
自信息量的性质：
1）非负性。 2) 单调递减性。 3) 可加性。
I xi ,y j log pxi ,y j
若两个符号x i , y j同时出现，可用联合概率px i , y j 来表示 这时的自信息量为 I y j I xi | y j
例题：二元信源，每个符号发生的概率分别为p(x1)=p，p(x2)=1-p. 试计算信源熵，并画出熵函数H(p)和p的曲线图。
① 等概时（p=0.5)：随机变量具有最大的不确定性
② p=0或1时：随机变量的不确定性消失。
信息熵的物理意义
1）表示了信源输出前，信源的平均不确定性。 2）表示了信源输出后，每个消息或符号所提供的 平均信息量。 3）信息熵反映了变量X的随机性。
平均自信息量H (X ) 表示信源输出消息中的每个符号所含信息量的统计 平均值，其表达式为 q
H ( X ) EI ( xi ) P( xi ) log P( xi )
i 1
式中， E 表示统计平均，
I ( xi ) 表示符号 x i 包含的自信息量。
平均信息量可以表示为：
任何一个物理量的定义都应当符合客观规律和逻辑上 的合理性，信息的度量也不例外。直观经验告诉我们： ① 消息中的信息量与消息发生的概率密切相关：出现消 息出现的可能性越小，则消息携带的信息量就越大。 ② 如果事件发生是必然的（概率为1），则它含有的信息 量应为零。如果一个几乎不可能事件发生了（概率趋 于0），则它含有巨大的信息量。 ③ 如果我们得到不是由一个事件而是由若干个独立事件 构成的消息，那么我们得到的信息量就是若干个独立 事件的信息量的总和。
② 联合信源中平均每个符号对所包含的信息量？
信息论与编码[第二章离散信源及其信息测度]山东大学期末考试知识点复习
![信息论与编码[第二章离散信源及其信息测度]山东大学期末考试知识点复习](https://img.taocdn.com/s3/m/4f9eb902763231126edb115f.png)
第二章离散信源及其信息测度2．1．1 信源的分类信源是信息的来源，是产生消息或消息序列的源泉。
不同的信源输出的消息其随机性质不同。
根据消息所具有的随机性质的不同，对信源进行如下分类：按照消息取值集合以及取值时刻集合的离散性和连续性，信源可分为离散信源(数字信源)和波形信源(模拟信源)；按照某取值时刻消息的取值集合的离散性和连续性，信源可分为离散信源和连续信源；按照信源输出消息所对应的随机序列的平稳性，信源可分为平稳信源和非平稳信源；按照信源输出的信息所对应的随机序列中随机变量前后之间有无统计依赖关系，信源可分为无记忆信源和有记忆信源。
2．1．2 基本信源的数学模型根据信源输出消息所对应的不同的随机特性就有不同的信源数学模型。
而基本的信源数学模型有以下几种。
1．离散信源信源输出的是单个符号或代码的消息，信源符号集的取值是有限的，或可数的，可以用一维离散型随机变量来描述。
信源的数学模型就是离散型随机变量x的概率空间，表示为2．连续信源信源输出的是单个符号或代码的消息，但信源符号集的取值是连续的，可以用一维连续型随机变量来描述。
相应的信源的数学模型就是连续型随机变量的概率空间，表示为其中(a，b)是连续随机变量X的取值区间，R表示全实数集，而p(x)是连续随机变量X的概率密度函数。
2．1．3 离散信源的信息熵1．自信息自信息即为某事件a i发生所含有的信息量。
事件的自信息定义为式中P(a i)是事件a i发生的概率。
自信息的单位有几种：以2为底的对数时单位是比特(bit)；以e为底的自然对数时单位是奈特(nat)；以10为底的常用对数时单位是哈特(hart)。
2．信息熵离散随机变量X的信息熵就是其概率空间中每个事件所含有的自信息量的数学期望，即其单位是：以2为底的对数时是比特／符号(bit／symbol)；以e为底的对数时是奈特／符号(nat／symbol)；以10为底的对数时是哈特／符号(hart／symbol)。
信息论讲义_第七讲
信息理论基础（第七讲）授课教师：于泽电子信息工程学院201教研室2粟傈37010703 docx李远宁docxbarry-hp docx付立37230131苏立焱362301133第三章离散信源内容提要3.1 信源的数学模型及其分类3.2 离散无记忆信源3.3 离散无记忆信源的扩展信源3.4 离散平稳信源3.5 马尔可夫信源3.6 信源的相关性和剩余度4m 时刻有限状态马尔科夫链⎧⎪⎪⎨⎪⎪⎩状态空间转移概率⎧⎪⎪⎨⎪⎪⎩基本转移概率p ij (m )k 步转移概率p (k )ij (m )k 步转移矩阵P ={p (k )ij (m )}齐次马尔科夫链（时齐马尔科夫链）基本转移概率同时刻m 无关（具有平稳转移概率矩阵）C-K 方程初始分布⎫⎪⎬⎪⎭()()()n m n m +=PP Pi 0()i i P X S p ==任意时刻系统的状态分布C-K方程初始分布⎫⎪⎬⎪⎭()()()n m n m+=P P P i()i iP X S p==任意时刻系统的状态分布平稳分布（极限分布）()lim nij j np p →∞=稳态分布存在定理⎧⎪⎪⎨⎪⎪⎩唯一性定理存在定理=W P WiNP中元素均大于零563.5.3 马尔可夫信源1. 状态信源输出符号的概率仅与已经输出的若干个符号有关，而与在前面的符号无关，称这若干个符号为信源的状态S i ，所有可能的状态集合S 称为状态空间{}12,,,mJ J q S S S ==S7{}()()121212112,,,,,,1,2,,m l l q ml l l l l l m x a a a a x x x x u a a a l l l q +⎧=∈⎪⎪⎪⎨=⎪⎪∈⎪⎩信源输出信源状态{}()()121212,,,,,,1,2,,m l l q l l l l m x a a a a u a a a l l l q ⎧=∈⎪⎨=∈⎪⎩信源输出符号在某一状态下信源状态，转入新状态u l+1=(a l1···a lm a l )，J=q m 个状态，m 称为马尔可夫信源阶数8X 1X i+1X 2X i X i+2S j X i-2S j-1X i-1…………S j+1S 2S 1…………121111()()()i i i i i j j j p X X X X p X S p S S +−−+−−==若信源随机状态序列服从马尔可夫链，则称该信源为马尔可夫信源三阶马尔可夫信源92. 马尔可夫信源满足下列条件的信源称为马尔可夫信源(1) 信源输出仅与当时状态有关(2) 信源状态由当时输出符号与前一时刻信源状态决定()()11|,;, |l k l j l j l i l k l j P x a u S x a u S P x a u S −−======= ()0101|,0l i l k l j i i P u S x a u S i i −=⎧====⎨≠⎩10m 阶马尔可夫信源的状态空间为其中，p (S i |S j )由信源符号条件概率确定，()12|mq i jS S S p S S ⎡⎤⎢⎥⎢⎥⎣⎦()112|m mi i i i p a a a a + ()()12112,1,2,,,,,,,,,,m m mi i i i q i j q a a a a a a a +∈∈11(3) 信源的极限熵当时间足够长时，遍历的m 阶马尔可夫信源可视为平稳信源其中，p (S j )是平稳分布()()|jj j s p S H X S =∑121111121lim (|)lim (|)(|)N N N N N m N m N N m m m H H X X X X H X X X X H X X X X H ∞−→∞−−+−→∞++==== 时齐性限制关联长度时齐性定义式1211111111111111,,,,(,,)log (|,,)(,,)(|)log (|)()(|)log (|)()(|)m m mm mm m m m m m ii i i i i i i i i i i i i i i i i i i i i S i i ip x x p x x x p x x p x s p x s p s p x s p x s p s H X s +++++++++=−=−==∑∑∑∑∑ 1m H +H (X|S j )是信源处于状态S j 时的条件熵X 的取值集()()()||log |jj i j i j SH X S p a S p a S =∑()12,,,q A a a a =13例设有一个二进制马尔可夫信源，其信源符号集为{0,1},条件概率为p (0|00)=p (1|11)=0.8p (1|00)=p (0|11)=0.2p (0|01)=p (0|10)=p (1|01)=p (1|10)=0.8信源符号个数q=2，故可能的状态为q m =22=4，S 1=00，S 2=01，S 3=10，S 4=11。
信息论与编码基础第2章离散信源及其信息测度
故：
P1(Xi) = P2 (Xi)= ···= PN (Xi)
N
P( X ) P( X1, X 2, , X N ) P( X i ) i 1
2.1 信源的数学模型及分类
15
设各随机变量 Xi 取自同样符号集 A={a1, a2, …, aq}，则：
N
P( X i ) P(ai1 , ai2 ,..., aiN ) P(aik ), ik {1, 2,..., q} k 1
... ...
aq P(aq )
q
P(ai ) 1
i 1
称事件ai发生所含有的信息量为 ai 的自信息量。定义为：
I (ai )
f [P(ai )] logr
1 P(ai )
logr
P(ai )
2.2 离散信源的信息熵
24
I(ai)代表两种含义：(1) 当事件ai 发生以前，表示事件ai 发生 的不确定性；(2) 当事件ai 发生以后，表示事件ai 所提供的信 息量。
1
信息论与编码基础
第二章 离散信源及其信息测度
第二章 离散信源及其信息测度
2
消息是信息的载荷者。对信息的研究，要从消息开始。 信源是产生消息或消息序列的源头。我们并不关心信源的内
部结构，不关心消息的产生原因和过程，而研究信源各种可 能的输出，以及输出各种可能消息的不确定性。 对收信者而言，在收到消息之前，对于信源发送什么消息是 不可预知的、随机的。因此可以用随机变量和随机过程来描 述信源输出的消息，或者说用一个概率空间来描述信源。 不同的信源输出不同类型的消息。可以根据消息不同的随机 性质来对信源进行分类。
qN
qN N
k 1
P(i ) P(aik ) 1
信息论与编码理论-习题答案-姜楠-王健-编著-清华大学
第1章 绪论1.1 信源、编码器、信道、干扰、译码器、信宿 1.2 香农1.3 通信系统模型1.4信号是消息的表现形式，是物理的，比如电信号、光信号等。
消息是信息的载荷者，是信号的具体容，不是物理的，但是又比较具体，例如语言、文字、符号、图片等。
信息包含在消息中，是通信系统中被传送的对象，消息被人的大脑所理解就形成了信息。
1.5 略第2章 信息的统计度量2.1 少2.2 y 的出现有助于肯定x 的出现、y 的出现有助于否定x 的出现、x 和y 相互独立 2.3 FTTTF 2.4 2.12比特2.5依题意，题中的过程可分为两步，一是取出一枚硬币恰好是重量不同的那一枚，设其发生的概率为1p ，由于每枚硬币被取出的概率是相同的，所以1181p =所需要的信息量()()1log 6.34I A p bit =-=二是确定它比其他硬币是重还是轻，设其发生的概率为2p ，则212p =总的概率12111812162p p p ==⨯=所需要的信息量()log log1627.34I p bit =-==2.6 设A 表示“大学生”这一事件，B 表示“身高1.60m 以上”这一事件，则()()()0.250.5|0.75p A p B p B A ===故()()()()()()|0.750.25|0.3750.5p AB p A p B A p A B p B p B ⨯====()()()11|loglog 1.42|0.375I A B bit p A B ===2.7 四进制波形所含的信息量为()log 42bit =，八进制波形所含信息量为()log 83bit =，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。
2.8()()()()()()2322log 3log 32log 3 1.585I p bit I p bit I I =-=-==故以3为底的信息单位是比特的1.585倍。
信息理论与编码习题
解：
(1) /符号
/符号
(2)
=
= /符号
= /符号
= /符号
= /符号
(3) /符号
/符号
(4)、(5)
/符号
/符号
/符号
/符号
又根据
= /符号
3.3设有一批电阻，按阻值分：70%是2 ，30%是5 ；按功率分：64%是1/8 ，其余是1/4 。现已知2 阻值的电阻中80%是1/8 。问通过测量阻值可以平均得到的关于瓦数的信息量是多少？
答案：王虹
解：设电视图像每个像素取128个不同的亮度点平，并设电平等概率出现，每个像素的亮度信源为
得每个像素亮度含有的信息量为：
一帧中像素均是独立变化的，则每帧图像信源就是离散亮度信源的无记忆 次扩展信源。得每帧图像含有的信息量为
广播口述时，广播员是从10 000个汉字字汇中选取的，假设汉字字汇是等概率分布的，则汉字字汇信源是
由 得
由对称性可得
（2）
H p ㏒ p =-
H =H -H
H =H -H
H =H -H
H =H -H
H =H -H
H =H -H
H =H -H
H =H -H
H =H -H
(3)
2.5 联合熵和条件熵
2.10任意三个离散随机变量 、 和 ，求证：
(1)
证明：
（1）方法一：利用定义证明。
左边=
=
右边=
=
在输入等概率分布下，计算得
，满足
然后计算
=
=
=
又 =
=
=
可见 ，当 时。
所以，根据信道容量解的充要性（参考书[1]定理3.3）得
高等教育《信息论》第3章离散信源
X
P
x1
px1
x2
px2
xq
p
xq
(3.5)8
信源输出信息量的度量
定义 3.2.2 设信源 X 中，事件 xi 发生的概率为 pxi ，
则所含有的自信息量定义为
de f
I xi log pxi
(3.6)
定义 3.2.2 给出的自信息量的函数形式有如下性质：
① 信源中信息的量度与输出符号发生的概率有关。
000, 001, 011, 111,100,110, 010,101
5
3.1.2 信源的分类 无记忆信源
① 离散无记忆信源 信源发出的消息符号彼此是统计独立的，并且具有
相同的概率分布，其 N 维随机矢量的联合概率分布为
N
N
p X p X k aik pik
k 1
k 1
i 1, 2, , q
其中 N 可为有限正整数或可数无穷值。通常，总限定 N 是有限的，故只限于讨论“有限离散信源”。若在这随机
矢量中的每个随机变量Xk , k 1, 2, , N 都是离散的，则可 用N重离散概率空间的数学模型来描述这类信源。
X
P
a1
pa1
a2
pa2
aqN p aqN
(3.4)
其中
9
自信息量 I xi 是指某一信源发出某一消息符号 xi 所含
有的信息量，所发出的信息符号不同，它们含有的信息量
也就各不相同，故自信息量 I xi 是一个随机变量，不能用
它来作为整个信源输出信息的信息测度。为此，需要引入 平均自信息量，即信息熵来作为信源输出信息的信息测度。
定义 3.2.3 信源输出的各消息的自信息量的数学期望为 信源的平均自信息量，或称为信源的信息熵。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2
p( 2 )
... ...
p( q N )
N
q
上式中，每个符号 i 是对应于某一个由N个 ai组成的 i 的概率 P(i )是对应N个 ai 组成的序列概率。 序列。
电子信息工程学院
信息论
i 1 def q
电子信息工程学院
信息论
2.4.2 离散无记忆信源的扩展信源
2.4 离散无记忆的扩展信源
1、离散无记忆二进制信源的二次扩展信源
X x1 P p( x ) 1 x2 0 p( x2 ) p(0) 1 p(1)
x2 0 p( x 2 ) p(0)
a3 p (a3 ) a4 p(a 4 ) a5
1 p(1)
a6 p(a6 ) a7 p(a7 ) a8 p ( a8 )
三次扩展信源
p ( a5 )
扩展后的信源符号集合
X 3 X 1 X 2 X 3 {a1 , a2 ,a8 } {000,001 ,010,011 ,100,101 ,110,111 }
电子信息工程学院
4、离散无记忆信源X 的N 次扩展信源
信息论
设一个离散无记忆信源的概率空间为:
X a1 P( x) p 1 a2 p2 ... ...
2.4 离散无记忆的扩展信源
aq q , pi 1( pi 0) pq i 1
则信源X的N次扩展信源XN是具有qN个符号的离散信 源，其中N重概率空间为
电子信息工程学院
i 1
i 1 i
q
信源 X 的符号集 X x1 , x2 ,..., xq ，每个符号的发生概 率为 p( xi )，信源每次发出一个符号，且符号发生的概 率相互独立，称为单符号离散无记忆信源，简称离散
无记忆信源。
H ( X ) E I ( xi ) E log p( xi ) p( xi ) log p( xi )
二次扩展信源
a2 a3 a4 00 01 10 11 X 2 a1 p ( a ) p ( a ) p ( a ) p ( a ) p ( 00 ) p ( 01 ) p ( 10 ) p ( 11 ) P 1 2 3 4
扩展后的信源符号集合
N次扩展信源
X N a1 p(a ) P 1 a2 p(a 2 ) aq N p(a q N )
其中： X N X1 X 2 X N ( X1, X 2 , , X N X ) ai ai1ai 2 aiN ; aik X ( x1, x2 , xq ); k (1, 2,
2.4 离散无记忆的扩展信源
因为是无记忆的（彼此统计独立），若
i (ai ai ai ...ai )
1 2 3 N
则 P(i ) P(ai ) P(ai )...P(ai ) pi pi ... pi 其中 i1 , i2 ,..., iN 1, 2,.., q 又 0 P(i ) 1 q q q q 而 P( i ) P(ai ) P(ai )... P( ai
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
1 1 1 1 1 1 H ( X ) log log log 1.5( Bit / Symbol ) 2 2 4 4 4 4
H ( X ) P(i ) log P(i ) 3( Bit / Symbols) 2 H ( X )
H ( X ) H ( X N ) P( X ) logP( X ) P(i ) log
XN XN
2.4 离散无记忆的扩展信源
1 P(i )
X
N
可以证明离散无记忆信源 X 的 N次扩展信源 等于信源 X 的熵值的 N倍，即：
的熵
H ( X N ) NH ( X )
电子信息工程学院
2.4 离散无记忆的扩展信源
解：二次扩展信源的概率空间为
X2 1 2 1/8 3 1/8 4 1/8 5 6 7 8 9 序列 a1 a1 a1 a2 a1 a3 a2 a1 a2 a2 a2 a3 a3 a1 a3 a2 a3 a3 P(i) 1/4 1/16 1/16 1/8 1/16 1/16
N
p( i ) log
XN
1 1 p( i ) log pi1 X N pi2
p( i ) log
XN
1 piN
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
先考察其中一项
P(i )log
XN
因为：
p
ik 1
q
ik
1,(k 2,3, , N )
2
9
上式可直观的理解，扩展信源 X N 的每一个输出符号 i 是由 N 个 a i 组成的序列 ，且序列中前后符号是统计独立 现已知每个信源符号 a i 含有的平均自信息量为 H ( X ) ， 则 N 个 a i 组成的平稳无记忆序列平均含有的自信息量 为NH ( X ) ，所以信源 X N 每个输出符号 i 含有的平均自信息 量为 NH ( X ) 。
信息论
2.4.1 单符号离散无记忆信源
X x1 P p( x ) 1 x2 ... xi ...
2.4 离散无记忆的扩展信源
xq p( x2 ) ... p( xi ) ... p( xq )
0 p( xi ) 1
p( x ) 1
N N பைடு நூலகம் 1
N );
p(ai ) P( X ai ) p(ai1 ) p(ai 2 ) p(aiN ) p(aik ) (ai ai1 , ai 2 ,, aiN )
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
设离散无记忆信源 X，其样本空间为 a1 , a2 ,...aq ， 用一组长度为 N 的序列表示其输出消息序列。此时， 将输出序列等效为一个新的信源，用 N 维离散随机矢 量来描述，记作 X X1, X 2 ,..., X N ，则称 X 组成的新 信源为离散无记忆信源 X 的 N次扩展信源。 其中，每个分量 X i (i 1, 2..., N ) 都是随机变量， 它们都取决于同一信源 X ，并且分量之间统计独立。 用 N 重空间描述离散无记忆信源 X 的 N 次扩展信源， 记为 X N 。
1 2 N 1 2
N
N
,
i 1
i1
1
i2
2
iN
N
)
i1 1 q
q
i2 1
q
... pi1 pi2 ... piN
iN 1 q i2
q
pi1
i1 1
p
i2 1
... piN 1
iN
q
电子信息工程学院
信息论
上式表明离散无记忆信源 X 的 N 次扩展信源的概率空 N 间 [ X , P i ]也是完备集。 根据信息熵的定义，N次扩展信源熵
1 1 = pi1 pi2 piN log pi1 X N pi1 q q q 1 q = pi1 log [ pi2 pi3 piN ] pi1 i2 1 i11 i3 1 iN 1
1 q 所以： P(i )log = pi1 log 1 H ( X ) pi1 i1 1 pi1 XN
X 2 X 1 X 2 {a1 , a2 , a3 , a4 } {00,01 ,10,11 }
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
2 、离散无记忆二进制信源的三次扩展信源
X x1 P p( x ) 1
X 3 a1 P p(a1 ) a2 p(a 2 )
N 故： H ( X ) H ( X ) H ( X ) H ( X ) H ( X ) NH ( X )
电子信息工程学院
信息论
例2.6求离散无记忆信源的二次扩展信源及其熵。
a a X 1 2 p ( x) 1 1 2 4 a3 3 1 , pi 1 4 i 1
信息论
2.4 离散无记忆的扩展信源
证明:设 i 是 X N概率空间的一个符号，对应于由N个 ai 组 成的序列 p(i ) p(ai1 ai2 aiN ) p(ai1 ) p(ai2 ) p(aiN ) pi1 pi2 pi N
1 H ( X ) p( i ) logp( i ) p( i ) log p( i ) XN XN 1 p( i ) log p(ai1 ) p(ai2 ) p(aiN ) XN
新概率的计算举例: p(000) p(0) p(0) p(0)...
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
3、任意进制离散无记忆信源的N次扩展信源
X x1 P p( x ) 1 x2 xi p( x 2 ) p ( xi ) xq p( x q )