随机变量、矢量和序列要点
合集下载
信息论与编码 第四章
4. 信息率失真函数 R（D）
R( D) = min I ( X ; Y )
PD '
�
说明:
n pij ∈pD ' m
对于离散无记忆信源， R（D）函数可写成
R(D) = min ∑∑ p(xi ) p( y j / xi ) log
i=1 y j )
例4－1－2
�
说明: Dk是第k个符号的平均失真。
4.1.3 信息率失真函数 R（D）
�
1. 信息率失真函数R（D）问题产生? 对于信息容量为 C 的信道传输信息传输率为 R的信源时，如果R＞C，就必须对信源压缩， 使其压缩后信息传输率R 小于信道容量 C ，但 同时要保证压缩所引人的失真不超过预先规定 的限度,信息压缩问题就是对于给定的信源，在 满足平均失真
■
2. R(D)函数的下凸性和连续性
定理 R（D）在定义域内是下凸的 证明: 令
�
D = αD'+(1 − α)D' ' , 0 ≤α ≤1 R(D' ) = min I ( pij ) = I ( p'ij )
pij∈pD'
α
其中： p 是使I（Pij）达到极小值的 证D≤D’。
' ij
p ij ，且保
说明: (1) 由于xi和yj都是随机变量，所以失真函 数d(xi,yj)也是随机变量，限失真时的失真 值，只能用它的数学期望或统计平均值，因 此将失真函数的数学期望称为平均失真。
�
�
(2) p（xi,yj）, i=1,2,…,n， j=1,2,…,m是联合分布； p（xi）是信源 符号概率分布； p（yj ／xi），i= l， 2，…，n，j＝ l，2，…，m是转移概率 分布；d（xi,yj），i=1，2，…， n,j=1，2，… ，m是离散随机变量的 失真函数. (3)平均失真 D是对给定信源分布 p（xi） 在给定转移概率分布为 p（yj／xi）的信 道中传输时的失真的总体量度。
随机过程高阶统计量方法
随机过程高阶统计量方法一、概述高阶统计量(Higher-order Statistics)是指比二阶统计量更高阶的随机变量或随机过程的统计量。
二阶统计量有：随机变量（矢量）：方差、协方差（相关矩）、二阶矩。
随机过程：自相关函数、功率谱、互相关函数、互功率谱、自协方差函数等。
高阶统计量有：随机变量（矢量）：高阶矩(Higher-order Moment) ，高阶累积量(Higher-order Cumulant) 从统计学的角度，对正态分布的随机变量（矢量），用一阶和二阶统计量就可以完备地表示其统计特征。
如对一个高斯分布的随机矢量，知道了其数学期望和协方差矩阵，就可以知道它的联合概率密度函数。
对一个高斯随机过程，知道了均值和自相关函数（或自协方差函数），就可以知道它的概率结构，即知道它的整个统计特征。
但是，对不服从高斯分布的随机变量（矢量）或随机过程，一阶和二阶统计量不能完备地表示其统计特征。
或者说，信息没有全部包含在一、二阶统计量中，更高阶的统计量中也包含了大量有用的信息。
高阶统计量信号处理方法，就是从非高斯信号的高阶统计量中提取信号的有用信息，特别是从一、二阶统计量中无法提取的信息的方法。
从这个角度来说，高阶统计量方法不仅是对基于相关函数或功率谱的随机信号处理方法的重要补充，而且可以为二阶统计量方法无法解决的许多信号处理问题提供手段。
可以毫不夸张地说，凡是使用功率谱或相关函数进行过分析与处理，而又未得到满意结果的任何问题，都值得重新试用高阶统计量方法。
高阶统计量的概念于1889 年提出。
高阶统计量的研究始于六十年代初，主要是数学家和统计学家们在做基础理论的研究，以及针对光学、流体动力学、地球物理、信号处理等领域特定问题的应用研究。
直到八十年代中、后期，在信号处理和系统理论领域才掀起了高阶统计量方法的研究热潮。
高阶统计量方法已在雷达、声纳、通信、海洋学、电磁学、等离子体物理、结晶学、地球物理、生物医学、故障诊断、振动分析、流体动力学等领域的信号处理问题中获得应用。
第4讲 信源编码：对数量化、编码、矢量量化
例如：A律13折线PCM编码器的设计输入范围在[-6V, 6V]，若抽样脉冲幅度x = 13折线 折线PCM编码器的设计输入范围在 编码器的设计输入范围在[ 6V 若抽样脉冲幅度x 例如： -2.4V。求编码器的输出码组；解码器输出的量化电平值，计算量化误差；写出 2.4V 求编码器的输出码组；解码器输出的量化电平值，计算量化误差； 对应于PCM码组的线性 码组的线性PCM的13为码组 对应于PCM码组的线性PCM的13为码组 1）首先对抽样值归一化： 首先对抽样值归一化： 2）计算归一化的抽样值具有多少个量化单位，即看它落在哪一个线段内： 计算归一化的抽样值具有多少个量化单位，即看它落在哪一个线段内：
非均匀量化— 非均匀量化—对数量化器 理想的线性变换函数： 理想的线性变换函数：
c( x) = ln x B
对于这个函数当x→0时 对于这个函数当x→0时，c(x)→-∞，在物理上很难实现 )→实际中用到的压缩函数： 实际中用到的压缩函数：
1 Ax , 0≤ x≤ 1 + ln A A c( x) = 1 + ln Ax , 1 ≤ x ≤ 1 1 + ln A A
c ( x) = ln(1 + Ax) ,0 ≤ x ≤1 ln(1 + A)
A律压缩
μ律压缩
其中A称为压缩系数， 其中A称为压缩系数，由压缩函 数表达式可知： 数表达式可知： 1）在 0 ≤ x ≤ 1 的范围内，c(x) 的范围内， A 是一段直线； 是一段直线； 2）在 1 ≤ x ≤ 1 的范围内， c(x) 的范围内， A 是一条对数特性曲线 在实际中一般采用折线的方法来 近似表示对数特性
编码规则（正极性部分）： 编码规则（正极性部分）： 段落0(000)： 31份 段内分为16个小段 每小段2 个小段， 段落0(000)：0—31份，段内分为16个小段，每小段2份； 段落1(001)：32—63份 段内分为16个小段 每小段2 个小段， 段落1(001)：32—63份，段内分为16个小段，每小段2份； 段落2(010)：64—127份 段内分为16个小段 每小段4 个小段， 段落2(010)：64—127份，段内分为16个小段，每小段4份； 段落3(011)：128—255份 段内分为16个小段 每小段8 个小段， 段落3(011)：128—255份，段内分为16个小段，每小段8份； 段落4(100)：256—511份 段内分为16个小段 每小段16份 个小段， 段落4(100)：256—511份，段内分为16个小段，每小段16份； 段落5(101)：512—1023份 段内分为16个小段，每小段32份 段落5(101)：512—1023份，段内分为16个小段，每小段32份； 个小段 段落6(110)：1024—2047份 段内分为16个小段 每小段64份 个小段， 段落6(110)：1024—2047份，段内分为16个小段，每小段64份； 段落7(111)：2048—4095份 段内分为16个小段 每小段128份 个小段， 段落7(111)：2048—4095份，段内分为16个小段，每小段128份； 其中：每一份为一个量化单位； 其中：每一份为一个量化单位； 每小段的中点为量化电平
信息论第2章(2010)
ai 后所获得的信息量。
自信息量的性质：
1）非负性。 2) 单调递减性。 3) 可加性。
I xi ,y j log pxi ,y j
若两个符号x i , y j同时出现，可用联合概率px i , y j 来表示 这时的自信息量为 I y j I xi | y j
例题：二元信源，每个符号发生的概率分别为p(x1)=p，p(x2)=1-p. 试计算信源熵，并画出熵函数H(p)和p的曲线图。
① 等概时（p=0.5)：随机变量具有最大的不确定性
② p=0或1时：随机变量的不确定性消失。
信息熵的物理意义
1）表示了信源输出前，信源的平均不确定性。 2）表示了信源输出后，每个消息或符号所提供的 平均信息量。 3）信息熵反映了变量X的随机性。
平均自信息量H (X ) 表示信源输出消息中的每个符号所含信息量的统计 平均值，其表达式为 q
H ( X ) EI ( xi ) P( xi ) log P( xi )
i 1
式中， E 表示统计平均，
I ( xi ) 表示符号 x i 包含的自信息量。
平均信息量可以表示为：
任何一个物理量的定义都应当符合客观规律和逻辑上 的合理性，信息的度量也不例外。直观经验告诉我们： ① 消息中的信息量与消息发生的概率密切相关：出现消 息出现的可能性越小，则消息携带的信息量就越大。 ② 如果事件发生是必然的（概率为1），则它含有的信息 量应为零。如果一个几乎不可能事件发生了（概率趋 于0），则它含有巨大的信息量。 ③ 如果我们得到不是由一个事件而是由若干个独立事件 构成的消息，那么我们得到的信息量就是若干个独立 事件的信息量的总和。
② 联合信源中平均每个符号对所包含的信息量？
信息论基础-第二、三章
信息论基础-信源及信源熵
离散信源又可以细分为： 1.根据有无记忆： （1）(离散)无记忆信源：所发出的各个符号之间是相 互独立的，发出的符号序列中的各个符号之间没有统 计关联性，各个符号的出现概率是它自身的先验概率。 （2）(离散)有记忆信源：发出的各个符号之间不是相 互独立的，各个符号出现的概率是有关联的。
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT, 9
信息论基础-信源及信源熵
（1）发出单个符号的无记忆信源；(离散无记忆单符号信源； 先验概率) （2）发出符号序列的无记忆信源；(离散无记忆序列信源，离 散联合概率) （3）发出符号序列的有记忆信源；(离散有记忆序列信源，联 合概率) （4）发出单符号的有记忆信源；(离散有记忆单符号信源，条 件概率) 一类重要的离散有记忆单符号信源——马尔可夫信源： 某 一个符号出现的概率只与前面一个或有限个符号有关，而不 依赖更前面的那些符号。
X=( x1 , x2 ,L , xN )
来描述，其中N可为有限正整数或可数的无限 中国矿业大学信电学院 值。 School of Information and Electrical Engineering, CUMT,
14
信息论基础-信源及信源熵
在上述随机矢量中，若每个分量是随机变量 xi (i 1,2,, N )
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT, 17
信息论基础-信源及信源熵
表述有记忆信源要比表述无记忆信源困难得多。 这种关联性可用两种方式表示:
1）有记忆序列信源（离散有记忆序列信源）
第四章 波形信源和波形信道
2
－2 F 2 F 其他
其自相关函数
Rn
(
)
1
2
Pn
()e
j
d
N0
F
sin(2 F 2 F
)
由功率谱密度可知在时间间隔 1的两个样本点之间的相
2F
关函数等于零，
所以各样本值之间不相关。有因为随即变量是高斯概率
密度分布的，所以随机变量之间统计独立。
第四节 连续信道和波形信道的分类
4.有色噪声信道 除白噪声以外的噪声称为有色噪声。信道的噪声是
率是按正、负两半轴上的频谱定义的。只采用正半轴频谱来
定义，则功率谱为
N
，常称为单边谱密度。而
0
N0 /称2 为双
边谱密度，单位为瓦/赫(W/Hz)。显然。白噪声的相关函数
是 函数：
Pn ()
N0 2
Rn ( )
N0 2
( )
第四节 连续信道和波形信道的分类
3.高斯白噪声信道
具有高斯分布的白噪声称为高斯白噪声。一般情况把既服 从高斯分布而功率谱密度又是均匀的噪声称为高斯白噪声。 关于低频限带高斯白噪声有一个很重要的性质，即低频限带 高斯白噪声经过取样函数取值后可分解成N（＝2FT）个统计 独立的高斯随机变量（方差为 N0 / ，2 均值也为零）。
且当随机序列中各变量统计独立时等式成立。
第二节 波形信源和波形信源的信息测度
两种特殊连续信源的差熵
1.均匀分布连续信源的熵值
一维连续随机变量X在[a,b]区间内均匀分布时，这基本连
续信源的熵为 h( X ) log(b a)
N维连续平稳信源，若其输出N维矢量 X ( X1X 2 X N )
其分量分别在 [a1, b2 ], ,[aN , bN ] 的区域内均匀分布，
随机信号分析第一章2010
F XY ( x , y ) FY ( y | x ) = FX ( x ) p XY ( x , y ) pY ( y | x ) = p X ( x)
n维随机变量及其分布 维随机变量及其分布
定义 n维随机变量 ( X 维随机变量
1
, X
2
,L , X
n
)
的n维（联合）分布函数为 维 联合）分布函数为
+∞ −∞
p(x) ≥ 0
性质2 概率密度函数在整个取值区间积分为1 性质2：概率密度函数在整个取值区间积分为1，即
∫
p ( x ) dx = 1
x2 x1
性质3：概率密度函数在(x 区间积分， 性质 ：概率密度函数在(x1,x2)区间积分，得到该区 间的取值概率
P { x1 < X ≤ x 2 } =
1.1随机变量的概念 § 1.1随机变量的概念
抛硬币：可能出现正面或反面； 例1 抛硬币：可能出现正面或反面； 从一批产品中任取10件 例2 从一批产品中任取 件，抽到 的废品数可能是0,1,2,…,10中的一 的废品数可能是 中的一 个数； 个数； 掷色子：可能出现1,2,3,4,5,6点 例3 掷色子：可能出现 点
F XY ( x , y ) = P { X ≤ x , Y ≤ y }
(x,y)的二维联合概率密度，简称为二维概率密度 的二维联合概率密度，简称为二维概率密度 二维概率密度: 的二维联合概率密度
p XY
性质1： 性质 ：
∂ F XY ( x , y ) ( x, y) = ∂x∂y
2
二维概率密度具有以下性质： 二维概率密度具有以下性质：
F ( x1 , x 2 ,L , x n ) = P{ X
第2章 离散信源熵
H (Y X ) E[ I (b j ai )] p(aib j )log p(b j ai )
i 1 j 1
n
m
(2.2.8) (2.2.9)
21
3 联合熵
H ( XY ) p(aib j ) I (aib j ) p(aib j )log p(aib j )
6
对于离散随机变量，取值于集合
a1
, a 2 , , ai , , a n
对任一 a i 记 p ( ai ) P ( X ai ) 单符号离散信源的数学模型为
, ai , , an X a1 , a2 , P( X ) p(a ), p(a ), , p(a ), , p(a ) 1 2 i n
23
证明：自然对数具有性质 当 x 0时， ln x x 1 ，并且当且仅当 x 1 时，该式取等号。
图2.2.3 自然对数的性质
24
n n 1 1 H ( X ) log n p(ai )log p(ai )log n p(ai )log p(ai ) i 1 np(ai ) i 1 i 1 n
j 1 i 1
m
n
p(a b ) p(b ), p(a b ) p(a )
i 1 i j j j 1 i j i
n
m
p(ai bj ) p(bj ) p(ai bj ) p(ai ) p(bj ai )
当 X 与 Y 相互独立时
p(aib j ) p(ai ) p(b j ), p(b j ai ) p(b j ), p(ai b j ) p(ai )
条 件 熵
信 源 熵
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
数学期望 fx1(x) 负
倾斜度
峰度
12
切比雪夫(Chebyshev)不等式
随机变量偏离其平均值k倍标准偏差的概率， 小于或等于1/k2,与概率密度函数的具体形式 无关： 1 Pr{| x( ) x | k x } 2 k
13
特征函数
定义
x ( ) E{e
jx ( )
倾斜度(skewness)：表明随机变量与中心分布的不对 称程度。向右倾斜，其值为正，向左则其值为负。
3 ~3 x( ) x 1 3 Skew k x E 3 x x x
10
统计值
峰度(kurtosis)：表明随机变量在均值附近的相对平坦 程度或峰值程度。相对于正态分布而言，正态分布的 峰度值为0，比正态分布陡峭，则峰度值大于0，否则 小于0。
概率密度函数(probability density function, pdf)
dFx ( x) f x ( x) dx
5
分布密度与密度函数
对于离散的随机变量，采用概率质量函数(probability mass function, pmf)
pk Pr{x( ) xk }
概率函数满足：
0 Fx ( x) 1, Fx () 0, Fx () 1
f x ( x) 0,
f
x
( x)dx 1
x2
Pr{x1 x( ) x2 } Fx ( x2 ) Fx ( x1 )
x1
f
x
( x)dx
6
统计值
数学期望
xk pk k E{x( )} x xf x ( x)dx
0
15
累积量
累积量生成函数是矩的生成函数的自然对数
x (s) ln x (s) ln E esx ( )
用jξ代替s得到第二特征函数
x (s) ln x ( ) ln E e jx( )
累积量为累积量生成函数的导数
m d x ( s) m x dsm s 0 m d x ( ) m ( j ) dsm
采用s代替将上式的jξ，得到矩的生成函数
x (s) E{e
sx ( )
} f x ( x)e jx dx
} f x ( x)e sx dx
在 s=0处按泰勒级数展开，假设各阶矩存在
[ sx ( )]2 [ sx ( )]m x ( s) E{e } E 1 sx ( ) ... ... 2! m! s2 2 sm m 1 s x rx ... rx ... 2! m!
3
随机变量
随机变量x(ξ) 抽象空间S ξ1 ξ4 ξ2 ξ3 实数空间R x(ξ1) x(ξ4) x(ξ3) x(ξ2)
随机变量映射示意图
4
分布密度与密度函数
分布函数(Cummulative distribution function, cdf)
Fx ( x) Pr{x( ) x}
当随机变量的均值为 0时，矩和中心矩完全相 同。 矩和中心矩一般关系如 下 m k k nk ( 1 ) rx x k k 0
m x m
9
统计值
方差与矩的关系:方差主要表征随机变量围绕中心值 的分布（或散布）程度的度量
2 2 x rx2 x E{x2 ( )} E 2{x( )}
随机变量、矢量和序列
1
主要内容
随机变量
统计值 常用分布
随机矢量
随机矢量的线性变换 正态随机矢量 独立随机变量和
离散随机过程
2
随机变量
定义3.1 随机变量x(ξ)是一个映射，这个 映射为每个来自抽象概率空间的结果ξ赋 予一个实数x。该映射满足的如下条件： (1) 对于任一x，区间{x(ξ)≤x}为概率空间 中的一个事件 (2) Pr{x(ξ)=∞}=0,且Pr{x(ξ)=－∞}=0
a
fx(x) x b
数学期望具有线性特征
7
统计值
矩(moments)
x( )的m阶矩 rxm E{x m ( )}
m x f x ( x)dx
特殊情况
x( )的0阶矩为rx0 1 x( )的1阶矩为rx1 x , 均值 x( )的2阶矩为rx2 , 均方值
8
统计值
中心矩
sx ( )
14
特征函数
从上式可知，只要随机变量的所以矩都已知 （且存在），那么可以求出生成函数，然后 进行拉普拉斯反变换就可以确定密度函数 通过生成函数对s的微分可以求出矩
m d [ x (s)] rxm dsm s 0 m d [ x ( )] ( j ) m d m
x( )的m阶中心矩
E{[ x( ) x ] } ( x x ) m f x ( x)dx
m x m
特殊情况
0 x( )的0阶中心矩为 x 1
x( )的1阶中心矩为 1 x 0
2 x( )的2阶中心矩为 x 2 , 2方差, 标准偏差
0
16
累积量
零均值随机变量的前5个累积量为
1 1 r x x x 0
2 x 3 x 2 x
2 x
4 x 5 x
3 x 4 x 4 x 3 x 2 x
17
3
5 x
10
常用分布——均匀分布
概率密度函数pdf
1 f x ( x) b a 0 a xb 其他
4 ~4 1 4 x( ) x Skew k x E 3 4 x 3 x x
11
均值、方差、倾斜度和峰度示意
fx1(x) fx2(x)
fx1(x)
σ1 fx2(x)
µ 1
µ 2
σ2 方差 正 正 fx2(x) fx1(x) 负 fx2(x)