常见分布与共轭分布

Beta分布
假设一个二元随机变量x∈{0,1}，用参数μ表示x=1的概率为：Ρ(x=1|μ)=μ。
概率分布函数：
期望：
方差：
采用贝叶斯方法，将Beta先验乘以二项分布似然函数，得到后验分布如下：
2 多项式变量的概率分布
多 项 式 分 布 （ Multinomial distribution）
狄 利 克 雷 分 布 （ Dirichlet distribution）
ห้องสมุดไป่ตู้
方差：
注：对于小的数据集，如果对二项分布采用极大似然估计，会得到过拟合（over-fitting）
的估计结果。可以采用贝叶斯方法，引入共轭先验分布（conjugate prior distribution）来解决
这个问题。共轭先验是指，选取一个与似然函数共轭的先验分布，使得后验分布与先验分布 有同样的函数形式。其中，二项分布的共轭先验是Beta分布。
高斯分布
一元概率分布函数：
多元概率分布函数：
3.1 条件高斯分布（Conditional Gaussian distribution）
假设x是一个服从高斯分布的D维向量，为了讨论条件高斯分布，将x分成两个独立的子集：
这两个子集对应的期望为：
对应的方差为：
经推导，条件概率分布
的期望和方差分别为：
后验分布仍为Beta分布，所以，Beta分布是二项分布的共轭分布。 共轭分布不仅使求后验分布计算简单，更重要的是保留了先验分布的类型，使概率估计更加准确。
假设一个二元随机变量x∈{0,1}，用参数μ表示x=1的概率为：Ρ(x=1|μ)=μ。 概率分布函数
期望
log似然函数为：
其中，D={x1,…..xN}表示变量x的观测值。得到的最大似然估计值为：
二项分布（Binomial distribution）
假设一个二元随机变量x∈{0,1}，用参数μ表示x=1的概率为：Ρ(x=1|μ)=μ。 概率分布函数： 期望：
为了进行顺序估计，可以采用Robbins-Monro算法：
该算法的特点在于估计值会收敛到根θ*，根满足f(θ*)=0。
4 共轭分布
共轭分布(conjugate distribution)的概率中一共涉及到三个分布：先验、似然和后验，如果由先验分布和似然 分布所确定的后验分布与该先验分布属于同一种类型的分布，则该先验分布为似然分布的共轭分布，也称为共 轭先验。 比较绕嘴，下面从公式来理一下思路。假设变量x服从分布P(x|θ)，其观测样本为X={x1,x2,...,xm}，参数θ服从 先验分布∏ (θ)。那么后验分布为:
第二章
常见分布与共 轭分布
主讲人：华老师
1 2
二值变量的概率分布 多项式变量的概率分布 高斯分布 共轭分布
录
CONTENTS
3
4
01
二值变量的概率分布
Please input your text here, please input your text here.
伯努利分布（Bernoulli distribution）
3.2 边缘概率分布（Marginal Gaussian distribution）
以 为例，其期望和方差分别为：
3.3 顺序估计（Sequential estimation）
顺序估计适用于在线应用，可以一次只处理一个数据，根据当前数据估计参数值。假设需要被顺序估计
的参数为，采用极大似然估计得到：
多项式变量的概率分布
多项式变量可以取多种结果中的一种，而二值变量只能取两种结果中的一种。假设变量x可以
取K=6种结果，若x的某一次观测值为第三种结果(x3=1)，则可以将x表示为X=（0,0,0,1,0,0,0）T 。 另外，用参数μ k表示xk=1的概率：
（1）多项式分布（Multinomial distribution）
如果后验分布P(θ|X)与先验分布∏(θ)是同种类型的分布，则称先验分布Π(θ)Π(θ)为似然分布P(X|θ)的共轭
分布。 比较常用的几个例子有：高斯分布是高斯分布的共轭分布，Beta分布是二项分布的共轭分布，Dirichlet分
布是多项分布的共轭分布。下面对二项分布给出证明。
假设变量x∼Bern(x|μ)，其观测样本X={x1,x2,...,xn}的概率分布为二项分布，P(X|μ)=Cnkμk(1−μ)n−k，k为正例样 本个数，假设μ∼Beta(μ|α,β)，那么μ的后验分布为
概率函数为：
（其中，表示数据集中出现第k种结果的次数；
）
（2）狄利克雷分布（Dirichlet distribution）
狄利克雷分布是多项式分布的共轭先验分布。概率分布函数如下：
采用贝叶斯方法，得到后验分布如下：
03
高斯分布
Please input your text here, please input your text here.