浅谈贝叶斯方法
贝叶斯方法
贝叶斯公式
贝叶斯公式是建立在条件概率的基础上寻找 事件发生的原因（即大事件A已经发生的条 件下，分割中的小事件Bi的概率）。
设B1,B2,...是样本空间Ω的一个划分，则对 任一事件A（P(A)>0),有
贝叶斯公式
Bi 常被视为导致试验结果A发生的“原因” ，P(Bi)(i=1,2,...)表示各种原因发生的可 能性大小，故称先验概率； P(Bi|A)(i=1,2...)则反映当试验产生了结 果A之后，再对各种原因概率的新认识，故 称后验概率。估计
贝叶斯理论基本介绍 马尔科夫蒙特卡洛模拟
OpenBUGS和GeoBUGS软件介绍 演示和练习
CAR模型 BYM模型
贝叶斯参数估计
在频率派看来，参数是客观存在的固定常数， 统计的任务之一是估计这些参数，包括点估 计和区间估计。
反映在给定参数 情况下我们对x的信念。
当得到数据 X1, X2,…Xn 后，我们更新我们的信念并 且计算后验分布。
从后验分布中得到点估计和区间估计。
先验分布和后验分布
先验分布
贝叶斯学派的根本观点，是认为在关于总体分布参 数 θ的任何统计推断问题中，除了使用样本所提供 的信息外，还必须规定一个先验分布，它是在进行 统计推断时不可缺少的一个要素。
条件自相关模型
V[i ]~ N(0, 1/σ2v )
U[i ](neigh) CAR
tau.u ~ gamma(0.5, 0.0005) tau.v ~ gamma(0.5, 0.0005)
Conditional AutoRegressive model
条件自相关模型(CAR)-Normal
ui
根据马氏链收敛定理，当步长n足够大时， 一个非周期且任意状态联通的马氏链可以收 敛到一个平稳分布π(θ)。
贝叶斯定理简介及应用
贝叶斯定理简介及应用贝叶斯定理是概率论中的一项重要定理，它能够根据已知的条件概率来计算出相反事件的概率。
贝叶斯定理的应用非常广泛，涉及到许多领域，如医学诊断、信息检索、机器学习等。
本文将简要介绍贝叶斯定理的原理，并探讨其在实际应用中的一些例子。
一、贝叶斯定理的原理贝叶斯定理是由英国数学家托马斯·贝叶斯提出的，它是一种基于条件概率的推理方法。
贝叶斯定理的核心思想是，通过已知的条件概率来计算出相反事件的概率。
贝叶斯定理的数学表达式如下：P(A|B) = (P(B|A) * P(A)) / P(B)其中，P(A|B)表示在事件B发生的条件下事件A发生的概率，P(B|A)表示在事件A发生的条件下事件B发生的概率，P(A)和P(B)分别表示事件A和事件B的概率。
贝叶斯定理的原理可以通过一个简单的例子来说明。
假设有一种罕见疾病，已知该疾病的发生率为1%，并且有一种检测方法，该方法的准确率为99%。
现在某人接受了该检测方法，结果显示为阳性，请问该人真正患有该疾病的概率是多少？根据贝叶斯定理，我们可以计算出该人真正患有该疾病的概率。
假设事件A表示该人患有该疾病，事件B表示检测结果为阳性。
已知P(A) = 0.01，P(B|A) = 0.99，P(B)可以通过全概率公式计算得到： P(B) = P(B|A) * P(A) + P(B|A') * P(A')其中，P(A')表示事件A的补事件，即该人不患有该疾病的概率。
根据题目中的信息，P(A') = 1 - P(A) = 0.99。
代入上述公式，可以计算出P(B) = 0.01 * 0.99 + 0.99 * 0.01 = 0.0198。
根据贝叶斯定理，可以计算出该人真正患有该疾病的概率：P(A|B) = (P(B|A) * P(A)) / P(B) = (0.99 * 0.01) / 0.0198 ≈ 0.5即该人真正患有该疾病的概率约为50%。
贝叶斯算法原理
贝叶斯算法原理贝叶斯算法是一种基于贝叶斯定理的统计学分类方法，它被广泛应用于机器学习和数据挖掘领域。
贝叶斯算法的核心思想是利用已知的先验概率和新的证据来更新我们对事件的概率估计，从而实现对未知事件的分类预测。
在本文中，我们将深入探讨贝叶斯算法的原理及其在实际应用中的重要性。
首先，我们来了解一下贝叶斯定理的基本概念。
贝叶斯定理是一种用来计算在给定先验条件下事件的后验概率的方法。
在统计学中，它被表示为P(A|B) = (P(B|A) P(A)) / P(B)，其中P(A|B)表示在事件B发生的条件下事件A发生的概率，P(B|A)表示在事件A 发生的条件下事件B发生的概率，P(A)和P(B)分别表示事件A和事件B的先验概率。
贝叶斯定理的核心思想是通过已知的先验概率和新的证据来更新对事件的概率估计，从而得到事件的后验概率。
在贝叶斯算法中，我们将要分类的对象表示为x，将对象的特征表示为特征向量x=(x1,x2,...,xn)，将类别表示为C，我们的目标是要计算在给定特征向量x的条件下，对象属于类别C的概率P(C|x)。
根据贝叶斯定理，我们可以将P(C|x)表示为P(C)P(x|C)/P(x)，其中P(C)表示类别C的先验概率，P(x|C)表示在类别C的条件下特征向量x的概率分布，P(x)表示特征向量x的先验概率。
在实际应用中，我们通常将P(x)视为一个常数，因此我们只需要计算P(C)P(x|C)来比较不同类别的后验概率，从而进行分类。
贝叶斯算法的原理非常简单直观，但它在实际应用中却有着广泛的应用。
首先，贝叶斯算法可以很好地处理小样本学习问题，因为它可以利用先验概率来对数据进行合理的分类。
其次，贝叶斯算法可以很好地处理多类别分类问题，因为它可以通过计算不同类别的后验概率来进行分类。
此外，贝叶斯算法还可以很好地处理多特征问题，因为它可以通过计算特征向量的条件概率来进行分类。
在实际应用中，贝叶斯算法被广泛应用于文本分类、垃圾邮件过滤、情感分析等领域。
贝叶斯的原理和应用
贝叶斯的原理和应用1. 贝叶斯原理介绍贝叶斯原理是基于概率论的一种推理方法，它被广泛地应用于统计学、人工智能和机器学习等领域。
其核心思想是通过已有的先验知识和新的观察数据来更新我们对于某个事件的信念。
2. 贝叶斯公式贝叶斯公式是贝叶斯原理的数学表达方式，它可以用来计算在观察到一些新的证据后，更新对于某个事件的概率。
贝叶斯公式的表达如下：P(A|B) = (P(B|A) * P(A)) / P(B)其中，P(A|B)表示在观察到事件B之后，事件A发生的概率；P(B|A)表示在事件A发生的前提下，事件B发生的概率；P(A)和P(B)分别是事件A和事件B的先验概率。
3. 贝叶斯分类器贝叶斯分类器是基于贝叶斯原理的一种分类算法。
它利用已有的训练数据来估计不同特征值条件下的类别概率，然后根据贝叶斯公式计算得到新样本属于不同类别的概率，从而进行分类。
贝叶斯分类器的主要步骤包括：•学习阶段：通过已有的训练数据计算得到类别的先验概率和特征条件概率。
•预测阶段：对于给定的新样本，计算得到其属于不同类别的概率，并选择概率最大的类别作为分类结果。
贝叶斯分类器的优点在于对于数据集的要求较低，并且能够处理高维特征数据。
但是，贝叶斯分类器的缺点是假设特征之间相互独立，这在实际应用中可能不符合实际情况。
4. 贝叶斯网络贝叶斯网络是一种用有向无环图来表示变量之间条件依赖关系的概率图模型。
它可以用来描述变量之间的因果关系，并通过贝叶斯推理来进行推断。
贝叶斯网络的节点表示随机变量，边表示变量之间的条件概率关系。
通过学习已有的数据，可以构建贝叶斯网络模型，然后利用贝叶斯推理来计算给定一些观察值的情况下，其他变量的概率分布。
贝叶斯网络在人工智能、决策分析和医学诊断等领域有广泛的应用。
它可以通过概率推断来进行决策支持，帮助人们进行风险评估和决策分析。
5. 贝叶斯优化贝叶斯优化是一种用来进行参数优化的方法。
在参数优化问题中，我们需要找到使得某个性能指标最好的参数组合。
贝叶斯方法的解释和优点
贝叶斯方法的解释和优点摘要：概率论推断与贝叶斯推断的中心都围绕似然likelihood的概念。
然而二者对似然提供的信息的理解和解释完全不同。
即在对于观察数据提供的信息的理解，和如何应用已有信息来影响未来决策（或提供预测）的问题上常常被认为是统计学中形成鲜明对比的两种哲学理念。
本文详细贝叶斯的基本概念，计算原理和计算过程，并对其优缺点进行了详细的描述。
关键词：概率论；贝叶斯；优缺点1 引言概率论推断与贝叶斯推断的中心都围绕似然likelihood的概念。
然而二者对似然提供的信息的理解和解释完全不同。
即在对于观察数据提供的信息的理解，和如何应用已有信息来影响未来决策（或提供预测）的问题上常常被认为是统计学中形成鲜明对比的两种哲学理念。
过去几个世纪二者之间孰优孰劣的争论相当激烈。
但是，从实际应用的角度来看，我们目前更关心哪种思维能更加实用地描述和模拟真实世界。
幸运地是，多数情况下，二者的差距不大。
所以无法简单地从一个实验或者一次争论中得出谁更出色的结论。
现在的统计学家们通常不再如同信仰之争那样的互相水火不容，而是从实用性角度来判断一些实际情况下，采用哪种思想能使计算过程更加简便或者计算结果更加接近真实情况。
概率论思想下的定义：某事件在多次重复观察实验结果中发生次数所占的比例。
贝叶斯思想下的定义：概率是你相信某事件会发生的可能性。
2 贝叶斯定理（Bayesian Theorem）假设 C1，C2，……，Cn 为样本空间（Sample Space）S的分割，且有一事件（Event）A，在此前提下有两定理存在[45]：定理 1：全概率公式；（Law of Total Probability）用文字表述为：事后概率∝似然×先验概率其中：事后概率，posterior probability：B发生的条件下，A发生的概率；∝：与某某正比；似然，likelihood：A发生的条件下，B发生的概率；先验概率，prior probability：事件A发生的概率。
贝叶斯算法总结
贝叶斯算法总结一、前言贝叶斯算法是机器学习领域中的一种重要算法，其基本思想是根据已知数据和先验概率，通过贝叶斯公式计算出后验概率，从而进行分类或预测。
在实际应用中，贝叶斯算法具有许多优点，例如对于小样本数据具有较好的分类性能、能够处理多分类问题等。
本文将对贝叶斯算法进行全面详细的总结。
二、贝叶斯公式贝叶斯公式是贝叶斯算法的核心公式，它描述了在已知先验概率和条件概率的情况下，如何求解后验概率。
P(A|B) = P(B|A) * P(A) / P(B)其中，P(A|B)表示在B发生的条件下A发生的概率；P(B|A)表示在A 发生的条件下B发生的概率；P(A)表示A发生的先验概率；P(B)表示B发生的先验概率。
三、朴素贝叶斯分类器朴素贝叶斯分类器是一种基于贝叶斯定理和特征独立假设的分类方法。
其基本思想是将待分类样本向量中各个特征出现的次数作为条件概率的估计值，从而计算出各个类别的后验概率，最终将待分类样本分到后验概率最大的类别中。
朴素贝叶斯分类器具有训练速度快、分类效果好等优点，但是其假设特征之间相互独立的前提在实际应用中并不一定成立。
四、高斯朴素贝叶斯分类器高斯朴素贝叶斯分类器是一种基于朴素贝叶斯算法和高斯分布假设的分类方法。
其基本思想是将待分类样本向量中各个特征服从高斯分布的假设作为条件概率的估计值，从而计算出各个类别的后验概率，最终将待分类样本分到后验概率最大的类别中。
高斯朴素贝叶斯分类器适用于连续型特征数据，并且能够处理多维特征数据。
但是其对于离群点比较敏感。
五、多项式朴素贝叶斯分类器多项式朴素贝叶斯分类器是一种基于朴素贝叶斯算法和多项式分布假设的分类方法。
其基本思想是将待分类样本向量中各个特征出现的次数作为条件概率的估计值，从而计算出各个类别的后验概率，最终将待分类样本分到后验概率最大的类别中。
多项式朴素贝叶斯分类器适用于离散型特征数据，并且能够处理多维特征数据。
但是其对于连续型特征数据不适用。
贝叶斯算法的原理和优势是什么
贝叶斯算法的原理和优势是什么在当今的科技领域，算法的应用无处不在，而贝叶斯算法作为其中的重要一员，以其独特的原理和显著的优势，在众多领域发挥着重要作用。
要理解贝叶斯算法，首先得从它的基本原理说起。
贝叶斯算法的核心是基于贝叶斯定理。
贝叶斯定理是一种概率推理的方法，它描述了在已知某些条件下，如何更新对某个事件发生概率的估计。
简单来说，假设我们要研究事件 A 和事件 B 的关系。
我们已经知道了在一般情况下事件 A 发生的概率 P(A)，以及在事件 A 发生的条件下事件 B 发生的概率 P(B|A)，还有在一般情况下事件 B 发生的概率P(B)。
那么，当我们观察到事件 B 发生了，此时事件 A 发生的概率P(A|B)就可以通过贝叶斯定理计算得出。
用数学公式来表示就是：P(A|B) ＝ P(B|A) P(A) ／ P(B)为了更直观地理解这个原理，我们举一个简单的例子。
假设我们要判断一个人是否患有某种疾病（事件 A），我们通过一种检测方法（事件 B）来辅助判断。
已知在人群中患这种疾病的概率是 001（P(A) ＝ 001），检测方法在患者中呈阳性的概率是 095（P(B|A) ＝ 095），检测方法在非患者中呈阳性的概率是 005（P(B|¬A) ＝ 005）。
现在有一个人的检测结果呈阳性（事件 B 发生），那么这个人真正患病（事件 A 发生）的概率 P(A|B) 是多少呢？首先计算 P(B)，P(B) ＝ P(B|A) P(A) ＋ P(B|¬A) P(¬A) ＝ 095 001＋ 005 099 ＝ 0059然后通过贝叶斯定理计算 P(A|B) ＝ 095 001 ／0059 ≈ 0161通过这个简单的例子，我们可以看到贝叶斯算法能够根据新的证据（检测结果呈阳性）来更新对事件（患病）发生概率的估计。
接下来，我们来探讨一下贝叶斯算法的优势。
其一，贝叶斯算法具有良好的适应性。
贝叶斯方法
贝叶斯方法贝叶斯方法，也被称为贝叶斯推断或贝叶斯统计，是一种用于根据观察到的数据来推断参数或未知量的方法。
这一方法以18世纪英国数学家Thomas Bayes的名字命名，Bayes方法的核心思想是结合先验知识和新观测数据进行推断。
本文将详细介绍贝叶斯方法的原理和应用领域。
首先，我们来看一下贝叶斯方法的原理。
贝叶斯定理是贝叶斯方法的基础，它描述了在已知某些条件下，新观测数据对此条件具有的影响。
数学上，贝叶斯定理可以表示为：P(A|B) = (P(B|A) * P(A))/P(B)其中，P(A|B)表示在观测到事件B发生的条件下，事件A发生的概率。
P(B|A)表示在事件A发生的条件下，事件B发生的概率。
P(A)和P(B)分别是事件A和事件B发生的先验概率。
贝叶斯方法的核心思想是通过观察到的数据来更新先验概率，从而得到更新后的概率。
具体而言，通过观察到的数据，我们可以计算出给定数据下的条件概率，然后根据贝叶斯定理，将条件概率与先验概率进行结合，得到更新后的概率。
贝叶斯方法在实际应用中有广泛的应用。
其中，最常见的领域之一是机器学习。
在机器学习中，我们经常需要根据观测到的数据来估计模型参数。
贝叶斯方法可以提供一种概率框架，用于估计参数的不确定性，并进行模型的选择和比较。
此外，贝叶斯方法还可以应用于图像处理、自然语言处理、数据挖掘等领域。
贝叶斯方法的优点之一是能够处理小样本问题。
在小样本情况下，传统的频率统计方法可能无法得到可靠的估计结果。
而贝叶斯方法可以利用先验知识来弥补数据不足的问题，从而得到更加准确的推断结果。
此外，贝叶斯方法还能够处理不确定性。
在现实世界中，很多问题都伴随着不确定性。
贝叶斯方法通过引入概率的概念，可以量化不确定性，并提供了一种合理的方式来处理不确定性。
然而，贝叶斯方法也存在一些限制。
首先，在计算上，贝叶斯方法需要计算复杂的积分或求和，这可能导致计算困难。
其次，贝叶斯方法对先验概率的选择比较敏感，不同的先验概率可能导致不同的推断结果。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
浅谈贝叶斯方法随着MCMC（马尔可夫链蒙特卡尔理论Markov chain Monte Carlo）的深入研究，贝叶斯（T.Bayes(1702~1761)）统计已成为当今国际统计科学研究的热点。
翻阅近几年国内外统计学方面的杂志，特别是美国统计学会的JASA(Journal of the American Statistical Association) 、英国皇家学会的统计杂志JRSS（Journal of the Royal Statistical Society）[1]等，几乎每期都有“贝叶斯统计”的论文。
贝叶斯统计的应用范围很广，如计算机科学中的“统计模式识别”、勘探专家所采用的概率推理、计量经济中的贝叶斯推断、经济理论中的贝叶斯模型等。
托马斯·贝叶斯在18世纪上半叶群雄争霸的欧洲学术界可谓是个重要人物，他首先将归纳推理法应用于概率论，并创立了贝叶斯统计理论，对于统计决策函数、统计推理、统计估算等作出了贡献。
贝叶斯所采用的许多概率术语被沿用至今。
他的两篇遗作于逝世前4个月，寄给好友普莱斯（R.Price,1723~1791）分别于1764年、1765年刊于英国皇家学会的《哲学学报》。
正是在第一篇题为“机会学说中的一个问题的解”（An essay towards solving a problem in the doctrine of chance）的论文中，贝叶斯创立了逆概率思想。
统计学家巴纳德赞誉其为“科学史上最著名的论文之一”。
一、第一部分中给出了7个定义。
定义1 给定事件组，若其中一个事件发生，而其他事件不发生，则称这些事件互不相容。
定义2若两个事件不能同时发生，且每次试验必有一个发生，则称这些事件相互对立。
定义3若某事件未发生，而其对立事件发生，则称该事件失败。
定义4若某事件发生或失败，则称该事件确定。
定义5 任何事件的概率等于其发生的期望价值与其发生所得到的价值之比。
定义6 机会与概率是同义词。
定义7给定事件组，若当其中任何一个事件发生时，其余事件的概率不变，则称该事件组互相独立。
贝叶斯所给出的互不相容、相互独立、对立事件的定义与现在的定义差别无几，他首次明确了机会与概率的等价性。
同时贝叶斯也给出了一系列命题。
二、贝叶斯统计的基本思想1. 三种信息拉普拉斯（Laplace，Pierre-Simon(1749～1827)）发现了贝叶斯统计的核心——贝叶斯公式（又称为逆概公式），进行了更清晰的阐述，并用它来解决天体力学、医学统计以及法学问题。
在介绍贝叶斯公式前，先简单介绍一下三种信息：总体信息、样本信息和先验信息。
1.1 总体信息：是人们对总体的了解，所带来的有关信息，总体信息包括总体分布或者总体分布族的有关信息。
例如：“总体属于正态分布”、“它的密度函数是钟型曲线”等等。
1.2 样本信息：是通过样本而给我们提供的有关信息。
这类“信息”是最具价值和与实际联系最紧密的信息。
人们总是希望这类信息越多越好。
样本信息越多一般对总体推断越准确。
基于以上两种信息所作出的统计推断被称为经典统计。
其特征主要是：把样本数据看成是来自具有一定概率分布的总体，所研究的对象是总体，而不是立足与数据本身。
1.3 先验信息，即在抽样之前有关统计问题的一些信息，一般说来，先验信息主要来源于经验和历史资料。
先验信息在日常生活中和工作中也经常可见，不少人在自觉或不自觉的使用它，但经典统计忽视了，对于统计推断是一个损失。
基于上述三种信息进行的推断被称为贝叶斯统计学。
它与经典统计学的主要区别在于是否利用先验信息。
在使用样本信息上也是有差异的。
2.贝叶斯统计的基本思想国际数理统计主要有两大学派：贝叶斯学派和经典学派。
他们之间既有共同点，又有不同点。
贝叶斯统计与经典统计学的最主要差别在于是否利用先验信息，经典统计学是基于总体信息（即总体分布或总体所属分布族的信息）和样本信息（即从总体抽取的样本的信息）进行的统计推断，而贝叶斯统计是基于总体信息、样本信息和先验信息（即在抽样之前有关统计问题的一些信息，主要来源于经验或历史资料)进行的统计推断。
贝叶斯统计是贝叶斯理论和方法的应用之一，其基本思想是:假定对所研究的对象在抽样前己有一定的认识，常用先验（Prior）分布来描述这种认识，然后基于抽取的样本再对先验认识作修正，得到后验分布，而各种统计推断都基于后验分布进行。
经典统计学的出发点是根据样本，在一定的统计模型下做出统计推断。
在取得样本观测值X 之前，往往对参数统计模型中的参数θ有某些先验知识，关于θ的先验知识的数学描述就是先验分布。
贝叶斯统计的主要特点是使用先验分布，而在得到样本观测值12(,,,)T n X x x x =后，由X 与先验分布提供的信息，经过计算和处理，组成较完整的后验信息。
这一后验分布是贝叶斯统计推断的基础。
贝叶斯定理既适用于离散型随机变量，也适用于连续型随机变量，它形成了贝叶斯统计的基本原理和统计思想。
三、贝叶斯公式1．事件形式的贝叶斯公式 若12,,B B 为一列互不相容的事件，且11()0,1,2,i i B P B i +∞==Ω>=则称任一事件A ，只要()0P A >，就有()1-11()()()()=,1,2,()()()i i i i j i j P B P A B P AB P B A i P A P B P A B ===∑其中+1()=()(),j i j P A P B P A B ∞=∑即全概率公式。
特别有： 设事件,A B 为试验E 的两事件，由于B 和B 是一个完备事件组，若()>0()>0()>0P A P B P B ，，，贝叶斯公式的一种常用简单形式为()12()()()=()()+()()P B P A B P B A P B P A B P B P A B -在使用贝叶斯公式时，先验信息以12()()P B P B ，，这一概率分布的形式给出，即先验分布。
这种概率叫做先验概率，他们的值是根据先前的知识和经验确定出的，既可以利用频率和概率的关系来确定，也可以是基于“主观概率[2]”来确定。
观察到事件A 发生后i B 的概率，称式（2-1）是离散型变量的贝叶斯公式。
它实际上可以看作是从先验概率到后验概率的转换公式，即是一个“由果求因”公式。
这与全概率公式不同，全概率公式是“由因求果”公式。
由于贝叶斯统计集先验信息、样本信息和总体信息于一身，更贴近实际问题，并且由于在处理小样本问题时有其独特的优点。
事件形式的条件贝叶斯公式：在已有的贝叶斯公式的定义下，事件C 条件下，()113()()()()()i i i j i j P B C P A BC P B AC P B C P A B C +∞=-=∑2. 密度函数形式的贝叶斯公式依赖于参数θ的密度函数在经典统计中记为();p x θ，它表示在参数空间{}θΘ=中对应不同的分布。
可在贝叶斯统计中记为()|p x θ，它表示在随机变量θ给定某个值时，总体指标X 的分布.根据参数θ的先验信息确定先验分布()πθ。
这样一来，样本x 和参数θ的联合分布为()()(),|h x p x θθπθ=这个联合分布把样本信息、总体信息和先验信息都综合进去了。
我们的任务是要对未知数θ作出统计推断。
在没有样本信息时，人们只能据先验分布对θ作出推断。
在有样本观察值()12,...,n x x x x =,之后，我们应该依据(),h x θ对θ作出推断。
为此我们需把(),h x θ作如下分解：()()(),|h x x m x θπθ= 其中()m x 是x 的边缘密度函数。
它与θ无关，或者说，()m x 中不含θ的任何信息。
因此能用来对θ作出推断的仅有条件分布()|x πθ。
它的计算公式是()()()()()()()()21|,||p x h x x m x p x d θπθθπθθπθθ-Θ==⎰这就是贝叶斯公式的密度函数形式。
这个在样本x 给定下，θ的条件分布被称为θ的后验分布。
它是集中了总体、样本和先验等三种信息中有关θ的一切信息，而又是排出一切与θ无关的信息之后所得到的结果。
故基于后验分布()|x πθ对θ进行统计推断是更为有效，也是最合理的。
前面提到根据参数θ的先验信息确定先验分布()πθ。
那么到底如何确定先验分布呢？这是贝叶斯统计中最困难的，也是使用贝叶斯方法必须解决但又最易引起争议的问题。
这个问题现代有很多研究成果，但还没有圆满的理论与普遍有效的方法。
根据先验信息确定先验分布，先验分布分为无信息先验分布和有信息先验分布两大类。
在没有先验信息的情况下确定的先验分布就叫做无信息先验分布。
这是贝叶斯分析诞生之初就面临的问题，是贝叶斯学派近30多年来获得的重要成果之一。
主要有贝叶斯假设位置参数的无信息先验分布，尺度参数的无信息先验分布和Jeffreys 先验分布。
共轭先验分布就是一种有信息先验分布，一般都含有超参数，而无信息先验分布一般不含超参数。
从实用角度出发，应充分利用专家的经验或者对历史上积累的数据进行分析和拟合，以确定先验分布。
在确定先验分布时，许多人利用协调性假说。
协调性假说的定义：若总体指标X 的分布密度（或概率函数）是();p x θ，则θ的先验分布与由它和X 的样本确定的后验分布应属于同一类型。
这时先验分布叫做是();p x θ共轭先验分布。
共轭先验分布是对某一分布中的参数而言的，离开了指定的参数及其所在的分布去谈共扼先验分布是没有意义的。
定义中未对“同一类型”四个字给出精确的定义，也很难给出恰当的定义。
通常的理解是，将概率性质相识的所有分布算作同一类型。
例如，所有正态分布构成一类；所有Γ分布构成一类；所有β分布构成一类。
这个假说指示我们，先验分布应该取何种类型，然后再利用历史数据来确定先验分布中的未知部分。
许多实践表明，这个假说是符合实际的。
共轭先验分布在许多场合被采用，它主要有两个优点： （1）因为先验分布和后验分布属于同一个分布族，计算方便。
（2）后验分布使得一些参数可以得到很好的解释。
常用的共轭先验分布。