贝叶斯网络和HMM
一文搞懂HMM（隐马尔可夫模型）
⼀⽂搞懂HMM（隐马尔可夫模型）什么是熵(Entropy)简单来说，熵是表⽰物质系统状态的⼀种度量，⽤它⽼表征系统的⽆序程度。
熵越⼤，系统越⽆序，意味着系统结构和运动的不确定和⽆规则；反之，，熵越⼩，系统越有序，意味着具有确定和有规则的运动状态。
熵的中⽂意思是热量被温度除的商。
负熵是物质系统有序化，组织化，复杂化状态的⼀种度量。
熵最早来原于物理学. 德国物理学家鲁道夫·克劳修斯⾸次提出熵的概念，⽤来表⽰任何⼀种能量在空间中分布的均匀程度，能量分布得越均匀，熵就越⼤。
1. ⼀滴墨⽔滴在清⽔中，部成了⼀杯淡蓝⾊溶液2. 热⽔晾在空⽓中，热量会传到空⽓中，最后使得温度⼀致更多的⼀些⽣活中的例⼦:1. 熵⼒的⼀个例⼦是⽿机线，我们将⽿机线整理好放进⼝袋，下次再拿出来已经乱了。
让⽿机线乱掉的看不见的“⼒”就是熵⼒，⽿机线喜欢变成更混乱。
2. 熵⼒另⼀个具体的例⼦是弹性⼒。
⼀根弹簧的⼒，就是熵⼒。
胡克定律其实也是⼀种熵⼒的表现。
3. 万有引⼒也是熵⼒的⼀种(热烈讨论的话题)。
4. 浑⽔澄清[1]于是从微观看，熵就表现了这个系统所处状态的不确定性程度。
⾹农，描述⼀个信息系统的时候就借⽤了熵的概念，这⾥熵表⽰的是这个信息系统的平均信息量(平均不确定程度)。
最⼤熵模型我们在投资时常常讲不要把所有的鸡蛋放在⼀个篮⼦⾥，这样可以降低风险。
在信息处理中，这个原理同样适⽤。
在数学上，这个原理称为最⼤熵原理(the maximum entropy principle)。
让我们看⼀个拼⾳转汉字的简单的例⼦。
假如输⼊的拼⾳是"wang-xiao-bo"，利⽤语⾔模型，根据有限的上下⽂(⽐如前两个词)，我们能给出两个最常见的名字“王⼩波”和“王晓波 ”。
⾄于要唯⼀确定是哪个名字就难了，即使利⽤较长的上下⽂也做不到。
当然，我们知道如果通篇⽂章是介绍⽂学的，作家王⼩波的可能性就较⼤；⽽在讨论两岸关系时，台湾学者王晓波的可能性会较⼤。
如何进行模型推断和概率推理
如何进行模型推断和概率推理模型推断和概率推理是统计学和概率论中重要的概念。
在机器学习和人工智能领域中，模型推断和概率推理经常被用于对数据进行分析、预测和决策。
模型推断（Model Inference）指的是从观测到的数据中推断出潜在模型的参数或结构。
模型可以是统计模型、机器学习模型或深度学习模型。
模型推断通常基于数据的最大似然估计（MaximumLikelihood Estimation，简称MLE）或贝叶斯推断（Bayesian Inference）。
最大似然估计是一种常用的模型推断方法。
其基本思想是找到模型参数的值，使得在给定数据的前提下，发生观测到数据的概率最大。
在给定一个模型的参数下，我们可以计算观测到数据的概率，即似然函数（Likelihood Function）。
然后，通过求解似然函数的最大值，得到最大似然估计的参数。
贝叶斯推断是另一种常用的模型推断方法。
它结合了先验概率和观测到数据的概率，通过贝叶斯定理来推断模型参数。
贝叶斯推断的基本思想是将模型参数视为随机变量，并基于先验概率和数据的似然函数来计算后验概率分布。
后验概率分布反映了参数的不确定性，并可以用于进行预测、决策和模型评估。
概率推理（Probabilistic Reasoning）是基于概率模型和已知条件进行推理和推断的过程。
概率推理用于推断未知变量的概率分布，基于已知变量和模型参数的信息。
它可以用于数据的分类、回归、聚类、异常检测等任务。
贝叶斯网络和马尔可夫随机场（Markov Random Field, MRF）是常用的概率模型，用于概率推理。
贝叶斯网络是一种图模型，用于表示变量之间的依赖关系，并通过条件概率分布进行推断。
马尔可夫随机场是一种无向图模型，用于建模空间上的变量和它们之间的关系。
概率推理可以通过基于概率模型参数和已知条件的推断方法来实现。
常用的推理算法包括前向算法（Forward Algorithm）、后向算法（Backward Algorithm）、变量消去算法（Variable Elimination Algorithm）和信念传播算法（Belief Propagation Algorithm）等。
隐马尔可夫模型之baum-welch算法详解
隐马尔可夫模型之baum-welch算法详解隐马尔可夫模型（Hidden Markov Model, HMM）是一种用于建模时序数据的概率图模型。
它是一种具有隐状态的动态贝叶斯网络，通常用于处理具有序列结构的数据，如语音识别、手写识别、生物信息学等领域。
在HMM中，观测数据是由一个隐藏的马尔可夫链生成的，而观测数据的生成过程对应了状态序列的隐马尔可夫链。
在HMM中，我们通常根据观测数据，来估计模型参数，这就需要用到一种十分重要的算法——baumwelch算法。
baumwelch算法是一种用于估计HMM 参数的迭代算法，它通过最大化观测数据的似然函数，来更新HMM的状态转移概率和观测概率。
接下来，我们将详细介绍baumwelch算法的原理和步骤，希望能帮助读者更好地理解这一重要的算法。
1. HMM的基本概念在介绍baumwelch算法之前，我们首先需要了解HMM的基本概念。
HMM由三组参数组成：初始状态概率向量π、状态转移概率矩阵A和观测概率矩阵B。
其中，π表示初始时各隐藏状态出现的概率，A表示各隐藏状态之间转移的概率，B表示各隐藏状态生成各观测符号的概率。
HMM模型可以用一个三元组(π, A, B)来表示，给定模型参数和观测数据，我们希望通过估计π, A, B来对模型进行学习和优化。
2. baumwelch算法的原理baumwelch算法是一种迭代算法，用于估计HMM的参数。
它基于期望最大化（EM）算法的思想，通过不断迭代，逐步优化模型的参数，使得模型的似然性函数最大化。
baumwelch算法的核心思想是通过E步骤计算期望值，M步骤更新模型参数，反复迭代直至收敛。
具体来说，baumwelch算法分为两个主要步骤：E步骤（期望步骤）和M步骤（最大化步骤）。
在E步骤中，我们需要计算在当前模型下观测数据对应的隐藏状态序列的期望值，而在M步骤中，我们利用这些期望值来更新模型的参数。
3. baumwelch算法的步骤接下来，我们将详细介绍baumwelch算法的具体步骤：步骤一：初始化HMM模型参数首先，我们需要对HMM模型的参数进行初始化。
互联网广告中的CTR预测算法研究
互联网广告中的CTR预测算法研究一、引言互联网广告是一种主要的数字化营销方式，广告投放商越来越倾向于使用个性化工具，将广告精准投放到目标消费者面前。
CTR（Click-Through Rate，点击率）是衡量互联网广告效果的一个重要指标，因此如何准确预测CTR成为大家关注的焦点。
本文旨在探讨互联网广告中的CTR预测算法，并介绍不同类型的算法及其优缺点。
二、CTR预测算法的类型CTR预测算法主要可分为传统算法、机器学习算法、深度学习算法等几个类型。
1. 传统算法传统算法包括基于统计学的算法和基于概率论的算法两种类型。
基于统计学的算法主要是使用传统的回归或分类模型对CTR进行预测，比如线性回归、逻辑回归、决策树、SVM等。
这些算法的主要特点在于其易于实现和应用，但在面对大量的数据和特征时，往往表现不尽如人意，且对异常数据（outlier）和噪声敏感。
基于概率论的算法主要包括贝叶斯网络和隐马尔科夫模型（HMM）等。
其中，贝叶斯网络是一种图形模型，用于描述不同变量之间的概率关系。
HMM是一种处理序列数据的模型，常用于自然语言处理和语音识别等领域。
这些算法考虑到了CTR的概率分布，能够更准确地预测CTR，但其模型复杂度相应较高，需要更多的计算资源和时间。
2. 机器学习算法机器学习算法与传统算法最大的不同在于它可以自动学习数据特征，并能对数据建立更加精准的模型。
机器学习算法主要包括监督学习和无监督学习两种类型。
监督学习是通过训练数据来预测未知的CTR值，其常见的算法包括基于神经网络的算法、决策树、SVM、KNN等。
无监督学习则是通过对数据进行聚类或分析，从而发现其中的一些模式或规律。
在CTR预测中，无监督学习常用的算法包括K-means聚类算法、PCA（Principal Component Analysis）和ICA（Independent Component Analysis）等。
3. 深度学习算法深度学习是机器学习的一种，它是建立在深层神经网络上的，通常需要大量的数据和运算资源。
生成式模型的工作原理
生成式模型的工作原理生成式模型（Generative Model）是一种机器学习模型，能够基于输入数据学习概率分布，进而生成新的数据。
相比于判别式模型，生成式模型的应用场景更广泛，可以用于生成图像、音频、文本等。
本文将介绍生成式模型的工作原理，包括常见的生成式模型、训练方法和评估指标。
一、常见的生成式模型1. 朴素贝叶斯模型（Naive Bayes）：朴素贝叶斯模型是一种基于贝叶斯定理和特征条件独立假设的生成式模型。
其基本思想是利用已有的标记数据，学习先验概率和条件概率，然后根据生成式模型生成新的数据。
朴素贝叶斯模型常用于文本分类、垃圾邮件过滤等任务。
2. 隐马尔可夫模型（HMM）：隐马尔可夫模型是一种基于马尔可夫链的生成式模型。
它将状态转移和观测值表示为两个随机过程，并假设当前状态只依赖于前一个状态。
HMM常用于语音识别、自然语言处理、生物信息学等领域。
3. 生成对抗网络（GAN）：生成对抗网络是一种使用两个深度神经网络进行博弈的生成式模型。
其中一个网络生成新的数据样本，另一个网络则判别其真实性。
通过反复地迭代训练，生成器和判别器逐渐提高性能。
GAN常用于图像合成、视频生成等任务。
4. 变分自编码器（VAE）：变分自编码器是一种基于概率生成模型的生成式模型。
它将输入数据转换为潜在变量的概率分布，并通过最大化似然函数来训练模型。
VAE常用于图像生成、文本生成等任务。
二、训练方法生成式模型的训练方法主要包括极大似然估计、变分推理和对抗性训练等。
1. 极大似然估计：极大似然估计是一种基于最大化概率的训练方法。
对于给定的模型参数\theta，似然函数是输入数据x所对应的条件概率，即p_{\theta}(x)。
极大似然估计的目标是找到最优的模型参数\theta^*，使得对数似然函数最大化：\theta^* = \arg \max_{\theta} \sum_{i=1}^n \log p_{\theta}(x_i)极大似然估计的优点是训练过程简单、容易理解，但它往往会导致模型过拟合、梯度消失等问题。
Matlab中的异常检测和故障诊断方法
Matlab中的异常检测和故障诊断方法在工程和科学领域中，异常检测和故障诊断是非常重要的任务。
随着技术的发展和数据量的增加，传统的方法已经无法满足对异常事件和故障的准确识别和定位的需求。
作为一种功能强大且易于使用的计算工具，Matlab为异常检测和故障诊断提供了多种高级方法和技术。
一、异常检测方法在Matlab中，有多种异常检测方法可以选择。
其中一种常用的方法是基于统计学原理的方法，如均值和方差的检测。
这些方法假设数据服从正态分布，通过计算数据的均值和方差与预先设定的阈值进行比较，来判断数据是否异常。
然而，这种方法对于非正态分布的数据效果可能不佳。
另一种常用的异常检测方法是基于机器学习的方法，如聚类、分类和离群点检测。
在Matlab中，可以使用机器学习工具箱来实现这些方法。
例如，可以使用支持向量机（SVM）算法来进行异常检测。
该算法通过训练一个分类器来划分正常和异常数据，然后对新样本进行分类。
如果新样本被分类为异常，则可以认为该样本是异常数据。
除了以上方法，还有一些其他的异常检测方法，如基于神经网络的方法和基于时间序列的方法。
这些方法有各自的特点和适用范围，根据具体问题选择合适的方法进行异常检测。
二、故障诊断方法与异常检测相比，故障诊断更加复杂和困难。
故障诊断是在异常检测的基础上，进一步分析和推断异常的原因和根源。
在Matlab中，也有多种故障诊断方法可以选择。
其中一种常用的故障诊断方法是基于逻辑推理的方法，如专家系统和诊断树。
这些方法通过构建一个基于规则的知识库，根据给定的观测数据和先验知识，推断系统中存在的故障。
例如，可以使用模糊逻辑方法来构建一个模糊规则库，根据输入数据的模糊集合和规则的模糊推理，来诊断系统中的故障。
另一种常用的故障诊断方法是基于统计模型的方法，如隐马尔可夫模型（HMM）和贝叶斯网络。
这些方法通过建立一个概率模型，根据给定的观测数据和系统模型，推断系统中存在的故障。
例如，可以使用HMM来建立一个模型，将系统的状态表示为隐变量，并通过观测数据进行学习和推断，来诊断系统中的故障。
概率流程计算
01 简单介绍概率图模型是图论和概率论结合的产物，它的开创者是鼎鼎大名的Judea Pearl,我十分喜欢概率图模型这个工具，它是一个很有力的多变量而且变量关系可视化的建模工具，主要包括两个大方向：无向图模型和有向图模型。
无向图模型又称马氏网络，它的应用很多，有典型的基于马尔科夫随机场的图像处理，图像分割，立体匹配等，也有和机器学习结合求取模型参数的结构化学习方法。
严格的说他们都是在求后验概率:p(y|x)，即给定数据判定每种标签y的概率，最后选取最大的后验概率最大的标签作为预测结果。
这个过程也称概率推理(probabilistic inference）。
而有向图的应用也很广，有向图又称贝叶斯网络(bayes networks),说到贝叶斯就足以可以预见这个模型的应用范围咯，比如医疗诊断，绝大多数的机器学习等。
但是它也有一些争议的地方，说到这就回到贝叶斯派和频率派几百年的争议这个大话题上去了，因为贝叶斯派假设了一些先验概率，而频率派认为这个先验有点主观，频率派认为模型的参数是客观存在的，假设先验分布就有点武断，用贝叶斯模型预测的结果就有点“水分”，不适用于比较严格的领域，比如精密制造，法律行业等。
好吧，如果不遵循贝叶斯观点，前面讲的所有机器学习模型都可以dismiss咯，我们就通过大量数据统计先验来弥补这点“缺陷”吧。
无向图和有向图的例子如（图一）所示：图一(a)无向图（隐马尔科夫）(b)有向图概率图模型吸取了图论和概率二者的长处，图论在许多计算领域中扮演着重要角色，比如组合优化，统计物理，经济等。
图的每个节点都可看成一个变量，每个变量有N个状态（取值范围），节点之间的边表示变量之间的关系，它除了可以作为构建模型的语言外，图还可以评价模型的复杂度和可行性，一个算法的运行时间或者错误界限的数量级可以用图的结构性质来分析，这句话说的范围很广，其实工程领域的很多问题都可以用图来表示，最终转换成一个搜索或者查找问题，目标就是快速的定位到目标，试问还有什么问题不是搜索问题？树是图，旅行商问题是基于图，染色问题更是基于图，他们具有不同的图的结构性质。
机器学习技术中的动态贝叶斯网络方法
机器学习技术中的动态贝叶斯网络方法动态贝叶斯网络（Dynamic Bayesian Network，DBN）是一种应用于机器学习领域的方法，用于建模和推断变量之间的关系。
它是贝叶斯网络的一种扩展形式，能够捕捉到变量之间的动态变化，从而更好地处理时间序列数据。
在机器学习中，贝叶斯网络是一种以图形模型为基础的概率框架，用于描述变量之间的条件依赖关系。
它基于贝叶斯定理，使用概率论的知识来推断变量之间的关系。
然而，传统的贝叶斯网络通常假设变量之间的关系是静态的，即在整个过程中不会发生变化。
这种假设无法处理时间序列数据中的动态变化。
动态贝叶斯网络通过引入时间因素，扩展了传统贝叶斯网络的能力。
它可以建模和推断变量之间的动态关系，对于时间序列数据的建模具有优势。
动态贝叶斯网络通常采用隐马尔可夫模型（Hidden Markov Model，HMM）或卡尔曼滤波器（Kalman Filter）来描述变量的状态转换过程。
在实际应用中，动态贝叶斯网络常用于机器学习中的时间序列预测、故障诊断、运动跟踪和机器人控制等领域。
通过学习动态贝叶斯网络模型，我们可以了解变量随时间的演化过程，从而预测未来的变化趋势或发现异常情况。
具体而言，动态贝叶斯网络的建模过程包括三个关键步骤：变量选择、模型结构建立和参数估计。
首先，我们需要选择合适的变量作为建模对象。
变量的选择应该基于实际问题的需求和数据的特点，以最大程度地捕捉到变量之间的关系和动态变化。
然后，我们需要建立动态贝叶斯网络的模型结构。
这涉及到确定变量之间的依赖关系和状态转换过程。
常用的方法包括使用专家知识、使用数据驱动的方法（如启发式算法、遗传算法）和通过交叉验证等评估不同模型结构的性能。
最后，我们需要估计模型的参数。
参数估计是指根据已有数据来推断模型中的参数，从而使模型与实际数据更符合。
常用的方法包括极大似然估计、贝叶斯估计和最大后验估计等。
动态贝叶斯网络在机器学习中的应用非常广泛。
贝叶斯模型概念
贝叶斯模型概念的详细解释1. 贝叶斯模型的定义贝叶斯模型是一种基于贝叶斯定理的概率模型，用于描述和推断随机事件之间的关系。
它基于先验概率和观测数据，通过贝叶斯定理计算后验概率，从而对未知事件进行预测和推断。
贝叶斯模型的核心思想是将不确定性量化为概率，并通过观测数据来更新对事件的概率估计。
它提供了一种统一的框架，用于处理不完全信息和不确定性问题，广泛应用于机器学习、统计推断、自然语言处理等领域。
2. 贝叶斯模型的重要性贝叶斯模型具有以下重要性：2.1. 统一的概率框架贝叶斯模型提供了一种统一的概率框架，使得不同领域的问题可以用相同的数学语言进行建模和解决。
它将不确定性量化为概率，使得我们可以通过观测数据来更新对事件的概率估计，从而更好地理解和解释现实世界中的复杂问题。
2.2. 可解释性和不确定性处理贝叶斯模型提供了一种可解释性的方法，可以直观地理解模型的预测和推断过程。
它能够量化不确定性，提供事件发生的概率估计，并给出后验概率的置信区间，使决策者能够更好地理解和处理不确定性。
2.3. 先验知识的利用贝叶斯模型允许我们将先验知识和观测数据进行结合，从而更准确地推断未知事件。
通过引入先验知识，我们可以在数据较少或数据质量较差的情况下，仍然得到可靠的推断结果。
2.4. 高度灵活的模型贝叶斯模型具有高度灵活性，可以根据问题的特点和数据的性质选择合适的先验分布和模型结构。
它可以通过引入不同的先验分布和模型假设，适应不同的问题和数据，提高模型的预测能力和泛化能力。
3. 贝叶斯模型的应用贝叶斯模型在各个领域都有广泛的应用，以下是一些常见的应用领域：3.1. 机器学习贝叶斯模型在机器学习中被广泛应用于分类、聚类、回归等任务。
它可以通过学习先验概率和条件概率分布，从观测数据中学习模型参数，并用于预测和推断未知事件。
常见的贝叶斯模型包括朴素贝叶斯分类器、高斯过程回归等。
3.2. 统计推断贝叶斯模型在统计推断中被用于参数估计、假设检验、模型比较等任务。
马尔可夫网络与贝叶斯网络的比较(四)
马尔可夫网络与贝叶斯网络的比较在人工智能领域，马尔可夫网络和贝叶斯网络是两种常用的概率图模型。
它们都是用来描述随机变量之间的依赖关系，但在一些方面有着显著的不同。
本文将通过对马尔可夫网络和贝叶斯网络的比较，来探讨它们各自的特点和适用场景。
一、基本原理马尔可夫网络（Markov Network）是一种基于概率图的模型，它描述了一组随机变量之间的依赖关系。
马尔可夫网络中的节点代表随机变量，边代表变量之间的依赖关系。
而贝叶斯网络（Bayesian Network）也是一种概率图模型，它由有向无环图表示，节点代表随机变量，有向边表示变量之间的因果关系。
马尔可夫网络和贝叶斯网络在描述变量之间的关系时采用了不同的方式，这也决定了它们在建模和推断上的差异。
二、建模能力在建模能力方面，贝叶斯网络更适合描述因果关系，即某变量对其他变量的影响。
而马尔可夫网络更擅长描述相关性，即变量之间的相互影响。
因此，在处理不同类型的问题时，选择适合的模型非常重要。
例如，在医学诊断领域，贝叶斯网络可以很好地描述疾病和症状之间的因果关系，有助于进行疾病诊断和预测。
而在自然语言处理领域，马尔可夫网络可以更好地描述词语之间的相关性，用于语言模型的建立。
三、推断效率在推断效率方面，贝叶斯网络通常比马尔可夫网络更高效。
由于贝叶斯网络的有向无环图结构，可以通过概率传播算法等方法高效地进行推断。
而马尔可夫网络的结构比较复杂，推断难度相对较大。
然而，对于一些特定的问题，马尔可夫网络也可以通过一些近似推断算法来提高效率。
因此，在实际应用中，需要根据具体的问题选择合适的模型和推断算法。
四、参数学习在参数学习方面，贝叶斯网络和马尔可夫网络也有所不同。
贝叶斯网络的参数学习通常比较直观，可以通过观察数据来估计概率分布。
而马尔可夫网络的参数学习相对较为复杂，需要利用最大似然估计或其他方法来估计参数。
此外，贝叶斯网络还可以利用先验知识来辅助参数学习，提高模型的鲁棒性。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Smart Approach: 变量消除／动态规划
Smart Approach: 变量消除／动态规划
逼近算法：Gibbs 采样
回去复习lecture 13.－－－你现在就明白 gibbs是干啥的了。
概率图应用一：朴素贝叶斯
概率图应用一：朴素贝叶斯
P(y = 1 | x1,x2,x3,..xn) p(x1,x2,x3,..xn | y=1) p(y=1) = (always true) p(x1,x2,..xn) （Naï ve bayes） ＝
概率图模型：动机
维度灾难问题 d binary variables, 2d-1 terms! 终极目标：如何对一个联合概率分布有效表 示。 因为知道了联合分布，就知道了所有信息。
维度灾难举例：3个变量的联合分布
Directed Graphical Models
有向无环图 关键结论：
概率复习
������ ������ ������ ≝
������(������ ������������������ ������) ������(������)
概率复习
������ ������, ������ = ������ ������ ������ ������ ������ ������ ������, ������, ������ =
概率图应用二：Markov model
一个例子
P(x2) = ?
矩阵的特征值
矩阵的幂
Claim：1是马科夫矩阵的一个特征值
应用3：HMM
应用3：HMM
The goal
感谢大家么么哒！ 记得报名其他班啊。
机器学习算法班
48/31
原始联合分布 vs 分解(factorized)分布
利用概率图进行推断（inference）
Байду номын сангаасGiven the graph, what is p(s=1) ?
Brute Force approach
Brute Force approach
Brute Force approach
For R = 0:1 for C = 0:1 for w = 0:1 prob = prob +
概率图模型初步： 从贝叶斯定理到HMM模型
@妖僧老冯
几个听课建议
在线课程，听什么？
听 Big Ideas，细节课后复习，只听课就能完全掌握不可能。 误区：数学公式不是big ideas，而是big ideas的描述方法之 一，好的课程会在数学公式之前先介绍motivation（动机）。
Naï ve Bays Markov Chain （剧透：会出现矩阵的特征值） Hidden Markov Model Restricted Boltzmann machine （不讲）
概率复习
3 Axioms
0 ≤ ������(������) ≤ 1 ������ ������������������������ = 1 ; ������ ������������������������������ = 0 ������ ������ + ������ ������ − ������ ������ ������������������ ������ = ������(������ ������������ ������)
概率复习
独立
������ ������ ������ = ������ ������ ������������ ������ ⊥ ������
Lecture Outline
概率复习 Bayesian Nets （剧透：会出现动态规划） Applications:
Naï ve Bays Markov Chain （剧透：会出现矩阵的特征值） Hidden Markov Model
学习过程
听课: 宏观掌握思路，清楚问题是什么，为什么要这么做。 复习：掌握技术性细节。 实现：通过编程实践，测试自己对算法的理解。 布道：把知识讲给别人听。
Lecture Outline
概率复习 Bayesian Nets （剧透：会出现动态规划） Applications:
p ������1 , ������2 , . . ������������ = ς ������ ������������ |������������������������������������������(������������ )
Another Example
给一个概率图，要立刻写出联合分布