HMM隐马尔可夫模型解析
【中文分词】隐马尔可夫模型HMM
【中⽂分词】隐马尔可夫模型HMMNianwen Xue 在《Chinese Word Segmentation as Character Tagging 》中将中⽂分词视作为序列标注问题（sequence tagging problem ），由此引⼊监督学习算法来解决分词问题。
1. HMM⾸先，我们将简要地介绍HMM （主要参考了李航⽼师的《统计学习⽅法》）。
HMM 包含如下的五元组：状态值集合Q ={q 1,q 2,⋯,q N }，其中N 为可能的状态数；观测值集合V ={v 1,v 2,⋯,v M }，其中M 为可能的观测数；转移概率矩阵A =a ij ，其中a ij 表⽰从状态i 转移到状态j 的概率；发射概率矩阵（在[2]中称之为观测概率矩阵）B =b j (k )，其中b j (k )表⽰在状态j 的条件下⽣成观测v k 的概率；初始状态分布π.⼀般地，将HMM 表⽰为模型λ=(A ,B ,π)，状态序列为I ，对应测观测序列为O 。
对于这三个基本参数，HMM 有三个基本问题：概率计算问题，在模型λ下观测序列O 出现的概率；学习问题，已知观测序列O ，估计模型λ的参数，使得在该模型下观测序列P (O |λ)最⼤；解码（decoding ）问题，已知模型λ与观测序列O ，求解条件概率P (I |O )最⼤的状态序列I 。
2. 中⽂分词将状态值集合Q 置为{B ,E ,M ,S }，分别表⽰词的开始、结束、中间（begin 、end 、middle ）及字符独⽴成词（single ）；观测序列即为中⽂句⼦。
⽐如，“今天天⽓不错”通过HMM 求解得到状态序列“B E B E B E”，则分词结果为“今天/天⽓/不错”。
通过上⾯例⼦，我们发现中⽂分词的任务对应于解码问题：对于字符串C ={c 1,⋯,c n }，求解最⼤条件概率max P (t 1,⋯,t n |c 1,⋯,c n )其中，t i 表⽰字符c i 对应的状态。
隐马尔可夫模型（HMM）中文分词
隐马尔可夫模型（HMM）中⽂分词1. 马尔可夫模型 如果⼀个系统有n个有限状态S={s1,s2,…s n},随着时间推移，该系统将从某⼀状态转移到另⼀状态，Q={q1,q2,…q n}位⼀个随机变量序列，该序列中的变量取值为状态集S中的某个状态，其中q t表⽰系统在时间t的状态。
那么：系统在时间t处于状态s j的概率取决于其在时间1,2, … t-1的状态，该概率为：P(q t=s j|q t−1=s i,q t−2=s k…)如果在特定条件下，系统在时间t的状态只与其在时间t-1的状态相关，即：P(q t=s j|q t−1=s i,q t−2=s k…)=P(q t=s j|q t−1=s i)则该系统构成⼀个离散的⼀阶马尔可夫链。
进⼀步，如果只考虑上述公式独⽴于时间t的随机过程：P(q t=s j|q t−1=s i)=a ij,1≤i,j≤N该随机过程为马尔可夫模型。
其中，状态转移概率aij 必须满⾜以下条件：a ij≥0,N∑j=1a ij=12.隐马尔可夫模型 相对于马尔可夫模型，在隐马尔可夫模型中，我们不知道模型经过的状态序列，只知道状态的概率函数，即，观察到的事件是状态的随机函数，因此，该模型是⼀个双重的随机过程。
其中，模型的状态转换过程是不可观察的，即隐蔽的，可观察事件的随机过程是隐蔽的观察状态转换过程的随机函数。
隐马尔可夫模型可以⽤五个元素来描述，包括2个状态集合和三个概率矩阵： （1）隐含状态 S 这些状态之间满⾜马尔可夫性质，是马尔可夫模型中实际所隐含的状态。
这些状态通常⽆法通过直接观测⽽得到。
（例如S1,S2,S3等等) （2）可观测状态 O 在模型中与隐含状态相关联，可通过直接观测⽽得到。
(例如O1,O2,O3等等，可观测状态的数⽬不⼀定要和隐含状态的数⽬⼀致。
（3）初始状态概率矩阵π 表⽰隐含状态在初始时刻t=1的概率矩阵，(例如t=1时，P(S1)=p1,P(S2)=P2,P(S3)=p3，则初始状态概率矩阵π=[ p1 p2 p3 ] （4）隐含状态转移概率矩阵A 描述了HMM模型中各个状态之间的转移概率。
一文搞懂HMM（隐马尔可夫模型）
⼀⽂搞懂HMM（隐马尔可夫模型）什么是熵(Entropy)简单来说，熵是表⽰物质系统状态的⼀种度量，⽤它⽼表征系统的⽆序程度。
熵越⼤，系统越⽆序，意味着系统结构和运动的不确定和⽆规则；反之，，熵越⼩，系统越有序，意味着具有确定和有规则的运动状态。
熵的中⽂意思是热量被温度除的商。
负熵是物质系统有序化，组织化，复杂化状态的⼀种度量。
熵最早来原于物理学. 德国物理学家鲁道夫·克劳修斯⾸次提出熵的概念，⽤来表⽰任何⼀种能量在空间中分布的均匀程度，能量分布得越均匀，熵就越⼤。
1. ⼀滴墨⽔滴在清⽔中，部成了⼀杯淡蓝⾊溶液2. 热⽔晾在空⽓中，热量会传到空⽓中，最后使得温度⼀致更多的⼀些⽣活中的例⼦:1. 熵⼒的⼀个例⼦是⽿机线，我们将⽿机线整理好放进⼝袋，下次再拿出来已经乱了。
让⽿机线乱掉的看不见的“⼒”就是熵⼒，⽿机线喜欢变成更混乱。
2. 熵⼒另⼀个具体的例⼦是弹性⼒。
⼀根弹簧的⼒，就是熵⼒。
胡克定律其实也是⼀种熵⼒的表现。
3. 万有引⼒也是熵⼒的⼀种(热烈讨论的话题)。
4. 浑⽔澄清[1]于是从微观看，熵就表现了这个系统所处状态的不确定性程度。
⾹农，描述⼀个信息系统的时候就借⽤了熵的概念，这⾥熵表⽰的是这个信息系统的平均信息量(平均不确定程度)。
最⼤熵模型我们在投资时常常讲不要把所有的鸡蛋放在⼀个篮⼦⾥，这样可以降低风险。
在信息处理中，这个原理同样适⽤。
在数学上，这个原理称为最⼤熵原理(the maximum entropy principle)。
让我们看⼀个拼⾳转汉字的简单的例⼦。
假如输⼊的拼⾳是"wang-xiao-bo"，利⽤语⾔模型，根据有限的上下⽂(⽐如前两个词)，我们能给出两个最常见的名字“王⼩波”和“王晓波 ”。
⾄于要唯⼀确定是哪个名字就难了，即使利⽤较长的上下⽂也做不到。
当然，我们知道如果通篇⽂章是介绍⽂学的，作家王⼩波的可能性就较⼤；⽽在讨论两岸关系时，台湾学者王晓波的可能性会较⼤。
HMM隐马尔可夫模型在自然语言处理中的应用
HMM隐马尔可夫模型在自然语言处理中的应用隐马尔可夫模型（Hidden Markov Model，HMM）是自然语言处理中常用的一种概率统计模型，它广泛应用于语音识别、文本分类、机器翻译等领域。
本文将从HMM的基本原理、应用场景和实现方法三个方面，探讨HMM在自然语言处理中的应用。
一、HMM的基本原理HMM是一种二元组（ $λ=(A,B)$），其中$A$是状态转移矩阵，$B$是观测概率矩阵。
在HMM中，状态具有时序关系，每个时刻处于某一状态，所取得的观测值与状态相关。
具体来说，可以用以下参数描述HMM模型：- 隐藏状态集合$S={s_1,s_2,...,s_N}$：表示模型所有可能的状态。
- 观测符号集合$V={v_1,v_2,...,v_M}$：表示模型所有可能的观测符号。
- 初始状态分布$\pi={\pi (i)}$：表示最初处于各个状态的概率集合。
- 状态转移矩阵$A={a_{ij}}$：表示从$i$状态转移到$j$状态的概率矩阵。
- 观测概率矩阵$B={b_j(k)}$：表示处于$j$状态时，观测到$k$符号的概率。
HMM的主要任务是在给定观测符号序列下，求出最有可能的对应状态序列。
这个任务可以通过HMM的三种基本问题求解。
- 状态序列概率问题：已知模型参数和观测符号序列，求得该观测符号序列下各个状态序列的概率。
- 观测符号序列概率问题：已知模型参数和状态序列，求得该状态序列下观测符号序列的概率。
- 状态序列预测问题：已知模型参数和观测符号序列，求得使得观测符号序列概率最大的对应状态序列。
二、HMM的应用场景1. 语音识别语音识别是指将语音信号转化成文字的过程，它是自然语言处理的关键技术之一。
HMM在语音识别领域具有广泛应用，主要用于建立声学模型和语言模型。
其中，声学模型描述语音信号的产生模型，是从语音输入信号中提取特征的模型，而语言模型描述语言的组织方式，是指给定一个句子的前提下，下一个字或单词出现的可能性。
隐马尔科夫(HMM)模型详解及代码实现
机器学习之隐马尔科夫模型（HMM）机器学习之隐马尔科夫模型（HMM）1、隐马尔科夫模型介绍2、隐马尔科夫数学原理3、Python代码实现隐马尔科夫模型4、总结隐马尔可夫模型介绍马尔科夫模型（hidden Markov model，HMM）是关于时序的概率模型，描述由一个隐藏的马尔科夫随机生成不可观测的状态随机序列，再由各个状态生成一个观测从而产生观测随机序列的过程，属于一个生成模型。
下面我们来从概率学角度定义马尔科夫模型，从一个典型例子开始：假设有4个盒子，每个盒子里面有不同数量的红、白两种颜色的球，具体如下表：盒子编号1234红球数5368白球数5742现在从这些盒子中取出T个球，取样规则为每次选择一个盒子取出一个球，记录其颜色，放回。
在这个过程中，我们只能观测到球的颜色的序列，观测不到球是从哪个盒子中取出来的，即观测不到盒子的序列，这里有两个随机序列，一个是盒子的序列（状态序列），一个是球的颜色的观测序列（观测序列），前者是隐藏的，只有后者是可观测的。
这里就构成了一个马尔科夫的例子。
定义是所有的可能的状态集合，V是所有的可能的观测的集合：其中，Ｎ是可能的状态数，Ｍ是可能的观测数，例如上例中Ｎ＝４，Ｍ＝２。
是长度为T的状态序列，是对应的观测序列：A是状态转移概率矩阵：其中， 是指在时刻处于状态的条件下在时刻转移到状态的概率。
B是观测概率矩阵：其中， 是指在时刻处于状态的条件下生成观测的概率。
是初始状态概率向量：其中， 是指在时刻=1处于状态的概率。
由此可得到，隐马尔可夫模型的三元符号表示，即称为隐马尔可夫模型的三要素。
由定义可知隐马尔可夫模型做了两个基本假设：(1)齐次马尔科夫性假设，即假设隐藏的马尔科夫链在任意时刻的状态只和-1状态有关；(2)观测独立性假设，观测只和当前时刻状态有关；仍以上面的盒子取球为例，假设我们定义盒子和球模型：状态集合： = {盒子1，盒子2，盒子3，盒子4}， N=4观测集合： = {红球，白球} M=2初始化概率分布：状态转移矩阵：观测矩阵:（1）转移概率的估计：假设样本中时刻t处于状态i，时刻t+1转移到状态j 的频数为那么转台转移概率的估计是：（2）观测概率的估计：设样本中状态为j并观测为k的频数是那么状态j观测为k的概率， （3）初始状态概率的估计为S个样本中初始状态为的频率。
HMM(隐马尔可夫模型)及其应用
HMM(隐马尔可夫模型)及其应用摘要：隐马尔可夫模型（Hidden Markov Model，HMM）作为一种统计分析模型，创立于20世纪70年代。
80年代得到了传播和发展，成为信号处理的一个重要方向，现已成功地用于语音识别，行为识别，文字识别以及故障诊断等领域。
本文先是简要介绍了HMM的由来和概念，之后重点介绍了3个隐马尔科夫模型的核心问题。
关键词：HMM，三个核心问题HMM的由来1870年，俄国有机化学家Vladimir V. Markovnikov第一次提出马尔可夫模型。
马尔可夫在分析俄国文学家普希金的名著《叶夫盖尼•奥涅金》的文字的过程中，提出了后来被称为马尔可夫框架的思想。
而Baum及其同事则提出了隐马尔可夫模型，这一思想后来在语音识别领域得到了异常成功的应用。
同时，隐马尔可夫模型在“统计语言学习”以及“序列符号识别”（比如DNA序列）等领域也得到了应用。
人们还把隐马尔可夫模型扩展到二维领域，用于光学字符识别。
而其中的解码算法则是由Viterbi和他的同事们发展起来的。
马尔可夫性和马尔可夫链1. 马尔可夫性如果一个过程的“将来”仅依赖“现在”而不依赖“过去”，则此过程具有马尔可夫性，或称此过程为马尔可夫过程。
马尔可夫性可用如下式子形象地表示：X(t+1)=f(X(t))2. 马尔可夫链时间和状态都离散的马尔可夫过程称为马尔可夫链。
记作{Xn=X(n), n=0,1,2,…}这是在时间集T1={0,1,2,…}上对离散状态的过程相继观察的结果。
链的状态空间记作I={a1, a2,…}, ai ∈R.条件概率Pij(m, m+n)=P{ Xm+n = aj | Xm = aj }为马氏链在时刻m处于状态ai条件下，在时刻m+n转移到状态aj的转移概率。
3. 转移概率矩阵如下图所示，这是一个转移概率矩阵的例子。
由于链在时刻m从任何一个状态ai出发，到另一时刻m+n，必然转移到a1，a2…，诸状态中的某一个，所以有当与m无关时，称马尔可夫链为齐次马尔可夫链，通常说的马尔可夫链都是指齐次马尔可夫链。
隐马尔可夫模型HMM
谈到 HMM，首先简单介绍一下马尔可夫过程 (Markov Process)，它因俄罗斯数学 家安德烈·马尔可夫而得名，代表数学中具有马尔可夫性质的离散随机过程。该过程中，每 个状态的转移只依赖于之前的 n 个状态，这个过程被称为 1 个 n 阶的模型，其中 n 是 影响转移状态的数目。最简单的马尔科夫过程就是一阶过程，每一个状态的转移只依赖于 其之前的那一个状态。注意这和确定性系统不一样，因为这种转移是有概率的，而不是确 定性的。 马尔可夫链是随机变量 X1, … , Xn 的一个数列。这些变量的范围，即他们所有可能取 值的集合，被称为“状态空间”，而 Xn 的值则是在时间 n 的状态。如果 Xn+1 对于过去状态 的条件概率分布仅是 Xn 的一个函数，则
在日常生活当中，我们总是希望根据当前天气的情况来预测未来天气情况，和上面的 交通灯的例子不同，我们不能依靠现有知识确定天气情况的转移，但是我们还是希望能得 到一个天气的模式。一种办法就是假设这个模型的每个状态都只依赖于前一个的状态，这 个假设被称为马尔科夫假设，这个假设可以极大简化这个问题。显然，这个假设也是一个 非常糟糕的假设，导致很多重要的信息都丢失了。 当涉及到天气的时候，马尔科夫假设描述为，假设如果我们知道之前一些天的天气信 息，那么我们就能预测今天的天气。当然，这个例子也是有些不合实际的。但是，这样一 个简化的系统可以有利于我们的分析，所以我们通常接受这样的假设，因为我们知道这样 的系统能让我们获得一些有用的信息，尽管不是十分准确的。
对全部高中资料试卷电气设备，在安装过程中以及安装结束后进行高中资料试卷调整试验；通电检查所有设备高中资料电试力卷保相护互装作置用调与试相技互术关，系电，力根保通据护过生高管产中线工资敷艺料设高试技中卷术资配0料不置试仅技卷可术要以是求解指，决机对吊组电顶在气层进设配行备置继进不电行规保空范护载高高与中中带资资负料料荷试试下卷卷高问总中题体资，配料而置试且时卷可，调保需控障要试各在验类最；管大对路限设习度备题内进到来行位确调。保整在机使管组其路高在敷中正设资常过料工程试况中卷下，安与要全过加，度强并工看且作护尽下关可都于能可管地以路缩正高小常中故工资障作料高；试中对卷资于连料继接试电管卷保口破护处坏进理范行高围整中，核资或对料者定试对值卷某，弯些审扁异核度常与固高校定中对盒资图位料纸置试，.卷保编工护写况层复进防杂行腐设自跨备动接与处地装理线置，弯高尤曲中其半资要径料避标试免高卷错等调误，试高要方中求案资技，料术编试交写5、卷底重电保。要气护管设设装线备备置敷4高、调动设中电试作技资气高，术料课中并中3试、件资且包卷管中料拒含试路调试绝线验敷试卷动槽方设技作、案技术，管以术来架及避等系免多统不项启必方动要式方高，案中为；资解对料决整试高套卷中启突语动然文过停电程机气中。课高因件中此中资，管料电壁试力薄卷高、电中接气资口设料不备试严进卷等行保问调护题试装，工置合作调理并试利且技用进术管行，线过要敷关求设运电技行力术高保。中护线资装缆料置敷试做设卷到原技准则术确：指灵在导活分。。线对对盒于于处调差，试动当过保不程护同中装电高置压中高回资中路料资交试料叉卷试时技卷，术调应问试采题技用，术金作是属为指隔调发板试电进人机行员一隔，变开需压处要器理在组；事在同前发一掌生线握内槽图部内纸故，资障强料时电、，回设需路备要须制进同造行时厂外切家部断出电习具源题高高电中中源资资，料料线试试缆卷卷敷试切设验除完报从毕告而，与采要相用进关高行技中检术资查资料和料试检，卷测并主处且要理了保。解护现装场置设。备高中资料试卷布置情况与有关高中资料试卷电气系统接线等情况，然后根据规范与规程规定，制定设备调试高中资料试卷方案。
隐马尔科夫模型(HMM)详解
马尔科夫过程马尔科夫过程可以看做是一个自动机，以一定的概率在各个状态之间跳转。
考虑一个系统，在每个时刻都可能处于N个状态中的一个，N个状态集合是{S1,S2,S3,...S N}。
我们如今用q1,q2,q3,…q n来表示系统在t=1,2,3,…n时刻下的状态。
在t=1时，系统所在的状态q取决于一个初始概率分布PI，PI(S N)表示t=1时系统状态为S N的概率。
马尔科夫模型有两个假设：1. 系统在时刻t的状态只与时刻t-1处的状态相关；〔也称为无后效性〕2. 状态转移概率与时间无关；〔也称为齐次性或时齐性〕第一条详细可以用如下公式表示：P(q t=S j|q t-1=S i,q t-2=S k,…)= P(q t=S j|q t-1=S i)其中，t为大于1的任意数值，S k为任意状态第二个假设那么可以用如下公式表示：P(q t=S j|q t-1=S i)= P(q k=S j|q k-1=S i)其中，k为任意时刻。
下列图是一个马尔科夫过程的样例图：可以把状态转移概率用矩阵A表示，矩阵的行列长度均为状态数目，a ij表示P(S i|S i-1)。
隐马尔科夫过程与马尔科夫相比，隐马尔科夫模型那么是双重随机过程，不仅状态转移之间是个随机事件，状态和输出之间也是一个随机过程，如下列图所示：此图是从别处找来的，可能符号与我之前描绘马尔科夫时不同，相信大家也能理解。
该图分为上下两行，上面那行就是一个马尔科夫转移过程，下面这一行那么是输出，即我们可以观察到的值，如今，我们将上面那行的马尔科夫转移过程中的状态称为隐藏状态，下面的观察到的值称为观察状态，观察状态的集合表示为O={O1,O2,O3,…O M}。
相应的，隐马尔科夫也比马尔科夫多了一个假设，即输出仅与当前状态有关，可以用如下公式表示：P(O1,O2,…,O t|S1,S2,…,S t)=P(O1|S1)*P(O2|S2)*...*P(O t|S t) 其中，O1,O2,…,O t为从时刻1到时刻t的观测状态序列，S1,S2,…,S t那么为隐藏状态序列。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
M
A B
每个状态可能的观察值数 目
与时间无关的状态转移概 率矩阵 给定状态下，观察值概率 分布 初始状态空间的概率分布
彩球颜色数目
在选定某个缸的情况下， 选择另一个缸的概率 每个缸中的颜色分布 初始时选择某口缸的概率
HMM可解决的问题
评估问题：给定观察序列O=O1,O2,…OT,以及模型λ =(π，A， B), 如何计算P(O|λ)？ 算法：Forward-Backward算法 解码问题：给定观察序列O=O1,O2,…OT以及模型λ,如何选 择一个对应的状态序列S = q1,q2,…qT，使得S能够最为合理 的解释观察序列O？ 算法：Viterbi算法 学习问题：如何调整模型参数λ =(π，A，B),对于给定观测 值序列O=O1,O2,…OT，使得P(O|λ)最大？ 算法：Baum-Welch算法
最后得到一个描述球的颜色的序列O1,O2,…，称为 观察值序列O。
HMM实例——约束
在上述实验中，有几个要点需要注意：
不能被直接观察缸间的转移 从缸中所选取的球的颜色和缸并不是一一对应的 每次选取哪个缸由一组转移概率决定
HMM概念
HMM的状态是不确定或不可见的，只有通过观测 序列的随机过程才能表现出来 观察到的事件与状态并不是一一对应，而是通过 一组概率分布相联系 HMM是一个双重随机过程，两个组成部分： 马尔可夫链：描述状态的转移，用转移概率描 述。 一般随机过程：描述状态与观察序列间的关系， 用观察值概率描述。
马尔可夫链
时间和状态都离散的马尔可夫过程称为马尔可夫链 记作{Xn = X(n), n = 0,1,2,…}
在时间集T1 = {0,1,2,…}上对离散状态的过程相继观察的结果
链的状态空间记做I = {a1, a2,…}, ai∈R. 条件概率Pij ( m ,m+n)=P{Xm+n = aj|Xm = ai} 为马氏链在时 刻m处于状态ai条件下，在时刻m+n转移到状态aj的转移概 率。
j 1 ij
M
当Pij(m,m+n)与m无关时，称马尔科夫链为齐次马 尔可夫链，通常说的马尔科夫链都是指齐次马尔 科夫链。
几种典型形状的马尔可夫链
(a)转移矩阵没有零值 的Markov链 (b)转移矩阵有零值的 Markov链 (c)和(d)是左-右形式表 示的Markov链
HMM实例
HMM的应用(1)
词性标注 已知单词序列w1w2…wn，求词性序列c1c2…cn HMM模型： 将词性理解为状态 将单词理解为输出值 训练： 统计词性转移矩阵aij和词性到单词的输 出矩阵bik 求解： Viterbi算法
HMM的应用(2)
疾病分析 已知疾病序列w1w2…wn，求表征序列c1c2…cn对应状 态转移过程 HMM模型： 将每种疾病理解为状态 将输入的表征现象理解为输出值 训练： 统计从一种疾病转移到另一种疾病的转移 矩阵aij和某一疾病呈现出某一症状的概率 矩阵bik 求解： Viterbi算法
初始化：
1 (i ) ibi (O1 ) 1 t T 递归： N t 1 ( j ) [ i (i )aij ]b j (Ot 1 ) 1 t T 1,1 j N
HMM的三个基本问题
1) 2) 3)
评估问题 解码问题 学习问题
基本问题之一：评估问题
给定一个固定的状态序列Q=(q1，q2，q3…)
P (O / Q , ) P (Ot / qt , ) bq1 (O1 )bq2 (O2 ) bqt (OT )
t 1
T
bqt (Ot ) 表示在qt状态下观测到Ot的概率
马尔可夫链—转移概率矩阵
晴天 阴天 下雨
晴天
阴天
下雨
晴天
阴天
0.50
0.375
0.25
0.25
0.25
0.375
下雨
0.25
0.125
0.625
马尔可夫链—转移概率矩阵性质
由于链在时刻m从任何一个状态ai出发，到另一时 刻m+n，必然转移到a1，a2…，诸状态中的某一个， 所以有
P (m, m n) 1 i 1,2,...M
P (O / )
所有 Q
P（O | ） P（O，Q | ） P（Q | ）
P (O / Q , ) P (Q / )
由此的复杂度：2T×NT,N=5, M=100, 计算 量10^72
基本问题之一：前向算法
定义前向变量
t (i ) P (O1 , O 2 , O t , q t i / ) 1 t T
HMM的由来
马尔可夫性
马尔可夫链 隐马尔可夫模型
马尔可夫性
如果一个过程的“将来”仅依赖“现在” 而不依赖“过去”，则此过程具有 马尔可 夫性 , 或称此过程为 马尔可夫过程 。由俄国 数学家A.A.马尔可夫与1907年提出。 X(t+1) = f( X(t) ) 现实中存在很多马尔可夫过程
隐马尔可夫模型 Hidden Markov model
目 录
HMM的历史 HMM的由来 HMM的表述 HMM的分类 HMM的应用
Haum等人创立HMM理论 80年代，由Bell实验室的Rabiner等人对HMM 进行了深入浅出的介绍 90年代，HMM被引入计算机文字识别和移 动通信核心技术“多用户的检测” 近年来，HMM在生物信息科学、故障诊断 等领域也开始得到应用
HMM组成
Markov链 （, A）
状态序列 q1, q2, ..., qT
随机过程 （B）
观察值序列 o1, o2, ..., oT
HMM组成示意图
HMM的表述
用模型五元组λ ＝（ N， M，π，A，B）用来描述 HMM，或简写为 λ =(π，A，B)
参数 N 状态数目 含义 缸的数目 实例
Urn 3 Urn 2
Urn 1
Veil
Observed Ball Sequence
HMM实例——描述
设有 N 个缸，每个缸中装有很多彩球，球的颜色 由一组概率分布描述。实验进行方式如下
根据初始概率分布，随机选择N个缸中的一个开始实验 根据缸中球颜色的概率分布，随机选择一个球，记球 的颜色为O1，并把球放回缸中 根据描述缸的转移的概率分布，随机选择下一口缸， 重复以上步骤。