隐马尔科夫模型

隐马尔科夫模型

一、引入

二、定义

三、隐马尔科夫模型的计算

（1）估值问题

（2）解码问题

（3）训练问题

四、隐马尔科夫各种结构

H M M的由来

☐1870年，俄国有机化学家V l a d i m i r V.M a r k o v n i k o v第一次提出马尔科夫模型

☐马尔可夫模型和马尔可夫链

☐ 隐式马尔可夫模型(H M M )

马尔可夫性

☐ 如果一个过程的“将来”仅依赖“现在”而不依赖“过去”，则此过程具有马尔可夫性,或称此过程为马尔可夫过程 ☐ X (t+1) = f(X(t))

马尔可夫链

☐ 时间和状态都离散的马尔科夫过程称为马尔科夫链。

设在时刻t 的随机变量用t S 表示，其观察值用t s 表示，则如果当11s S ，

22s S =,……，t t s S =的前提下，11++=t t s S 的概率是如下式所示，则称为n 阶Markov

过程。

)|()|(1

1

111111t

n t t

n t t t t t t t s

S

s S P s S s S P +-+-++++===== (1)

这里t

S 1

表示1S ，2S ，……，t S ，t s 1

表示1s ，2s ，……，t s ，t

t s S 11=表示11s S =，

22s S =，……，t t s S =。特别的当如下式成立时，则称其为1阶Markov 过程，

又叫单纯马尔可夫过程。

)|()|(111

111t t t t t t t t s S s S P s S s S P =====++++ (2)

即：系统在任一时刻所处的状态只与此时刻的前一时刻所处的状态有关。而且，为了处理问题方便，考虑式（2）右边的概率与时间无关的情况，即：

)|[)1,(1i t j t ij s S s S P t t P ===++ （3）

同时满足：

0)1,(≥+ij t t P （4）

∑==+N

j ij t t P 1

1)1,( （5） 这里ij t t P )1,(+是当时刻t 从状态i 到时刻t ＋1时的状态j 的转移概率，当这个转移概率是与时间无关的常数时，又叫S ，2S ，……是具有常数转移概率的Markov 过程。

隐式马尔可夫模型(H M M )

HMM 类似于一阶Markov 过程。不同点是HMM 是一个双内嵌式随机过程，即HMM 是由两个随机过程组成，一个是状态转移序列，它对应着一个单纯Markov 过程；另一个是每次转移时输出的符号组成的符号序列。这两个随机过程，其中状态转移随机过程是不可观测的，只能通过另一个随机过程的输出观察

序列观测。设状态转移序列为S=T s s s 21,，输出的符号序列为O=1o ，T o o 2。

由于模型本身是看不见的，即模型的状态不为外界所见，只能根据观察序列推导出来，所以称为隐马尔可夫模型。

离散HMM 中的元素

对于语音识别使用的HMM 可以用下面六个模型参数来定义，即：

观察值序列 o 1, o 2, ..., o T

图1 HMM 的组成示意图

},,,,,{F B A O S M π=

S ：模型中状态的有限集合，即模型由哪几个状态组成。设有N 个状态，S ＝{i s

|i=1,2,……，N}。记t 时刻模型所处状态为t s ，),,(1N t

s s s ∈。

O ：输出的观察值符号的集合，即每个状态对应的可能的观察值数目。记M 个观察值为1o ，……，

M o ，记t 时刻观察到的观察值为t o 其中1(,,)t M o o o ∈ 。

A ：状态转移概率的集合。所有转移概率可以构成一个转移概率矩阵，即：

⎥⎥⎥⎦

⎤

⎢⎢⎢⎣⎡=NN N N a a a a A 1111

其中ij a 是从状态i s 到状态j s 的转移概率，i ≤1，N j ≤且有10≤≤ij a ，∑==N

j ij a 11。

B ：输出观测值概率的集合。{()}j B b k =。其中

()[v |],1j t k t b k p o s j k M ===≤≤，其中

V k k 表示第个观察符号

根据B 可将HMM 分为连续型和离散型HMM 等。

()1j k

b k =∑ （离散型HMM ）

()1j

b k dk ∞-∞

=⎰ （连续型HMM ）

π：系统初始状态概率的集合，}{i ππ=，i π表示初始状态是i s 的概率，即：

1[],(1) 1i i P s i i N ππ==≤≤=∑ （6）

F ：系统终了状态的集合。

Markov 模型没有终了状态的概念，只是在语音识别里用的Markov 模型要设定终了状态。

π,F}，为了便于表示，常用下面的形式表示一个HMM，这样，可以记一个HMM为M={S,O,A,B,

π}。HMM可以分为两部分，一个是Markov链，由π，A描述，产生的输出为状即简写为M={A,B,

态序列。另一个随机过程，由B描述，产生的输出为观察符号序列。

HMM：示例

图2 两个状态的HMM

HMM 的三个基本问题

HMM 核心理论是解决三个基本问题： 1.已知观测序列O ={1o ,2o ……T o }和模型},,{πλB A =,如何有效计算在给定模型的条件

下产生观测序列O 的条件概率)/(λO P 最大。

2.已知观测序列O ={1o ,2o ……T o }和模型},,{πλB A =,如何选择相应的在某种意义上最

佳的(能最好解释观测序列的)状态序列S 。

3.如何调整模型参数},,{πλB A =以使条件概率(|)P O λ最大。