n阶隐马尔科夫模型的参数估计
Markov链预测法
我们仔细阅读了中国大学生数学建模竞赛的竞赛规则. 我们完全明白，在竞赛开始后参赛队员不能以任何方式（包括电话、电子邮件、网上咨询等）与队外的任何人（包括指导教师）研究、讨论与赛题有关的问题。 我们知道，抄袭别人的成果是违反竞赛规则的, 如果引用别人的成果或其他公开的资料（包括网上查到的资料），必须按照规定的参考文献的表述方式在正文引用处和参考文献中明确列出。 我们郑重承诺，严格遵守竞赛规则，以保证竞赛的公正、公平性。如有违反竞赛规则的行为，我们将受到严肃处理。 我们参赛选择的题号是（从A/B/C/D中选择一项填写）： B 我们的参赛报名号为（如果赛区设置报名号的话）： 所属学校（请填写完整的全名）：贵州民族学院 参赛队员(打印并签名) ：1. 龚道杰 2. 张凤 3. 姚肖伟 指导教师或指导教师组负责人(打印并签名)： 日期： 2009 年 7 月 25 日 年凝冻日数的Markov链预测法 4# 【摘要】 本文根据所给数据，利用Markov链建立了预测年凝冻日数的模型，分别从整体和局部两个角度进行分析。
首先，我们直接以年凝冻日数为依据，对其进行K-均值聚类分析，划分 状态。用频率估计概率的方法，估算出一步转移概率矩阵，1/6 5/65/3328/33P ??=?? ??，然后建立Markov 链模型()1/6 5/6()(0)(0)5/3328/33n n P n P P P ??=?=??? ?? 。以2008年作为初始状态，估计出 2009 年凝冻日数所处状态为 (1)(0)P P P =?()0.1520.848=。按K-均值标准可知，即2009年凝冻的天数在 15天以内的可能性为84.8%，在15天以上的可能性为15.2%。 由于上述模型选取的是以年为单位的数据，只能估计出2009年的凝冻日 数所处区间。为提高精度，我们选取2000-2008年的具体凝冻天数和日期，记每一天只存在两种状态，出现雨凇为状态1，否则为状态0。然后由相邻两年间的状态转移变化，得出一步转移概率矩阵i P ，1,2,...,8i =。由这8个一步转移概率矩阵，根据一步转移矩阵P 的n 次方与n 步转移概率矩阵()n P 之差的范数和达到最小的准则，选出优化后的一步转移概率矩阵 0.95000.0500*0.78890.2111P ??=???? ,再次建立Markov 链模型。以2008年为初始状态，预测2009年的概率分布为 []*(2009)(2008)0.91060.0894P P P =?= ，由频率稳定于概率，知2009年凝冻天数的估计值为14天。 关键词： Markov 链 转移概率矩阵 频率估计概率 1. 问题提出 1.1背景知识 凝冻是指冬季出现的温度低于0℃有过冷却降水或固体降水和结冰现象发生的天气现象，即气象台所说的出现雨凇的天气。雨凇的形成与气温，降水量，湿度等因素有关，超冷却的降水碰到温度等于或低于零摄氏度的物体表面使所形成玻璃状的透明或无光泽的表面粗糙并覆盖层，就叫做雨凇。其造成的危害巨大，高压线塔的倒塌，电力瘫痪，交通瘫痪，农作物的冻亡等。因而对出现雨凇天气的预测显得尤为重要。
基于马尔可夫链的市场占有率的预测
市场占有率问题 摘要 本文通过对马尔可夫过程理论中用于分析随机过程方法的研究,提出了将转移概率矩阵法应用于企业产品的市场占有率分析当中,认为该理论的无后效性和稳定性特点能够帮助企业在纵向和横向资讯不够充分的情况下克服预测的误差和决策的盲目性,并给出了均衡状态下的市场占有率模型,以期通过不同方案的模拟分析,帮助企业优化决策. 关键词马尔科夫链转移概率矩阵 一、问题重述 1.1背景分析 现代市场信息复杂多变，一个企业在激烈的市场竞争环境下要生存和发展就必须对其产品进行市场预测，从而减少企业参与市场竞争的盲目性，提高科学性。然而，市场对某产品的需求受多种因素的影响，其特性是它在市场流通领域中所处的状态。这些状态的出现是一个随机现象，具有随机性。为此，利用随机过程理论的马尔可夫（Markov）模型来分析产品在市场上的状态分布，进行市场预测，从而科学地组织生产，减少盲目性，以提高企业的市场竞争力和其产品的市场占有率。 1.2问题重述 预测A、B、C三个厂家生产的某种抗病毒药在未来的市场占有情况 二、问题分析 第一步进行市场调查．主要调查以下两件事： （1）目前的市场占有情况．若购买该药的总共1000家对象（购买力相当的医院、药店等）中，买A、B、C三药厂的各有400家、300家、300家，那么A、B、C 三药厂目前的市场占有份额分别为：40%、30%、30%．称（0.4，0.3，0.3）为目前市场的占有分布或称初始分布． （2）查清使用对象的流动情况．流动情况的调查可通过发放信息调查表来了解顾客以往的资料或将来的购买意向，也可从下一时期的订货单得出．若从定货单得表1-0．
表（1-5） 顾客订货情况表 下季度订货情况 合计 来 自 A B C A 160 120 120 400 B 180 90 30 300 C 180 30 90 300 合计 520 240 240 1000 第二步 建立数学模型． 假定在未来的时期内，顾客相同间隔时间的流动情况不因时期的不同而发生变化，以1、2、3分别表示顾客买A 、B 、C 三厂家的药这三个状态，以季度为模型的步长（即转移一步所需的时间），那么根据表（1-5），我们可以得模型的转移概率矩阵： ? ???? ??=?????? ? ? ??=????? ??=3.01.06.01.03.06.03.03.04.03009030030 3001803003030090300180400120400120400160333231232221131211p p p p p p p p p P 矩阵中的第一行（0.4，0.3，0.3）表示目前是A 厂的顾客下季度有40%仍买A 厂的药，转为买B 厂和C 厂的各有30%．同样，第二行、第三行分别表示目前是B 厂和C 厂的顾客下季度的流向． 由P 我们可以计算任意的k 步转移矩阵，如三步转移矩阵： ???? ? ? ?=????? ? ?==252.0244 .0504.0244.0252.0504 .0252.0252.0496.03.01 .06.01.03.06 .03.03.04.03 3 ) 3(P P 从这个矩阵的各行可知三个季度以后各厂家顾客的流动情况．如从第二行（0.504， 0.252，0.244）知，B 厂的顾客三个季度后有50.4%转向买A 厂的药，25.2%仍买B 厂的，24.4%转向买C 厂的药． 三、模型假设 1、购买3种类型产品的顾客总人数基本不变； 2、市场情况相对正常稳定，没有出现新的市场竞争； 3、没有其他促销活动吸引顾客。 四、模型的建立与求解 4.1模型背景 在考虑市场占有率过程中影响占有率的大量随机性因素后，可以认为这一过程充
隐马尔科夫模型
隐马尔科夫模型 一、引入 二、定义 三、隐马尔科夫模型的计算 （1）估值问题 （2）解码问题 （3）训练问题 四、隐马尔科夫各种结构 H M M的由来 ?1870年，俄国有机化学家V l a d i m i r V.M a r k o v n i k o v第一次提出马尔科夫模型 ?马尔可夫模型和马尔可夫链
? 隐式马尔可夫模型(H M M ) 马尔可夫性 ? 如果一个过程的“将来”仅依赖“现在”而不依赖“过去”，则此过程具有马尔可夫性,或称此过程为马尔可夫过程 ? X (t+1) = f(X(t)) 马尔可夫链 ? 时间和状态都离散的马尔科夫过程称为马尔科夫链。 设在时刻t 的随机变量用t S 表示，其观察值用t s 表示，则如果当11s S ，
22s S =,……，t t s S =的前提下，11++=t t s S 的概率是如下式所示，则称为n 阶Markov 过程。 )|()|(1 1 111111t n t t n t t t t t t t s S s S P s S s S P +-+-++++===== (1) 这里t S 1 表示1S ，2S ，……，t S ，t s 1 表示1s ，2s ，……，t s ，t t s S 11=表示11s S =， 22s S =，……，t t s S =。特别的当如下式成立时，则称其为1阶Markov 过程， 又叫单纯马尔可夫过程。 )|()|(111 111t t t t t t t t s S s S P s S s S P =====++++ (2) 即：系统在任一时刻所处的状态只与此时刻的前一时刻所处的状态有关。而且，为了处理问题方便，考虑式（2）右边的概率与时间无关的情况，即： )|[)1,(1i t j t ij s S s S P t t P ===++ （3）
Matlab学习系列34. 马尔可夫预测
33. 马尔可夫预测 马尔可夫预测，是一种预测事件发生的概率的方法。它是基于马尔可夫链，根据事件的目前状况预测其将来各个时刻（或时期）变动状况的一种预测方法。 马尔可夫预测法的基本要求是状态转移概率矩阵必须具有一定的稳定性。因此，必须具有足够的统计数据，才能保证预测的精度与准确性。换句话说，马尔可夫预测模型必须建立在大量的统计数据的基础之上。 （一）经典马尔可夫模型 一、几个概念 状态：指某一事件在某个时刻（或时期）出现的某种结果； 状态转移：事件的发展，从一种状态转变为另一种状态； 马尔可夫过程：在事件的发展过程中，若每次状态的转移都仅与前一时刻的状态有关，而与过去的状态无关，或者说状态转移是无后效性的，则这样的状态转移过程就称为马尔可夫过程。 状态转移概率：在事件的发展变化过程中，从某一种状态出发，下一时刻转移到其它状态的可能性，称为状态转移概率。由状态i E 转为状态j E 的状态转移概率 ()(|)i j j i ij P E E P E E p →== 状态转移概率矩阵：假定某一个事件的发展过程有n 个可能的状
态，即1,,n E E ，则矩阵 1111n n nn p p P p p ????=?????? 其中，ij p 为从状态i E 转为状态j E 的状态转移概率，称为状态转移概率矩阵。 状态转移矩阵满足： (i) 01, ,1,,ij p i j n ≤≤= (ii) 1 1n ij j p ==∑ 二、状态转移矩阵的计算 即求出从每个状态转移到其它任何一个状态的状态转移概率ij p ，一般采用频率近似概率的思想进行计算。 例1某地区农业收成变化的三个状态，即E1“丰收”、E2“平收”和E3“欠收”。下表给出了该地区1960~1999年期间农业收成的状态变化情况（部分）。 计算该地区农业收成变化的状态转移概率矩阵。 datas=xlsread('Agriculture.xlsx');
基于离散隐马尔科夫模型的语音识别技术
第24卷 第2期 2007年6月 河 北 省 科 学 院 学 报Journal of the Hebei Academy of Sciences Vol .24No .2June 2007 文章编号:1001-9383(2007)02-0008-04 基于离散隐马尔科夫模型的语音识别技术 高清伦,谭月辉,王嘉祯 (军械工程学院计算机工程系,河北石家庄 050003) 摘要:概述语音识别技术的基本原理,对当前三种主要识别技术———动态时间规整技术、隐含马尔科夫模型 技术及人工神经网络技术进行比较,重点介绍基于离散隐马尔科夫模型(DH MM )的语音识别系统的实现。关键词:语音识别;隐马尔科夫模型;动态时间规整;人工神经网络中图分类号:T N912.34 文献标识码:A Speech recogn iti on technology ba sed on d iscrete H MM GAO Q ing 2l un,TAN Yue 2hu i,WAN G J i a 2zhen (D epart m ent of Co m puter Engineering,O rdnance Engineering College,Shijiazhuang Hebei 050003,China ) Abstract:The conditi on and the basic p rinci p le of s peech recogniti on technol ogy are intr oduced,three differ 2ent kinds of s peech recogniti on syste m s such as DT W ,H MM ,ASR are compared,and p lace e mphasis on how t o realize DH MM in s peech recogniti on syste m is p resented e mphatically . Keywords:Speech recogniti on;H idden Markov Model (H MM );Dyna m ic Ti m e W ar p ing (DT W );A rtificial Neural Net w ork (ANN ) 语音识别技术是语音信号处理技术一个重要的研究方向,是让机器通过识别和理解过程把人 类的语音信号转变为相应的文本或命令的技术,它属于多维模式识别和智能计算机接口的范畴,涉及到声学、语音学、语言学、计算机科学、信号与信息处理和人工智能等诸多学科,是21世纪衡量一个国家信息科学技术发展水平的重要标准之一。 1语音识别技术概述 语音识别系统本质上是一种模式识别系统, 目前有很多语音识别算法,但其基本原理和基本 技术相似。一个完整的语音识别系统一般都包括有特征提取、模式匹配和参考模式库3个基本单元,它的基本结构如图1所示。 (1)特征提取 所谓特征提取就是从语音信号中提取用于语 音识别的有用信息,其基本思想是将预处理过的信号通过一次变换,去掉冗余部分,而把代表语音本质特征的参数抽取出来,如平均能量、平均跨零率、共振峰、LPC 系数、MFCC 系数等。 图1语音识别系统基本结构 (2)模式匹配 这是整个语音识别系统的核心,它是根据一定规则(如H MM )以及专家知识(如构词规则、语法规则、语义规则等),计算输入特征与参考模式 3收稿日期:2007-01-26 作者简介:高清伦(1976-),男,河北沧州人,硕士,主要从事信息工程理论应用方面的研究.
基于隐马尔科夫模型的股指预测
基于隐马尔科夫模型的股指预测和股指期货模拟交易研究 张莎莎河南大学在读研究生商学院 引言 计算标的股票价格的加权值得到的结果，即是股票指数。股指期货也可称为股价指数期货、期指，是指以股价指数为标的物的标准化期货合约，双方约定在未来的某个特定日期，可以按照事先确定的股价指数的大小，进行标的指数的买卖，到期后通过现金结算差价来进行交割。2010年2月20日，中国金融期货交易所沪深300股指期货合约，以及详细的业务规程，由中国证监会正式批准施行。自2010年4月16日以来，在上海和深圳将近有300个股票指数期货合约正式开始交易。与股指期货相对应的是套期保值、组合风险管理和风险套利。对股票指数的预测，如果投资者判断的方向正确，那么就可以获得高回报，否则他们将遭受巨大损失。无论是在哪个或者领域，人们都希望找到一种能够预测股票走势的定量方法，以达到获得超额收益的目的。所谓的市场时机，就是要选择购买（做多）和卖出（做空）的时间，创造一套模拟程序来预测指数走势。根据时间和方法的选择，可划分为基本的定时和定时技术。基于时机的宏观经济，能够影响资产价格或行业预测的资产价格，一般适用于长期市场，决定未来发展趋势；而定时技术的选择，即使是在重复类似的交易价格的前提下，来确定资产价格的趋势，只要有足够的自由裁量权的赢家还是可以获得超额收益，主要适用于短期市场甚至高频市场。早在上世纪八十年代末，就有国外学者把隐马尔可夫模型定义为一个双重嵌套的随机过程。而国内金融工程领域对该模型的研究尚处于不成熟阶段。罗军2009年做出的广发证券研究报告表明，在国内，该模型在周择时的应用上还是卓有成效的。 一、相关理论 （一）马尔科夫过程 马尔科夫过程，指的是一类具有马尔科夫性的随机过程，因安德烈·马尔可夫（A.A.Markov，1856－1922）而得名。对于这个过程，如果该过程当前的状态是确定的，那么与之相应的过去的历史状态和以后的未来状态是不相关的。可将其定义如下：
马尔科夫预测
第6章 马尔可夫预测 马尔可夫预测方法不需要大量历史资料，而只需对近期状况作详细分析。它可用于产品的市场占有率预测、期望报酬预测、人力资源预测等等，还可用来分析系统的长期平衡条件，为决策提供有意义的参考。 6.1 马尔可夫预测的基本原理 马尔可夫（A.A.Markov ）是俄国数学家。二十世纪初，他在研究中发现自然界中有一类事物的变化过程仅与事物的近期状态有关，而与事物的过去状态无关。具有这种特性的随机过程称为马尔可夫过程。设备维修和更新、人才结构变化、资金流向、市场需求变化等许多经济和社会行为都可用这一类过程来描述或近似，故其应用范围非常广泛。 6.1.1 马尔可夫链 为了表征一个系统在变化过程中的特性（状态），可以用一组随时间进程而变化的变量来描述。如果系统在任何时刻上的状态是随机的，则变化过程就是一个随机过程。 设有参数集(,)T ?-∞+∞，如果对任意的t T ∈，总有一随机变量t X 与之对应，则称 {,}t X t T ∈为一随机过程。 如若T 为离散集（不妨设012{,,,...,,...}n T t t t t =），同时t X 的取值也是离散的，则称 {,}t X t T ∈为离散型随机过程。 设有一离散型随机过程，它所有可能处于的状态的集合为{1,2,,}S N =L ，称其为状态空间。系统只能在时刻012,,,...t t t 改变它的状态。为简便计，以下将n t X 等简记为n X 。 一般地说，描述系统状态的随机变量序列不一定满足相互独立的条件，也就是说，系统将来的状态与过去时刻以及现在时刻的状态是有关系的。在实际情况中，也有具有这样性质的随机系统：系统在每一时刻（或每一步）上的状态，仅仅取决于前一时刻（或前一步）的状态。这个性质称为无后效性，即所谓马尔可夫假设。具备这个性质的离散型随机过程，称为马尔可夫链。用数学语言来描述就是： 马尔可夫链 如果对任一1n >，任意的S j i i i n ∈-,,,,121Λ恒有 {}{}11221111,,,n n n n n n P X j X i X i X i P X j X i ----=======L (6.1.1) 则称离散型随机过程{,}t X t T ∈为马尔可夫链。 例如，在荷花池中有N 张荷叶，编号为1,2,...,N 。假设有一只青蛙随机地从这张荷叶上跳到另一张荷叶上。青蛙的运动可看作一随机过程。在时刻n t ，青蛙所在的那张荷叶，称为青蛙所处的状态。那么，青蛙在未来处于什么状态，只与它现在所处的状态()N i i ,,2,1Λ=有关，与它以前在哪张荷叶上无关。此过程就是一个马尔可夫链。 由于系统状态的变化是随机的，因此，必须用概率描述状态转移的各种可能性的大小。 6.1.2 状态转移矩阵 马尔可夫链是一种描述动态随机现象的数学模型，它建立在系统“状态”和“状态转移”的概念之上。所谓系统，就是我们所研究的事物对象；所谓状态，是表示系统的一组记号。当确定了这组记号的值时，也就确定了系统的行为，并说系统处于某一状态。系统状态常表示为向量，故称之为状态向量。例如，已知某月A 、B 、C 三种牌号洗衣粉的市场占有率分别是0.3、0.4、0.3，则可用向量()0.3,0.4,0.3P =来描述该月市场洗衣粉销售的状况。
基于隐马尔可夫模型(hmm)的模式识别理论
基于隐马尔可夫模型（hmm）的模式 识别理论 报告人： 时间：2020年4月21日 地点：实验室
概述 基于隐马尔可夫模型（hmm）的模式识别方法在模式识别中有着广泛的应用。如语音识别、手写字识别、图想纹理建模与分类。hmm还被引入移动通信核心技术“多用户的检测”。近年来，另外在生物信息可学、故障诊断等领域也开始得到应用。 近几年已经已被学者用于人脸识别的研究之中，是今年来涌现出来的优秀人脸识别方法之一。 经过不断改进，尤其是最近的嵌入式隐马尔可夫模型（ehmm）已经在人脸识别方面取得很大的进展，经过实验，识别率较高，有很好的鲁棒性等优点。 隐马尔可夫模型基本理论依据来源于随机过程中马尔可夫过程理论。
马尔可夫及其马尔可夫过程 马尔可夫（A. Markov ，1856—1922）俄国数学家. 他开创了一种无后效性随机过程的研究，即在已知当前状态的情况下，过程的未来状态与其过去状态无关，这就是现在大家熟悉的马尔可夫过程.马尔可夫的工作极 大的丰富了概率论的内容，促使它成为自然科学和技术直接有关的最重要的数学领域之一. 在工程技术方面目前已被广泛用于通信，模式识别方面。
x(t) 与马尔可夫过程相关的概念. 随机变量与随机过程把随机现象的每个结果对应一个数，这种对应关系 称为随机变量.例如某一时间内公共汽车站等车乘客的人数，电话交换台 在一定时间内收到的呼叫次数等等，都是随机变量的实例. 随机过程随机过程是一连串随机事件动态关系的定量描述.即和“时间” 相关的随机变量。一般记为x(t)。比如在一天24小时，在每个整点时刻徐 州火车站的旅客数量。 马尔可夫过程与马尔可夫链设x(t)是一随机过程，过程在时刻t0+1所处 的状态与时刻t0所处的状态相关，而与过程在时刻t0之前的状态无关，这 个特性成为无后效性.无后效的随机过程称为马尔可夫过程(Markov Process). 举例：比如在万恶的旧社会流离失所的百姓在每天的饥饿程度是一个随机 过程。假如他们在t0时刻（今天）的饥饿状态是五分饱，他们在t0+1所 （明天）的饥饿状态的概率取决于t0时刻（今天），而和t0时刻（今天） 之前（昨天、前天。。。）无关。这样的一个随机过程就是一个马尔可 夫过程。
基于隐马尔科夫模型的移动应用端行为模式识别
摘要：随着移动应用的普及，作为恶意行为识别的基础，移动应用端的行为模式分析也成为当前研究热点。本文创新地从系统环境数据入手，通过对系统多方面数据的监控，建立隐马尔可夫模型，使用该模型对后续行为产生的系统环境数据进行隐马尔科夫估值计算，从而实现对后续行为模式的识别，同时在后续识别过程中不断优化模型。本文通过实验证明该方式具有一定有效性，为移动应用端行为模式识别提供了更多可能。 关键词：移动应用端；隐马尔可夫模型；行为模式 中图分类号：tp311.5 文献标识码：a 文章编号：1006-4311（2016）19-0173-03 0 引言 在移动设备迅速普及的今天，开展移动安全性研究势在必行。目前针对移动应用端恶意行为检测的方式主要是对移动应用端的应用程序进行反编译，分析其源码是否存在于恶意行为代码特征库，以此作为评判标准。但随着恶意行为代码特征库的不断增加会导致系统开销增大，检测速度变慢。另外，随着黑客们使用的代码混淆技术的发展，也使之能够逃避这种静态分析手段[1]。 因为程序的运行会造成系统环境数据变化，所以系统环境数据可以反映系统运行情况。本文提出一种基于隐马尔可夫模型的行为模式识别方式，通过对移动应用端系统运行环境的cpu使用率、内存使用率、进程数、服务数、流量数监测获得时间序列数据，对特定行为进行隐马尔科夫建模，以待测行为的时间序列与特定的模型之间相似度为评判标准，并在每次评判之后优化模型[2]。该方法目的在于有效识别行为模式，对移动端恶意行为分析的后续研究提供前提，丰富了行为检测的手段，具有一定的实用价值。 1 马尔可夫模型介绍 2 隐马尔可夫模型介绍 2.1 隐马尔可夫模型 在马尔可夫模型中，每一个状态代表一个可观察的事件。而在隐马尔科夫模型中观察到的事件是状态的随机函数，因此隐马尔科夫模型是一双重随机过程，其中状态转移过程是不可观察的，而可观察的事件的随机过程是隐蔽的状态转换过程的随机函数（一般随机过程）[3]。对于一个随机事件，有一观察值序列：o=o1，o2，…ot，该事件隐含着一个状态序列：q=q1，q2，…qt。 2.2 隐马尔科夫模型使用前提 假设1：马尔可夫性假设（状态构成一阶马尔可夫链）p（qi|qi-1…q1）=p（qi|qi-1）假设2：不动性假设（状态与具体时间无关）p（qi+1|qi）=p（qj+1|qj），对任意i，j 成立。 假设3：输出独立性假设（输出仅与当前状态有关）p（o1，…ot|q1，…，qt）=∏p（ot|qt）隐马尔科夫模型在解决实际问题的过程中，需要事先知道从前一个状态st-1，进入当前状态st的概率p（st|st-1），也称为转移概率，和每个状态st产生相应输出符号ot的概率p（ot|st），也称为发射概率。描述它的数学表达式为：λ={n，m，a，b，∏}，下面对各个参数逐一描述： n表示隐状态s的个数，其取值为{s1，s2，…，sn}， m表示显状态o的个数，其取值为{o1，o2，…，on}， 2.3 隐马尔科夫可以解决的三个问题 ①评估问题：已知一个显状态序列o={o1，o2，…，on}，并且有确定的λ={n，m，a，b，∏}组成的hmm参数，求发生此显状态的概率p（o|hmm）有效的解决算法是前向算法。 3 基于隐马尔科夫的移动应用端行为模式识别 3.1 获取时间序列
基于隐马尔可夫模型的入侵检测方法
基于隐马尔可夫模型的入侵检测方法 赵婧，魏彬，罗鹏 摘要:针对当前网络安全事件频发以及异常检测方法大多集中在对系统调用数据的建模研究上等问题，提出一种基于隐马尔可夫模型的入侵检测方法。该算法基于系统调用和函数返回地址链的联合信息来建立主机进程的隐马尔可夫模型。此外，针对常用训练方法存在的不足，设计了一种快速算法用以训练模型的各个参数。实验结果表明:基于系统调用和函数返回地址链的联合信息的引入能够有效区分进程的正常行为和异常行为，大幅度降低训练时间，取得了良好的运算效果。 关键词:入侵检测;隐马尔可夫模型;系统调用序列 入侵检测作为一种网络安全防卫技术，可以有效地发现来自外部或内部的非法入侵，因此针对入侵检测算法的研究具有重要的理论和很强的实际应用价值。 基于动态调用序列对系统的入侵行为进行发掘是入侵检测领域主要的检测方法之一。自Forrest在1996年首次提出使用系统调用进行异常检测的思路和方法以来，有很多基于此的改进算法被提出。 文献提出一种基于频率特征向量的系统调用入侵检测方法，将正常系统调用序列抽取出的子序列的频率特征转换为频率特征向量。文献提出基于枚举序列、隐马尔科夫2种方法建立系统行为的层次化模型。然而，这类方法在误报率以及漏报率方面仍与实际需求有着一定的差距。 此外，由于隐马尔可夫模型(hiddenmarkovmodel，HMM)是一种描述离散时间内观察数据非常强大的统计工具，因此在基于主机的入侵检测研究中，HMM方法是目前重要的研究方向之一。 美国新墨西哥大学的Warrender等首次于1999年在IEEESymposiumonSecurityandPrivacy 会议上提出将HMM应用于基于系统调用的入侵检测中。2002年，Qiao等提出使用HMM对系统调用序列进行建模，利用TIDE方法划分状态序列的短序列，建立正常数据的状态短序列库来进行检测。2003年，Cho等提出用HMM对关键的系统调用序列进行建模。文献设计了一种双层HMM模型进行入侵检测，而其中所用到的训练方法存在局部最优以及时间效率较低等问题限制了其在实际中的应用。文献依据在网络数据包中发现的频繁情节，设计了基于HMM的误用检测模型。文献设计了一种基于节点生长马氏距离K均值和HMM的网络入侵检测方法。近些年，针对此方面的研究热度依然不减。然而，从目前的研究情况看，虽然基于隐马尔可夫模型的入侵检测技术能取得较好的检测效果，但是也存在着如下几个问题: 1)基于HMM的入侵检测技术主要集中在对主机的命令序列或者系统调用序列进行建模，单一的数据源提供的信息较少，因此检测效果仍然不够理想。 2)在线学习问题，隐马尔可夫模型的建立需要消耗大量的时间和空间对参数进行调整学习，这导致了HMM难以得到有效的利用。综上所述，为克服现有模型算法所存在的问题，提出一种新的基于系统调用和进程堆栈信息的HMM入侵检测方法，该方法的主要思想是将系统调用和函数返回地址信息作为检测数据源，并利用HMM来构建主机特权进程的正常行为模型。其次，针对经典模型训练法存在局部最优且算法的复杂度较高等问题，设计一个更为简单的训练算法来计算HMM的参数，进而提升算法效率。最后，设计了附加观察值和附加状态等参数，用以消除非完备的数据以及零概率对模型的影响。 1、隐马尔可夫模型 马尔可夫模型中的每个状态都与一个具体的观察事件相互对应，但实际问题可能会比Markov链模型所描述的情况更复杂，人们所能观察到的事件一般情况下并不是与状态完全
基于绝对分布的马尔可夫链预测方法
基于绝对分布的马尔可夫链预测方法 对于一列相依的随机变量，用步长为一的马尔可夫链模型和初始分布推算出未来时段的绝对分布来做预测分析，即为传统的马尔可夫链预测方法之一，可称之为“基于绝对分布的马尔可夫链预测方法”，不妨记其为“ADMCP法”。其具体方法步骤如下: (1)计算指标值序列均值x，均方差s，建立指标值的分级标准(相当于确定马尔可夫链的状态空间)，可根据资料序列的长短及具体间题的要求进行。例如，可以样本均方差为标准(也可以用有序聚类的方法建立分级标准等)将指标值分级，即按4.2.1中指出的方法确定马尔可夫链的状态空间E=[1, 2，一，m]; (2)按(1)所建立的分级标准，确定资料序列中各时段指标值所对应的状态; (3)对(2)所得的结果进行统计计算，可得步长为一的马尔可夫链的转移概率矩阵 ，它决定了指标值状态转移过程的概率法则; (4)“马氏性”检验(应用工作者使用该方法时，一般都不做这一步，本文加上这一步意在完善"ADMCP法，’); (5)若以第1时段作为基期，该时段的指标值属于状态i，则可认为初始分布为 这里P(0)是一个单位行向量，它的第i个分量为1，其余分量全为0。于是第l+1时段的绝对分布为 第l+1时段的预测状态j满足: ;为预测第l+k时段的状态，则可 得到所预测的状态j满足: (6)可进一步对该马尔可夫链的特征(遍历性、平稳分布等)进行分析。 4.3.2叠加马尔可夫链预测方法 对于一列相依的随机变量，利用各阶(各种步长)马尔可夫链求得的绝对分布叠加来做预测分析，也是传统的马尔可夫链预测方法之一，可称之为“叠加马尔可夫链预测方法”不妨记其为“SPMCP 法’，。其具体方法步骤如下: (1)计算指标值序列均值x，均方差s，建立指标值的分级标准(相当于确定马尔可夫链的状态空间)，可根据资料序列的长短及具体问题的要求进行; (2)按“(1)"所建立的分级标准，确定资料序列中各时段指标值所对应的状态: (3)对“(2)”所得的结果进行统计，可得不同滞时(步长)的马尔可夫链的转移概率矩阵，它决定了指标值状态转移过程的概率法则; (4)“马氏性”检验(应用工作者使用该方法时，一般也不做这一步，本文加上这一步同样意在完善，"SPMCP法”): (5)分别以前面若干时段的指标值为初始状态，结合其相应的各阶转移概率矩阵即可预测出该时段指标值的状态概率 (6)将同一状态的各预测概率求和作为指标值处于该状态的预测概率，即 ,所对应的i即为该时段指标值的预测状态。待该时段的指标值确定之后，将其加入到原序列之中，再重复步骤"(1)一(6)"，可进行下时段指标值状态的预测。
隐马尔科夫
隐马尔科夫模型 1.隐马尔科夫模型的定义及相关术语 定义：隐马尔科夫模型是关于时序的模型，其描述一个隐藏的马尔科夫链随机生成不可观测的随机状态序列，再由各个状态生成一个观测，从而生成可观测的随机序列的过程。 状态序列：隐藏的马尔科夫链随机生成状态序列； 观测序列：每一个状态可以生成一个观测，则状态序列可以生成观测序列。 模型参数：隐马尔科夫模型有三个参数：初始概率分布π，状态转移概率分布A，观测概率分布B。 2隐马尔科夫模型建立基于的假设 （1）齐次马尔科夫性假设。 隐藏的马尔科夫链在任意时刻t的状态只依赖于其前一刻的状态，与其他时刻的状态和观测无关，也与t时刻无关。 （2）观测独立性假设。 任意时刻的观测只与本时刻的状态有关，与其他状态及观测无关。 3隐马尔科夫的三个问题 （1）概率计算问题。给定隐马尔科夫模型λ=（π，A，B）和观测序列O，计算在该模型下，该观测序列出现的概率。 （2）学习问题。隐马尔科夫模型参数的学习。给定观测序列，估计模型λ=（π，A，B）的参数，使得在该模型下该观测序列出现的概率最大。 （3）预测问题。给定模型参数和观测序列，求最有可能的状态序列。 4.概率计算 前向计算和后向计算。<统计学习方法>P177有例子。 5.学习算法 （1）监督学习。 根据观测序列和状态序列组合。采用极大似然的思想估计状态转移概率：
^1a =ij ij N j A Aij =∑ 其中，ij A 表示训练集中状态i 转移到状态j 中频数。 同样可以得到，状态为j 观测为k 的概率： ^1jk ij M jk k B b A ==∑ （2）非监督学习方法。 当我们只知道观测序列O 而不知道状态序列I 时，可以将状态序列I 看做隐变量，从而采用EM 算法进行求解,则我们要求解的目标是： (|)(|,)(|)I P O P O I P I λλλ=∑ EM 算法的E 步： Q 函数： 其中(,|)(|,)|P I O P I O P λλλ---= （O ），因为分母为常数，所以省略。即上式仍符合： (,)=(log (,|)|,)I Q E P O I O λλλλ--的形式。 有： i11112221(,|)=()()...()i i i i iT iT iT T P O I b o a b o a b o λπ- 则： i1()(1)()11(,)log (,|)(log())(,|)(log(()))(,|) T T i t i t i t t I I t I t Q P O I a P O I b o P O I λλπλλλ---- +===++∑∑∑∑∑ 上式，右侧的三项分别独自包含了模型参数的一项，下面分别对每一项进行分析。 对第一项运用朗格朗日乘子法计算： 首先写出拉格朗日函数： i 1i 11log (,|)(()1)N N i i P O i i r πλπ-===+-∑∑ s.t. i 1)1)N i π=-∑=0; 对i π求偏导并令结果为0得到： 1i (,|)0P O i i r λπ- =+= （2）
实验7 马尔科夫预测
实验7：马尔柯夫预测 7.1实验目的 1、了解状态及状态转移的概念，理解马尔科夫链定义和性质，能根据具体实例和研究目的划分状态； 2、掌握用Excel 软件计算一步转移概率矩阵的全过程； 3、掌握利用Excel 软件进行马尔科夫链、市场占有率、马尔科夫稳态的相关预测。 7.2实验原理 7.2.1 马尔柯夫预测的基本原理 马尔可夫预测法是马尔科夫过程和马尔科夫链在经济预测领域的一种应用，这种方法通过对事物状态划分、研究各状态的初始概率和状态之间转移概率来预测事物未来状态变化趋势，以预测事物的未来。 7.2.1．1马尔可夫链 若时间和状态参数都是离散的马尔科夫过程，且具有无后效性，这一随机过程为马尔可夫链。无后效性可具体表述为如果把随机变量序列{}(),Y t t T ∈的时间参数s t 作为“现在”，那么s t t >表示“将来”，s t t <表示“过去”，那么，系统在当前的情况()s Y t 已知的条件下，()Y t “将来”下一时刻所处的的情况与“过去”的情况无关，随机过程的这一特性称为无后效性。 7.2.1．2状态及状态转移 1、状态是指客观事物可能出现或存在的状况。在实际根据研究的不同事物、不同的预测目的，有不同的预测状态划分。 （1）预测对象本身有明显的界限，依状态界限划分。如机器运行情况可以分为“有故障”和“无故障”两种状态，天气有晴、阴、雨三种状态。（2）研究者根据预测事物的实际情况好预测目的自主划分。如：公司产量按获利多少人为的分为畅销、一般销售、滞销状态。这种划分的数量界限依产品不同而不同。 2、状态转移是指所研究的系统的状态随时间的推移而转移，及系统由某一时期所处的状态转移到另一时期所处的状态。发生这种转移的可能性用概率描述，称为状态转移概率 7.2.2状态转移概率矩阵及计算原理 1、概念：状态转移概率指假如预测对象可能有E 1，E 2，…，E n 共n 种状态，
基于隐马尔科夫模型的命名实体识别
基于马尔科夫模型的命名实体识别 NE识别的数学描述 利用HMM解决序列标注问题，即给定一个观察值的序列，要寻找一个最优的标记序列，使得条件概率最大。根据贝叶斯公式可得： 在NE识别问题中，X是给定的句子，观察值为词性或词，则上式中P(X)对所有的类别都是一样的，因此可以忽略不考虑。则上面的公式可以转化为下面的形式： 即HMM实质式求解一个联合概率。上式中的标记序列Y可以看做是一个马尔科夫链，则对上式利用乘法公式有： 基于HMM的NE识别的问题就是如何在给定的模型下，从一定观察值序列的所有可能的状态下，选取最有的标记序列。常用的方法是viterbi算法，它属于动态规划算法，动态规划的思想是把问题分解，先解决最基本的子问题，再逐步外推寻找更大的子问题的最优解，在有限步后达到整个问题的最优解，即得到最有的NE标记序列 隐马尔科夫模型 观察到的事件是状态的随机函数，该模型是一个双重的随机过程，其中模型的状态转换过程是不可观察的。可观察的事件的随机过程是隐藏的状态转换过程的随机函数。形式化的描述为一个五元组。 1. S表示模型中的状态，N是模型的状态数。所有独立的状态定义为,且用来表示t时刻的状态。 2. O表示每个状态的观察值，M表示每个状态上对应的可能的观察值的数目。观察值对应于模型系统的实际输出，观察值记为： 3. 状态转移概率矩阵，其中，1<=i，j<=N，表示从状态i转移到状态j的概率，满足：>=0，；且。 4. 输出观察值概率分布矩阵，其中表示在状态下，t时刻出现的概率，即，1<=j<=N,1<=k<=M. 5. 初始状态分布向量，其中,即在t=1时刻处于状态的概率，满足：。 HMM模型需解决的三个问题： （1）评估问题。给定一个观察序列，以及模型，如何有效的计算,也就是这个观测序列有多大可能是由该模型产生的； （2）解码问题。给定观测序列以及模型，如何选择一个状态序列，使得观测序列O式最具可能的，即求解; （3）学习问题。如何能够通过调整参数以最大化 ICTCLAS分词的词性列表 名词(1个一类，7个二类，5个三类) 名词分为以下子类： n 名词 nr 人名 nr1 汉语姓氏 nr2 汉语名字 nrj 日语人名 nrf 音译人名 ns 地名
马尔可夫链预测方法及其一类应用【开题报告】
开题报告 数学与应用数学 马尔可夫链预测方法及其一类应用 一、综述本课题国内外研究动态, 说明选题的依据和意义 概率论自1654年创立以来, 已由最初的博弈分析问题发展成为现今的方法论综合性学科. 而其中随机过程已经是现代概率论发展的必然性. 在这其中, 马尔可夫在1906年的"大数定理关于相依变量的扩展"（Extension de la loi de grands bombers etc）论文中首次创立的马尔可夫链已经成为了概率论的重中之重. 马尔可夫是世界上著名的数学家、社会学家. 他所研究的范围非常的广泛, 涉及到概率论、数论、数的集合、函数逼近论、数理统计、微分方程等方面. 马尔可夫在1906~1912年间, 他提出并研究了一种能用数学分析方法研究自然过程的一般图示, 后人把这种图示以他的姓氏命名为马尔可夫链(Markov Chain). 在当时, 马尔可夫开创性地采用了一种对无后效性的随机过程的研究范式, 即在已知当前状态的情况下, 过程的未来状态与其过去状态无关, 这就是现在大家非常熟悉了解的马尔可夫过程. 在现实生活当中, 有许多过程都能被看作成马尔可夫过程. 如软件可靠性测试、传染病受感染的人数、农村剩余劳动力流动趋势预测、液体中微粒所作的布朗运动、产品市场占有率及利润率的变动等等. 也正是由于马尔可夫链在生活中所具有的普遍存在性, 马尔可夫链理论才被广泛应用于近代的物理学, 生物学, 地质学, 计算机科学, 公共事业, 教育管理、经济管理、以及企业人员管理、桥梁建筑等各个领域. 马尔可夫链运用数学模型对定性问题进行预测提供了一种思路, 丰富了预测的内容. 其大体上可以分为以下几个步骤: 首先, 把现象看作成为一个系统, 并对该系统进行科学的划分. 根据系统的实际和需要划分出多个状态, 系统所划分出来的各个状态就是要预测的内容. 其次, 对现象各种状态的状态概率进行统计测定, 也就是判定出系统当前处于什么状态. 然后, 对各系统未来发展的每次转移概率进行预测, 就是要确定出系统是如何转移的. 最后, 根据系统当前的各种状态和转移概率矩阵, 推测出系统经过若干次转移后, 到达
马尔可夫链预测股票例1
1、对单支股票走势、收益的预侧 现以上海A股精伦电子的股价时间序列为例(原始资料如表1)，应用马尔可夫链对股价分别进行中短期和长期预测分析，这里不妨将时间序列的单位以天记。 表1:上海A股精伦电子2002年6月13日一7月17日23个交易日的收盘价格资料 将表1中这23个收盘价格划分成4个价格区间(由低到高每区间1.5个价格单位)，得到区间状态为: S1：(26.00以下)、S2：(26.00--27.50)、S3：(27.50--28.00)、S4：(28.00及以上)。则到达个区间的频数分别为5, 3, 9, 6。综合这些资料于是得到这23个交易日的收盘价格状态转移情况如表2， 由此得到各状态之间的转移概率和转移概率矩阵: 表1知，第23个交易日的收盘价格是27.53(即为k状态区间)，所以用马尔可夫链进行预测时初始状态向量，P(0) =( 0,0,1,0)，第24, 25日的收盘价格状态向量分别为即
P(1)=P(0)P=(0,0.125,0.625,0.25); P(2)=P(1)P=(0.042,0.078,0.451,0.323) 预测这两日的收盘价格处于k状态区间的概率最大，与实际情况27.21和27.39一致. 随着交易日的增加，即n足够大时，只要状态转移概率不变(即稳定条件)，则状态向量趋向于一个和初始状态无关的值，并稳定下来.按马尔可夫系统平稳定条件，可得一个线性方程组: 解得的数值即为较长时间后股价处于各区间的平稳分布。对照资料可以看出，由上述公式计算出的各收盘价格状态区间基本上是准确的。 2、用马氏链对沪市的走势进行预铡及相应分析 我们利用沪市1998年1月5日至2001年11月2日的上证综合指数每周收盘资料，将上证指数划分为六个区间，即六种状态:区间1(1000点一1300点);区间2 (1300点一1600点);区间3 (1600点一1800点):区间4 (1800点~2000点);区间 5 (2000点~2200点);区间6 (2200点以上)。即可得到上证综合指数以周为单位的转移概率矩阵 因为11月2日上证综合指数周收盘为1691点，处于状态3，所以在对沪市进行预测时，初始状态向量P(0)=(0,0,1,0,0,0)，然后按上例中的马尔可夫方法进行中短期和长期预测分析。通过对比可以发现，马尔可夫链对整个证券市场的预测结果是比较准确的，而且长期预测所得的结论与股票价格根本上是由股票内在投资价值决定的这一基本原理也是惊人的一致。