数据挖掘中的新方法---支持向量机
支持向量机的基本原理
支持向量机的基本原理
支持向量机（Support Vector Machine, SVM）是一种二分类模型，其基本原理是找到一个最优的超平面来进行数据的划分。
其基本思想是将样本空间映射到高维特征空间，找到一个超平面使得正负样本之间的间隔最大化，从而实现分类。
具体来说，SVM的基本原理包括以下几个步骤：
1. 寻找最优超平面：将样本空间映射到高维特征空间，使得样本在特征空间中线性可分。
然后寻找一个超平面来最大化两个不同类别样本的间隔（也称为“分类间隔”）。
2. 构建优化问题：SVM通过解决一个凸二次规划问题来求解最优超平面。
该优化问题的目标是最大化分类间隔，同时限制样本的分类正确性。
3. 核函数技巧：在实际应用中，数据通常是非线性可分的。
通过引入核函数的技巧，可以将非线性问题转化为高维或无限维的线性问题。
常用的核函数有线性核、多项式核、高斯核等。
4. 寻找支持向量：在求解优化问题时，只有一部分样本点对于最优超平面的确定起到决定性作用，这些样本点被称为“支持向量”。
支持向量决定了超平面的位置。
5. 分类决策函数：在得到最优超平面后，可以通过计算样本点到超平面的距离来进行分类。
对于新的样本点，根据其距离超平面的远近来判断其所属类别。
支持向量机的基本原理可以简单概括为在高维特征空间中找到一个最优超平面，使得样本的分类间隔最大化。
通过引入核函数的技巧，SVM也可以处理非线性可分的问题。
支持向量机具有理论基础牢固、分类效果好等优点，在实际应用中得到了广泛的应用。
支持向量机原理SVMPPT课件
回归分析
除了分类问题，SVM也可以用于 回归分析，如预测股票价格、预 测天气等。通过训练模型，SVM
能够预测未知数据的输出值。
数据降维
SVM还可以用于数据降维，通过 找到数据的低维表示，降低数据
的复杂性，便于分析和理解。
02 支持向量机的基本原理
线性可分与不可分数据
线性可分数据
在二维空间中，如果存在一条直线， 使得该直线能够将两类样本完全分开 ，则称这些数据为线性可分数据。
支持向量机原理 svmppt课件
目录
CONTENTS
• 引言 • 支持向量机的基本原理 • 支持向量机的数学模型 • 支持向量机的优化问题 • 支持向量机的核函数 • 支持向量机的训练和预测 • 支持向量机的应用案例 • 总结与展望
01 引言
什么是支持向量机
定义
支持向量机（Support Vector Machine，简称SVM）是一种监督学习算法， 用于分类和回归分析。它通过找到一个超平面来分隔数据集，使得分隔后的两 类数据点到该平面的距离最远。
支持向量机的优势和局限性
01
对大规模数据集效 率较低
对于大规模数据集，支持向量机 可能需要较长时间进行训练和预 测。
02
核函数选择和参数 调整
核函数的选择和参数调整对支持 向量机的性能有很大影响，需要 仔细选择和调整。
03
对多分类问题处理 不够灵活
对于多分类问题，支持向量机通 常需要采用一对一或一对多的策 略进行处理，可能不够灵活。
图像识别
• 总结词：支持向量机用于图像识别，通过对图像特征的提取和分类，实现图像 的自动识别和分类。
• 详细描述：支持向量机在图像识别中发挥了重要作用，通过对图像特征的提取 和选择，将图像数据映射到高维空间，然后利用分类器将相似的图像归为同一 类别，不相似图像归为不同类别。
支持向量机的特征选取方法
支持向量机的特征选取方法支持向量机（Support Vector Machine，简称SVM）是一种常用的机器学习算法，被广泛应用于分类和回归问题。
在实际应用中，选择合适的特征对于SVM的性能至关重要。
本文将介绍一些常用的支持向量机特征选取方法，帮助读者更好地理解和应用SVM算法。
一、特征选取的重要性特征选取是指从原始数据中选择出最具有代表性和区分性的特征，以提高分类或回归模型的性能。
在SVM中，特征选取的目标是找到最佳的特征子集，以提高分类超平面的判别能力和泛化能力。
二、过滤式特征选取方法过滤式特征选取方法是一种独立于具体学习算法的特征选择方法，它通过对特征进行评估和排序，然后选择排名靠前的特征子集。
常用的过滤式特征选取方法有相关系数法、卡方检验法和信息增益法等。
1. 相关系数法相关系数法是一种衡量特征与目标变量之间线性关系的方法。
它通过计算特征与目标变量之间的相关系数，选择相关性较高的特征。
在SVM中，相关系数法可以帮助我们筛选出与目标变量相关性较强的特征，提高分类模型的性能。
2. 卡方检验法卡方检验法是一种用于检验特征与目标变量之间独立性的方法。
它通过计算特征与目标变量之间的卡方值，选择卡方值较大的特征。
在SVM中，卡方检验法可以帮助我们找到与目标变量相关性较高的特征，提高分类模型的准确性。
3. 信息增益法信息增益法是一种衡量特征对于目标变量分类能力的方法。
它通过计算特征对目标变量的信息增益，选择信息增益较大的特征。
在SVM中，信息增益法可以帮助我们选择对目标变量具有较强分类能力的特征，提高分类模型的性能。
三、嵌入式特征选取方法嵌入式特征选取方法是一种将特征选取与学习算法结合起来的方法，通过学习算法自身的特性选择最佳的特征子集。
常用的嵌入式特征选取方法有L1正则化方法、决策树方法和基于遗传算法的方法等。
1. L1正则化方法L1正则化方法是一种通过在目标函数中加入L1范数惩罚项来实现特征选取的方法。
数据挖掘十大经典算法
数据挖掘十大经典算法一、 C4.5C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3 算法. C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进：1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足；2) 在树构造过程中进行剪枝；3) 能够完成对连续属性的离散化处理；4) 能够对不完整数据进行处理。
C4.5算法有如下优点：产生的分类规则易于理解，准确率较高。
其缺点是：在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。
1、机器学习中，决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。
树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。
决策树仅有单一输出，若欲有复数输出，可以建立独立的决策树以处理不同输出。
2、从数据产生决策树的机器学习技术叫做决策树学习, 通俗说就是决策树。
3、决策树学习也是数据挖掘中一个普通的方法。
在这里，每个决策树都表述了一种树型结构，他由他的分支来对该类型的对象依靠属性进行分类。
每个决策树可以依靠对源数据库的分割进行数据测试。
这个过程可以递归式的对树进行修剪。
当不能再进行分割或一个单独的类可以被应用于某一分支时，递归过程就完成了。
另外，随机森林分类器将许多决策树结合起来以提升分类的正确率。
决策树是如何工作的？1、决策树一般都是自上而下的来生成的。
2、选择分割的方法有好几种，但是目的都是一致的：对目标类尝试进行最佳的分割。
3、从根到叶子节点都有一条路径，这条路径就是一条―规则4、决策树可以是二叉的，也可以是多叉的。
对每个节点的衡量：1) 通过该节点的记录数2) 如果是叶子节点的话，分类的路径3) 对叶子节点正确分类的比例。
有些规则的效果可以比其他的一些规则要好。
由于ID3算法在实际应用中存在一些问题，于是Quilan提出了C4.5算法，严格上说C4.5只能是ID3的一个改进算法。
数据挖掘中常用的六种算法
数据挖掘中常用的六种算法一、决策树算法。
先来说说决策树算法哈。
这就好比是我们做决策时画的一个流程图一样。
比如说你要决定今天出门穿什么衣服，你可能会先看看天气，如果是晴天，你可能就会选轻薄一点的衣服；要是下雨天，那就得穿雨衣或者带伞，再选防水一点的鞋子。
这就是一个简单的决策过程，而决策树算法，就是把这种决策过程用一种树状的结构表示出来。
决策树算法在很多地方都有用。
比如说银行要决定给不给一个人发放贷款，它会根据这个人的收入、信用记录、工作稳定性等因素来做决策。
就像先看收入，如果收入高，再看信用记录好不好；如果收入低，可能就直接拒绝贷款申请。
这样一步一步做出决策，最后得到一个结果。
它的优点，就是很容易理解和解释。
就像刚才说的穿衣服和银行贷款的例子，我们很清楚每一步是怎么决策的。
而且它对数据的要求也不是特别严格，不用做太多的预处理。
不过，它也有缺点，就是容易过拟合。
比如说，你根据某一段时间的天气来决定穿衣服，可能这段时间天气比较特殊，按照这个决策树来选衣服，到了天气变化的时候就不合适。
二、朴素贝叶斯算法。
朴素贝叶斯算法，就像是一个很聪明的猜测家。
比如说你看到一个人穿着运动服，背着运动背包，手里还拿着羽毛球拍，你可能就会猜这个人是要去打羽毛球。
这就是根据一些特征来推测一个结果。
在实际应用中，垃圾邮件过滤就经常会用到朴素贝叶斯算法。
它会先学习很多正常邮件和垃圾邮件的特征，比如邮件里有没有一些特定的词汇，发件人的地址是不是经常发垃圾邮件等等。
然后当收到一封新邮件的时候，就根据这些特征来判断这封邮件是不是垃圾邮件。
它的优点是计算速度快，处理大规模数据的时候很有效率。
就像处理大量的邮件，能很快地判断出来。
而且对缺失数据也比较不敏感，就算有些信息不全，也能做出比较合理的判断。
但是它也有个小毛病，就是它假设各个特征之间是相互独立的，可实际情况中可能并不是这样。
比如说一个人穿运动服和拿羽毛球拍可能是有关系的，并不是完全独立的，但朴素贝叶斯算法就把它们当成独立的来处理。
基于支持向量机的空间数据挖掘流程与实现方法
在 解 决 有 限 样 本 非 线 性 及 高 维 模 式 识 别
， 、
（） 掘 ４挖 ｒ具 技 术 层 ；５挖 掘 过 程 实 现 层 ； （）
（ ） 掘 过 程控 制 及 可视 化表 达 层 ；７ 挖 掘 ６挖 （） 结果分析及应 用层 。
下 面 主 要 探 讨 基 于 支 持 向 量 机 的 空 间
间数 据 挖 掘数 据 准 备 与 数据 预处 理 阶 段 有
大量基础性工作的 原因。
数 据 准 备 与 空 间数 据 库 构 建
、 Ｊ
２挖掘工作框 架
应 用 支 持 向 量 机 理 论 与 方 法 ， 行 空 进 间数 据 挖 掘 ， 要 确定 空 间数 据 源 ， 取 空 需 提 间数 据 特 征 ， 此 构建 空 间数 据 库 ； 要 从 以 需
核 函数 的 方法 帮 助选 择提 取 １ 就是 空 ， 这
核 函数 思 想 ， 非 线 性 空 间 的 问题 转 换 到 把
支持向量机算法原理
支持向量机算法原理支持向量机（SupportVectorMachine，SVM）是一种经典的机器学习算法，是指对二类分类问题，它可以确定一个最佳的线性决策边界，以最大限度地提高分类的准确率。
它将分类任务转换为一个凸二次规划问题，然后使用核函数扩展到非线性情况。
它被广泛应用于许多类型的学习任务，包括分类和回归。
1.持向量机的概念所谓支持向量机，是指一种经典的机器学习算法，用于解决二分类问题。
该算法总是朝着最大限度地改善结果的方向迭代，并将给定的数据集呈现为一个映射，以实现最佳的分类结果。
支持向量机算法的主要思想是，在样本空间中，将数据用线性分割法分为两个独立的子空间，从而获得较高的分类准确率。
2.持向量机的数学原理支持向量机的数学基础乃在于凸优化，它是在线性可分的情况下，使分类器的准确率最大化。
支持向量机算法可以将分类问题转换为一个凸二次规划问题，以求得最优解。
在这个规划问题中，我们要求最小化一个函数，使得能够将样本以最佳方式分开，以确定决策边界。
它需要求解最优化问题中的最大间隔，故而也被称之为最大间隔分类器，把这个问题的最优解称为支持向量（Support Vector）。
3.持向量机的分类a.性可分支持向量机：是用于解决线性可分的二分类问题的支持向量机，其中只有两个分类器，我们可以使用给定的数据集来找到一个线性分类器，这样就可以将样本点映射到不同的类。
b.性不可分支持向量机：是针对线性不可分的二分类问题的支持向量机，我们可以使用核函数将线性不可分的问题扩展到高维来获得线性可分的形式，这种类型的支持向量机也是使用类似的求解方法来构建的，但是通过将线性不可分的问题扩展到高维，它可以更好地描述数据。
c.分类支持向量机：是一种多类支持向量机，它可以用于解决多个分类问题，它可以用于分类要素的多分类以及多个分类分量的情况，这是一种非常有用的技术，在主机器学习任务中得到了广泛应用。
4.持向量机的优势a.持向量机算法不仅可以实现高准确率，而且运行时间短。
机器学习算法在数据挖掘中的应用与案例分析
机器学习算法在数据挖掘中的应用与案例分析近年来，数据的规模和复杂程度不断增加，传统的数据处理方式已经无法满足业务需求。
此时，机器学习算法在数据挖掘中的应用就成为了一种趋势。
机器学习算法可以通过处理、分析、挖掘大量的数据，从而提取出有用的信息和知识，帮助企业实现效益的提升与业务的创新。
本文将以机器学习算法在数据挖掘中的应用与案例分析为主题，介绍几种常见的机器学习算法和它们的应用。
一. 机器学习算法简介机器学习是一种通过算法来让计算机自主学习的技术。
通过数学模型和算法，机器学习可以从大量数据中抽取出共性和规律。
在数据挖掘中，常用的机器学习算法有：支持向量机 (SVM)、决策树、朴素贝叶斯 (Naive Bayes)、神经网络，以及集成学习等几种。
这些算法在不同的应用场景中有着广泛的应用。
二. 支持向量机（SVM）支持向量机是一种二分类问题的分类器，通过寻找最优的超平面对样本进行分类。
该算法主要有以下几个步骤：首先，对样本进行特征提取和数据预处理。
然后，通过数学模型找到最优的超平面将样本分为两类。
通过调整参数，支持向量机的分类效果可以不断提升。
支持向量机在图像识别、金融风控等领域都有较为成功的应用。
三. 决策树决策树是一种树形结构模型，可以用于分类、回归、聚类等任务。
决策树通过分裂节点和分类规则来对数据进行分类。
在此基础上，决策树可以通过预测和概率等方法对未知的数据进行分类。
决策树在金融风控、医疗诊断等领域都有着重要的应用。
四. 朴素贝叶斯(Naive Bayes)朴素贝叶斯算法是一种基于贝叶斯定理的分类算法。
该算法的核心思想是，通过先验概率和条件概率对样本进行分类。
在实际应用中，朴素贝叶斯算法可以用于文本分类、垃圾邮件过滤等任务。
五. 神经网络神经网络是一种模仿人脑思维过程的计算模型。
该模型能够通过训练学习从大量数据中提取出信息和知识，并用于各种任务，如分类、识别、预测等。
神经网络在图像识别、语音识别、自然语言处理等领域有着广泛的应用。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
数据挖掘中的新方法---支持向量机龙信数据（北京）有限公司数据研发部郭泽泉摘要：本文从至支持向量机角度对数据预测进行了研究，研究发现：在数据挖掘中，当我们想预测某些数据的走向时往往因为数据量不足造成预测的不准确，或者数据量过大而造成过拟合现象的发生，支持向量机方法很好的解决了高维数但因数据量较小而无法进行预测的问题，预测的准确率较高。
关键词：支持向量机预测小样本一，背景支持向量机是统计学习理论中的一部分，它在医学，生物，军事，工业，IT 等行业有着很好的发展前景，所谓支持向量机，本质问题就是将一组数据根据他们的不同属性进行划分，可以是两分类，也可以是多分类。
在传统的分类问题中，分类的主要目标是将可能的分类错误降到最小，即：分类错误最小化。
通过核函数以及拉格朗日算子的引入，将非线性问题转化为线性问题求解，但在一些重要问题中，往往其中一类的数据的分类错误要比另外一类重要很多，也就是说它们的错分类代价是不同的，这一类称为损失敏感支持向量机，本文先不介绍，只研究最基本的支持向量机（SVM）.二：SVM的基本思想支持向量机（Support vector Machines）是在统计学习理论上发展起来的，利用优化方法解决机器学习问题的有效工具。
我们了解，机器学习的目的是根据所知道的训练样本来计算某系统的输出和输入之间的依赖关系，也就是说要寻找一个最优的目标函数，使他能对未知训练点尽可能准确的预测，而评估好坏的标准是使期望风险最小。
支持向量机方法是根据传统经验风险最小化来代替期望风险最小化，但这并没有理论上依据，而是提出的一种基于结构风险最小化的机器学习方法。
SVM是从线性可分问题的最优分类超平面发展而来的，对于线性不可分的问题只要将其映射到高维的特征空间，就成为线性可分的了，这种方法最终转化为求一个凸二次规划问题，因此变得相对简单易行。
然而对于线性不可分的情形我们就必须考虑高维空间的内积运算问题，这就涉及到SVM方法的核心问题—核函数、核函数参数的选择以及构造适合的核函数的问题。
因此一般来说，支持向量机理论有以下四个要点：（1）非线性映射 (2)对特征空间划分的最优超平面，是SVM的目标；（3）支持向量（SV），是SVM的结果；（4）二次规划是计算SV 的手段。
支持向量机方法最初提出是用来解决机器学习中的分类问题，因此我们就先来研究分类问题的思想：图1.1 分类问题分类问题简单来说，就是根据给定的两类数据组成的集合来判断一个新的数据属于哪一类。
如图1.1是一个2维空间上的分类问题。
已知在平面χ1οχ2上有8个点，它们分别属于正类点和负类点，正类点用“+”形来表示，负类点用“ο”来表示，现在平面上给出一个点x，分类问题的目的是要推断该点属于正类还是负类，即要寻找一个规则，把平面划分成两部分，使得该点落入正类点部分或者负类点部分。
用数学语言来描述分类问题就是：分类问题根据给定的训练集Τ=��x i,y i�|x i∈R n,y i∈{−1,1}i=1,···,m�,寻找R n上的一个实值函数g(x)，以便用决策函数：y=ℱ(x)=sgn(g(x)) (1.1)推断任一模型x相对应的Y值。
其中，sgn(·)是符号函数：sgn(x)=�−1,x<0;1,x>0, (1.2) x i∈R n是输入指标向量，或称模式，其分量称为特征，或属性，或输入指标；y i∈{−1,1}是指输出指标，或输入指标，i=1,···,m。
y i=1表示x i属于正类，y i=−1则表示x i属于负类。
这m个样本点组成的集合，称为训练集，所以也我们也称样本点为训练点。
我们归纳分类问题：对于任意给定的一个新训练点x，根据所知的训练集来判断断它的Y是1还是-1。
确切的说上述分类问题是两类的分类问题，也有多分类问题，不同点在于前者的输出只取两个值，后者则可取多个值。
下面考虑对应图1.2所示的2维空间上的简单分类问题，讨论函数g（x）是线性函数g(x)=(w·x)+b的情况，其中X是输入向量，w是法向量，“∙”代表两个向量的内积运算符号，这样，此时分类问题就是要寻找一条适当的直线划分整个2维平面，即确定法方向以及截距b。
图1.2 分类问题1能将两类点正确分开的直线有很多，如:ℓ1,假设他的法方向为w，不改变法方向，平行地向右上方或左下方平移直线l1，知道碰到某类训练点。
这样就的到了两条极端的直线ℓ2与ℓ3，称这两条直线之间的距离为与该法方向相应的“间隔”。
那么如何选取这个间隔呢？SVM方法就是从解决线性可分情况的最优分类面出发的，其思想就是选取使间隔达到最大的那个法方向，相应得到的两条极端直线就是最优分类线，所谓最优分类线是能将两类点正确分开的分划线（训练错误率为零）如图1.3所示。
是分类间隔最大化实际上就是对推广能力的控制，这是SVM 的核心思想之一。
最小化训练误差和最大化泛化能力就是体现了支持向量机最小化结构风险的思想。
对于选定的法方向w，会有两条极端的直线，选取b使得要找的直线为两条极端直线中间的那条直线。
图1.3 最大间隔现在，用直线方程分别来表示着三条直线。
由于表示同一条直线的方程很多，所以先将直线方程规范化，即调整w,b,使得两条极端直线ℓ2与ℓ3分别表示为：(w∙x)+b=1(w∙x)+b=−1 (1.3) 而中间的分划直线为：(w∙x)+b=0 (1.4) 对于规范形式的分划直线直接计算可知，相应的两条极端直线的距离为2||w||，即相应的间隔为2||w||，这里的∥·∥表示范数。
为了使得训练误差达到最小，这正是体现了SVM极大化“间隔”的思想，于是就演变成求解下列关于变量w和b的最大化问题：max w,b2||w|| (1.5) s.t 对所有使y i=1的下标i有(w∙x i)+b≥1 (1.6)对所有使y i=-1的下标i有(w∙x i)+b≤−1 (1.7) 或min w.b12||w||2 (1.8) s.t y i�(w∙x i)+b�≥1 i=1,···,m (1.9) 根据问题（1.8）-（1.9）的最优解w∗,b∗就可以得到要找的直线和决策函数f(x)=sgn�(w∗∙x)+b∗�。
特别的，支持向量机方法一般不直接求解问题（1.8）-（1.9），而是通过求解该问题的对偶问题来得到它的解。
引入问题（1.8）-（1.9）的原始对偶问题的极小化形式：min α 12∑∑y i y j αi αj �x i ∙x j �m j=1m i=1 (1.10) s.t ∑y i αi =0m i=1 (1.11) αi ≥0 i =1···m (1.12) 得到对偶问题（1.10）-（1.12）的解后，利用最优化理论中的原始问题和对偶问题解的关系到原始问题（1.8）-（1.9）的解，进而得到决策函数，这里的α=（α1,···,αm )T 代表Lagrange 乘子向量，下同。
上述方法是对二维空间的分类问题导出的，事实上对于一般的n 维空间中类似的问题也是适用的，但对于图1.4所示的分类问题就不适用。
图1.4 分类问题2 对于图1.4所示的问题不能用直线正确的划分训练集，如果仍用直线去划分，必然会出现错分点，因此，放宽要求，希望错分的程度尽可能小，即不要求所有训练点满足约束条件 y i �(w ∙x i )+b �≥1。
为此对第i 个训练点�x i ,y i �引进松弛变量ℰi ≥0,把约束条件放宽为y i �(w ∙x i )+b �+ℰi ≥1。
显然∑ℰi m i=1描述训练集被错分类的程度，这样就出现两个目标需要确定：仍希望间隔2||w ||尽可能大；同时希望错分类程度，∑ℰi m i=1尽可能小，引进一个惩罚参数C ，把这两个目标综合起来，即最小化新的目标函12||w ||2+C ∑ℰi m i=1,这里参数C 作为两个目标的权重。
因此得到下面的最优化问题：min w ,b ,ε12||w ||2+C ∑ℰi m i=1 (1.13)s.t y i �(w ∙x i )+b �+ℰi ≥1 i =1,···,m (1.14)ℰi ≥0 i =1,···,m (1.15) 根据该问题的最优解w ∗,b ∗和ε∗来构造决策函数f (x )=sgn �(w ∗∙x +b ∗)�,与前述类似，引进问题（1.13）-（1.15）的对偶问题最小化形式：min α12∑∑y i y j αi m j=1αj m i=1�x i ∙x j �−∑αj m j=1 (1.16)s.t ∑y i m i=1αi =0 (1.17) 0≤αi ≤C i =1,···,m (1.18) 得到对偶问题的解后，利用最优化理论中的原始问题与对偶问题的关系来得到原问题（1.13）-（1.15）的解，最后得到决策函数。
三svm 的发展现状支持向量机自1995年提出后，掀起了研究的热潮，由于支持向量机的巨大应用价值，目前在算法理论研究和实践应用两方面都处于快速发展的时期。
在算法理论研究方面，许多学者对其提出了改进的算法以及对SVM 中核函数的构造研究。
其中对算法中参数的选取，许多研究者给出了不同的方法。
SVM 是统计学习理论的具体实现，由于其卓越的性能，它不仅在算法方面有广泛深入的研究，而且在模式识别，函数逼近，时间序列预测，故障识别，信用评价等领域都有较好的应用。
20世纪70年代，我国开始智能医疗领域的研究，最开始常用概率统计方法，也就是数字计算法，从疾病的临床资料发生的频率与疾病概率之间建立明确统计学分析，从而得出相似的诊断。
80年代后，使用疾病的数值表示与专家的推理相结合的一种方法。
而两种方法都要通过一定的数学模型来实现，常见的数学模型有Bayes 公式，模糊数学及加权求和。
90年代后，支持向量机，决策树等方法也逐渐应用到医疗领域研究中。
目前人工神经网络在生物医学中的高分子序列分析，图像分析以及辅助诊断等许多领域取得了很好的效果。
相比较专家系统，神经网络有并行处理方式，自学习能力，联想记忆和容错等优点。
特别在分类诊断以及基于分类的智能控制和优化求解方面，神经网络比传统的专家系统性能更为优越。
人工神经网络在医疗诊断中主要有以下几个方面：（1）临床疾病。
诊断急性心肌梗塞是最早应用神经网络进行诊断的疾病之一。
此后，陆续将呼吸衰竭，痴呆，精神疾病等应用人工神经网络进行诊断，取得了良好的诊断结果。
（2）波形分析。
主要包括心电图的波形分析，肌电图分析，脑电图分析等。