机器学习复习总结
机器学习的知识点总结
机器学习的知识点总结1. 机器学习概述机器学习是研究如何通过计算机系统从数据中学习规律并做出预测和决策的一门学科。
通过对大量的数据进行分析和学习，机器能够从中总结出规律和模式，并且可以根据以往的数据做出预测和决策。
2. 机器学习的分类机器学习可以根据学习方式分为监督学习、无监督学习、半监督学习和强化学习四种。
（1）监督学习：在监督学习中，我们将数据集分为训练集和测试集，然后使用训练集的数据来构建模型，最后使用测试集的数据来评估模型的预测准确度。
监督学习的典型应用包括分类和回归问题。
（2）无监督学习：在无监督学习中，我们不需要事先标记数据，模型会自行从数据中学习出模式和结构。
无监督学习的典型应用包括聚类和降维。
（3）半监督学习：半监督学习结合了监督学习和无监督学习的方法，使用少量标记数据和大量未标记数据进行模型的构建。
半监督学习能够在数据量不足的情况下有效提高模型的性能。
（4）强化学习：在强化学习中，机器学习系统通过与环境的交互学习，根据不同的动作获得奖励和惩罚。
强化学习的典型应用包括游戏、机器人控制和自动驾驶系统等。
3. 机器学习的算法机器学习有许多不同的算法，可以根据数据的特点和问题的要求选择适合的算法。
（1）监督学习算法：- 线性回归：用于解决回归问题，通过拟合一条直线或者多项式曲线来描述输入特征和输出标签之间的关系。
- 逻辑回归：用于解决分类问题，通过对输出结果进行逻辑变换来得到分类概率。
- 决策树：用于解决分类和回归问题，通过不断划分特征空间来构建树形结构来进行预测。
- 随机森林：通过多棵决策树的集成来提高模型的性能和泛化能力。
- 支持向量机：通过将数据映射到高维空间来解决非线性问题，同时最大化分类间隔。
（2）无监督学习算法：- K均值聚类：将数据点划分为K个不同的簇，每个簇内的数据点都具有相似的特征。
- 主成分分析：将高维数据降维到低维空间，同时保留大部分数据的信息。
- K近邻算法：通过找到与新样本最接近的K个样本，进行分类或回归预测。
《人工智能导论》期末复习知识点
《人工智能导论》期末复习知识点
人工智能导论知识点总结
一、定义：
人工智能（Artificial Intelligence，AI）是指研究如何实现机器的智能，即使用计算机来模拟或提高人类的智能表现和能力。
基于此，人工智能的主要任务是解决一些超出传统计算能力的问题，其中包括学习、推理和解决一些挑战。
二、技术：
人工智能技术可分为三个主要技术领域：
1、机器学习：机器学习是一种研究机器如何学习，并从这些学习中学习及其反馈环境的解决实际问题的学科。
包括规则学习、支持向量机以及深度学习。
2、自然语言处理：自然语言处理是指人工智能技术在处理人类自然语言的理解和翻译方面的应用研究。
它将注重语言应用的学习、理解、表达和使用，以及语言识别、概念识别和分析。
3、计算机视觉：计算机视觉是指使用计算机的视觉系统来处理可视化的图像、图片、视频信息，以及关于图像的相关内容的研究。
它是一种智能系统，包括图像处理、识别和分析等功能。
三、应用：
人工智能在各行各业都有广泛的应用，有助于改善工作效率，提高工作质量，提升企业竞争力，节省成本。
1、机器人：工业机器人、服务机器人等用于工厂生产线和服务行业，可以大大提高工作效率。
机器学习总结
sklearn 1.17. Neural network models (supervised)神经网络模型(监督学习)Warning :This implementation is not intended for large-scale applications. In particular, scikit-learn offers no GPU support. For much faster, GPU-based implementations, as well as frameworks offering much more flexibility to build deep learning architectures, see Related Projects.警告:此实现不适用于大规模应用。
特别是scikit-learn 不提供图形处 理器支持。
有关更快、基于GPU 的实现，以及为构建深度学习架构 提供更大灵活性的框架，请参见相关项目。
Deep neural networks etc.深度神经网络pylearn2: A deep learning and neural network library build on theano with scikit-learn like interface.pylearn2: 一个深度学习和神经网络库建立在具有scikit- learn 类接口的theano 之上。
sklearn_theano: scikit-learn compatible estimators, transformers, and datasets which use Theano internallysklearn_theano: sklearn 在内部使用theano 的兼容估计 器、转换器和数据集.nolearn: A number of wrappers and abstractions around existing neural network librariesnolearn:围绕现有神经网络库的许多包装器和抽象keras : Deep Learning library capable of running on top of either TensorFlow or Theano.keras :能够在tensorflow 或thetano 上运行的深度学习库。
机器学习心得(精品4篇)
机器学习心得(精品4篇)机器学习心得篇1在进行机器学习项目时，我发现有许多不同的工具和算法可供选择，这使项目实施变得复杂。
此外，数据预处理阶段非常重要，因为错误的数据可能会导致后续的算法和模型选择出现偏差。
在这个阶段，我学习了很多有关缺失数据和异常值的影响以及如何使用不同的方法来处理它们。
在选择算法和模型时，我意识到它们之间的关系。
了解算法和模型的特点以及如何选择适合项目的算法和模型是非常重要的。
此外，数据集的大小也会影响模型的性能，因此，在选择数据集时，我学习了很多有关数据集大小和分布对模型性能影响的知识。
在实现模型时，我遇到了许多挑战，例如内存问题、计算资源问题和模型过拟合问题。
为了解决这些问题，我学习了很多有关超参数和正则化的知识，并尝试了许多不同的算法和模型。
最终，我成功地解决了这些问题并得到了良好的结果。
总的来说，机器学习是一个非常有趣和有用的领域，我从中学习了很多有关数据预处理、算法和模型选择、计算资源管理等方面的知识。
我相信这些经验将对我未来的学习和工作产生积极影响。
机器学习心得篇2以下是一份机器学习心得：自从我开始接触机器学习，我的生活就充满了各种各样的惊喜和挑战。
这是一个让我既兴奋又紧张的旅程，我从中了解到很多关于机器学习和人工智能的知识。
首先，我了解到机器学习不仅仅是算法和模型，它更是解决问题的艺术。
机器学习算法可以从数据中自动学习，无需明确的编程。
这使得我们能够处理以前无法处理的问题，得出以前无法得出的结论。
例如，在图像识别任务中，机器学习算法可以自动学习特征，使得图像识别的准确率大大提高。
其次，我学习到了各种机器学习技术，如监督学习、无监督学习、强化学习等。
每种技术都有其特定的应用场景，使得我们可以更精确地解决复杂的问题。
例如，在医疗诊断中，我们可以使用深度学习来自动识别图像中的异常，从而帮助医生诊断。
同时，我也意识到了数据的重要性。
机器学习需要大量的数据进行训练，而且数据的质量和完整性对结果影响很大。
机器学习的知识重点
机器学习的知识重点机器学习是一门涵盖统计学、人工智能和计算机科学等多个领域的交叉学科，它研究如何设计和开发能够自动学习和改进的算法和模型。
在机器学习中，有一些重要的知识点需要特别关注和掌握。
本文将介绍机器学习的知识重点，帮助读者更好地理解和应用机器学习。
一、数据预处理在机器学习中，数据预处理是一个非常重要的步骤。
它包括数据清洗、特征选择、特征变换和数据集划分等过程。
数据清洗主要是处理缺失值、异常值和重复值等问题，确保数据的质量和完整性。
特征选择是从原始数据中选择最具代表性的特征，以提高模型的性能和泛化能力。
特征变换是将原始数据转化为适合模型输入的形式，如标准化、归一化和离散化等。
数据集划分是将数据集划分为训练集、验证集和测试集，用于模型的训练、调优和评估。
二、监督学习监督学习是机器学习中最常用的一种学习方式，它通过已有的标记数据来训练模型，然后对未知数据进行预测或分类。
在监督学习中，有一些重要的算法需要了解，如线性回归、逻辑回归、决策树、支持向量机和朴素贝叶斯等。
线性回归用于建立连续型变量之间的线性关系模型，逻辑回归用于建立二分类模型，决策树用于建立基于特征划分的分类模型，支持向量机用于建立最优间隔分类模型，朴素贝叶斯用于建立基于贝叶斯定理的分类模型。
三、无监督学习无监督学习是机器学习中另一种常用的学习方式，它通过未标记的数据来学习数据的结构和模式。
在无监督学习中，有一些重要的算法需要了解，如聚类、关联规则和降维等。
聚类是将相似的样本归为一类，不相似的样本归为不同类别，常用的聚类算法有K均值聚类和层次聚类等。
关联规则是挖掘数据集中的频繁项集和关联规则，常用的关联规则算法有Apriori算法和FP-growth算法等。
降维是将高维数据映射到低维空间，常用的降维算法有主成分分析和线性判别分析等。
四、模型评估与选择在机器学习中，模型的评估和选择是非常重要的，它决定了模型的性能和泛化能力。
常用的评估指标有准确率、精确率、召回率、F1值和ROC曲线等。
数据挖掘机器学习总结6篇
数据挖掘机器学习总结6篇第1篇示例：数据挖掘和机器学习是近年来备受关注的热门领域，随着大数据时代的到来，数据挖掘和机器学习的应用也变得越来越广泛。
它们通过分析大量的数据，从中提取有价值的信息和模式，帮助人们做出更加精准的决策。
本文将对数据挖掘和机器学习进行总结，包括其定义、应用、技术和发展趋势等方面，以期帮助读者更好地了解这一领域。
一、数据挖掘的定义与应用数据挖掘是一种从大量的数据中发现规律、模式和知识的过程，通过利用统计学、机器学习和数据库技术等方法，帮助人们从数据中挖掘出有用的信息。
数据挖掘的应用非常广泛，涉及到商业、金融、医疗、教育、交通等各个领域。
在商业领域，数据挖掘可以用于市场营销、客户关系管理、风险分析等方面；在医疗领域，数据挖掘可以用于疾病预测、药物研发等方面；在教育领域，数据挖掘可以用于学生成绩预测、教学优化等方面。
数据挖掘已经成为当今社会不可或缺的一部分，为各行各业的发展带来了巨大的推动力。
二、机器学习的定义与应用机器学习是人工智能的一个子领域，其主要目的是使机器能够通过学习数据来改善其性能。
通过对大量的数据进行分析和学习，机器可以不断提高其预测、识别和决策能力，从而实现自主智能的目标。
机器学习的应用也非常广泛，包括语音识别、图像识别、自然语言处理、智能推荐等领域。
在语音识别方面，机器学习可以帮助机器更准确地识别和理解人类语言；在图像识别方面，机器学习可以帮助机器识别图像中的物体和场景；在智能推荐方面，机器学习可以根据用户的历史行为和偏好，为其推荐个性化的产品和服务。
机器学习已经成为近年来人工智能发展的核心领域之一。
三、数据挖掘与机器学习的关系数据挖掘和机器学习有着密切的关系，它们可以相互促进，共同推动人工智能的发展。
数据挖掘可以为机器学习提供大量的训练数据，从而帮助机器学习算法更好地学习和模拟人类智慧；而机器学习可以为数据挖掘提供更加智能化的数据挖掘工具，使数据挖掘可以更快、更准确地发现数据中的规律和模式。
人工智能期末总结
人工智能期末总结
我们历时7个月的学习，最终成功地完成了人工智能这门学科的课程学习，对于目前的我们来说，真是令人难以置信！开学初，我们还不太明白人工智能（AI）究竟代表着什么，经过教师一步步的讲解，及本学期的研究与实践，我们现在能够比较清晰地理解AI 并应用它来解决某些实际问题。
起初，老师为我们介绍了AI应用的先进性和各个领域，比如机器学习、大数据分析和智能控制等，让我们了解了这块新兴的领域的发展整体水平、前景和潜力。
随着时间的推移，我们从广义的AI介绍进入到更为细节、精确的学习深入分析。
教师把神经网络、强化学习、图像识别、语音识别、自然语言处理、机器人控制等等，这些技术和工具都纳入到我们的课堂学习中了，我们在课堂上学习、研究，同时还可以在专业实验室和学校的计算机实验室练习和实践相关的内容。
复习期末，老师介绍了一些案例，让我们可以切身感受人工智能的应用情况以及对于人类生活的影响。
其中有一个特别令我印象深刻，那就是语音识别技术应用，它体现出了现代AI技术应用，能够精准地识别人类语言、然后进行准确地回应是一种让人难以置信的技术。
它也为日常生活中很多场景提供了有效的辅助，使得人们在操作某些事项时更加便捷。
总结起来，本学期的这门人工智能课程，对我们来说是非常让人兴奋的、有益的学习经历，它使我们充分的了解到，AI技术的发展前景，也得到了系统性的学习，增强了我们的AI应用技能，以及为将来投入AI开发工作打下了坚实的基础。
人工智能学习总结
人工智能学习总结关键信息项姓名：＿___________________________学习开始时间：＿___________________学习结束时间：＿___________________学习成果评估方式：＿_______________学习资源来源：＿___________________11 学习背景随着科技的飞速发展，人工智能已经成为当今社会的热门领域。
为了提升自身的知识和技能，更好地适应未来的工作和生活需求，我开展了此次人工智能的学习之旅。
111 学习目标本次学习的主要目标是深入了解人工智能的基本概念、原理和技术，掌握常见的机器学习算法和深度学习框架，能够运用所学知识解决实际问题，并培养创新思维和实践能力。
112 学习内容1121 人工智能基础理论学习了人工智能的发展历程、定义、分类以及研究领域。
了解了人工智能与机器学习、深度学习的关系，掌握了人工智能中的基本概念，如数据、模型、算法等。
1122 机器学习算法重点学习了监督学习、无监督学习和强化学习三大类机器学习算法。
包括线性回归、逻辑回归、决策树、聚类算法、神经网络等。
通过理论学习和实践操作，熟悉了这些算法的原理、应用场景和优缺点。
1123 深度学习框架学习了 TensorFlow、PyTorch 等主流的深度学习框架，掌握了如何使用这些框架搭建神经网络模型，进行数据预处理、模型训练、评估和优化。
1124 自然语言处理了解了自然语言处理的基本任务，如文本分类、情感分析、机器翻译等。
学习了相关的技术和算法，如词向量、循环神经网络、长短时记忆网络等。
1125 计算机视觉学习了计算机视觉中的图像分类、目标检测、图像分割等任务，掌握了卷积神经网络等相关技术和算法。
12 学习方法121 在线课程学习通过 Coursera、EdX 等在线学习平台，学习了国内外知名高校和机构开设的人工智能课程。
认真观看课程视频、完成作业和考试，积极参与课程讨论。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
机器学习复习总结选择目标函数的表示选择函数逼近算法最终设计选择训练经验第一个关键属性，训练经验能否为系统的决策提供直接或间接的反馈第二个重要属性，学习器在多大程度上控制样例序列第三个重要属性，训练样例的分布能多好地表示实例分布，通过样例来衡量最终系统的性能最终设计执行系统用学会的目标函数来解决给定的任务鉴定器以对弈的路线或历史记录作为输入，输出目标函数的一系列训练样例。
泛化器以训练样例为输入，产生一个输出假设，作为它对目标函数的估计。
实验生成器以当前的假设作为输入，输出一个新的问题，供执行系统去探索。
第二章一致，满足，覆盖的定义：一致：一个假设h与训练样例集合D一致，当且仅当对D中每一个样例<x,c(x)>都有h(x)=c(x)，即Consistent(h,D)Û("<x,c(x)>ÎD)h(x)=c(x)一个样例x在h （x）=1时称为满足假设h，无论x是目标概念的正例还是反例。
当一假设能正确划分一个正例时，称该假设覆盖该正例。
变型空间（version space）：与训练样例一致的所有假设组成的集合，表示了目标概念的所有合理的变型，VSH,D={hÎH|Consistent(h,D)}第三章决策树适用问题的特征：实例由“属性-值”对(pair)表示目标函数具有离散的输出值可能需要析取的描述训练数据可以包含错误训练数据可以包含缺少属性值的实例ID3算法特点：n 搜索完整的假设空间（也就是说，决策树空间能够表示定义在离散实例上的任何离散值函数）n 从根向下推断决策树，为每个要加入树的新决策分支贪婪地选择最佳的属性。
n 归纳偏置，优先选择较小的树观察ID3的搜索空间和搜索策略，认识到这个算法的优势和不足假设空间包含所有的决策树，它是关于现有属性的有限离散值函数的一个完整空间维护单一的当前假设（不同于第二章的变型空间候选消除算法）不进行回溯，可能收敛到局部最优每一步使用所有的训练样例，不同于基于单独的训练样例递增作出决定，容错性增强ID3和候选消除算法的比较ID3的搜索范围是一个完整的假设空间，但不彻底地搜索这个空间候选消除算法的搜索范围是不完整的假设空间，但彻底地搜索这个空间ID3的归纳偏置完全是搜索策略排序假设的结果，来自搜索策略候选消除算法完全是假设表示的表达能力的结果，来自对搜索空间的定义过度拟合：对于一个假设，当存在其他的假设对训练样例的拟合比它差，但事实上在实例的整个分布上表现得却更好时，我们说这个假设过度拟合训练样例定义：给定一个假设空间H，一个假设hÎH，如果存在其他的假设h’ÎH，使得在训练样例上h的错误率比h’小，但在整个实例分布上h’的错误率比h小，那么就说假设h过度拟合训练数据导致过度拟合的原因1、一种可能原因是训练样例含有随机错误或噪声2、特别是当少量的样例被关联到叶子节点时，很可能出现巧合的规律性，使得一些属性恰巧可以很好地分割样例，但却与实际的目标函数并无关系避免过度拟合的方法特点及早停止树增长精确地估计何时停止树增长后修剪法被证明在实践中更成功避免过度拟合的关键：使用什么样的准则来确定最终正确树的规模，解决这个问题的方法有：训练和验证集法可用数据分成两个样例集合：训练集合，形成学习到的假设验证集合，评估这个假设在后续数据上的精度方法的动机：即使学习器可能会被训练集合误导，但验证集合不大可能表现出同样的随机波动验证集合应该足够大，以便它本身可提供具有统计意义的实例样本常见的做法是，样例的三分之二作训练集合，三分之一作验证集合错误率降低修剪(reduced-error pruning)n 将树上的每一个节点作为修剪的候选对象n 修剪步骤n 删除以此节点为根的子树，使它成为叶结点n 把和该节点关联的训练样例的最常见分类赋给它n 反复修剪节点，每次总是选取那些删除后可以最大提高决策树在验证集合上的精度的节点n 继续修剪，直到进一步的修剪是有害的为止n 数据集分成3个子集n 训练样例，形成决策树n 验证样例，修剪决策树n 测试样例，精度的无偏估计n 如果有大量的数据可供使用，那么使用分离的数据集合来引导修剪规则后修剪(rule post-pruning)n 步骤n 从训练集合推导出决策树，增长决策树直到尽可能好地拟合训练数据，允许过度拟合发生n 将决策树转化为等价的规则集合，方法是为从根节点到叶节点的每一条路径创建一条规则n 通过删除任何能导致估计精度提高的前件来修剪每一条规则n 按照修剪过的规则的估计精度对它们进行排序，并按这样的顺序应用这些规则来分类后来的实例第四章解决反向传播算法中的过度拟合问题的方法：权值衰减n 它在每次迭代过程中以某个小因子降低每个权值，这等效于修改E的定义，加入一个与网络权值的总量相应的惩罚项，此方法的动机是保持权值较小，从而使学习过程向着复杂决策面的反方向偏置验证数据n 一个最成功的方法是在训练数据外再为算法提供一套验证数据，应该使用在验证集合上产生最小误差的迭代次数，不是总能明显地确定验证集合何时达到最小误差k-fold交叉方法把训练样例分成k份，然后进行k次交叉验证过程，每次使用不同的一份作为验证集合，其余k-1份合并作为训练集合。
每个样例会在一次实验中被用作验证样例，在k-1次实验中被用作训练样例每次实验中，使用上面讨论的交叉验证过程来决定在验证集合上取得最佳性能的迭代次数，然后计算这些迭代次数的均值最后，运行一次反向传播算法，训练所有m个实例并迭代次前馈网络的表征能力布尔函数：任何布尔函数可以被具有两层单元的网络准确表示，尽管在最坏情况下所需隐藏单元的数量随着网络输入数量的增加成指数级增长。
连续函数：每个有界的连续函数可以由一个两层的网络以任意小的误差逼近。
这个结论适用于在隐藏层使用sigmoid 单元、在输出层使用（非阈值）线性单元的网络。
所需的隐藏单元数量依赖于要逼近的函数。
任意函数：任意函数可以被一个有三层单元的网络以任意精度逼近。
两个隐藏层使用sigmoid单元，输出层使用线性单元，每层所需单元数不确定。
第五章n 对有限数据样本集的采样方法n k-fold方法n 随机抽取至少有30个样例的测试集合，剩余样例组成训练集合，重复这一过程直到足够的次数n 随机方法的好处是能够重复无数次，以减少置信区间到需要的宽度n k-fold方法受限于样例的总数n 随机方法的缺点是，测试集合不再被看作是从基准实例分布中独立抽取n k-fold交叉验证生成的测试集合是独立的，因为一个实例只在测试集合中出现一次n 概括而言，统计学模型在数据有限时很少能完美地匹配学习算法验证中的所有约束。
然而，它们确实提供了近似的置信区间第六章贝叶斯学习方法的特性o 观察到的每个训练样例可以增量地降低或升高某假设的估计概率o 先验知识可以与观察数据一起决定假设的最终概率n 每个候选假设的先验概率n 每个可能假设在可观察数据上的概率分布o 贝叶斯方法可允许假设做出不确定性的预测o 新的实例分类可由多个假设一起做出预测，用它们的概率来加权o 即使在贝叶斯方法计算复杂度较高时，它们仍可作为一个最优的决策标准衡量其他方法一致学习器定义：如果某个学习器输出的假设在训练样例上为0错误率一致学习器输出一个MAP假设的条件1、H上有均匀的先验概率2、。
训练数据是确定性和无噪声的在特定前提下，任一学习算法如果使输出的假设预测和训练数据之间的误差平方和最小化，它将输出一极大似然假设误差平方最小化的法则寻找到极大似然假设的前提是：训练数据可以由目标函数值加上正态分布噪声来模拟使交叉熵最小化的法则寻找极大似然假设基于的前提是：观察到的布尔值为输入实例的概率函数贝叶斯最优分类器的定义：特点：1。
它所做的分类可以对应于H中不存在的假设2、在给定可用数据、假设空间及这些假设的先验概率下使新实例被正确分类的可能性达到最大朴素贝叶斯分类器的定义：只要条件独立性得到满足，朴素贝叶斯分类vNB等于MAP分类，否则是近似区别：没有明确地搜索可能假设空间的过程（假设的形成不需要搜索，只是简单地计算训练样例中不同数据组合的出现频率）各学习器的归纳偏置：机械式学习器没有归纳偏置候选消除算法的归纳偏置：目标概念c包含在给定的假设空间H中，即h HFind-s 的归纳偏置：除了假设目标概念须在假设空间中，还有另一个归纳偏置前提：任何实例，除非它的逆实例可由其他知识逻辑推出，否则它为反例。
ID3算法的归纳偏置：较短的树比较长的树优先。
那些信息增益高的属性更靠近根节点的树优先。
反向传播算法的归纳偏置：在数据之间平滑插值奥坎姆剃刀：优先选择拟合数据的最简单假设误差平方最小化的法则寻找到极大似然假设的前提是：训练数据可以由目标函数值加上正态分布噪声来模拟使交叉熵最小化的法则寻找极大似然假设基于的前提是：观察到的布尔值为输入实例的概率函数对于不等式约束的条件极值问题，可以用拉格朗日方法求解。
于是得到拉格朗日方程如下：（3）其中：（4）那么我们要处理的规划问题就变为：（5）（5）式是一个凸规划问题，其意义是先对α求偏导，令其等于0消掉α，然后再对w和b求L的最小值。
为此我们把（5）式做一个等价变换：上式即为对偶变换，这样就把这个凸规划问题转换成了对偶问题：（6）其意义是：原凸规划问题可以转化为先对w和b求偏导，令其等于0消掉w和b，然后再对α求L的最大值。
下面我们就来求解（6）式，为此我们先计算w 和b的偏导数。
由（3）式有：（7）为了让L在w和b上取到最小值，令（7）式的两个偏导数分别为0，于是得到：（8）将（8）代回（3）式，可得：（9）再把（9）代入（6）式有：（10）考虑到（8）式，我们的对偶问题就变为：（11）上式这个规划问题可以直接从数值方法计算求解。
需要指出的一点是，（2）式的条件极值问题能够转化为（5）式的凸规划问题，其中隐含着一个约束，即：（12）这个约束是这样得来的，如果（2）和（5）等效，必有：把（3）式代入上式中，得到：化简得到：（13）又因为约束（1）式和（4）式，有：所以要使（13）式成立，只有令：，由此得到（12）式的约束。
该约束的意义是：如果一个样本是支持向量，则其对应的拉格朗日系数非零；如果一个样本不是支持向量，则其对应的拉格朗日系数一定为0。
由此可知大多数拉格朗日系数都是0。
一旦我们从（11）式求解出所有拉格朗日系数，就可以通过（8）式的计算得到最优分割面H的法向量w。
而分割阈值b也可以通过（12）式的约束用支持向量计算出来。
这样我们就找到了最优的H1和H2，这就是我们训练出来的SVM。