机器学习基于实例的学习
机器学习算法原理与应用案例
机器学习算法原理与应用案例机器学习算法是计算机科学中一个重要的分支，它涉及到大量的数据分析、数据预测、模式识别和人工智能相关的问题。
在现代科技领域，机器学习算法已被广泛应用到了很多领域，如人工智能、数据分析、图像识别、自然语言处理以及机器视觉等。
因此，了解机器学习算法原理与应用案例对现代科技领域非常关键。
一、机器学习算法原理机器学习算法是一种可以让计算机通过学习数据和算法来自动获得新知识和技能的计算方法。
机器学习算法基于数据的特征来构建模型，进而进行预测和决策。
通过大量的数据和算法训练，机器学习算法可以自动完成一系列任务。
下面我们来介绍常用的机器学习算法原理。
1、监督学习算法监督学习是通过已知的标签来预测新实例的一种机器学习算法。
监督学习算法包括了分类和回归两种类型。
其中，分类是通过将数据分为不同的类别，来对新数据进行分类。
而回归是通过已知的数据集来进行预测。
监督学习的经典算法包括线性回归、逻辑回归、决策树、朴素贝叶斯、支持向量机等。
2、无监督学习算法与监督学习不同，无监督学习不需要已知标签，而是通过对数据进行聚类，找到数据集中相似的模式。
无监督学习的经典算法包括了聚类、数据降维等。
3、强化学习算法强化学习是一种通过与环境交互来获得奖励的学习方法。
通过选择最优的动作来最大化奖励，其中包括了状态评估、动作选择等。
强化学习的经典算法包括了Q-learning、Deep Q learning等。
二、机器学习算法应用案例机器学习算法的应用非常广泛，下面介绍几个典型的应用案例。
1、图像识别图像识别是机器学习领域的典型应用案例。
通过对大量的图像数据进行训练，机器学习算法可以自动识别出图像中的关键特征。
图像识别的经典算法包括了卷积神经网络、递归神经网络等。
2、自然语言处理自然语言处理是机器学习领域的另一个重要应用。
自然语言处理可以帮助机器理解文本内容，例如识别情感、意图等。
自然语言处理的经典算法包括了词向量、文本分类、文本生成等。
传统机器学习的算法
传统机器学习的算法有哪些？
1.回归算法。
回归算法是试图采用对误差的衡量来探索变量之间的关系的一类算法，是统计机器学习的利器。
2.基于实例的算法。
基于实例的算法常常用来对决策问题建立模型，这样的模型常常先选取一批样本数据，然后根据某些近似性把新数据与样本数据进行比较。
用户通过这种方式来寻找最佳的匹配，因此，基于实例的算法常常也被称为“赢家通吃”学习或者“基于记忆的学习”。
3.正则化方法。
正则化方法是其他算法（通常是回归算法）的延伸，根据算法的复杂度对算法进行调整，通常对简单模型予以奖励，而对复杂算法予以惩罚。
4.贝叶斯方法。
贝叶斯方法算法是基于贝叶斯定理的一类算法，主要用来解决分类和回归问题。
5.人工神经网络。
人工神经网络算法模拟生物神经网络，是一类模式匹配算法，通常用于解决分类和回归问题。
也是机器学习的一个
庞大的分支，有几百种不同的算法。
100个机器学习技术的使用教程及实例
100个机器学习技术的使用教程及实例机器学习技术的快速发展和广泛运用改变了各行各业的方式。
随着日益增长的数据量和计算能力，机器学习成为了解决复杂问题的重要工具。
本文将为您介绍100个机器学习技术的使用教程及实例，帮助您更好地理解和运用这些技术。
1. 回归分析：使用机器学习算法预测一个连续变量的值。
例如，可以使用回归分析来预测房价，根据历史数据和其他相关变量进行训练和预测。
2. 决策树：一种基于树状结构的机器学习模型，用于分类和回归问题。
决策树简单易懂，可解释性强。
例如，可以使用决策树来预测一个人是否会购买某种产品。
3. 随机森林：一种集成学习技术，利用多个决策树来优化预测结果。
随机森林可以解决过拟合问题，并且能够处理高维数据。
例如，可以使用随机森林来预测股票价格。
4. 支持向量机：一种用于分类和回归问题的监督学习算法。
支持向量机通过寻找一个最优超平面将不同类别的样本分开。
例如，可以使用支持向量机来预测一个人是否患有某种疾病。
5. 朴素贝叶斯：一种基于贝叶斯理论的简单且高效的分类算法。
朴素贝叶斯假设特征之间相互独立，可以应用于文本分类、垃圾邮件过滤等问题。
6. 主成分分析：一种降维技术，可以减少数据集的维度并保留最重要的特征。
主成分分析广泛应用于图像处理、数据可视化等领域。
7. K均值聚类：一种无监督学习算法，将数据集划分为K个簇。
K均值聚类可以帮助发现数据集内部的结构和模式，例如市场细分、客户群体分析等。
8. 线性回归：一种用于预测连续变量的线性模型。
线性回归可以找到自变量与因变量之间的线性关系，并进行预测。
例如，可以使用线性回归来预测销售额。
9. 逻辑回归：一种用于解决二分类问题的算法。
逻辑回归可以根据输入变量的权重和概率估计输出变量的概率。
例如，可以使用逻辑回归来预测一个广告是否会被点击。
10. 神经网络：一种模拟人脑神经元运作的机器学习模型。
神经网络可以学习复杂的非线性关系，并在图像处理、自然语言处理等领域取得巨大成功。
机器学习的集成学习和迁移学习
机器学习的集成学习和迁移学习机器学习领域中，集成学习和迁移学习是两个重要的技术。
它们通过整合多个模型的预测结果和利用已有的知识来提高机器学习的性能。
本文将分别介绍集成学习和迁移学习的概念、方法和应用，帮助读者更好地理解和应用这两种学习方法。
1. 集成学习集成学习（Ensemble Learning）是一种将多个不同的机器学习模型组合在一起，通过投票、加权等方式来综合这些模型的预测结果的技术。
它的基本思想是通过将多个模型的预测结果进行集成，从而得到比单个模型更准确、更稳定的预测结果。
常见的集成学习方法包括投票法（Voting）、堆叠法（Stacking）、装袋法（Bagging）和提升法（Boosting）等。
投票法通过对多个模型的预测结果进行投票，选取得票最多的结果作为最终预测结果；堆叠法则是将多个模型的预测结果作为新的特征输入给另一个模型进行最终的预测；装袋法通过对训练集进行自助采样来得到多个不同的子训练集，再用这些子训练集分别训练不同的模型，并将它们的预测结果进行集成；提升法则是通过反复迭代训练多个模型，在每次迭代中都根据前一轮的预测错误来调整训练样本的权重，以产生一个更准确的预测模型。
集成学习在许多机器学习任务中都取得了显著的性能提升。
例如，在分类任务中，多个基分类器的集成可以减少分类误差、提高泛化性能；在回归任务中，集成模型可以减小预测误差、提高预测精度。
同时，集成学习也可以提高模型的鲁棒性，减少模型对训练数据的过拟合问题。
2. 迁移学习迁移学习（Transfer Learning）是一种将已学习的知识迁移到新任务中的学习方法。
它通过利用源领域的知识和数据来辅助目标领域的学习任务，从而提高目标任务的性能。
迁移学习的基本假设是，不同领域之间存在一定的相关性或共享的结构。
因此，通过将源领域的知识转移到目标领域，可以减少在目标领域收集大量数据的需求，缩短训练时间，并提高学习算法的泛化性能。
迁移学习主要有三种类型：基于实例的迁移学习、基于特征的迁移学习和基于模型的迁移学习。
机器学习中的度量学习理论与方法研究
机器学习中的度量学习理论与方法研究机器学习是当今信息时代的重要领域之一，它涉及到大量的算法和模型。
在机器学习领域中，度量学习是一种非常重要的理论和方法，它为我们提供了一种有效的方式来评估和比较不同的数据。
本文将简要介绍度量学习在机器学习中的作用及其研究现状。
一、度量学习的定义与意义度量学习（metric learning）是一种机器学习方法，它致力于通过学习距离或相似度度量（metric或distance）来使数据具有更好的分类性能、聚类性能、回归性能等等。
度量学习的重要性在于它可以将不同特征之间的距离（或相似度）转化为可操作的数据。
具体来说，度量学习通过学习对距离度量矩阵的优化，为不同的数据提供了精细的度量方式。
而且，度量学习还可以结合监督和无监督学习技术来提高模型的泛化性能，同时降低模型的复杂性。
二、度量学习的分类在机器学习中，度量学习可以分为多种。
以下是度量学习的几种典型分类。
1、基于实例的度量学习基于实例的度量学习（instance-based distance metric learning）是一种无监督学习方法，它通过学习数据实例之间的距离来支持分类等任务。
在这种方法中，每个数据实例都被看作是一个独立的元素，而且它们之间的距离可以被用来解释不同的数据。
这种方法可以允许我们通过考虑不同实例之间的相似性来实现迁移学习和多任务学习等任务。
2、度量学习流形度量学习流形（metric learning on manifolds）是一种拓扑方法，它被用来捕获数据的内在结构和减少维度。
这种方法既可以通过监督学习来生成标记数据，也可以通过学习无标记数据来构造几何流形。
这种方法特别适用于处理图像、语音以及自然语言处理等任务。
3、核度量学习核度量学习（kernel metric learning）是一种数据驱动方法，它根据核函数的性质构建度量矩阵，并对不同的数据点进行距离计算。
这种方法优点在于它能够灵活地选择核函数，同时避免了数据高维度问题，从而具有较好的性能和效率。
基于多实例学习的模型训练和预测加速方法
基于多实例学习的模型训练和预测加速方法多实例学习（Multiple Instance Learning, MIL）是一种特殊的机器学习方法，适用于训练数据以包（bag）的形式出现的情况。
在多实例学习中，训练数据被组织成一组袋子，每个袋子包含一个或多个实例。
而与传统的单实例学习不同，多实例学习中标签是以袋子为单位标注的。
这种特殊性使得多实例学习在一些领域具有广泛应用，比如目标检测、图像分类、文本分类等。
然而，由于每个袋子中包含不同数量和类型的实例，传统的机器学习算法无法直接应用于多实例问题。
为了解决这个问题，研究者们提出了许多基于多实例学习的模型和算法。
这些方法主要可以分为两类：基于转换（transformation-based）和基于判别（discriminative-based）。
基于转换的方法通过将每个袋子转换成单独的样本来解决多实例问题。
其中最常用的方法是将每个袋子中所有样本进行平均或求和操作得到一个代表性样本，并将其作为输入进行训练。
这种方法简单直观，但会丢失袋子内部实例的信息。
因此，研究者们提出了一些改进方法，如选择最具代表性的实例或使用聚类算法来提取袋子的特征。
这些方法在一定程度上改善了模型的性能，但仍存在一些问题，如对实例选择过于依赖或聚类算法对于复杂数据集的适应性不足。
基于判别的方法则直接对袋子进行建模，并通过学习一个判别函数来预测袋子的标签。
这种方法不需要对袋子进行转换，能够更好地利用袋子内部实例之间的关系。
最常用的基于判别的方法是使用支持向量机（Support Vector Machine, SVM）进行分类。
通过将每个袋子视为一个样本，并将每个样本标签视为一个类别，可以将多实例问题转化为传统单实例分类问题。
然而，在处理大规模数据集时，传统SVM 算法存在训练和预测速度慢且内存消耗大等问题。
针对上述问题，研究者们提出了一系列基于多实例学习模型训练和预测加速方法。
首先，在模型训练方面，研究者们提出了一些加速算法来减少训练时间和内存消耗。
人工智能基础概念考试题含答案
人工智能基础概念考试题含答案1、下列哪项不是机器学习中基于实例学习的常用方法（）A、K近邻方法B、局部加权回归法C、基于案例的推理D、Find-s算法答案：D2、下列不是知识表示法的是（）A、计算机表示法B、谓词表示法C、框架表示法D、产生式规则表示法答案：A3、对于线性不可分的数据，支持向量机的解决方式是（）A、软间隔B、硬间隔C、核函数D、以上选项均不正确答案：C4、人工智能是一门A、数学和生理学B、心理学和生理学C、语言学D、综合性的交叉学科和边缘学科答案：D5、随着（）在计算机视觉、语音识别以及自然语言处理领域取得的成功，近几年来，无论是在消费者端还是在企业端，已经有许多依赖人工智能技术的应用臻于成熟，并开始渗透到我们生活的方方面面A、强化学习B、深度学习C、监督学习D、无监督学习答案：B6、知识图谱可用于提高查询质量，知识图谱本质是A、知识数据库B、多关系图C、有向无环图D、层次结构树答案：C7、()以当前的假设作为输入，输出一个新的问题供执行系统去探索。
A、执行器B、评价器C、泛化器D、实验生成器答案：D8、人工智能的概念最早是由哪一位科学家提出来的A、约翰·麦卡锡B、图林C、冯·诺依曼D、明斯基答案：A9、下面对人类智能和机器智能的描述哪一句是不正确的A、人类智能能够自我学习，机器智能大多是依靠数据和规则驱动B、人类智能具有自适应特点，机器智能则大多是“依葫芦画瓢”C、人类智能和机器智能均具备常识，因此能够进行常识性推理D、人类智能具备直觉和顿悟能力，机器智能很难具备这样的能力答案：C10、以下()的说法是正确。
A、术语NoSQL是“No!SQL”的缩写B、术语NoSQL可以理解为“NotOnlySQL”的缩写C、NoSQL数据库始终遵循ACID原则D、NoSQL数据库属于关系数据库技术答案：B11、深度学习可以用在下列哪项NLP任务中A、情感分析B、问答系统C、机器翻译D、所有选项答案：D12、某篮运动员在三分线投球的命中率是2(1)，他投球10次，恰好投进3个球的概率（）。
knn算法原理
knn算法原理KNN（K近邻算法）是一种基于实例的机器学习算法，是机器学习领域中非常常见的算法。
KNN法的基本思想是：如果一个样本在特征空间中的k个最相近的样本中的大多数属于某一个类别，则该样本也属于该类别。
KNN法中，所选择的邻居都是已经正确分类的对象。
KNN法的基本原理是：在给定一个未知类别的对象（样本数据）时，根据其特征属性和它最接近的K个已经知道分类的样本，对这个对象进行分类。
KNN法就是从训练集中找出这K个“邻居”，根据这K 个“邻居”的类别，来确定当前未知类别的对象的分类。
KNN法的基本流程如下：1. 从训练集中计算测试实例与每个训练集实例之间的距离；2.据距离选择K个最近邻；3.据K个邻居的类别，通过投票或者加权求和，确定测试实例的类别。
KNN法使用数据中“靠近”的训练实例来预测未知实例，因此，KNN法是一种基于实例的学习算法。
KNN法的实质是在训练集中查找与当前输入实例最在的 K 个实例，并将它们的“类标记”作为对应的输入实例的预测。
KNN法的优点是：1. KNN法的思想简单，实现容易，它不需要学习过程，也不需要假设数据的分布，只需要保存所有数据实例；2.实际数据建模时，可以有效地处理属性间关系比较复杂和数据不平衡的情况；3. KNN法可以灵活地处理不同的数据类型。
KNN法也存在一些缺点：1. KNN法需要大量的计算，当训练数据集特别大的时候，搜索K 个最近邻计算量就比较大，可能会耗费较多的时间；2. KNN法的效果依赖于k的值，但是k的值没有一个理论上的确定方法，只能选取不同的k值进行实验；3. KNN法不能很好地处理类别不平衡问题，因为它采用的算法是加权求和，类别不平衡的情况下，加权求和会倾向于那些比较多的类别；4. KNN法的思想是当前的数据点的类别取决于它的K个邻居，而这里的K个邻居都是已经被正确分类的，即每个邻居都是“正确”的，这种认为是不合理的，因为它假定K个邻居的类别都被正确分类了，而这并不一定是真的。
机器学习中常用的监督学习算法介绍
机器学习中常用的监督学习算法介绍机器学习是人工智能领域的一个重要分支，它致力于研究如何使计算机具有学习能力，从而从数据中获取知识和经验，并用于解决各种问题。
监督学习是机器学习中最常见和基础的学习方式之一，它通过将输入数据与对应的输出标签进行配对，从而训练模型以预测新数据的标签。
在本文中，我们将介绍几种常用的监督学习算法及其特点。
1. 决策树（Decision Tree）决策树是一种基于树状结构来进行决策的监督学习算法。
在决策树中，每个节点表示一个特征，每个分支代表该特征的一个可能取值，而每个叶子节点则代表一个类别或输出。
决策树的优点是易于理解和解释，同时可以处理具有离散和连续特征的数据。
然而，它容易产生过拟合问题，需要进行剪枝等处理。
2. 朴素贝叶斯（Naive Bayes）朴素贝叶斯是一种基于贝叶斯定理和特征条件独立假设的分类算法。
它假设特征之间相互独立，并根据已知数据计算后验概率，从而进行分类。
朴素贝叶斯算法具有较好的可扩展性和高效性，并且对于处理大规模数据集非常有效。
然而，它的假设可能与实际数据不符，导致分类结果不准确。
3. 最近邻算法（K-Nearest Neighbors，KNN）最近邻算法是一种基于实例的学习算法，它通过计算新数据点与训练样本集中各个数据点的距离，然后将新数据点分类为距离最近的K个数据点中的多数类别。
最近邻算法简单易懂，并且可以用于处理多类别问题。
然而，它的计算复杂度高，对于大规模数据集的处理效率较低。
4. 逻辑回归（Logistic Regression）逻辑回归是一种广义线性模型，主要用于解决二分类问题。
它通过将输入数据进行映射，并使用逻辑函数（常用的是sigmoid函数）将输入与输出进行转换。
逻辑回归模型可以用于预测某个样本属于某个类别的概率，并进行分类。
逻辑回归具有较好的可解释性和预测性能，同时支持处理连续和离散特征。
5. 支持向量机（Support Vector Machines，SVM）支持向量机是一种常用的二分类算法，其目标是找到一个可以将不同类别的数据最大程度地分离的超平面。
机器学习中的迁移学习方法与应用案例(九)
机器学习中的迁移学习方法与应用案例引言机器学习作为一种能够让计算机系统自动学习并改进性能的技术，已经在众多领域取得了显著的成就。
然而，传统的机器学习方法通常需要大量的标记数据来训练模型，而在实际应用中往往难以获得足够的标记数据。
这时，迁移学习作为一种能够通过利用源领域的知识来改善目标领域性能的方法成为了一种重要的技术手段。
本文将探讨机器学习中的迁移学习方法以及一些典型的应用案例。
什么是迁移学习迁移学习指的是将从一个领域（称为源领域）中学到的知识应用到另一个领域（称为目标领域）中的技术。
与传统的机器学习方法不同，迁移学习不要求源领域和目标领域的数据分布完全相同，而是通过找到两个领域之间的相似性来实现知识转移。
迁移学习的目标是利用源领域的知识来提高目标领域的性能，从而在目标领域上获得更好的结果。
迁移学习的方法迁移学习的方法可以分为几种不同的类型：基于实例的迁移学习、基于特征的迁移学习和基于模型的迁移学习。
基于实例的迁移学习是指直接利用源领域的样本来帮助目标领域的学习，其中最常见的方法是领域自适应。
基于特征的迁移学习则是通过发现源领域和目标领域之间的特征映射来实现知识转移，最典型的方法是多任务学习。
基于模型的迁移学习则是将源领域的模型知识迁移到目标领域中，比较常见的方法有领域间对抗训练和迁移支持向量机。
迁移学习的应用案例1. 图像识别图像识别是机器学习领域中的一个重要应用方向，而迁移学习在图像识别中的应用也颇具价值。
例如，研究人员可以通过在源领域上训练好的模型来提取图像特征，然后将这些特征用于目标领域的图像识别任务中。
在实际应用中，这种方法往往能够显著提高目标领域的识别精度，尤其是在目标领域数据稀缺的情况下。
2. 文本分类与图像识别类似，文本分类也是一个常见的机器学习任务，而迁移学习同样可以在这个领域发挥作用。
例如，研究人员可以通过在源领域上训练好的模型来提取文本特征，然后将这些特征用于目标领域的文本分类任务中。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2017/12/7 17
8.2.2对k-近邻算法的说明（5/6）
另外一种更强有力的方法 从实例空间中完全消除最不相关的属性。这等效于设臵某个缩 放因子zj为0。
注意，上面的两种方法都可以被看作以某个常量因子伸展坐标 轴。
另外一种可选的做法是使用一个在实例空间上变化的值伸展坐 标轴。这样增加了算法重新定义距离度量的自由度，然而也增 加了过度拟合的风险。所以，局部伸展坐标轴的方法是不太常 见的。
可以使用线性函数、二次函数、多层神经网络或者其他函数 形成在环绕xq的邻域内逼近目标函数。
“局部加权回归”名称中，“局部”是指目标函数的逼近仅 仅根据查询点附近的数据; “加权”是指每一个训练样例的贡 献是由它与查询点间的距离加权的; “回归”表示逼近实数值 函数。
2017/12/7 21
8.3局部加权回归（2/2）
当式(8.4)（前式）的法则被应用为全局法时，它被称为 Shepard法。
2017/12/7 13
8.2.2对k-近邻算法的说明（1/6）
按距离加权的k一近邻算法是一种非常有效的归纳推 理方法。它对训练数据中的噪声有很好的健壮性，而 且当给定足够大的训练集合时也非常有效。注意，通 过取k个近邻的加权平均，可以消除孤立的噪声样例的 影响。 k一近邻算法的归纳偏臵对应于假定:一个实例的分类 xq与在欧氏空间中它附近的实例的分类相似。
2017/12/7
20
8.3局部加权回归（1/2）
最近邻方法可以被看作在单一的查询点x= xq上逼近目标函数 f(x)。（没有明确的目标函数，只有目标值）
局部加权回归是最近邻方法的推广。它在环绕xq的局部区域 内为目标函数f建立明确的逼近。使用附近的或距离加权的训 练样例来形成这种对f的局部逼近。
2017/12/7
3
8.1简介（3/3）
基于实例方法的一个不足是，分类新实例的开销可能很大。 这是因为几乎所有的计算都发生在分类时，而不是在第一次遇 到训练样例时。所以如何有效地索引训练样例，以减少查询时 所需的计算是一个重要的实践问题。
第二个不足是(尤其对于最近邻法)，当从存储器中检索相似 的训练样例时，它们一般考虑实例的所有属性。如果目标概念 仅依赖于很多属性中的几个时，那么真正最“相似”的实例之
w f (x ) ˆ (x ) f w
k i 1 i i q k i 1 i
其中，wi的定义与前式中相同。注意该式中的分母是一个常量， 它将不同权值的贡献归一化(例如，它保证如果对所有的训练样 ˆ(x q )。 例xi，f(xi)＝c，那么， f c
2017/12/7
12
8.2.1距离加权最近邻算法（3/3）
2017/12/7 22
8.3.1局部加权线性回归(1/3)
使用如下形式的线性函数来逼近xq邻域的目标函数f:
ai(x)表示实例x的第i个属性值。 梯度下降方法中，感兴趣的是目标函数的全局逼近。权值选 择方法是使训练集合D上的误差平方和最小化，即:
根据这个误差定义，我们得出了以下梯度下降训练法则:
k
i 1
f ( xi )
k
10
8.2.1距离加权最近邻算法（1/3）
对k一近邻算法的一个改进是对k个近邻的贡献加权，根据它们 相对查询点xq的距离，将较大的权值赋给较近的近邻。 在逼近离散目标函数的算法中，可以根据每个近邻与xq的距离平 方的倒数加权Байду номын сангаас个近邻的“选举权”:
ˆ ( x ) arg max w (v, f ( x )) f i q i
vV i 1
其中，如果a=b,那么(a，b)=l，否则(a，b)=0。 fˆ ( xq ) 就是距离xq最近的k个训练样例中最普遍的分f值。
2017/12/7 6
8.2 k一近邻算法（2/5）
下图图解了一种简单情况下的k一近邻算法，在这里实例 是二维空间中的点，目标函数具有布尔值。正反训练样例用 “+”和“-”分别表示。图中也画出了一个查询点xq 。1一近邻 算法把xq分类为正例，然而5一近邻算法把xq分类为反例。
2017/12/7 18
8.2.2对k-近邻算法的说明（6/6）
应用k一近邻算法的另外一个实践问题是如何建立高 效的索引。因为k一近邻算法推迟所有的处理，直到接 收到一个新的查询，所以处理每个新查询可能需要大 量的计算。 一种索引方法是kd-tree，它把实例存储在树的叶结 点内，邻近的实例存储在同一个或附近的结点内。通 过测试新查询xq的选定属性，就可以把查询xq排列到相 关的叶结点。
8
8.2 k一近邻算法（4/5）
下图画出了1一近邻算法在整个实例空间上导致的决策面形 状。决策面是围绕每个训练样例的凸多边形的合并。对于每个 训练样例，多边形指出了一个查询点集合，它的分类完全由相 应训练样例决定。在这个多边形外的查询点更接近其他的训练 样例。这种类型的图经常被称为这个训练样例集合的Voronoi图 （梯森多边形）。
d ( xi , x j )
2 ( a ( x ) a ( x )) r i r j r 1
n
2017/12/7
5
n f : V的k-近邻算法 KNN 逼近离散值函数
训练算法: 对于每个训练样例<x,f(x)>，把这个样例加人列表 training_examples。 分类算法: 给定一个要分类的查询实例xq。 在training _ examples中选出最靠近xq的k个实例，并用 x1，…xk表示。 k ˆ ( x ) arg max (v, f ( x )) 返回 f q i
注意，以上k一近邻算法的所有变体都只考虑k个近邻用以分 ˆ(x q ) 的分类， 类查询点。可以考虑所有的训练样例影响 f 因为非常远的实例对其影响很小。考虑所有样例的惟一不足 是会使分类运行得更慢。
如果分类一个新的查询实例时考虑所有的训练样例，我们称 它为全局(global)法。
如果仅考虑最靠近的训练样例，我们称它为局部(local)法。
8.1简介（2/3）
基于实例的学习方法包括最近邻法(nearest neighbor NN) 和局部加权回归(locally weighted regression LWR)法，它们都假定实 例可以被表示为欧氏空间中的点。
基于实例的学习方法还包括基于案例的推理 (case-based reasoning CBR ）它对实例采用 更复杂的符号表示。
2017/12/7
14
8.2.2对k-近邻算法的说明（2/6）
应用k一近邻算法的一个实践问题是，实例间的距离 是根据实例的所有属性(也就是包含实例的欧氏空间 的所有坐标轴)计算的。
考虑把k一近邻算法应用到这样一个问题: 每个实例 由20个属性描述，但在这些属性中仅有2个与它的分 类有关。在这种情况下，这两个相关属性的值一致 的实例可能在这个20维的实例空间中相距很远。结 果，依赖这20个属性的相似性度量会误导k一近邻算 法的分类。
2017/12/7 16
8.2.2对k-近邻算法的说明（4/6）
具体做法如下： 首先，假定使用加权因子zj，伸展(乘)第j个根坐标轴，选择 zj的各个值z1 …zn ，以使学习算法的真实分类错误率最小化。
其次，这个真实错误率可以使用交叉验证来估计。
交叉验证:随机选取现有数据的一个子集作为训练样例，然后 决定z1 …zn 的值使剩余样例的分类错误率最小化。通过多次 重复这个处理过程，可以使加权因子的估计更加准确。这种伸 展坐标轴以优化k一近邻算法的过程，提供了一种抑制无关属 性影响的机制。
间很可能相距甚远。
2017/12/7
4
8.2 k一近邻算法（1/5）
k一近邻算法假定所有的实例对应于n维空间Rn中的点。 一个实例的最近邻是根据标准欧氏距离定义的。即把任意实例 x表示为下面的特征向量: <a1(x), a2(x),…,an(x)> 其中,ar(x)表示实例x的第r个属性值。 那么，两个实例xi和xj 间的距离定义为d(xi,xj)，其中:
2017/12/7
19
8.2.3术语注解
回归(Regression)的含义是逼近一个实数值的目标 函数。 ˆ 残差(Residual)是逼近目标函数时的误差 f ( x) f ( x) 核函数(Kernel function) 是一个距离函数，它用来 决定每个训练样例的权值。换句话说，核函数就是使 wi=K(d(xi,xq))的函数K。
基于实例的学习方法有时被称为消极(lazy)学习法，因为它 们把处理工作延迟到必须分类新的实例时。与其相对的方法称 为积极的（eager)。
延迟的或消极的学习方法有一个关键的优点，即它们不是在 整个实例空间上一次性地估计目标函数，而是针对每个待分类 新实例作出局部的和相异的估计。
2017/12/7 2
2017/12/7 15
8.2.2对k-近邻算法的说明（3/6）
近邻间的距离会被大量的不相关属性所支配。这种 由于存在很多不相关属性所导致的难题，有时被称为 维度灾难(curse of dimensionality) 最近邻方法对 这个问题特别敏感。
解决维度问题的一个有趣的方法是，当计算两个实 例间的距离时，对每个属性加权。这相当于按比例缩 放欧氏空间中的坐标轴，缩短对应于不太相关的属性 的坐标轴，拉长对应于更相关的属性的坐标轴。每个 坐标轴应伸展的量可以通过交叉验证的方法自动决定。
2017/12/7
7
8.2 k一近邻算法（3/5）
k-近邻算法隐含考虑的假设空间H的特性: k-近邻算法并不形成关于目标函数f的明确的一般假 设。它仅在需要时计算每个新查询实例的分类。