大数据下的机器学习
大数据分析环境下的机器学习研究与应用
大数据分析环境下的机器学习研究与应用一、概念解析大数据（Big Data）是指数据量巨大、类型多样、处理复杂、分析价值丰富的数据集合，它为企业配置了一个庞大、高复杂和高度挑战性的分析环境。
机器学习是大数据分析环境下非常重要的技术之一，它是一种前沿的人工智能技术，通过让机器能够主动地学习和形成判断模型，从而实现智能化。
二、机器学习的应用场景机器学习广泛应用于智能化搜索引擎、图像识别、智能客服、智能家居等领域。
具体来说，大数据分析环境下常见的机器学习应用场景包括：1.智能化搜索引擎：通过机器学习在大数据中挖掘出用户热门搜索词，进而优化搜索结果的匹配度，提高搜索效率和精准度。
2.图像识别：通过机器学习对图像进行分析和学习，提取其中的特征信息，从而实现图像识别、分类、检测等。
3.智能客服：通过机器学习对用户的就诊、购物、投诉等行为数据进行学习和分析，实现智能化客服，提高服务体验和效率。
4.智能家居：通过机器学习对用户的家庭生活习惯、偏好等行为数据进行分析，自动调控温度、光照等，提高居家舒适度和智能化。
三、机器学习的研究方向随着大数据时代的到来，机器学习的研究方向也在不断拓展。
下面介绍几个比较热门的机器学习研究方向：1.深度学习：指建立神经网络模型，通过多层非线性的变换去学习数据表示，从而实现高级抽象和强大的学习能力。
2.增强学习：指让智能体通过与环境交互获得经验，从而不断优化自己行为的能力。
3.迁移学习：指利用已经学会的知识和经验，快速适应新的任务和环境。
通过对机器学习的不断研究和发展，能够再大数据环境下实现更多智能化和人性化的应用。
四、机器学习的三个要素机器学习的三个要素分别是模型、算法和优化方法。
1.模型：是机器学习中的一个关键概念，它是指根据数据特点和规律的不同，所采用的不同的描述和预测方法。
常见的机器学习模型包括决策树、逻辑回归、K-近邻等。
2.算法：和模型有关，它是指在模型基础上所使用的预测方法。
机器学习在大数据分析中的应用
机器学习在大数据分析中的应用随着科技的不断发展和互联网的普及，大数据已经成为了当今社会的一个热门话题。
大数据的产生速度之快、规模之大，传统的数据处理方法已经无法满足对数据的分析和利用需求。
因此，机器学习作为一种强大的数据分析工具，逐渐引起了人们的关注，并在大数据分析中发挥着重要的作用。
一、机器学习的基本概念机器学习是一种通过对大量数据进行分析和学习，从中发现规律并预测未知数据的方法。
它通过构建数学模型，利用统计学和概率论的方法，对数据进行分析和建模。
机器学习可以分为监督学习、无监督学习和半监督学习等不同的类型，每种类型都有其特定的应用场景和算法。
二、机器学习在大数据分析中的应用1. 预测分析机器学习可以通过对历史数据的学习，建立预测模型，准确预测未来的趋势和结果。
在金融领域，机器学习可以用于股票价格的预测，帮助投资者做出更明智的决策。
在销售领域，机器学习可以分析顾客的购买行为，预测他们的需求，从而制定更有效的营销策略。
2. 数据挖掘大数据中蕴藏着大量的信息和知识，而机器学习可以帮助我们从这些数据中挖掘出有价值的信息。
通过对数据的聚类、分类和关联分析，机器学习可以发现数据中的隐藏模式和规律。
例如，在电商平台上，机器学习可以分析用户的购买历史和浏览行为，将用户划分为不同的群体，为他们推荐个性化的产品。
3. 异常检测大数据中可能存在大量的异常数据，这些异常数据可能对业务产生负面影响。
机器学习可以通过对数据的学习，发现数据中的异常模式，并及时进行预警和处理。
在网络安全领域，机器学习可以分析网络流量数据，检测出潜在的攻击行为。
在制造业领域，机器学习可以分析设备的传感器数据，及时发现设备的异常状况，避免设备故障对生产造成的损失。
4. 自然语言处理随着互联网的普及，大量的文本数据被生成和积累，如何从这些文本数据中提取有用的信息，成为了一个重要的挑战。
机器学习可以通过对大量文本数据的学习，构建自然语言处理模型，实现文本的分类、情感分析和语义理解等任务。
大数据处理中的机器学习常见问题及解决方案
大数据处理中的机器学习常见问题及解决方案随着大数据时代的到来，机器学习在数据处理中的应用变得越来越重要。
然而，由于数据的复杂性和规模，机器学习在实践中仍然面临一些常见的问题。
本文将介绍大数据处理中机器学习的常见问题，并提供相应的解决方案。
1. 数据质量问题在大数据处理中，数据质量是一个关键问题。
由于数据量庞大，可能存在数据缺失、异常值、噪声等问题，这对于机器学习算法的效果会产生负面影响。
为解决数据质量问题，可以采取以下措施：a. 数据清洗：通过识别和处理数据中的异常情况，如异常值和噪声，来改善数据质量。
b. 数据标准化和规范化：对数据进行统一的编码、格式化和转换，使其符合机器学习算法的要求。
c. 特征选择和提取：通过选择最相关的特征或将原始数据转化为更有意义的特征，提高机器学习算法的性能。
2. 维度灾难问题在大数据处理中，由于数据特征的维度往往非常高，维度灾难问题也逐渐凸显。
维度灾难会导致机器学习算法的训练效果下降，计算复杂度增加。
为解决维度灾难问题，可以采取以下策略：a. 特征选择：通过评估和选择最相关的特征，减少特征维度，提高算法的训练效果。
b. 特征转换：通过降维算法如主成分分析（PCA）或线性判别分析（LDA）将高维数据转化为低维表示，以减少维度灾难的影响。
c. 可视化：通过可视化数据分布和特征之间的关系，帮助理解数据结构和特征重要性。
3. 计算资源限制问题大数据处理中的数据规模巨大，对计算资源的需求也相应增加。
然而，计算资源有限可能成为机器学习应用的瓶颈。
为解决计算资源限制问题，可以采取以下方法：a. 分布式计算：通过将任务分发到多个计算节点上并行执行，提高计算效率。
b. 数据压缩和存储优化：通过压缩和存储优化算法，减少数据的存储和传输成本。
c. 硬件加速：利用GPU等硬件加速技术，提高机器学习算法的计算性能。
4. 模型选择和调优问题在大数据处理中，模型的选择和调优是关键的步骤。
不同的机器学习算法适用于不同的问题，选择合适的模型对于算法的性能至关重要。
大数据分析和机器学习的算法和应用
大数据分析和机器学习的算法和应用一、数据分析的算法和应用近年来，随着互联网的高速发展以及数字化趋势的不断深入，数据分析的应用已经渗透到各行各业。
数据分析的基本要素包括数据采集、数据处理及挖掘、数据可视化等，而其重要性也在业界与学术界引起了广泛的关注。
在数据分析过程中，一些算法的应用也逐渐得到了广泛的推广。
1. 机器学习算法机器学习包含一系列算法，其实质是利用计算机自主从数据中识别出存在的相关性，然后根据规则进行信息分类、预测或决策。
机器学习是数据分析中的重要分支之一，其表现出色的应用包括面部识别、语音识别、行为分析、网络安全等等。
使用机器学习算法的常见类别如下：监督学习：通过已知的数据集训练模型，并以此模型对新数据进行预测或分类。
常见的监督学习算法包括线性回归、决策树、K 近邻算法等。
非监督学习：无需使用已知数据集，不需要预先进行任何假设或预测。
目标是通过数据的内在结构或配置来实现群体聚类或检测异常。
常见的非监督学习算法包括K-均值聚类、主成分分析等。
半监督学习：半监督学习是介于监督学习和无监督学习之间的方法，它允许利用无标签的数据来构建预测模型，以提高预测的准确性。
常见的半监督学习算法包括图半监督学习和半监督聚类等。
2. 自然语言处理自然语言处理（NLP）是人工智能的一项任务，旨在让计算机能够理解和处理自然语言。
NLP是一项极其重要的技术，可以让计算机分析文本、回答问题、翻译语言等。
自然语言处理算法的应用包括：文本分类：文本分类是指自动将文本分配到预定义的类别中，如垃圾邮件分类、新闻推荐的个性化过滤等。
情感分析：通过分析给定的文本来确定显式或隐含的情感，如积极、中立或消极。
实体识别：实体识别是指从文本数据中识别或提取有趣或有用的实体，如人名、地址、日期或金融领域中的交易和股票。
二、机器学习算法和应用机器学习是一种人工智能方法，可以让计算机从经验中学习并自动改进。
机器学习逐渐深入到各个应用场景中，许多算法支持自我学习，以提高预测准确性和数据处理效率。
大数据分析在人工智能和机器学习中的应用与发展
大数据分析在人工智能和机器学习中的应用与发展随着科技的不断进步和互联网的普及，数据正在成为当今社会的新石油。
大数据分析作为一种重要的技术手段，正逐渐在人工智能和机器学习领域中发挥着重要作用，并为其应用与发展带来了革命性的改变。
一、大数据分析在人工智能中的应用与发展在人工智能领域，大数据分析具有重要意义。
首先，大数据分析可以帮助人工智能系统实现更准确的数据预测和决策。
通过对大数据的收集、整理和分析，人工智能系统能够从中发现隐藏在数据中的规律和趋势，为决策提供更多的参考依据。
其次，大数据分析可以提高人工智能系统的智能化水平。
通过对大数据的分析，人工智能系统能够不断学习和优化算法，从而提高自身的智能水平，使其能够更好地理解和处理复杂的任务和问题。
另外，大数据分析还可以加强人工智能系统的安全性。
通过对大数据的分析，人工智能系统可以不断识别和防范各类安全威胁，保护系统的稳定运行和数据的安全性。
尽管大数据分析在人工智能领域中的应用已经取得了一定的成果，但仍然面临着一些挑战。
首先，数据隐私和安全问题是当前亟需解决的难题。
大数据分析涉及大量的个人信息和敏感数据，如何保证数据的安全性和隐私性成为了一个亟待解决的问题。
其次，数据质量和完整性也是大数据分析中需要关注的问题。
由于大数据的规模庞大，其中可能存在着噪音或错误数据，这将对分析结果的准确性和可靠性产生较大影响。
因此，如何有效地清洗和筛选数据成为了一个紧迫的任务。
二、大数据分析在机器学习中的应用与发展机器学习作为人工智能领域的重要分支，也离不开大数据分析的支持。
首先，大数据分析可以为机器学习算法提供强大的支持。
通过对大数据的分析，机器学习算法能够从中挖掘出特征和模式，从而提高算法的性能和精度。
其次，大数据分析可以帮助机器学习算法实现更好的模型训练与优化。
通过对大数据的分析，可以挖掘出更多的训练样本和反馈信息，这将有助于机器学习算法更好地调整参数和优化模型，提高学习效果。
大数据下的机器学习
大数据下的机器学习在当今这个数字化的时代，数据如同海洋一般浩瀚无垠，而机器学习则是我们在这片数据海洋中航行的船只，帮助我们发现隐藏在其中的宝藏。
那么，究竟什么是大数据下的机器学习呢？简单来说，机器学习就是让计算机通过数据和经验来学习，从而能够自动地进行预测和决策。
而大数据则为机器学习提供了丰富的“燃料”，使得它能够更准确、更全面地理解和处理各种问题。
想象一下，我们每天在互联网上产生的海量数据，从购物记录、社交动态到浏览行为等等。
这些数据看似杂乱无章，但通过机器学习的算法和模型，能够被挖掘出有价值的信息。
比如，电商平台可以根据我们的购买历史和浏览偏好，为我们推荐更符合我们需求的商品；社交网络可以根据我们的好友关系和互动模式，为我们推送更感兴趣的内容。
大数据为机器学习带来了前所未有的机遇。
首先，丰富的数据量使得模型能够学习到更多的特征和模式，从而提高预测的准确性。
以往，由于数据的有限性，模型可能会受到限制，无法捕捉到复杂的关系。
但在大数据的支持下，模型可以处理更多的变量和维度，从而更全面地理解问题。
其次，大数据的多样性让机器学习能够应对各种不同的场景和任务。
不同来源、不同类型的数据为模型提供了更广泛的视角，使其能够适应复杂多变的现实世界。
然而，大数据下的机器学习也面临着诸多挑战。
数据的质量就是一个关键问题。
虽然数据量大，但其中可能存在错误、缺失值或者噪声，这会影响模型的学习效果。
因此，在进行机器学习之前，需要对数据进行清洗和预处理，以确保数据的准确性和可靠性。
另外，大数据的处理和存储也需要强大的计算资源和技术支持。
处理海量的数据需要高效的算法和硬件设施，否则会导致计算时间过长、成本过高。
还有一个重要的问题是隐私保护。
大数据中包含了大量个人的敏感信息，如果不加以妥善处理，可能会导致隐私泄露的风险。
为了在大数据环境下更好地进行机器学习，研究人员和工程师们不断探索和创新。
新的算法和模型不断涌现，旨在提高学习效率和准确性。
大数据分析中的机器学习算法研究
大数据分析中的机器学习算法研究随着互联网和信息技术的迅猛发展，大数据分析在各个领域都发挥着重要的作用。
而机器学习算法作为大数据分析中的重要工具，具有广泛的应用前景。
本文将针对大数据分析中的机器学习算法展开研究，探讨其原理、分类和应用。
一、机器学习算法的原理机器学习是一种通过计算机算法实现模式识别和预测的方法。
在大数据分析中，机器学习算法通过对海量数据进行学习和训练，自动发现数据中的模式和规律。
其主要原理包括监督学习、无监督学习和增强学习。
1. 监督学习算法监督学习算法依靠已知的标签或类别来训练模型，使其能够对未知数据进行预测。
常见的监督学习算法包括线性回归、逻辑回归、决策树和支持向量机。
这些算法可以用于分类和回归问题，在金融、医疗、营销等领域有广泛的应用。
2. 无监督学习算法无监督学习算法没有标签或类别的参考，通过对数据的统计和聚类分析，发现其中的潜在结构和模式。
常见的无监督学习算法包括聚类算法、关联规则和主成分分析。
这些算法可用于数据分群、异常检测和推荐系统等问题。
3. 增强学习算法增强学习算法通过与环境的交互，通过试错来学习并改进决策策略。
典型的增强学习算法有Q-Learning、Deep Q Network等，广泛应用于机器人控制、自动驾驶等领域。
二、机器学习算法的分类根据算法的学习方式和模型的类型，机器学习算法可以分为多种类型，常见的有以下几类：1. 基于统计的学习算法基于统计的学习算法通过对数据的概率分布进行建模，利用统计原理进行数据分析和预测。
典型的统计学习算法有朴素贝叶斯、高斯混合模型等。
2. 基于神经网络的学习算法基于神经网络的学习算法模仿人脑神经元网络的工作原理，通过多层次的神经元连接和权重调整实现信息识别和处理。
常见的神经网络算法有感知机、多层感知器和卷积神经网络。
3. 基于决策树的学习算法基于决策树的学习算法将数据分割成多个决策节点，构建树状结构进行决策。
决策树算法简单易懂且具有较强的解释性，常见的有ID3、CART和C4.5算法。
机器学习算法在大数据分析中的应用
机器学习算法在大数据分析中的应用随着互联网技术的发展，大数据时代已经来到。
在大数据时代，分析和利用数据成为了企业成功的关键。
传统的数据处理方式已经无法满足对于大数据的分析要求，因此机器学习算法的应用成为了当下研究的热点之一。
机器学习是一种利用数据和自适应算法来进行预测或者控制的方法。
在大数据分析中，机器学习算法可以帮助我们从海量的数据中提取出有用的信息，并为我们提供更精确的分析结果。
下面让我们来看看机器学习算法在大数据分析中的应用。
一、分类算法分类算法是机器学习中常用的一种算法，它可以将数据集中的样本按照一定规则或者特征分为不同的类别。
在大数据分析中，分类算法可以帮助我们对数据进行分类，提高数据的使用效率。
例如，在电商平台中，我们可以使用分类算法来对用户的购物行为进行分类，根据用户的购物行为，将用户分为不同的等级，这样可以更加精准地进行个性化推荐，提高销售额。
二、聚类算法聚类算法是一种无监督学习算法，它可以对数据进行聚类，将相似的数据聚集在一起。
在大数据分析中，聚类算法可以帮助我们发现数据中的模式和规律，进一步提高数据分析的效率。
例如，在医疗领域，我们可以使用聚类算法对病人的病历数据进行聚类，将相似的病历数据进行聚集，这样可以更好地为医生提供诊疗工具和辅助决策。
三、回归算法回归算法是利用训练数据来预测未知数据的值的一种方法。
在大数据分析中，回归算法可以帮助我们进行预测，提高决策的准确性和效率。
例如，在金融领域中，我们可以使用回归算法对借贷风险进行预测，根据预测结果来制定相应的风险措施。
四、关联算法关联算法是一种挖掘数据集中事物之间的关系的方法。
在大数据分析中，关联算法可以帮助我们发现数据中隐藏的规律和关系，从而更好地理解数据。
例如，在零售领域中，我们可以使用关联算法来发现不同商品之间的关系，根据关系来做出更好的营销方案。
五、深度学习算法深度学习算法是一种人工神经网络的应用，它可以模仿人类神经网络的结构和功能，实现对数据的处理和理解。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《程序设计方法学》课程论文题目： 大数据下的机器学习通信与信息工程学院 1014010216 唐 川 宗 平 2014/2015学年第二学期学院 学号姓名指导老师日期大数据下的机器学习摘要：随着产业界数据量的爆炸式增长，大数据概念受到越来越多的关注。
由于大数据的海量、复杂多样、变化快的特性，如何有效利用大数据中的信息，并使用这些信息提高生产率成为迫切需要解决的问题。
机器学习是解决这类问题的有效方法之一。
因此，研究大数据环境下的机器学习算法成为学术界和产业界共同关注的话题。
本文旨在对机器学习的一些基本算法和在大数据环境下机器学习大概面临的一些问题进行初步介绍。
关键词：大数据，机器学习，分类，聚类，最优化方法，并行算法1.大数据时代来临经过20余年的努力，Internet已获得巨大的成功，由此，人们可以在不同时间与地域获取自己希望获得的信息。
然而，有效获得信息是一回事，获得的信息是否能够有效且方便地使用则是另一回事。
目前的现状是大量可以有效获得的信息，大约只有10%可以被使用，消耗了大量资源的信息不仅未能够被有效地使用，而且由于有用的信息正在更深地被掩埋在无用信息之中，变得更难以利用。
花费了大量人力物力而获得信息，却无法有效使用，长此以往，这将与未获得信息无区别。
如何有效利用这些被掩埋的有用信息已成为信息产业继续兴旺发展的关键。
大数据定义：有关大数据的定义有多种。
一个狭义的定义：大数据是指不能装载进计算机内存储器的数据。
尽管这是一个非正式的定义，但易理解，因为每台电脑都有一个大到不能装载进内存的数据集。
广义的大数据定义为：一般意义上，大数据是指无法在可容忍的时间内用传统IT 技术和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。
大数据特点：大数据有多方面的特点，从最开始的3V模型到目前扩展的4V模型就是以大数据的特点命名的。
3V模型包括体积(V olume)，速度( Velocity)和多样性(Variety)；4V模型中的第4个V有多种解释，如变化性( Variability)，虚拟化( Virtual)或价值(Value)。
针对这些特点，大数据时代知识解析、机器智能与人类智能协调工作及智能分析系统将会扮演重要角色，人们需要一种智能分析接口将人类与计算机世界连接，否则将被淹没在大数据的洪流中。
2.机器学习自从计算机被发明以来，人们就想知道它能不能学习。
机器学习从本质上是一个多学科的领域。
它吸取了人工智能、概率统计、计算复杂性理论、控制论、信息论、哲学、生理学、神经生物学等学科的成果。
机器学习的研究主旨是使用计算机模拟人类的学习活动，它是研究计算机识别现有知识、获取新知识、不断改善性能和实现自身完善的方法。
这里的学习意味着从数据中学习，它包括有监督学习(Supervised Learning ) 、无监督学习(Unsupervised Learning)和半监督学习(Semi -Supervised Learning) 三种类别。
有监督学习需要对已知的样本进行训练得到算法模型，然后对未知样本的度量结果（或者说是标签）进行预测；而无监督学习则是直接预测未知样本的度量结果，没有实现训练的过程；而半监督学习就是介乎两者之间的机器学习方法。
传统机器学习面临的一个新挑战是如何处理大数据。
目前，包含大规模数据的机器学习问题是普遍存在的，但是，由于现有的许多机器学习算法是基于内存的，大数据却无法装载进计算机内存，故现有的诸多算法不能处理大数据。
如何提出新的机器学习算法以适应大数据处理的需求，是大数据时代的研究热点方向之一。
3.大数据环境下的机器学习算法3.1大数据分类有监督学习(分类) 面临的一个新挑战是如何处理大数据。
目前包含大规模数据的分类问题是普遍存在的，但是传统分类算法不能处理大数据．1)支持向量机分类。
SVM 法即支持向量机( Support Vector Machine) 法，由Vapnik 等人于1995年提出，具有相对优良的性能指标。
该方法是建立在统计学习理论基础上的机器学习方法。
通过学习算法，SVM可以自动寻找出那些对分类有较好区分能力的支持向量，由此构造出的分类器可以最大化类与类的间隔。
因而有较好的适应能力和较高的分率。
该方法只需要由各类域的边界样本的类别来决定最后的分类结果。
2)决策树分类。
决策树可看作一个树状预测模型，它通过把实例从根节点排列到某个叶子节点来分类实例，叶子节点即为实例所属的分类。
决策树的核心问题是选择分裂属性和决策树的剪枝。
决策树的算法有很多，有ID3、C4.5、CART等等。
这些算法均采用自顶向下的贪婪算法，每个节点选择分类效果最好的属性将节点分裂2个或多个子结点，继续这一过程直到这棵树能准确地分类训练集，或所有属性都已被使用过。
对于分类问题，当叶节点中只有一个类，那么这个类就作为叶节点所属的类，若节点中有多个类中的样本存在，根据叶节点中样本最多的那个类来确定节点所属的类别，对于回归问题，则取其数量值的平均值。
3)人工神经网络算法与感知机。
人工神经网络(Artificial Neural Networks———ANN)提供了一种普遍而且实用的方法，来从样例中学习值为实数、离散或向量的函数。
ANN学习对于训练数据中的拟合效果很好，且已经成功地涉及到医学、生理学、哲学、信息学、计算机科学等众多学科领域，这些领域互相结合、相互渗透并相互推动。
不同领域的科学家从各自学科的特点出发，提出问题并进行了研究。
感知机方法的原始动机是“人类学习的根源是神经系统”,根据神经系统的原理建立模型是解决学习的合理途径。
由此，1956年，Rosenblatt根据James 在1896年提出的神经元相互连接与McCulloch和Pitts发现神经元的“兴奋”和“抑制”工作方式为基础，建立一种神经网络的数学模型，并使用线性优化的方法，奠定了感知机的理论基础，感知机提出之后受到Minsky的严厉批评。
这个批评主要集中在两个问题上，其一，感知机模型不能向非线性(线性不可分)问题推广，这是对算法的批评；其二，感知机是基于“黑箱”原理，学习后的模型与实际世界没有直接的对应关系，这是对模型形式的批评。
3.2大数据聚类1)聚类学习是最早被用于模式识别及数据挖掘任务的方法之一，并且被用来研究各种应用中的大数据库，因此用于大数据的聚类算法受到越来越多的关注。
Haven对比3种扩展的模糊c均值(FCM) 聚类算法对于大数据的执行效率。
具体而言，这3种方法分别基于：取样后进行非迭代扩展；连续通过数据子集的增量技术；提供基于抽样的估计的核模糊c均值算法；Havens 等用可装载的数据集和VL数据集来进行数值型实验，这些实验进行如下对比:时间复杂度、空间复杂度、速度、处理装载数据的批量FCM的近似质量、对划分和地面实况间匹配的评估。
实验结果显示，随机取样可扩展FCM(Random Sampling PlusExtension)位减少FCM(Bit-Reduced FCM)及近似核FCM (ApproximateKernel FCM) 都是较好的选择，都近似于FCM。
最后，Havens 等展示针对含有50亿对象的数据集的大数据算法，并就如何使用不同的大数据FCM 聚类策略提出一系列建议。
2)另一方面，随着数据体积的增大，I /O瓶颈就变成数据分析的一个重要问题。
数据压缩能起到缓解作用。
以K-means为例，Xue等提出一种压缩感知性能提升模型用于大数据聚类。
该模型定量分析整个计算过程中与压缩有关的诸多因素的影响。
在有上百个计算核的集群上对大到1.114TB的10维数据进行聚类实验，实验结果证明使用压缩能改善I /O性能，并且该模型能有效决定何时如何使用压缩来改善大数据分析中的I /O 性能。
针对分布式聚类、流数据聚类，Hall等研究二次抽样方法以提高聚类算法的可扩展性。
实验表明，人们可构造一个好的模型而不必知道所有的数据，如果需要，修改后的算法可应用于TB级或更多的数据。
3.3小结正如本文开头所说，机器学习涉及的领域与算法繁杂，不仅仅只是分类与聚类两类算法就能囊括的，这也正给海量数据的分析与挖掘提供了许多基础工具、算法。
而机器学习应用在大数据的环境下必须对传统算法做出改动，以适应大数据的特性，而这些改动或者说改进一般面对的问题大概是这几个：算法模型需要尽量简化，简单模型对硬件要求不高，更加容易实现，而这是比较困难的，因为要处理的海量数据包含的数据类型种类繁多、数据特征复杂，而复杂数据往往对应的是一个复杂的模型；算法收敛速度需要尽可能快，而这个要求往往受限于第一个问题，复杂模型的运算量大，收敛速度必然比较慢，这也是最优化方法面临的问题，所以单线程的机器学习算法的运行速度以及很难满足分析大数据的要求，我们更希望将传统的机器学习方法用多线程实现，而正如前文所说，并行计算对计算机的I/O要求比较大。
4 结语与致谢大数据具有属性稀疏、超高维、高噪声、数据漂移、关系复杂等特点，导致传统机器学习算法难以有效处理和分析，为此，需在如下方面展开相应研究。
1)研究机器学习理论和方法，包括数据抽样和属性选择等大数据处理的基本技术，设计适合大数据特点的数据挖掘算法，以实现超高维、高稀疏的大数据中的知识发现．2)研究适合大数据分布式处理的数据挖掘算法编程模型和分布式并行化执行机制，支持数据挖掘算法迭代、递归、集成、归并等复杂算法编程。
3)在Hadoop、CUDA 等并行计算平台上，设计和实现复杂度低、并行性高的分布式并行化机器学习与数据挖掘算法。
本论文是在老师和同学的帮助下完成的，在此向老师和同学们表示深深的感谢！。