hadoop数据挖掘解决方案

hadoop,数据挖掘,解决方案篇一：基于HADOOP的数据挖掘平台分析与设计

基于HADOOP的数据挖掘平台分析与设计

【摘要】云计算技术的出现为数据挖掘技术的发展带来了新的机遇。云计算技术通过使存储和计算能力均匀的分布到集群中的多个存储和计算节点上，从而实现了对超大数据集的巨大的存储和计算能力。HADOOP是一个用于构建云平台的Apache开源项目。使用HADOOP框架有利于我们方便、快速的实现计算机集群。在HADOOP平台上，采用了HDFS（分布式文件系统）来实现超大文件的存储和容错，而使用了MapReduce的编程模式来进行计算。

【关键词】HADOOP；数据挖掘；平台；分析；设计

一、数据挖掘技术概述

作为一门快速发展的技术，数据挖掘引起了信息产业界和社会的广泛关注。数据挖掘技术跨越多个学科，无论是数据库技术、机器学习、统计学、模式识别，还是神经网络，还是人工智能，数据挖掘都能从中吸取营养，不断发展。如今，随着云计算的出现和发展，数据挖掘技术迎来了新的机遇和挑战。

1.数据挖掘发展历程与分类

数据挖掘由单个算法，单个系统到并行数据挖掘与服务的模式，经历了数据挖掘软件开始和数据库结合、多种数据类型融合、分布式挖掘等多个过程。到今天，数据挖掘软件发展的历程，可以说是进入基于云计算的数据挖掘。

由于数据挖掘是一个交叉学科领域，是在包括机器学习，模式识别等多个学科的基础上发展而来。依赖于我们所用的数据挖掘方法，我们又可以使用其他学科的多种技术，如神经网络、模糊或粗糙集合论、知识表示等。所以，对数据挖掘的研究，我们会期望出现大量的各种类型的数据挖掘系统。这样，我们就需要对数据挖掘系统给出一个很清楚的分类。有了这种认识，我们才可以帮助用户根据其需求，确定最适合其需要的数据挖掘系统。

因此，数据挖掘的分类标准也必定会出现多样化。我们可以根据挖掘的数据库类型分类，或是技术类型分类，也可以根据运用的场景分类。但是大部分情况下，我们会根据挖掘产生的知识类型进行分类，也即是根据数据挖掘的功能进行分类。

2.数据挖掘流程

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程，表现形式为规则、概

念、规律及模式等。数据挖掘主要由以下步骤组成：

①数据预处理数据

篇二：Hadoop：大数据解决方案的常胜将军

Hadoop：大数据解决方案的常胜将军

?

结构化数据、面向文档数据存储及大型处理。猜猜它是什么。

关键词：大数据解决方案 Hadoop Hive Mahout HBase Cassandra

架构大数据解决方案的软件工程师们都知道，业务分析有一项技术跨越了SQL数据库、NoSQL数据库，非结构化数据、面向文档数据存储及大型处理。如果你猜到了Hadoop，那你回答正确。Hadoop也是许多巨头公司具有的一个共性，如亚马逊、雅虎、AOL、Netflix、eBay、微软、谷歌、Twitter 和Facebook。IBM甚至是走在时常的前沿，促进Hadoop进行企业分析。此开源模型无处不在，它在这个舞台上停留的五年，是一个真的角色，我们不得不为此感到惊讶。

导读：架构大数据解决方案的软件工程师们都知道，业务分析有一项技术跨越了SQL数据库、NoSQL数据库，非

Hadoop的未来

为了了解过去几年发生了什么，我们走访了Chuck Lam，《Hadoop在行动（Hadoop in Action）》一书的作者。Chuck 说Hadoop还没有停下来休息。“整个生态系确实是进化，而且改变了许多。现在甚至出现了官方版本。更重要的是，MapReduce的基础编程模型已经重新修订，且做了不少的改变。”一般来说，这些改变都向着有利的方面发展的。开发方向已经使得这个框架易于部署在企业中，并解决一系列的问题，如对于风险规避公司是问题之首的安全问题。

好处越来越多，包括高水平的可扩展性。此框架中的分布式计算意味着添加越来越多的数据，而不必改变添加它的方式。没有必要去改变格式，或打乱工作编辑的方式或决定哪一个应用完成的此工作。你只是随着工作的进行添加更的节点即可。你不必挑剔你存储的数据类型或它来源。无模式是此游戏的名称。该框架的并行计算能力还使商品服务器存储究竟的利用率更高。这意味着企业可以保存，使用更多的数据。无论哪个节点出现故障，它都没事。即使系统出现故障，也不会丢失数据，降低性能。

助力Hadoop技术

Hadoop现在也更加的灵活，允许业务做更的事情，处理更多的数据类型。如此强大的功能源于Hadoop的许多同

伴项目，包括像Pig这样的语言，以及如下的可扩展解决方案：

1. Hive (数据仓库)

(机器学习和数据挖掘)

(大型表格的结构化存储)

(多主机数据库)

当然，此类型的解决方案并不一直都是美好好。Lam说主要的陷阱就是处理做出的假设。换言之，错不在我们的系统而在我们自己。“新技术并不是所有问题的灵丹妙药。正如NoSQL这类的一样简单，但你必须要更深一层地弄清楚你要解决的问题。”这可能意味着慎重地查看你的算法，而不是只是把你的员工扔给MapReduce，然后期望Hadoop自动扩展。使用模式的数据会影响你的扩展模式——尤其是当使用不平均是。然后线性扩展可能就不起作用了。再一次，这个并不是Hadoop本身的问题。Lam相信有工具在手的企业已经足够成熟了。这只是确保IT管理员熟悉这些工具，确保使用Hadoop的软件架构师知道怎样更有效地使用用这项技术。

篇三：数据挖掘：巧用Hadoop大数据处理功能

数据挖掘：巧用Hadoop大数据处理功能

?导读：Hadoop的大数据处理功能可用来挖掘数据、探索看起来没有关联的信息之间的关系、以及快速解决软件工程师使用传统技术正在努力解决的问题挖，对人们从来没感到奇怪。

关键词：数据挖掘 Hadoop 大数据大数据处理

Hadoop的大数据处理功能可用来挖掘数据、探索看起来没有关联的信息之间的关系、以及快速解决软件工程师使用传统技术正在努力解决的问题挖，对Hadoop的大数据处理功能如此之多的用途软件专业人士从来就没有感到奇怪过。

住院的病人是否正在饱受着葡萄球菌感染的痛苦？当谈论到使用多种NoSQL和Hadoop的方法解决真实世界问题时，全球教育Hortonworks的高级主管Danielle Tomlinson，谈论了一个很有意思的案例，此案例中，通过在健康保健专业人员的徽章中使用射频识别技术，收集了关于他们卫生习惯的一些数据。“他们把一个传感器放在洗手槽中，” Tomlinson说。“他们能够看哪些医生没有在洗手站上花费足够的时间，导致疾病的传播。”

实时解决大数据问题

当然，Hadoop最好的一方面是它的实时处理巨大量数

据的能力。一个久居数据中心深处的开发人员是如何了解高速公路上的交通如何的？据Tomlinson所说，有些城市只是追踪数百万手机用户上的GPS位置，分析那些数据，然后基于那手机在交通中的走向如何，来建立实时流量报告。那些大数的收集及大数据处理，都是在Hadoop平台完成的。当然，对于大多数企业Java专业人士，大数据仍然是个迷，但Hortonworks决定改变这一现象。对于那些对学习Hadoop 的人来说，Hortonworks Sandbox是一个聪明的开始，因为它提供了一个个人的、便携的Hadoop环境，还有一系列交互式的Hadoop指导。所有这些都打包在一个虚拟环境中，你可以在15分钟之内得到它并运行它。对于那些正在寻找解决大数据问题方法的软件架构师，或者对于那些正在复习新技术的应用开发人员来说，Hortonworks Sandbox是一个很好的开始。但要注意：Hadoop会上瘾。很快，所有的问题都看起来像大数据问题，然后你就会想要使用Hadoop来解决每一个大数据处理问题。