大数据

1.2.2 主要的大数据处理系统
大数据处理的数据源类型多种多样，如结构化数据、半结构化数据、非结构化数据、数据处理的需求各不相同，有些场合需要对海量已有数据进行批量处理，有些场合需要对大量的实时生成的数据进行实时处理，有些场合需要在进行数据分析时进行反复迭代计算，有些场合需要对图数据进行分析计算。

目前主要的大数据处理系统有数据查询分析计算系统、批处理系统、流式计算系统、迭代计算系统、图计算系统和内存计算系统。

1.数据查询分析计算系统
大数据时代，数据查询分析计算系统需要具备对大规模数据进行实时或准实时查询的能力，数据规模的增长已经超出了传统关系型数据库的承载和处理能力。

目前主要的数据查询分析计算系统包括HBase、Hive、Cassandra、Dremel、Shark、Hana等。

HBase：开源、分布式、面向列的非关系型数据库模型，是Apache的Hadoop项目的子项目，源于Google论文《Bigtable:一个结构化数据的分布式存储系统》，实现了其中的压缩算法、内存操作和布隆过滤器。

HBase的编程语言为Java。

HBase的表能够作为MapReduce 任务的输入和输出，可以通过Java API来存取数据。

Hive：基于Hadoop的数据仓库工具，用于查询、管理分布式存储中的大数据集，提供完整的SQL查询功能，可以将结构化的数据文件映射为一张数据表。

Hive提供了一种类似SQL语言（HiveQL）可以将SQL语句转换为MapReduce任务运行。

Cassandra：开源NoSQL数据库系统，最早由Facebook开发，并于2008年开源，由于其良好的可扩展性，Cassandra被Facebook、Twitter、Rackspace、Cisco等公司使用，其数据模型借鉴了Amazon的Dynamo和Google BigTable，是一种流行的分布式结构化数据存储方案。

Impala:由Cloudera公司主导开发，是运行在Hadoop平台上的开源的大规模并行SQL 查询引擎。

用户可以使用标准的SQL接口的工具查询存储在Hadoop的HDFS和HBase中的PB级大数据。

Shark：Spark上的数据仓库实现，即SQL on Spark，与Hive 相兼容，但处理Hive QL的性能比Hive 快100倍。

Hana：有SAP公司开发的与数据源无关、软硬件结合、基于内存计算的平台。

2.批处理系统
MapReduce是被广泛使用的批处理计算模式。

MapReduce对具有简单数据关系、易于划分的大数据采用“分而治之”的并行处理思想，将数据记录的处理分为Map和Reduce两个简单的抽象操作，提供了一个统一的并行计算框架。

批处理系统将复杂的并行计算的实现进行封装，大大降低开发人员的并行程序设计难度。

Hadoop和Spark是典型的批处理系统。

MapReduce的批处理模式不支持迭代计算。

Hadoop：目前大数据处理最主流的平台，是Apache基金会的开源软件项目，使用Java 语言开发实现。

Hadoop平台使开发人员无需了解底层的分布式细节，即可开发出分布式程序，在集群中对大数据进行存储、分析。

Spark：由加州伯克利大学AMP实验室开发，适合用于机器学习、数据挖掘等迭代运算较多的计算任务。

Spark引入了内存计算的概念，运行Spark时服务器可以将中间数据存储在RAM内存中，大大加速数据分析结果的返回速度，可用于需要互动分析的场景。

3.流式计算系统
流式计算具有很强的实时性，需要对应用源源不断产生的数据实时进行处理，使数据不积压、不丢失，常用于处理电信、电力等行业应用以及互联网行业的访问日志等。

Facebook
的Scribe、Apache的Flume、Twitter的Storm、Yahoo的S4、UCBerkeley的Spark Streaming 是常用的流式计算系统。

Scrible：Scrible由Facebook开发开源系统，用于从海量服务器实时收集日志信息，对日志信息进行实时的统计分析处理，应用在Facebook内部。

Flume：Flume由Cloudera公司开发，其功能与Scrible相似，主要用于实时收集在海量节点上产生的日志信息，存储到类似于HDFS的网络文件系统中，并根据用户的需求进行相应的数据分析。

Storm：基于拓扑的分布式流数据实时计算系统，由BackType公司（后被Twitter收购）开发，现已经开放源代码，并应用于淘宝、百度、支付宝、Groupon、Facebook等平台，是主要的流数据计算平台之一。

S4：S4的全称是Simple Scalable Streaming System，是由Yahoo开发的通用、分布式、可扩展、部分容错、具备可插拔功能的平台，其设计目的是根据用户的搜索内容计算得到相应的推荐广告，现已经开源，是重要的大数据计算平台。

Spark Streaming：构建在Spark 上的流数据处理框架，将流式计算分解成一系列短小的批处理任务进行处理。

网站流量统计是Spark Streaming的一种典型的使用场景，这种应用既需要具有实时性，还需要进行聚合、去重、连接等统计计算操作，如果使用Hadoop MapReduce框架，则可以很容易地实现统计需求，但无法保证实时性；如果使用Storm这种流式框架则可以保证实时性，但实现难度较大；Spark Streaming可以以准实时的方式方便地实现复杂的统计需求。

4.迭代计算系统
针对MapReduce不支持迭代计算的缺陷，人们对Hadoop的MapReduce进行了大量改进，Haloop、iMapReduce、Twister、Spark是典型的迭代计算系统。

Haloop：Haloop是Hadoop MapReduce框架的修改版本，用于支持迭代、递归类型的数据分析任务，如PageRank、K-means等。

iMapReduce：一种基于MapReduce的迭代模型，实现了MapReduce的异步迭代。

Twister：基于Java的迭代MapReduce模型，上一轮Reduce的结果会直接传送到下一轮的Map。

Spark：基于内存计算的开源集群计算框架。

5.图计算系统
社交网络、网页链接等包含具有复杂关系的图数据，这些图数据的规模巨大，可包含数十亿顶点和上百亿条边，图数据需要由专门的系统进行存储和计算。

常用的图计算系统有Google公司的Pregel、Pregel的开源版本Giraph、微软的Trinity、Berkeley AMPLab的GraphX 以及高速图数据处理系统PowerGraph。

Pregel：Google公司开发的一种面向图数据计算的分布式编程框架，采用迭代的计算模型。

Google的数据计算任务中，大约80%的任务处理采用MapReduce模式，如网页内容索引；图数据的计算任务约占20%，采用Pregel进行处理。

Giraph：一个迭代的图计算系统，最早由雅虎公司借鉴Pregel系统开发，后捐赠给Apache 软件基金会，成为开源的图计算系统。

Giraph是基于Hadoop建立的，Facebook在其脸谱搜索服务中大量使用Giraph。

Trinity：微软公司开发的图数据库系统，该系统是基于内存的数据存储与运算系统，源代码不公开。

GraphX：由AMPLab开发的运行在数据并行的Spark平台上的图数据计算系统。

PowerGraph：高速图处理系统，常用于广告推荐计算和自然语言处理。

6.内存计算系统
随着内存价格的不断下降，服务器可配置内存容量的不断增长，使用内存计算完成高速的大数据处理已成为大数据处理的重要发展方向。

目前常用的内存计算系统有分布式内存计算系统Spark、全内存式分布式数据库系统HANA、Google的可扩展交互式查询系统Dremel.
Dremel：Google的交互式数据分析系统，可以在数以千计的服务器组成的集群上发起计算，处理FB级的数据。

Dremel是Google MapReduce的补充，大大缩短数据的处理时间，成功地应用在Google的bigquery中。

HANA：SAP公司开发的基于内存技术、面向企业分析性的产品。

Spark：基于内存计算的开源集群计算系统。

1.2.3 大数据处理的基本流程
大数据的处理流程可以定义为在适合工具的辅助下，对广泛异构的数据源进行抽取和集成，结果按照一定的标准统一存储，利用合适的数据分析技术对存储的数据进行分析，从中提取有益的知识并利用恰当的方式将结果展示给终端用户。

大数据处理的基本流程如图1.2所示。

源数据数据清洗数据分析数据解释用户
图1.2 大数据处理的基本流程。