云计算平台架构图资料讲解

Hadoop生态系统数据流程图及架构图

1、mysql、oracle、sql server等关系型数据库的结构化数据通过sqoop2工具导入到hive、hdfs中，通过hive、mapreduce等工具进行过虑、清洗、统计、分析、计算等操作，将操作后的数据放到hdfs云存储里面，或者再通过sqoop2工具导回到关系型数据库。

2、日志、文档、图片、小视频等半结构化数据及非结构化数据通过flume或者其他数据采集工具采集，采集的数据可以放到hdfs云存储、hbase分布式数据库等。

3、通过hbase api的接口将各类数据组织之后放到hbase分布式数据库中。

4、数据采集工具采集到的一部分数据可以进行流式计算，即数据先缓存到kafka等消息队列，然后实时传送给storm系统进行数据挖掘，数据分析等，将所得结果放到关系型或非关系型数据库。

5、spark系统和hadoop系统结合使用，spark系统读取hdfs,hbase上的数据通过其高效率的内存计算功能进行计算，挖掘，分析等操作，将所得结果存放到关系型或非关系型数据库。