大数据应用技术课程介绍
大数据应用技术介绍课件
单 Ha击do此o处p1编V辑S母H版ad标oo题p样2 式
单 集击群此资处源编管辑 理母版标题样式 Hadoop介绍
单 Ya击rn此运处行编原辑理母图版标题样式
单 Hb击as此e处介编绍辑母版标题样式
1 高可靠性 2 高效性 3 面向列 4 可伸缩 5 可在廉价PC
Server搭建大规模 结构化存储集群
单 Ta击bl此e&处R编eg辑io母n 版标题样式
Table随着记录增多不断变大，会自动分裂成多份Splits，成为Regions 一个region由[startkey，endkey)表示 不同region会被Master分配给相应的RegionServer进行管理
单 Hr击eg此io处nS编e辑rve母r 版标题样式
在数据库和HDFS之间高效传输数据的工具 分布式、可靠、和高可用的海量日志聚合的系统。
Chukwa是基于Hadoop的大集群监控系统，由yahoo贡献。
单 Ha击do此o处p介编绍辑母版标题样式
单 HD击F此S 处特编点辑母版标题样式
存储大文件
• 百兆以上级别文件 • 百万级文件由于亿级别文件
流式处理数据
单 HD击F此S 处部编署辑结母构版标题样式
单 HD击F此S 处读编写辑过母程版标题样式
单 Ma击p此Re处du编c辑e 母部版署标结题构样式
JobTracker
• 管理集群资 源和Job调度
TaskTracker
• 管理Task运 行
单 Ma击p此Re处du编c辑e 母计版算标模题型样式
Input
k1, v1 Map k2, v2 Reduce k3, v3
Output
单 Ma击p此Re处du编c辑e 母扩版展标接题口样式
《大数据应用基础》课程标准(含课程思政)
《大数据应用基础》课程标准大数据基础二、适用专业大数据技术应用三、课程学时与学分36学时，2学分四、课程性质本课程是大数据技术应用专业的一门专业基础课程，是从事大数据工程技术人员等新职业岗位必须学习的课程，旨在为学生提供大数据应用方面的基础知识，包括大数据概述、大数据处理、大数据存储和大数据应用案例等内容，使学生具备大数据应用的基础理论和实践能力。
本课程开设在第2学期，将为后续学习《互联网数据采集》《数据库技术应用》等课程奠定基础。
五、课程目标通过本课程的学习，能够完成对大数据生产流程绘制，熟悉认知大数据采集、分析、存储、可视化等各种工具和平台，能够厘清大数据与网络技术、物联网、云计算、人工智能的发展关系与发展方向，并通过大数据技术在不同行业产业的案例分析，能够进行大数据存储和分析应用，树立大数据思维，拓展科技素养。
达到以下具体目标：( 一) 素养目标1.坚定拥护中国共产党领导和我国社会主义制度，在习近平新时代中国特色社会主义思想指引下，自觉践行社会主义核心价值观，具有深厚的爱国情感和中华民族自豪感；(培养规格1)2.充分了解大数据行业法规法则，自觉维护行业良好风气；(培养规格2、S—A—2)3.具备数据思维，具备较强的逻辑思维能力； (培养规格3)4.培养学生对大数据应用的认识和理解，以及对大数据应用的价值和影响的思考。
学生需要通过学习大数据基础课程，增强对大数据应用的兴趣和探索欲望，了解大数据对社会、经济、科技等方面的影响，具备良好的职业素养和创新意识。
(培养规格5)5.具有社会责任感，能够传递正确的社会价值，时刻维护国家的荣誉与形象；(培养规格2、S—A—3)6.树立正确的职业观，注意保护数据安全、保障他人隐私，爱岗敬业、德技并修；(培养规格2、S—A—4)7.有自觉学习新一代信息技术的意识，能够主动进行自我知识更新与学习。
(培养规格7、D—A—3)(二)知识目标1.掌握大数据应用的基础知识，包括大数据的概念、特征、处理和存储等方面的知识；(培养规格11)2.了解大数据的技术架构、处理方法和工作流程；(培养规格11)3.掌握大数据存储和管理的基本方法； (培养规格11)4.熟悉大数据相关法律法规，对大数据行业的信息安全形成基础的认知；(培养规格12)5.了解大数据行业基本情况、了解大数据行业应用场景与岗位分工，明确大数据产品形态与技能要求； (培养规格15)6.厘清大数据与网络技术发展、云计算、物联网、人工智能的发展关系与发展方向；(培养规格16)7.了解大数据生产工作流程中应用到的数据采集、存储、可视化、分析等各种工具和平台，掌握基础的工具使用方法和步骤。
大数据技术原理与应用 课程简介
大数据技术原理与应用课程简介大数据技术原理与应用是一门涵盖了大数据技术的基本原理和应用案例的课程。
随着互联网的快速发展和信息技术的不断进步，大数据已经成为了当今社会中一个重要的话题。
本课程旨在帮助学生理解大数据技术的基本原理，并了解其在各个领域的应用。
本课程将介绍大数据技术的基本原理。
学生将学习如何有效地收集、存储和处理大规模数据。
课程将涵盖分布式系统、数据管理、数据挖掘和机器学习等方面的知识。
学生将学习如何使用Hadoop、Spark和NoSQL等工具和技术来处理大数据。
本课程将介绍大数据技术在各个领域的应用。
大数据技术已经被广泛应用于金融、医疗、交通、能源和零售等领域。
学生将学习如何利用大数据技术来分析金融市场、预测疾病爆发、优化交通流量、提高能源利用效率和改进零售营销策略。
课程将通过实际案例和项目来帮助学生理解大数据技术在实际应用中的价值和挑战。
本课程还将介绍大数据技术的发展趋势和未来发展方向。
学生将了解到大数据技术在人工智能、物联网和区块链等新兴领域的应用潜力。
课程将引导学生思考大数据技术对社会和个人的影响，并讨论与之相关的伦理和法律问题。
在课程的教学过程中，将采用多种教学方法和资源。
除了传统的课堂讲授，还将组织实践活动、案例分析和小组讨论。
学生将有机会参与到真实的大数据项目中，锻炼数据分析和解决问题的能力。
通过学习本课程，学生将获得以下几方面的收益。
首先，他们将掌握大数据技术的基本原理，了解大数据处理和分析的方法和工具。
其次，他们将了解大数据技术在各个领域的应用案例，培养对大数据应用的思维和创新能力。
最后，他们将了解大数据技术的发展趋势和未来潜力，为自己的职业发展做好准备。
大数据技术原理与应用是一门重要的课程，它将帮助学生了解大数据技术的基本原理和应用案例。
通过学习本课程，学生将获得大数据技术的基本知识和实践经验，为将来在大数据领域的工作和研究打下坚实的基础。
同时，学生还将培养数据分析和解决问题的能力，为未来的职业发展做好准备。
专科大数据技术专业课程
专科大数据技术专业课程一、专业概述大数据技术是一门研究如何从海量、复杂的数据中提取有价值信息的技术。
随着互联网、物联网等信息技术的快速发展，数据量呈现爆炸式增长，大数据技术已经成为当今社会的重要支撑技术。
本专业培养具备大数据处理、分析、挖掘和应用能力的高级技术人才，为企事业单位提供数据处理、数据分析、数据挖掘等方面的技术支持。
二、专业课程设置1. 高等数学高等数学是大数据技术专业的基础课程，主要学习微积分、线性代数、概率论与数理统计等数学知识。
这些知识为后续的数据分析、数据挖掘等课程打下坚实的数学基础。
2. 程序设计基础程序设计基础课程主要学习计算机编程的基本知识和技能，包括C语言、Java语言等编程语言的基本语法、数据结构、算法等内容。
通过本课程的学习，使学生掌握编程的基本方法和技巧，为后续的大数据处理、数据分析等课程打下基础。
3. 数据结构与算法数据结构与算法课程主要学习各种数据结构（如数组、链表、栈、队列、树、图等）的基本原理和操作方法，以及常用的算法（如排序、查找、动态规划等）。
这些知识对于大数据分析、数据挖掘等领域具有重要的指导意义。
4. 数据库原理与应用数据库原理与应用课程主要学习关系型数据库（如MySQL、Oracle等）和非关系型数据库（如MongoDB、Redis等）的基本原理、操作方法和应用场景。
通过本课程的学习，使学生掌握数据库的设计、管理和优化技能，为后续的大数据存储和处理等课程打下基础。
5. 数据挖掘与机器学习数据挖掘与机器学习课程主要学习数据挖掘的基本概念、方法和技术，以及常用的机器学习算法（如决策树、支持向量机、神经网络等）。
通过本课程的学习，使学生掌握数据挖掘和机器学习的基本理论和实践技能，为大数据分析等领域提供技术支持。
6. 大数据处理技术大数据处理技术课程主要学习大数据处理的基本原理、技术和工具，包括Hadoop、Spark等大数据处理框架的原理和使用方法。
通过本课程的学习，使学生掌握大数据处理的基本技能，为大数据分析和挖掘等领域提供技术支持。
大数据与应用课程设计
大数据与应用课程设计一、课程目标知识目标：1. 学生能理解大数据的基本概念，掌握数据采集、存储、处理和分析的基本方法。
2. 学生能结合实际案例，了解大数据在不同行业中的应用和价值。
3. 学生掌握数据可视化工具的使用，能将数据分析结果以图表等形式直观展示。
技能目标：1. 学生具备运用编程语言（如Python）进行数据处理和分析的能力。
2. 学生能运用大数据技术解决实际问题，具备一定的数据挖掘和预测能力。
3. 学生能够运用数据可视化工具，有效地展示数据分析结果。
情感态度价值观目标：1. 学生培养对数据的敏感性和好奇心，愿意主动探索数据背后的规律和故事。
2. 学生意识到数据安全与隐私保护的重要性，树立正确的数据道德观念。
3. 学生通过课程学习，认识到大数据技术在国家战略和社会发展中的重要作用，增强国家使命感和责任感。
课程性质分析：本课程为高中信息技术课程，旨在帮助学生了解大数据的基本概念和应用，培养学生的数据处理和分析能力。
学生特点分析：高中学生具有一定的信息技术基础，思维活跃，对新事物充满好奇。
在此基础上，课程设计应注重理论与实践相结合，激发学生的兴趣和参与度。
教学要求：1. 教学内容与实际案例相结合，提高课程的实用性和趣味性。
2. 注重培养学生的动手操作能力和团队协作能力。
3. 教学过程中，关注学生的个体差异，提供个性化指导和支持。
二、教学内容1. 大数据基本概念：数据、大数据、数据类型等。
教材章节：第一章 大数据概述2. 数据采集与存储：数据源、数据采集方法、数据存储技术等。
教材章节：第二章 数据的采集与存储3. 数据处理与分析：数据清洗、数据预处理、数据分析方法等。
教材章节：第三章 数据处理与分析技术4. 数据挖掘与预测：分类、聚类、关联规则挖掘、预测模型等。
教材章节：第四章 数据挖掘与预测技术5. 数据可视化：数据可视化基本概念、常见可视化工具、图表制作方法等。
教材章节：第五章 数据可视化6. 大数据应用案例：互联网、金融、医疗、智慧城市等行业应用案例。
大数据应用技术介绍 ppt课件
HMaster： HMaster没有单点问题，HBase中可以启动多个HMaster，通过Zookeeper的Master Election机制保证总有 一个Master在运行 主要负责Table和Region的管理工作： 1 管理用户对表的增删改查操作 2 管理HRegionServer的负载均衡，调整Region分布 3 Region Split后，负责新Region的分布 4 在HRegionServer停机后，负责失效HRegionServer上Region迁移
Map
Reduce
MapReduce实例
MapReduce内部结构
Hadoop 2.0
引入一个新的资源管理系统YARN HDFS单点故障得以解决 HDFS Federation HDFS 快照 通过NFS访问HDFS 支持Window系统
Hadoop1 VS Hadoop2
Table&Region
Table随着记录增多不断变大，会自动分裂成多份Splits，成为Regions 一个region由[startkey，endkey)表示 不同region会被Master分配给相应的RegionServer进行管理
HregionServer
-ROOT- & .META.
.META. 记录用户表的Region信息，同时，.META.也可以有多region -ROOT- 记录.META.表的Region信息，但是，-ROOT-只有一个region Zookeeper中记录了-ROOT-表的location 客户端访问数据的流程：
大数据应用技术介绍
大数据应用技术介绍近几年，随着物联网的发展与数据流量的显著增加，大数据已成为一项不可或缺的重要技术。
它可以帮助企业快速发现数据中的规律，使企业使用合理的战略来满足客户的需求，从而获得竞争优势。
本文将介绍大数据的概念、特点、优势和应用案例，为企业利用大数据技术提供参考。
一、大数据概念大数据是指海量、高速度、复杂的、以结构化、半结构化和非结构化数据为基础的数据集。
它也可以是从网络上获取的数据，如新闻报道、社交网络、搜索引擎和类似的信息源。
此外，大数据分析方法也在不断演进，以满足不同领域的需求。
二、大数据特点大数据具有海量、高速度以及多样性三大特点。
其中，海量指的是数据集的大小，例如GB、TB和PB，又称“三袋数据”；高速度指的是数据传输速度，即每秒可处理的数据量；多样性指的是数据集中包含的数据类型，如结构化数据、半结构化数据和非结构化数据。
三、大数据的优势1、模型训练数据量更大大数据使得可以收集更多的训练数据和信息，从而更好地训练模型。
模型的效果受训练数据量的影响，大数据可使模型的效果更好，从而节约时间、提高效率，改善企业的业务。
2、算法效果可提高大数据可以提供更丰富的信息，可以更好地应用算法，提高算法的效果。
例如，大数据可以帮助改进推荐系统，提高用户体验。
3、灵活定制大数据可以支持定制化，根据不同企业的需求，以及特定场景的需求，可以很好地定制方案，节约成本，实现效能的提升。
四、大数据的应用1、金融金融企业可以利用大数据分析来推断客户的信用度，决定是否授予信贷，以及提供相应的金融服务。
此外，大数据也可以帮助金融企业识别和监控金融风险以及发现金融欺诈。
2、电子商务电子商务企业可以使用大数据分析处理的巨量客户数据，通过使用大数据技术，实现客户画像分析、商品推荐分析以及市场预测，以达到有效地提高销售绩效的目的。
3、生产大数据也可以应用于生产领域，比如工厂生产流程的数据分析和优化，以及质量控制、设备保养和维修等等，都可以使用大数据技术来实现。
大数据技术原理与应用教学大纲
大数据技术原理与应用教学大纲一、课程介绍本课程主要介绍大数据技术的基本原理和常见应用。
学生将通过本课程掌握大数据处理的基本方法与技术，了解大数据在不同领域的应用案例，并能够使用相关工具和技术进行大数据处理和分析。
二、课程目标1.理解大数据的基本概念、背景和发展趋势。
2.掌握大数据处理的基本方法和技术，包括数据获取、存储、处理、分析和可视化等。
3.了解大数据在不同领域的应用案例，包括商业、金融、医疗、社交网络、智能交通等。
4. 学习使用大数据处理和分析的相关工具和技术，如Hadoop、Spark、SQL、Python等。
三、教学内容1.大数据概述1.1大数据定义和特点1.2大数据的发展背景和趋势2.大数据处理方法2.1数据获取与清洗2.2数据存储与管理2.3数据处理与分析2.4数据可视化与展示3.大数据应用案例3.1商业与金融领域的大数据应用3.2医疗与健康领域的大数据应用3.3社交网络与推荐系统的大数据应用3.4智能交通与城市管理的大数据应用4.大数据处理与分析工具与技术4.1 Hadoop与MapReduce4.2 Spark与分布式计算4.3SQL与关系型数据库4.4 Python与数据分析5.大数据安全与隐私保护5.1大数据安全的挑战与问题5.2大数据隐私保护的方法与技术四、教学方法1.理论课讲授：通过课堂讲解，介绍大数据的基本理论知识和相关技术。
2.实验操作：通过实验操作，学生亲自使用大数据处理和分析工具，加深对大数据技术的理解和掌握。
3.案例研究：通过实际的大数据应用案例，引导学生分析和解决实际问题，提高实际应用能力。
五、考核方式1.平时成绩（包括参与讨论、实验报告等）占40%。
2.期末考试占60%。
六、教材与参考资料教材：1.《大数据导论》，王磊著，清华大学出版社。
2. 《Hadoop权威指南》，Tom White著，人民邮电出版社。
参考资料：1. 《Spark快速大数据分析》2. 《Python数据分析实战》3.《数据孤岛》4.《深入理解计算机系统》七、教学进度安排第一周：课程介绍、大数据概述第二周：数据获取与清洗第三周：数据存储与管理第四周：数据处理与分析第五周：数据可视化与展示第六周：商业与金融领域的大数据应用第七周：医疗与健康领域的大数据应用第八周：社交网络与推荐系统的大数据应用第九周：智能交通与城市管理的大数据应用第十周：Hadoop与MapReduce第十一周：Spark与分布式计算第十二周：SQL与关系型数据库第十三周：Python与数据分析第十四周：大数据安全与隐私保护第十五周：复习备考以上为《大数据技术原理与应用教学大纲》的大致内容，主要涵盖了大数据的基本概念、处理方法和应用领域，以及相关工具和技术的学习。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3 培训课程列表
1. hadoop 生态系统 （1）HDFS （2）MapReduce2 （3）Hive （4）HBase （5）Sqoop （6）Impala （7）Spark
2. Storm 流计算 3. Flume 分布式数据处理 4. Redis 内存数据库 5． ZooKeeper
（2 课时） （2 课时） （1 课时） （2 课时） （1 课时） （1 课时） （4 课时） （2 课时） （2 课时） （1 课时） （1 课时）
念"Map（映射）"和"Reduce（归约）"，和它们的主要思想，都是从函数式编程语 言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会
分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现 是指定一个 Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并 发的 Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。
4） HBASE
介绍： HBase 是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰
写的 Google 论文“Bigtable：一个结构化数据的分布式存储系统”。就像 Bigtable 利用 了 Google 文件系统（File System）所提供的分布式数据存储一样，HBase 在 Hadoop 之上提供了类似于 Bigtable 的能力。HBase 是 Apache 的 Hadoop 项目的子项目。HBase 不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不 同的是 HBase 基于列的而不是基于行的模式。
培训内容： Hbase 组件的安装 Hbase 与传统 RDBMS 的比较 Hbase 的一些特性 Hbase 的访问方式
培训目标： 使学员初ห้องสมุดไป่ตู้了解 Hive 的作用，以及简单的 Hbase 应用
5） SQOOP
介绍：
Sqoop(发音：skup)是一款开源的工具，主要用于在 HADOOP(Hive)与传统的数 据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres 等）中的数据导进到 Hadoop 的 HDFS 中，也可以将 HDFS 的 数据导进到关系型数据库中。 培训内容：
一个开源的实现，是 Hadoop 和 Hbase 的重要组件。它是一个为分布式应用提供一致性服务 的软件，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。
培训内容： Zookeeper 原理 Zookeeper 部署 Zookeeper 使用（以 java 为例）
培训目标： 使学员能够基本了解 zookeeper 在各种分布式系统中的作用，并初步掌握其使用方式
Sqoop 组件的安装 数据导入导出 Hive 数据导入一致性 培训目标： 使学员了解 Sqoop 的使用，并能做一些简单的 RDBMS 与 Hive 之间的数据导入 导出工作
6） IMPALA
介绍： Impala 是 Cloudera 公司主导开发的新型查询系统，它提供 SQL 语义，能查询
存储在 Hadoop 的 HDFS 和 HBase 中的 PB 级大数据。已有的 Hive 系统虽然也提供了 SQL 语义，但由于 Hive 底层执行使用的是 MapReduce 引擎，仍然是一个批处理过 程，难以满足查询的交互性。相比之下，Impala 的最大特点也是最大卖点就是它的 快速。 培训内容：
内存计算，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计 算范式，是罕见的全能选手。 培训内容：
Spark 的工作模式 Spark 与 Hadoop/MapReduce 的关系与区别 Spark 的安装 Spark 的使用 培训目标： 使学员初步了解 Spark 这种新兴起的技术，以及它与目前广泛使用的 Hadoop 类技术的区别
培训内容： MapReduce 环境配置 JobTracker/TaskTracker 的作用 简单的 MapReduce 示例
培训目标： 使学员初步了解 MapReduce 的工作原理与使用方式
3） HIVE
介绍： hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一
4 培训方式
学员以观看录像、视频会议等方式进行学习，搭建集中环境供大家实习，并设置作 业和答疑环节。每周视频课程约 2 个课时，作业和实习时间约需 2-3 小时，课程持续 10 周左右。
5 课程内容简介
大数据技术在近两年发展迅速，从之前的格网计算、MPP 逐步发展到现在，大数 据技术发展为 3 个主要技术领域：大数据存储、离线大数据分析、在线大数据处理，在 各自领域内，涌现出很多流行的产品和框架。 大数据存储
培训内容 1、redis 的安装
2、redis 试用场景 3、redis 的简要开发方式（JAVA 语言）
目标 通过对 redis 的学些，掌握 redis 简单的安装、配置、开发、试用的方式和方法
5.5 ZooKeeper
介绍： ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务，是 Google 的 Chubby
培训内容 1、FLUME-NG 的安装 2、Flume 的组件分类 3、FLUME-NG 的工作方式 4、FLUME-NG 的配置 5、以 UDP SYSLOG 采集为例，说明 FLUME 的配置
目标 通过对 FLUME 的学习，使学员初步掌握分布式数据采集、拓扑配置的方式和方法
5.4 REDIS
介绍 Redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于内存亦可持久化的日志型、 Key-Value 数据库，并提供多种语言的 API。
大数据应用技术网络课程
1 课程目标
通过讲解几种主流大数据产品和技术的特性、实现原理和应用方向，并组织实习项 目，使学员了解并初步掌握目前流行的大数据主流技术（采集、存储、挖掘等），了解 其特点以及使用的场景，具备一定的大数据系统架构能力，并能自行开展简单的大数据 应用开发。
2 课程内容
本次课程讲解的大数据产品和技术包括：hadoop、storm、flume 等，其中以 hadoop 为 主要培训内容。
5.2 Storm
介绍： Storm 是一个用 Clojure 语言实现的免费开源、分布式、高容错的实时计算系统。Storm
令持续不断的流计算变得容易，弥补了 Hadoop 批处理所不能满足的实时要求。 Storm 经 常用于在实时分析、在线机器学习、持续计算、分布式远程调用和 ETL 等领域。Storm 的 部署管理非常简单，而且，在同类的流式计算工具，Storm 的性能也是非常出众的。
Impala 的工作原理及其与 Hive 的区别 Impala 的一些特性 Impala 的安装 Impala 的访问 培训目标： 使学员初步了解 Impala 的作用，以及简单的 impala 的使用
7） SPARK
介绍： Spark 是发源于美国加州大学伯克利分校 AMPLab 的集群计算平台。它立足于
张数据库表，并提供简单的 sql 查询功能，可以将 sql 语句转换为 MapReduce 任务 进行运行。其优点是学习成本低，可以通过类 SQL 语句快速实现简单的 MapReduce 统计，不必开发专门的 MapReduce 应用，十分适合数据仓库的统计分析。 培训内容：
Hive 组件的安装 Hive 与传统关系型数据库的区别 Hive 的一些特性 Hive 的访问方式 简单 HiveQL 语言介绍 培训目标： 使学员初步了解 Hive 的作用，以及简单的 hiveql
HDFS、HBase 离线大数据分析
MapReduce、Hive 在线大数据处理
Impala、Storm（流处理）、Spark、Redis（内存数据库）、HBase 数据采集
Flume 等 辅助工具
Zookeeper 等
5.1 Hadoop
1） HDFS
介绍： Hadoop 分布 式文件系统(HDFS)被 设计成适合 运行在通 用硬件 (commodity
培训目标： 使学员能够了解流处理的概念、使用场景，Storm 的相关概念以及应用场景
5.3 FLUME
FLUME 介绍 Flume 最早是 Cloudera 提供的日志收集系统，目前是 Apache 下的一个孵化项目，Flume 支持在日志系统中定制各类数据发送方，用于收集数据。 Flume 提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力 Flume 提供 了从 console（控制台）、RPC（Thrift-RPC）、text（文件）、tail（UNIX tail）、syslog（syslog 日志系统，支持 TCP 和 UDP 等 2 种模式），exec（命令执行）等数据源上收集数据的能 力。
培训内容： HDFS 设计的思路 HDFS 的模块组成（NameNode、DataNode） HADOOP Core 的安装 HDFS 参数含义及配置 HDFS 文件访问方式
培训目标： 使学员掌握 HDFS 这个 HADOOP 基础套件的原理、安装方式、配置方法等
2） MAPREDUCE
介绍： MapReduce 是一种编程模型，用于大规模数据集（大于 1TB）的并行运算。概
hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同 时，它和其他的分布式文件系统的区别也是很明显的。HDFS 是一个高度容错性的 系统，适合部署在廉价的机器上。HDFS 能提供高吞吐量的数据访问，非常适合大 规模数据集上的应用。HDFS 放宽了一部分 POSIX 约束，来实现流式读取文件系统 数据的目的。HDFS 是 Apache Hadoop Core 项目的一部分。