《Hadoop大数据技术与应用》教学大纲 - 20180823

Hadoop大数据技术与应用 （含实验） （1104201510） 教 学 大 纲

（2018版）

曙光瑞翼教育合作中心 2018年8月 前 言 一、大纲编写依据 《Hadoop大数据技术与应用》是数据科学、大数据方向本科生的一门必修课。通过该课程的学习，使学生系统的学习当前广泛使用的大数据Hadoop平台及其主要组件的作用及使用。课程由理论及实践两部分组成，课程理论部分的内容以介绍Hadoop平台主要组件的作用、结构、工作流程为主，让学生对Hadoop平台组件的作用及其工作原理有比较深入的了解；课程同时为各组件设计有若干实验，帮助学生在学习理论知识的同时，提高学生的实践能力，系统的掌握Hadoop主要组件的原理及应用，为其他相关课程的学习提供必要的帮助。 二、课程目的 1、知识目标 学习Hadoop平台框架，学会手动搭建Hadoop环境，掌握Hadoop平台上存储及计算的原理、结构、工作流程，掌握基础的MapReduce编程，掌握Hadoop生态圈常用组件的作用、结构、配置和工作流程，并具备一定的动手及问题分析能力，使用掌握的知识应用到实际的项目实践中。 2、能力目标 (1) 工程师思维方式 通过本课程的学习，引导学生养成工程师逻辑思维、系统思维的思维方式及习惯。 (2) 分析及解决问题的能力 课程中实验由浅及深，有一定的步骤及难度，操作不当可能会遇到问题；遇到问题时老师会给出引导，但不会直接告诉解决方法，因此，如何分析、分析完成后实施具体的解决步骤，都需要学生摸索完成，在这个摸索实践过程中，学生的分析及解决问题的能力得到培养。 三、教学方法 1、课堂教学 (1) 讲授 本课程的理论教学内容以讲授为主、辅以操作演示，讲授的主要内容有：Hadoop概述，Hadoop安装部署，分布式文件系统HDFS，分布式计算MapReduce，资源管理调度组件YARN，列式存储HBase，数据仓库组件Hive，数据分析引擎Pig，日志采集组件Flume，数据迁移组件Sqoop，集群管理组件Ambari，分布式应用程序协调组件Zookeeper，集成的可扩展的机器学习算法库Mahout。根据教学大纲的要求，突出重点和难点。 (2) 实践 实践课程由若干实验组成，每个实验都包含实验目的、实验原理、实验环境等，需要学生结合理论知识，充分发挥自主学习的能力来完成实验，老师在这个过程中更多起到辅导的作用。 (3) 其它教学方法 采用多媒体辅助教学手段、提供实验相关视频，结合传统教学方法，解决好教学内容多、信息量大与学时少的矛盾；充分利用教学实验系统EDU资源和学校的图书馆的资源优势，查阅与课程相关的资料；通过辅导学生完成实验来提高学生的综合处理问题的能力和软件开发的能力。

2、课外学习 （1） 课外练习。 （2） 上机实验报告。 四、适用对象 数据科学与大数据技术、计算机科学与技术、软件工程、信息安全、信息管理、网络、数学、统计学专业。 五、先修课程及后续课程（或相关课程） （一）先修课程：《高级语言程序设计（Java）》、《Linux》、《大数据导论》、《数据库原理》； （二）后续课程：《数据挖掘》、《Spark大数据技术与应用》。 六、课程性质 必修。 七、总课时及各章的分配 授课总课时数为64学时，各章的学时具体安排如下： 章 节 教 学 内 容 理论学时 实验学时 合计 第一章 初识Hadoop大数据技术 2 0 2 第二章 Hadoop环境设置 2 4 6 第三章 HDFS（重点章节） 6 8 14 第四章 YARN 2 0 2 第五章 MapReduce（重点章节） 6 8 14 第六章 HBase、Hive、Pig（重点章节） 8 8 16 第七章 Flume 1 1 2 第八章 Sqoop 1 1 2 第九章 ZooKeeper 3 2 5 第十章 Ambari 1 0 1 第十一章 Mahout 0 0 0 总结 课程总结、综合实验 0 0 0 合计 32 32 64 八、使用教材及主要参考书目 （一）选用教材 自编教材：《Hadoop大数据技术与应用》 （二）主要参考书目 1．Tom White：《Hadoop权威指南:大数据的存储与分析（第4版）》，清华大学出版社，2017年7月。 2．林子雨：《大数据技术原理与应用:概念、存储、处理、分析与应用(第2版)》，人民邮电出版社，2017年1月。 九、考核方式及成绩评定标准 1、考核内容与形式 (1) 知识类考核 本课程采用闭卷考试形式。重点考试内容：HDFS、MapReduce、HBase、Hive、Pig、Flume、Sqoop等组件的使用方法。 (2) 能力类考核 利用学生平时作业、课堂提问与讨论考查学生的学习能力，理解和掌握相关知识的程度以及实际应用能力。 通过实验考查学生的实践动手能力、软件开发能力，促进学生自主性学习和研究性学习，启迪学生的创新思维。 2、课程成绩构成 (1) 平时成绩占百分比 平时成绩(包括平时考勤、作业情况和上机实验情况)占总分40%； (2) 考试成绩占百分比 期末考试成绩占总分60% 第一章 初识Hadoop大数据技术

第一节 大数据概述 了解什么是大数据、大数据简史、大数据的类型和特征、大数据对于企业带来的挑战。 第二节 大数据相关问题的解决方法（本章重点）

了解对于大数据问题，传统方法、Google的解决方案、Hadoop框架下的解决方案，重点了解Google的三篇论文。 第三节 Hadoop概述（本章重点）

了解Hadoop核心构成、Hadoop生态系统的主要组件、Hadoop发行版本的差异及如何选择。 第四节 Hadoop应用案例 了解Hadoop典型应用场景。 第二章 Hadoop环境设置

第一节 安装前准备 了解Hadoop环境搭建前所需做的准备工作。 第二节 Hadoop模式（本章重点）

逐一介绍Hadoop的三种模式：单机、伪分布式和完全分布式。 第三章 HDFS（重点章节）

第一节 HDFS简介 掌握HDFS组件的作用、优缺点。 第二节 HDFS组成与架构（本章重点）

掌握HDFS的组成与架构：NameNode、DataNode、SecondaryNameNode等，掌握工作流程。 第三节 HDFS工作机制（本章重点、难点）

掌握机架感应、HDFS文件读取写入流程、掌握HDFS数据容错相关处理机制。 第四节 HDFS操作（本章重点、难点）

从Web访问、HDFS Shell、HDFS API三个方面掌握HDFS操作。 第五节 HDFS高级功能

了解HDFS高级功能，包括：安全模式、回收站、快照、配额。 第四章 YARN

第一节 YARN简介 了解YARN的作用，了解YARN出现的原因，以帮助下一节对YARN的结构有更好的理解。 第二节 YARN架构（本章难点） 了解YARN组件、YARN工作流程（重点）、YARN资源模型。 第三节 YARN调度组件

了解YARN调度组件，了解FIFO调度器，了解Capacity调度器和Fair调度器。 第五章 MapReduce（重点章节）

第一节 MapReduce概述 了解MapReduce指的是什么，重点掌握MapReduce设计思想，了解MapReduce特点和不擅长的场景。 第二节 MapReduce编程模型（本章重点、难点）

重点掌握MapReduce编程模型，掌握MapReduce编程实例之wordcount、统计各个部门员工薪水总和、序列化。 第三节 MapReduce编程进阶（本章难点）

了解MapReduce的数据输入、输出格式，掌握分区和合并的概念。 第四节 MapReduce工作机制（本章重点、难点）

重点掌握MapReduce作业运行机制，掌握Shuffle与排序。 第五节 MapReduce编程案例

通过案例，熟悉MapReduce常用编程案例之排序、去重和多表查询。 第六章 HBase、Hive、Pig（重点章节）

第一节 HBase 一、了解什么是HBase。 二、掌握HBase数据模型。（本节重点） 三、掌握HBase物理模型。 四、了解HBase系统架构。（本节重点） 五、了解HBase与传统数据库的差异。 第二节 Hive

一、了解Hive架构与工作原理。 二、掌握Hive数据类型与存储格式。（本节重点） 三、掌握Hive数据模型。（本节重点） 四、掌握查询数据。（本节重点） 五、了解用户定义函数。 第三节 Pig

一、了解什么是Pig：Pig组件、Pig与Hive的比较；重点了解Pig数据模型。 二、掌握什么是Pig Latin编程语言：数据类型、语句、表达式、函数。（本节重点） 三、掌握Pig代码实例。（本节重点） 四、了解用户自定义函数。 第七章 Flume

第一节 Flume产生的背景 了解Flume产生的背景。 第二节 Flume简介

了解什么是Flume。 第三节 Flume安装

掌握Flume安装。 第四节 Flume架构（本章重点）

掌握Flume架构和工作方式。 第五节 Flume配置（本章重点）

掌握Flume常用的配置。 第八章 Sqoop

第一节 Sqoop背景简介 了解Sqoop产生的背景及作用。 第二节 Sqoop基本原理

掌握Sqoop工作原理。