《大数据处理与云计算》教学大纲

《大数据处理与云计算》教学大纲课程类别：专业教育课课程名称：大数据处理与云计算

开课单位：信息与通信工程学院课程编号：N03050703

总学时：40学分：2.5

适用专业：信息工程专业

先修课程：无

一、课程在教学计划中的地位、作用

大数据处理与云计算是信息工程专业高年级学生开设的一门专业教育课。本课程主要学习大数据处理和云计算的相关原理和技术，根据实际需求，构建相应的大数据处理和云计算平台框架。

通过本课程学习，使学生掌握大数据的采集、传输、处理和应用的技术，了解Hadoop分布式系统基础架构，掌握HDFS和MapReduce技术。了解HBase、Hive、Zookeeper、Avro、Pig等相关大数据技术，与实际工程应用相结合，构建相应的云计算平台。教学应当结合实际实验条件，培养学生实践动手能力，了解大数据技术发展现状，促进大数据相关教学改革。

二、课程教学内容、要求及学时分配

第一章大数据与云计算概况

1、了解大数据概念

2、了解大数据的产生、应用和作用

3、了解云计算技术的概述

4、了解云计算的特点及技术分类

5、了解大数据与云计算、物联网之间的关系

第二章大数据处理与云计算的关键技术

1、理解大数据处理的基本流程

2、掌握大数据的关键技术

3、理解大数据的处理工具

4、了解大数据面临的挑战

5、理解云计算及关系型数据库

第三章Hadoop

1、了解Hadoop概述

2、了解Hadoop发展简史

3、理解Hadoop的功能与作用

4、了解Hadoop的优缺点

5、了解Hadoop的应用现状和发展趋势

6、掌握Hadoop项目及其结构

7、掌握Hadoop的体系结构

8、掌握HDFS的体系结构

第四章MaReduce

1、理解分布式并行编程

2、理解MapReduce模型概述

3、掌握Map和Reduce函数

4、掌握MapReduce工作流程

5、掌握并行计算的实现

6、掌握新的MapReduce框架：Yarn

7、理解新旧HadoopMapReduce框架的对比第五章HDFS

1、理解HDFS的假设与目标

2、理解HDFS的相关概念

3、掌握HDFS体系结构

4、掌握HDFS命名空间

5、掌握HDFS存储原理

6、掌握通讯协议

7、理解数据错误和异常

8、理解从HDFS看分布式文件系统的设计需求第六章Zookeeper

1、了解Zookeeper简介

2、掌握Zookeeper的工作原理

3、理解Zookeeper的数据模型

第七章HBase海量实时处理实战技巧

1、理解HBase简介和架构

2、掌握HBase核心知识点

3、掌握HBase高级应用

4、理解HBase应用场景

5、理解HBase常用接口和SQL引擎层实战

6、理解基于HadoopV1和V2使用HBase的异同

第八章基于HadoopV2的Hive/Pig开发技巧

1、理解Hive和Pig架构和理论基础

2、理解Hive的作用和原理说明

3、掌握Hadoop仓库和传统数据仓库的协作关系

4、理解Hadoop/Hive仓库数据数据流

5、理解基于HadoopV1和V2使用Hive和Pig等工具的异同

6、HQL基本语法

第九章实时流框架StormonYARN（HadoopV2）实战技巧

1、理解实时流计算的概念

2、理解Storm的概念、核心组件、特性

3、理解Storm核心概念和数据流模型

4、了解运行基于Storm的编程实例

第十章内存计算框架SparkonYARN（HadoopV2）实战技巧

1、理解Spark核心架构

2、掌握在YARN上安装Spark

3、理解Spark集群配置介绍

4、理解Spark多语言编程

第11章云数据库

1、了解云数据库概述

2、了解云数据库的特性及其需求

3、理解云数据库与传统的分布式数据库

4、了解云数据库产品

5、理解数据模型

6、理解数据访问方法及编程模型

三、实验

四学时分配