大数据导论教学大纲
大数据导论
教学大纲
20xx年xx月
前言
一、大纲编写依据
《大数据导论》是一门通识课程，也是数据科学与大数据专业的必要先修课程，面对大一学生开设。通过该课程学习，让学生了解大数据专业的内涵特点、大数据与社会经济发展的关系以及大数据的主要学科知识和课程体系。同时培养学生大数据处理问题的思维，引导学生认知大数据技术。要求学生了解学习大数据需要掌握的基础技术知识，熟悉海量数据处理的基本流程以及与之匹配使用的主要技术和工具。通过本课程的学习，加深学生对大数据的认识，并为后续专业课程打下良好基础。
二、课程目的
1、知识目标
通过课程学习让学生掌握大数据的概念和基本特征、理清大数据、云计算与人工智能的关系，了解大数据与社会各领域的应用关系。并就大数据硬件架构和处理流程及相关技术与工具介绍，让学生了解数据预处理，Hadoop、Spark、Strom、数据存储及数据分析等技术，为后续相关课程做铺垫，让不同专业学生可选择不同方向继续大数据的深入学习。
2、能力目标
(1) 实践能力
通过本课程的学习，培养自我学习和自我设计的意识和能力；培养数据搜集、加工处理和分析的能力；通过合作学习培养沟通交往、团队协作等能力。
(2) 创新能力
通过学习大数据产生促进新应用、新技术、新工具的产生，培养学生的创新精神，在什么情况下可以尽快抓住机会，促进学生将大数据与生活结合起来，培养使用大数据技术解决问题的思维。
三、教学方法
1、课堂教学
(1) 讲授
本课程的教学内容以讲授为主，讲授的主要内容有大数据的基本概念和基本特征、大数据行业必备基础知识、数据采集与预处理方法、大数据存储与管理、大数据计算框架、数据存储技术、数据分析技术，以及大数据与热门行业云计算和人工智能的结合。根据教学大纲的要求，突出重点和难点。
(2) 教师指导下的学生自学
指导学生自主学习大数据热门技术网络爬虫、Hadoop、Spark及Strom。教师通过给出一些相关的实例帮助学生理解和进行程序设计，并布置相应的习题让学生进行练习。
(3) 其它教学方法
尽可能运用动态演示手段进行多媒体辅助教学，解决好教学内容多、信息量大与学时少
的矛盾；充分利用学校的图书馆的资源优势，查阅与课程相关的资料；通过布置课后学习来提高学生对大数据相关技术的认识。
2、课外学习
作业1：完成本书后每章习题。
作业2;练习掌握Hadoop、Spark及Strom安装和简单使用。
四、适用对象
计算机科学、软件工程及信息安全专业等。
五、先修课程及后续课程（或相关课程）
（一）先修课程：无；
（二）后续课程：《Hadoop大数据技术》《数据导入与预处理》《NoSQL数据库原理与应用》《大数据应用开发语言》
六、课程性质
必修。
七、总课时及各章的分配
授课总课时数为32学时，各章的学时具体安排如下：
八、使用教材及主要参考书目
（一）选用教材
自编。
（二）主要参考书目
《大数据导论》
《云计算与大数据技术应用》
九、考核方式及成绩评定标准
1、考核内容与形式
(1) 知识类考核
本课程采用开卷考试形式。重点考试内容：大数据基础知识，大数据、云计算与人工智能的关系，大数据硬件架构，数据采集与预处理方法，Hadoop、Spark及Strom的特点、大
数据存储与管理、数据分析等。
(2) 能力类考核
利用学生平时作业、课堂提问与讨论考查学生的学习能力，理解和掌握相关知识的程度以及实际应用能力。
2、课程成绩构成
(1) 平时成绩占百分比
平时成绩(包括平时考勤、作业情况、课堂表现)占总分60%
(2) 考试成绩占百分比
期末考试成绩占总分40%
第一章大数据概述
第一节什么是大数据
从数据的产生和如何利用大数据的角度来认识大数据产生的原因，从而了解大数据概念。
第二节大数据的数据特征及对科学研究的影响了解大数据时代的4个数据特征，对科学研究的影响以及处理方法。
第三节大数据的数据类型
理解大数据的数据类型，即结构化数据、半结构化数据和非结构化数据。
第四节大数据的价值及相关技术
了解大数据在社会各领域的价值及所使用的技术。
第五节大数据的发展趋势
了解大数据在未来的发展趋势，主要有八种发展趋势。
第二章大数据与云计算
第一节云计算概述
了解云计算的概念和特点。
第二节云计算的主要部署模式
理解云计算主要的部署模式，主要可分为：公有云计算、私有云计算和混合云计算。
第三节云计算的主要服务模式
理解云计算三种服务模式（基础设施即服务IaaS、平台即服务PaaS和软件即服务SaaS）以及它们之间的关系。
第四节云计算与大数据体系架构关系
了解云计算的基础设施以及大数据的基础设施。
第五节物联网、大数据和云计算之间的关系
了解物联网、边缘计算、雾计算以及大数据和云计算之间的关系。
第三章从产业结构来探索大数据技术
第一节大数据产业结构示意图概述
了解大数据的产业结构，以及支持产业结构所需要的技术。
第二节大数据的解决方案
理解大数据的处理方式，以及相应的技术。
第三节大数据采集技术
了解Scrapy爬虫，重点掌握日志采集系统——Flume以及消息采集系统--Kafka。
第四节大数据预处理技术
理解数据预处理流程，重点掌握数据清洗、数据集成、数据规约。
第五节大数据可视化技术
了解数据可视化，以及可视化的分类和所使用的工具。
第四章大数据的硬件架构——集群
第一节集群的来源
了解集群的历史发展及其重要性。
第二节集群的产生促进了大数据技术发展
了解由集群的产生所促进的大数据技术。
第三节集群系统的概念及分类
重点掌握集群的基本概念以及集群的分类。
第四节集群的结构模型
重点掌握主/主结构模型，理解主/从结构模型以及混合型结构模型。
第五节集群的文件系统
了解由集群文件系统的概念及分类。
第五章大数据开发与计算技术
第一节 Hadoop——分布式大数据系统
了解Hadoop概述以及生态系统，重点理解Hadoop架构。
第二节 Spark——大规模数据的实时处理系统
了解Spark的特点及Spark的拓展功能，重点掌握Spark RDD计算模型。
第三节 Storm——拓扑的流数据实时计算系统
了解Storm的特点以及Storm-Yarn概述，重点掌握Storm的组成结构。
第四节 Hadoop、Spark与Storm的比较
了解Hadoop、Spark与Storm处理类型的不同。
第五节大数据开发与Web应用开发技术的比较
了解大数据开发和Web应用开发的概念，以及它们所应用的环境。
第六章大数据存储技术
第一节数据存储概述
理解数据存储的概念。
第二节分布式文件系统
了解分布式文件系统的设计思路，以及在大数据环境下分布式文件系统的优化思路。
第三节结构化大数据的存储——Hive
理解Hive的概念，重点掌握Hive架构，以及Hive使用的数据模型和储存。
第四节半结构化大数据的存储——HBase
理解HBase的概念，重点掌握HBase的数据模型以及存储架构。
第五节云存储技术
理解云存储的概念以及云存储的结构模型，了解云存储的应用。
第七章大数据分析
第一节大数据分析与数据分析的关系
了解大数据分析与数据分析的关系。
第二节大数据分析的重要性及认识数据
了解大数据分析的重要性，理解数据的概念类型。
第三节大数据可视化工具
重点掌握统计数据的四种类型。
第四节基于机器学习的数据分析
理解机器学习的概念，以及机器学习的主要任务，重点掌握三种类型的机器学习。
第五节经典的机器学习算法
了解分类算法原理，重点掌握四类机器学习算法。
第六节基于图的数据分析
了解基于图的数据分析。
第七节基于自然语言的数据分析
了解基于自然语言的数据分析。
第八章大数据与人工智能
第一节人工智能时代的到来
理解解人工智能的概念，以及人工智能有关的产业分析，了解人工智能的发展史。
第二节什么限制着人工智能的发展
了解人工智能发展所面临的困难。
第三节大数据与人工智能的关系
理解从三个方面谈大数据与人工智能的关系。
第四节人工智能技术的发展趋势
理解深度学习的概念，了解卷积神经网络以及图像数据处理技术。