大数据导论思维、技术与应用教学大纲
《大数据技术导论》课程教学大纲
《大数据技术导论》课程教学大纲TechnoIogy of Cloud Computing and Big Data一、课程基本情况课程编号：课程类别：专业基础课课程学分：3学分课程总学时：48学时，其中讲课：32学时，实验（含上机）：16学时课程性质：考试开课学期：第1学期先修课程：大学生计算机基础适用专业：大数据技术、计算机应用技术、人工智能技术应用相关专业教材：大数据技术导论（第2版），程显毅任越美主编，机械工业出版社，2022.8 开课单位：计算机科学与技术学院二、课程性质、教学目标和任务《大数据技术导论》课程是计算机应用技术专业、大数据技术专业、人工智能技术应用专业必修的一门基础课程，具有很强的实践性和应用性。
主要培养学生大数据平台运维、大数据分析和数据可视化基本思想和基本技能，为后续的数据挖掘应用性课程和数据产品开发课程的学习打好编程基础。
本课程设置的目的是通过对Hadoop, HDFS, MapReduce, HBase, Hive的学习，较好地训练学生大数据平台运维、数据分析和数据展现，使学生具有数据分析和数据展现的能力，为培养学生有较强数据开发能力打下良好基础。
本课程的思政目标1）理解全量思维源自量变到质变，大事业都是从点滴小事情积累起来的。
2）理解相关思维是善于抓机遇，良机只有一次，错过就不再来。
3）理解容错思维源理解和大度，学习别人的优点，完善自身。
4）理解数据分析源自发现人生价值，在有限生命中实现无限价值的人生。
5）理解数据敏感源自用数据讲故事，用数据展现祖国的发展，感受祖国的强大。
6）理解分布式处理源自协作，合作可以充实你的人生。
7）理解数据清洗源自质量第一，保证在激烈竞争中利于不败之地。
8）理解业务理解源自知己知彼，莫愁前路无知己，天下谁人不识君。
9）理解数据安全源自责任重于泰山，少年智则国智，少年强则国强。
10）理解大数据让世界变得透明源自自知者明，最难了解的自己。
三、教学内容和要求1.概论（8学时）（1）了解大数据技术产生的历史必然；（2）理解大数据的特征；（3）理解大数据生命周期；（4）理解大数据、云计算、物联网之间的相互关系；（5）了解大数据带来的变革；（6）理解大数据思维的基本原理；(7)理解数据的价值；(8)熟练安装部署虚拟机；(9)掌握LinUX常用操作;目的：通过上述知识的学习，使学生了解大数据基本概念、特征、思维、工具和技术。
2024年度《大数据技术导论》课程教学大纲
NoSQL数据库概述
阐述NoSQL数据库的概念、特点及其与关系型数据库的区别。
主要NoSQL数据库类型
介绍键值存储、列式存储、文档存储和图形存储等主要的NoSQL 数据库类型及其代表产品。
NoSQL数据库应用案例
展示NoSQL数据库在不同领域的应用实例，如MongoDB在Web 开发中的应用、Cassandra在分布式系统中的应用等。
及其在大数据存储中的角色。
HDFS架构与原理
02
详细解析HDFS的架构，包括NameNode、DataNode、Block
等核心概念，以及其高可的基本操作指南，如文件的上传、下载、查看等，并
通过实例演示其用法。
12
NoSQL数据库简介
2024/3/23
数据加密技术
采用先进的数据加密技术，确保数据在传输和存储过程中的安全性 。
隐私保护法规
制定和完善隐私保护法规，规范大数据的收集、存储和使用行为，保 护个人隐私不受侵犯。
2024/3/23
24
数据质量与治理问题
数据质量问题
大数据中存在着大量重 复、错误和不完整的数 据，严重影响数据分析 结果的准确性和可信度 。
2024/3/23
智能能源管理
利用大数据和物联网技术 ，实现能源的智能分配和 优化。
公共安全监控
通过大数据分析，提高城 市公共安全监控和应急响 应能力。
22
06 大数据挑战与未来发展
2024/3/23
23
数据安全与隐私保护问题
数据泄露风险
随着大数据技术的广泛应用，数据泄露事件频繁发生，对企业和个 人隐私造成严重威胁。
10
讲解数据可视化的基本 原理和常用工具，如 Tableau、D3.js等，以 及如何将分析结果以直 观的方式呈现出来。
大数据导论教学大纲
大数据导论教学大纲20xx年xx月前言一、大纲编写依据《大数据导论》是一门通识课程，也是数据科学与大数据专业的必要先修课程，面对大一学生开设。
通过该课程学习，让学生了解大数据专业的内涵特点、大数据与社会经济发展的关系以及大数据的主要学科知识和课程体系。
同时培养学生大数据处理问题的思维，引导学生认知大数据技术。
要求学生了解学习大数据需要掌握的基础技术知识，熟悉海量数据处理的基本流程以及与之匹配使用的主要技术和工具。
通过本课程的学习，加深学生对大数据的认识，并为后续专业课程打下良好基础。
二、课程目的1、知识目标通过课程学习让学生掌握大数据的概念和基本特征、理清大数据、云计算与人工智能的关系，了解大数据与社会各领域的应用关系。
并就大数据硬件架构和处理流程及相关技术与工具介绍，让学生了解数据预处理，Hadoop、Spark、Strom、数据存储及数据分析等技术，为后续相关课程做铺垫，让不同专业学生可选择不同方向继续大数据的深入学习。
2、能力目标(1) 实践能力通过本课程的学习，培养自我学习和自我设计的意识和能力；培养数据搜集、加工处理和分析的能力；通过合作学习培养沟通交往、团队协作等能力。
(2) 创新能力通过学习大数据产生促进新应用、新技术、新工具的产生，培养学生的创新精神，在什么情况下可以尽快抓住机会，促进学生将大数据与生活结合起来，培养使用大数据技术解决问题的思维。
三、教学方法1、课堂教学(1) 讲授本课程的教学内容以讲授为主，讲授的主要内容有大数据的基本概念和基本特征、大数据行业必备基础知识、数据采集与预处理方法、大数据存储与管理、大数据计算框架、数据存储技术、数据分析技术，以及大数据与热门行业云计算和人工智能的结合。
根据教学大纲的要求，突出重点和难点。
(2) 教师指导下的学生自学指导学生自主学习大数据热门技术网络爬虫、Hadoop、Spark及Strom。
教师通过给出一些相关的实例帮助学生理解和进行程序设计，并布置相应的习题让学生进行练习。
《大数据导论》,林子雨编著 教学大纲
《大数据导论》,林子雨编著教学大纲本课程是一门介绍大数据概念、技术和应用的导论课程。
学生将在此课程中了解大数据的定义、特点、处理方法、分析技术和应用场景。
通过本课程的学习，学生将掌握大数据的基本概念和技术知识，以及了解大数据在不同领域的应用和发展趋势。
二、课程教学目标本课程旨在帮助学生：1.理解大数据的概念和特点；2.掌握大数据的处理方法和分析技术；3.了解大数据在不同领域的应用场景；4.了解大数据的发展趋势和未来发展方向。
三、课程内容本课程的主要内容包括以下几个方面：1.大数据概念和特点；2.大数据处理方法和技术；3.大数据分析技术和应用；4.大数据在不同领域的应用场景；5.大数据的发展趋势和未来发展方向。
四、教学方法本课程采用多种教学方法，包括讲授、互动讨论、案例分析、课程设计等，以帮助学生深入理解大数据概念、技术和应用。
五、考核方式本课程的考核方式主要包括平时成绩和期末考试成绩。
平时成绩包括课堂表现、作业完成情况等；期末考试成绩占总成绩的70%左右。
六、教材参考书目1.《大数据时代》雷颐著2.《大数据的互联世界》马化腾著3.《大数据技术与应用》吴军著4.《大数据导论》林子雨编著5.《大数据分析与挖掘技术》刘洋著七、教学进度安排第一周：课程介绍、大数据概念和特点第二周：大数据处理方法和技术第三周：大数据分析技术和应用第四周：大数据在不同领域的应用场景第五周：大数据的发展趋势和未来发展方向第六周：总结与复习八、备注本课程的教学内容和进度安排仅供参考，实际教学中可根据学生情况进行适当调整。
《大数据技术及应用》教学大纲[3页]
![《大数据技术及应用》教学大纲[3页]](https://img.taocdn.com/s3/m/8dd310c83968011ca20091d9.png)
教学难点：利用pyhdfs实现HDFS文件系统的操作
4+2
第5章HBase基础与应用
教学内容：
（1）HBase的体系结构、核心组件和工作原理
（2）HBase的常用命令，使用命令对HBase系统进行操作
（3）利用Jyhdfs实现HBase数据库系统的操作
课程学习目标
学习目标1：掌握大数据的基本原理、主流的大数据处理平台和技术方法。
学习目标2：提高学生应用大数据思维和技术方法解决实际问题的能力。
学习目标3：培养学生运用大数据技术中的科学思维与计算思维，激发学生科技报国、奉献社会的情怀和使命担当。
二、课程教学内容和学时分配
章节
教学内容及其重难点
学时安排
4+2
第8章大数据分析与挖掘
教学内容：
（1）数据的描述性分析
（2）回归、分类与聚类的基本原理与常用算法
（3）分布式大数据挖掘算法典型案例
教学重点：回归、分类与聚类的基本原理与常用算法
教学难点：基于MapReduce的分布式大数据挖掘算法的设计与实现
4+2
第9章数据可视化
教学内容：
（1）数据可视化的常用方法
《大数据技术及应用》课程教学大纲
一、课程基本信息
课程
编号
课程
名称
大数据技术及应用
课 程 基 本 情 况
学时
32（课堂）+18（实验）
课程性质
专业选修
先修课程
高级语言程序设计，数据库原理
考核方式
考试，作业考核，课堂表现考核
教材及
参考书
教材：严宣辉，张仕，赖会霞，韩凤萍.大数据技术及应用—基于Python语言.电子工业出版社.2021.10
大数据技术原理与应用教学大纲
大数据技术原理与应用教学大纲一、课程介绍本课程主要介绍大数据技术的基本原理和常见应用。
学生将通过本课程掌握大数据处理的基本方法与技术，了解大数据在不同领域的应用案例，并能够使用相关工具和技术进行大数据处理和分析。
二、课程目标1.理解大数据的基本概念、背景和发展趋势。
2.掌握大数据处理的基本方法和技术，包括数据获取、存储、处理、分析和可视化等。
3.了解大数据在不同领域的应用案例，包括商业、金融、医疗、社交网络、智能交通等。
4. 学习使用大数据处理和分析的相关工具和技术，如Hadoop、Spark、SQL、Python等。
三、教学内容1.大数据概述1.1大数据定义和特点1.2大数据的发展背景和趋势2.大数据处理方法2.1数据获取与清洗2.2数据存储与管理2.3数据处理与分析2.4数据可视化与展示3.大数据应用案例3.1商业与金融领域的大数据应用3.2医疗与健康领域的大数据应用3.3社交网络与推荐系统的大数据应用3.4智能交通与城市管理的大数据应用4.大数据处理与分析工具与技术4.1 Hadoop与MapReduce4.2 Spark与分布式计算4.3SQL与关系型数据库4.4 Python与数据分析5.大数据安全与隐私保护5.1大数据安全的挑战与问题5.2大数据隐私保护的方法与技术四、教学方法1.理论课讲授：通过课堂讲解，介绍大数据的基本理论知识和相关技术。
2.实验操作：通过实验操作，学生亲自使用大数据处理和分析工具，加深对大数据技术的理解和掌握。
3.案例研究：通过实际的大数据应用案例，引导学生分析和解决实际问题，提高实际应用能力。
五、考核方式1.平时成绩（包括参与讨论、实验报告等）占40%。
2.期末考试占60%。
六、教材与参考资料教材：1.《大数据导论》，王磊著，清华大学出版社。
2. 《Hadoop权威指南》，Tom White著，人民邮电出版社。
参考资料：1. 《Spark快速大数据分析》2. 《Python数据分析实战》3.《数据孤岛》4.《深入理解计算机系统》七、教学进度安排第一周：课程介绍、大数据概述第二周：数据获取与清洗第三周：数据存储与管理第四周：数据处理与分析第五周：数据可视化与展示第六周：商业与金融领域的大数据应用第七周：医疗与健康领域的大数据应用第八周：社交网络与推荐系统的大数据应用第九周：智能交通与城市管理的大数据应用第十周：Hadoop与MapReduce第十一周：Spark与分布式计算第十二周：SQL与关系型数据库第十三周：Python与数据分析第十四周：大数据安全与隐私保护第十五周：复习备考以上为《大数据技术原理与应用教学大纲》的大致内容，主要涵盖了大数据的基本概念、处理方法和应用领域，以及相关工具和技术的学习。
大数据技术原理与应用 课程教学大纲
大数据技术原理与应用课程教学大纲课程名称：大数据技术原理与应用课程类型：专业选修课课程学时：60学时课程教学目标：本课程旨在介绍大数据技术的原理和应用，使学生了解大数据技术的基本概念、关键技术和应用场景，并具备基本的大数据技术分析和应用能力。
通过本课程的学习，学生将能够掌握大数据技术的基本原理、企业级大数据技术体系结构、大数据分析方法和工具、大数据应用案例等知识，为学生未来从事大数据相关职业提供良好的基础。
授课内容和教学安排：第一章：大数据技术概述1.1 大数据技术的定义和特点1.2 大数据对社会和企业的影响1.3 大数据技术的发展历程1.4 大数据技术体系结构和组成部分第二章：大数据存储和处理技术2.1 大数据存储技术概述2.2 关系型数据库和NoSQL数据库2.3 Hadoop分布式文件系统2.4 大数据处理技术概述2.5 大数据处理框架：Hadoop MapReduce第三章：大数据挖掘和分析技术3.1 数据挖掘概述3.2 数据预处理和特征选择3.3 分类和聚类算法3.4 关联规则挖掘和推荐系统3.5 大数据分析工具概述：Spark、Flink等第四章：大数据应用实践4.1 电商大数据分析实践4.2 社交媒体数据分析实践4.3 金融数据分析实践4.4 健康医疗数据分析实践第五章：大数据技术发展趋势和展望5.1 大数据技术的发展趋势5.2 大数据技术在人工智能和物联网中的应用5.3 大数据伦理和安全问题教学方法：本课程采用多种教学方法，包括理论讲解、实例分析、案例研究和实践操作等。
通过理论讲解，学生将了解大数据技术的基本概念和原理；通过实例分析，学生将掌握大数据技术在实际场景中的应用方法；通过案例研究，学生将学会分析和解决大数据相关问题；通过实践操作，学生将运用所学知识完成大数据分析任务。
同时，教师将引导学生参与小组讨论和项目实践，促进学生的合作能力和创新思维。
评估方式：本课程的评估方式包括平时成绩和期末考试成绩两部分。
《大数据技术与应用》课程教学大纲
《大数据技术与应用》教学大纲一、课程基本信息1.课程代码：211226002.课程中文名称：大数据技术与应用课程英文名称：Technologies and Applications of Big Data3.面向对象：信息工程学院软件工程系三年级学生4.开课学院(课部)、系(中心、室)：信息工程学院软件工程系5.总学时数：40讲课学时数：24,实验学时数：166.学分数：2.57.授课语种：中文，考试语种：中文8.教材：待定二、课程内容简介课程将系统讲授大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、分布式并行编程模型MapReduce,流计算、图计算、数据可视化以及大数据在互联网、生物医学和物流等各个领域的应用。
三' 课程的地位、作用和教学目标专业选修课，大数据技术入门课程，为学生搭建起通向“大数据知识空间”的桥梁和纽带，以“构建知识体系、说明基本原理、引导初级实践、了解相关应用”为原那么，为学生在大数据领域“深耕细作”奠定基础、指明方向。
在Hadoop、HDFS> HBase和MapReduce等重要章节，安排了入门级的实践操作，让学生更好地学习和掌握大数据关键技术。
四'与本课程相联系的其他课程先修课程：数据库系统概论、计算机高级语言程序设计五' 教学基本要求(1)能够建立对大数据知识体系的轮廓性认识，了解大数据开展历程、基本概念、主要影响、应用领域、关键技术、计算模式和产业开展，并了解云计算、物联网的概念及其与大数据之间的紧密关系；(2)能够了解Hadoop的开展历史、重要特性和应用现状，Hadoop工程结构及其各个组件, 并熟练掌握Hadoop平台的安装和使用方法；(3)能够了解分布式文件系统的基本概念、结构和设计需求，掌握Hadoop分布式文件系统HDFS的重要概念、体系结构、存储原理和读写过程，并熟练掌握分布式文件系统HDFS 的使用方法；(4)能够了解分布式数据库HBase的访问接口、数据模型、实现原理和运行机制，并熟练掌握HBase的使用方法；（5）能够了解NoSQL数据库与传统的关系数据库的差异、NoSQL数据库的四大类型以及NoSQL数据库的三大基石；基本掌握Redis、MongoDB等NoSQL数据库的使用方法；（6）能够了解云数据库的概念、基本原理和代表性产品的使用方法；（7）能够熟练掌握分布式编程框架MapReduce的基本原理和编程方法；（8）能够了解流计算与批处理的区别，以及流计算的基本原理；（9）能够了解图计算的基本原理；（10）能够了解数据可视化的概念和相关工具；（11）能够了解大数据在互联网等领域的典型应用。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
大数据导论
1. 课程简介
本课程的主要目的是让学生了解什么是大数据，大数据的特点，大数据思维，大数据的核心技术，大数据应用，大数据带来的变革，以及大数据面临的挑战，从而使学生对大数据技术和应用有一个初步的了解。
本课程重视演示和实战，以便使学生通过亲身体验来理解和掌握大数据的核心概念。
2. 课程安排（74学时：42学时讲课，6学时演示，26学时实验）
第一阶段：大数据概述（8+4+0）
第一课：（理论：2学时）
第一章大数据概述
第二课：（理论：2学时）
第二章大数据采集
第三课：（理论：2学时）
第三章大数据预处理
第四课：（演示：2学时）
演示一：大数据技术演示
第五课：（理论：2学时）
第四章大数据处理系统
第六课：（演示：2学时）
演示二：大数据应用演示
第二阶段：大数据存储技术（8+0+8）
第七课：（理论：2学时）
第五章大数据文件系统HDFS
第八课：（使用：2学时）
实验一：分布式文件系统HDFS使用
第九课：（理论：2学时）
第六章 NoSQL数据库HBase
第十课：（实验：2学时）
实验二：列式数据库HBase使用
第十一课：（理论：2学时）
第七章数据仓库Hive
第十二课：（理论：2学时）
第七章数据仓库Hive
第十三课：（实验：2学时）
实验三：HiveQL 命令行的使用
第十四课：（实验：2学时）
实验四：使用JDBC程序操作数据库
第三阶段：大数据处理技术（12+0+10）第十五课：（理论：2学时）
第八章大数据批处理Hadoop MapReduce
第十六课：（理论：2学时）
第八章大数据批处理Hadoop MapReduce
第十七课：（实验：2学时）
实验五：批处理模式MapReduce应用
第十八课：（理论：2学时）
第九章大数据快速处理Spark
第十九课：（实验：2学时）
实验六：内存处理模式Spark应用
第二十课：（理论：2学时）
第十章大数据实时流计算 Spark Streaming
第二十一课：（实验：2学时）
实验七：流式处理模式Spark Streaming应用
第二十二课：（理论：2学时）
第十一章分布式图计算框架 Spark GraphX
第二十三课：（实验：2学时）
实验八：图处理模式Spark Graph应用
第二十四课：（理论：2学时）
第十二章大数据随机查询 Spark SQL
第二十五课：（实验：2学时）
实验九：大数据随机查询Spark SQL使用
第四阶段：大数据挖掘技术（14+2+8）第二十六课：（理论：2学时）
第十三章大数据挖掘概述
第二十七课：（理论：2学时）
第十三章大数据挖掘概述
第二十八课：（理论：2学时）
第十三章大数据挖掘概述
第二十九课：（演示：2学时）
演示三：数据挖掘应用体验
第三十课：（理论：2学时）
第十四章大数据挖掘系统 Spark MLlib
第三十一课：（实验：2学时）
实验十：聚类算法实验
第三十二课：（实验：2学时）
实验十一：分类算法实验
第三十三课：（实验：2学时）
实验十二：关联分析算法实验
第三十四课：（实验：2学时）
实验十三：协同过滤算法实验
第三十五课：（理论：2学时）
第十五章大数据可视化
第三十六课：（理论：2学时）
第十六章 Python数据可视化
第三十七课：（理论：2学时）
第十七章大数据的功能应用场景
3. 学时分配
章理论课演示课实验课合计第一章大数据概念2学时2学时第二章大数据采集2学时2学时第三章大数据预处理2学时2学时4学时第四章大数据处理系统2学时2学时4学时第五章大数据文件系统HDFS 2学时2学时4学时第六章 NoSQL数据库HBase 2学时2学时4学时第七章数据仓库Hive 4学时4学时8学时
4学时2学时6学时第八章大数据批处理Hadoop
MapReduce
第九章大数据快速处理Spark 2学时2学时4学时
2学时2学时4学时第十章大数据实时流计算Spark
Streaming
2学时2学时4学时第十一章分布式图计算框架Spark
GraphX
第十二章大数据随机查询Spark SQL 2学时2学时4学时第十三章大数据挖掘概述6学时2学时8学时
2学时8学时10学时第十四章大数据挖掘系统Spark
MLlib
第十五章大数据可视化2学时2学时第十六章 Python大数据可视化2学时2学时
第十七章大数据的功能应用场景2学时2学时合计42学时6学时26学时74学时。