教学大纲_大数据应用案例

教学大纲_大数据应用案例
教学大纲_大数据应用案例

《大数据应用案例》教学大纲

课程编号:121312B

课程类型:□通识教育必修课□通识教育选修课

□专业必修课√专业选修课

□学科基础课

总学时: 32 讲课学时:32 实验(上机)学时:0

学分:2

适用对象:统计学(大数据分析)

先修课程:数据科学导论、大数据计算机基础

一、教学目标

该课程是针对统计学(大数据分析)本科学生开设的,其主要目的是通过若干案例为学生展示大数据分析技术在社会经济各领域的应用情况。本课程以实际工作中的案例进行实训教学,达到的教学目标是:增强学生实际动手解决问题的能力。

二、教学内容及其与毕业要求的对应关系

重点讲授python编程基础、数据结构和数据预处理和常用统计分析方法的基本思路和软件实现,python面向对象的编程是本课程的难点内容,课程拟结合实际工作中的案例数据对该部分内容进行举一反三来强化学生的学习和训练学生的数据分析思维。课程内容以多媒体的课件讲授为主,同时上机应用python对统计分析的各常用方法进行实现,上机完成每种方法的练习。采用课堂练习和课后作业方式对学生掌握知识情况进行考核,建议采用开卷或论文方式进行课程考核,本课程平时成绩占30%,期末考试成绩占70%。

三、各教学环节学时分配

以表格方式表现各章节的学时分配,表格如下:(宋体,小四号字)

教学课时分配

四、教学内容

案例1:农夫山泉用大数据卖矿泉水

农夫山泉,在全国有十多个水源地,把水灌装、配送、上架,如何根据不同的变量因素来控制自己的物流成本,成为问题的核心。

SAP团队和农夫山泉团队开始了场景开发,首先需要把大量数据纳入数据库,包括高速公路的收费、天气、配送中心辐射半径、不同市场的售价、各地的人力成本等,再将办事处、配送中心等纳入到体系中,形成动态网状数据结构,这些数据通过工具定时抽取到SAP BW或Oracle DM。再用特定的算法对这些数据进行处理,最后通过Business Object(对数据进行检索和处理的ActiveX组件)展现。这样的实时监控使销售最前端的任何问题都能被及时发现并处理,同时也使得物流成本得到精准的管控。有了强大的数据分析能力做支持后,农夫山泉近年来的年增长率达到了30%-40%。

案例2:华为大数据方案在福建移动的应用

福建移动拥有超过3000万客户的相关数据,如何将这些数据转化为有效信息从而指导精确外呼营销?这就需要对每个用户进行人物画像的刻画。首先,

根据“外呼推荐模型”和“潜在4G用户标签”两个标签分别建立模型,来反映用户对外呼渠道接受程度和选择4G产品的倾向。

通过这两个标签对用户行为进行刻画,基于大数据分析方法和传统外呼方法分别提供20万目标客户清单,在前台无感知下进行对比验证,确保对比效果不受人为因素影响,经过外呼验证,基于大数据分析方法较传统方法外呼成功率提升50%以上,有效支撑了福建移动4G用户发展战略。

案例3:大数据在青岛银行:提升银行交易性能、简化运营和管理

银行信息系统每天承载的交易量超两亿笔,峰值时可达到 2.7亿笔,面对如此庞大的交易量,如何保障交易平稳运行,提升智能化运维水平,考验着银行业的智慧。

青岛银行提出了“利用先进的数据科学技术进行运维数据智能化应用研究”的理念。其具体步骤为:利用业界先进的数据处理技术,将数量巨大的运维指标抽象为时序数据,并存储至时间序列数据库,实现快速存储和查询;建设运维数据一体化应用平台,研究运维数据整个生命周期中,从采集到整理、存储、分析以及应用等各个环节的联系和构建方法。该平台的建设将改变传统的被动防御式运维管理模式,增强运维主动性,提高知识传递有效性,实现了数据信息提交、处理、反馈及优化等各个环节流转过程的标准化,确保了运维数据的准确无误和运维数据管理的正常运行。

案例4:公安大数据建设应用——山东公安警务云平台建设

在“大数据”的时代背景下,海量数据的涌现为公安工作带来新的挑战和机遇,例如音视频等非结构化数据暴涨、情报分析案件分析等云计算的深度应用等难题。通过建设警务云计算,能有效整合公安内外资源,提高公安信息化深度应用、高端应用的能力和水平。警务云计算架构主要包括警务云主体建设、警务云应用建设和警务云保障建设三大部分。

云计算的大规模、分布式和高效性等特点使其成为面对大数据处理的关键技术。利用云计算的独特优势,结合已有公安系统数据设计并开发了警务云平

台,实现整合公安内外资源、完善情报信息主导警务机制、完善网上执法办案和信息中心、增强公安机关快速反应能力等目标。

案例5:百度大脑PK人脑大数据押高考作文题

为了帮助考生更好地备考,百度高考作文预测通过对过去八年高考作文题及作文范文、海量年度搜索风云热词、历年新闻热点等原始数据与实时更新的“活数据”进行深度挖掘分析,以“概率主题模型”模拟人脑思考,反向推导出作文主题及关联词汇,为考生预测出2014年高考作文的六大命题方向。在百度搜索“高考”、“高考作文预测”等关键词,就会看到高考作文预测卡片,点击即可进入专题页。页面中呈现的是一张类似蜂窝状的图示,分为六个色块,每个色块即代表一个命题预测方向,并清晰地标有这个命题的权重。

百度高考作文预测将现有数据和实时数据相结合组成了作文预测的大数据库,再通过技术百度发掘出其中的内在关联,提供素材,供考生灵活运用,提升知识储备,真正做到了授之以渔。

案例6:360手机卫士10KB解决iPhone骚扰

据了解,仅2014年前三季度,360互联网安全中心共收录用户新标记的各类骚扰电话号码约2.05亿个。为了解决电话骚扰这一问题,360手机卫士通过对海量数据的运算和精准匹配下发,将一组大小仅为10KB的数据即1000个骚扰号码同步到用户手机上,打造个性化的骚扰号码数据库。大数据与云计算的关系就像一枚硬币的正反面一样密不可分,通过云计算对海量数据进行挖掘和细分,目的在于把原本很难收集和使用的数据利用起来。

360手机卫士综合使用几十种聚类算法、十余种身份识别以及地域识别算法,通过200多个标签信息对手机用户进行分类细化。例如某个手机用户近期经常接到房产推销的骚扰电话,就会被贴上某一特定标签,进而在下发的骚扰号码数据中归入这一类骚扰号码拨打者的号码。

此外,360手机卫士还能依托上千台计算机进行集群分析,分布式存储数据,在秒级时间范围内做出数据处理响应,确保iPhone用户手机用的号码库数

据最新。

案例7:中信银行信用卡实施EMC Greenplum 数据仓库解决方案

中信银行信用卡中心选择实施EMC Greenplum 数据仓库解决方案。Greenplum采用“无共享”的开放平台的MPP架构,数据在多个服务器区段间会自动分区,而各分区拥有并管理整体数据的不同部分;所有的通信是通过网络互连完成,没有磁盘级共享或连接。

该方案为中信银行信用卡中心提供了统一的客户视图,更高的可扩展性借助客户统一视图,中信银行信用卡中心可以更清楚地了解客户价值体系,从而为客户提供更有针对性和相关性的营销活动。例如,风险管理部门可以通过评估客户的行为调整持卡人的信用额度。二通过建立以数据仓库为核心的分析平台,实现业务数据的整合和集中,中信银行信用卡中心现在可以从交易、服务、风险、权益等多个层面分析数据,从而根据银行整体经营策略积极地提供相应的个性化服务。

案例8:德国足球队采用SAP大数据方案迎战世界杯

德国足协和SAP公司通过联合创新引入SAP Match Insights解决方案,该方案基于SAP HANA平台运行处理海量数据,可以为球员和教练提供一个简明的用户界面,帮助双方开展互动性更强的对话。首先,球员的鞋内、护胫中被放置了传感器,偌大的训练场地内也到处布满传感器。通过这些装置,SAP的系统得以捕捉球员的各种细节动作与位置变化。他们的跑动及传球路线被实时传回到SAP HANA平台上,SAP HANA(内存计算)可以实时处理这些数据。然后,任一球员的运动轨迹、进球率、攻击范围等数据都会实时呈现在面板上,可以通过这些数据分析球队训练、备战和比赛情况,以“数字和事实”来优化备战方案,从而提升球员和球队的成绩。该解决方案还可以协助教练和球探处理海量数据,发现并评估每场比赛的主要状况,从而提升球员和球队的成绩。

案例9:1号店借Oracle Exadata改善终端客户体验

1号店目前采用Oracle Exadata数据库云服务器(Oracle Exadata Database Machine)成功优化统一整合的数据平台,并为每台Oracle Exadata配备了两个数据库处理节点和三个Exadata Storage Server存储处理节点,既可以支持目前规划业务量的业务处理,还能够随着业务量的增长,对处理存储、数据库节点进行在线升级、扩容,满足处理能力和数据量的增长需求。该平台采用混合负载互备架构,将平均处理性能提升7倍,实现了统一管理、随需扩展,可以与原有生产系统实现灾备、读写分离,进一步提高系统的可靠性和业务处理能力,也以极高的稳定性和强大的可扩展性实现了最优化的总体拥有成本。

软、硬件集成设计的Oracle Exadata 协助解决了1号店的I/O瓶颈问题,实现了比传统架构更高的性能和可扩展性。同时,基于Exadata的1号店IT新架构比传统架构拥有更好的性价比,最大限度地发挥了IT投资回报率。

Oracle Exadata 通过支持联机事务处理(OLTP)和联机分析处理(OLAP),显著降低了系统开发、应用优化和运维管理的复杂程度。而且,它能够大幅度提升数据服务平台的后台数据处理能力,从根本上解决数据服务平台容量限制和部分业务效率低下的问题。

执笔人:任韬

教研室主任:

系教学主任审核签名:

文本数据分析-教学大纲

《文本数据分析》教学大纲 课程编号:071193B 课程类型:□通识教育必修课□通识教育选修课 □专业必修课 专业选修课 □学科基础课 总学时:48 讲课学时:32 实验(上机)学时:16 学分:3 适用对象:信息管理与信息系统专业(大数据应用) 先修课程:数据结构、数据库原理与应用、大数据分析算法 一、教学目标 文本数据分析是文本分析和挖掘数据的理论和方法,文本数据分析是信息管理与信息系统专业(大数据应用)重要的专业选修课。通过本课程的学习,将达到以下目标: 目标1:对文本数据分析的价值、意义和基本原理建立清晰和比较全面的认识; 目标2:掌握有关文本数据发掘、处理、建模和解释的基本原理和方法,了解和熟悉文本数据分析在社会科学研究、商业分析和公共管理等领域的实际案例; 目标3:熟悉文本数据挖掘的基本原理,提高分析文本数据的思维能力与计算能力,能够从事某社会和经济领域文本数据分析相关活动的组织、执行和实施。 二、教学内容及其与毕业要求的对应关系 (一)教学内容

本课程主要基于R语言讲授文本数据分析的原理、基本方法及常用软件。主要包括:常用文本挖掘技术及其基本流程;基于R软件详细讲授文本挖掘的主要方法,包括R软件的简介与安装,文本挖掘所需的基本R包,Facebook、微博、Twitter、网页等爬虫技术、数据预处理如断词、字词处理、语料库建立等,资料分析如关联分析、集群分析、主成份分析和聚类分析;基于MS SQLSever 讲授文本挖掘的实现技术,包括数据预处理技术,文本数据的导入、建立字词与词向量、建立训练集和测试集;基于MS SQL Sever讲授常用的文本数据挖掘方法,并进行图表分析;最后通过舆情分析、文献挖掘等案例进行实战练习。 (二)教学方法和手段 注重理论与实践相结合,采取实例教学法、小组教学法、模拟教学法等多种教学方法进行授课。重点强调案例教学锻炼学生解决实际问题的能力,并借助R 语言开发环境软件进行上机操作和实战练习。 (三)实践教学环节要求 要求学生在实验环节掌握文本数据分析的基本原理、思路及相关领域的实战应用。要求学生课后完成基于课堂和实验教学内容的扩展实践练习,进一步熟悉文本数据分析流程和技术方法,加强相关领域的实际应用场景练习。 (四)与毕业要求的关系 文本数据作为信息的重要载体在当今信息化社会扮演着重要的角色。作为信息管理与信息系统专业大数据应用方向的学生,学习和掌握文本数据分析相关知识、方法和技术,不仅是大数据时代下社会经济发展的需要,更是适应未来各个领域海量数据管理的必需技术和能力,符合该专业培养的基本要求。 三、各教学环节学时分配 教学课时分配

大数据导论思维、技术与应用教学大纲

大数据导论 1. 课程简介 本课程的主要目的是让学生了解什么是大数据,大数据的特点,大数据思维,大数据的核心技术,大数据应用,大数据带来的变革,以及大数据面临的挑战,从而使学生对大数据技术和应用有一个初步的了解。本课程重视演示和实战,以便使学生通过亲身体验来理解和掌握大数据的核心概念。 2. 课程安排(74学时:42学时讲课,6学时演示,26学时实验) 第一阶段:大数据概述(8+4+0) 第一课:(理论:2学时) 第一章大数据概述 第二课:(理论:2学时) 第二章大数据采集 第三课:(理论:2学时) 第三章大数据预处理 第四课:(演示:2学时) 演示一:大数据技术演示 第五课:(理论:2学时) 第四章大数据处理系统 第六课:(演示:2学时) 演示二:大数据应用演示 第二阶段:大数据存储技术(8+0+8) 第七课:(理论:2学时) 第五章大数据文件系统HDFS 第八课:(使用:2学时) 实验一:分布式文件系统HDFS使用 第九课:(理论:2学时) 第六章 NoSQL数据库HBase 第十课:(实验:2学时) 实验二:列式数据库HBase使用 第十一课:(理论:2学时) 第七章数据仓库Hive 第十二课:(理论:2学时)

第七章数据仓库Hive 第十三课:(实验:2学时) 实验三:HiveQL 命令行的使用 第十四课:(实验:2学时) 实验四:使用JDBC程序操作数据库 第三阶段:大数据处理技术(12+0+10)第十五课:(理论:2学时) 第八章大数据批处理Hadoop MapReduce 第十六课:(理论:2学时) 第八章大数据批处理Hadoop MapReduce 第十七课:(实验:2学时) 实验五:批处理模式MapReduce应用 第十八课:(理论:2学时) 第九章大数据快速处理Spark 第十九课:(实验:2学时) 实验六:内存处理模式Spark应用 第二十课:(理论:2学时) 第十章大数据实时流计算 Spark Streaming 第二十一课:(实验:2学时) 实验七:流式处理模式Spark Streaming应用 第二十二课:(理论:2学时) 第十一章分布式图计算框架 Spark GraphX 第二十三课:(实验:2学时) 实验八:图处理模式Spark Graph应用 第二十四课:(理论:2学时)

PowerBI数据分析与数据可视化-教学大纲

《Power BI数据分析基础教程》教学大纲 学时:32 代码: 适用专业:计算机及应用相关专业 制定: 审核: 批准: 一、课程的地位、性质和任务 数据分析是普通大中专院校计算机科学与技术专业的一门重要的专业基础课。通过本课程的学习,使学生能够在已有的计算机基础知识基础上,对数据分析有一个系统的、全面的了解;在系统理解和掌握Power BI数据分析基本原理的基础上,具有设计和开发数据分析报表的基本能力。 数据分析是一门实践性非常强的学科,它要求学生在理解和掌握Power BI数据分析基本功能的基础上,充分利用实验课程,动手完成实际数据分析和报表设计。 二、课程教学基本要求 1.课程教学以Power BI数据分析方法为主,在教学过程中让学生掌握Power BI数据分析报表设计的本原理和方法。 2.要求在教学过程中合理安排理论课时和实验课时,让学生有充分的使用在计算机上练习理论课程中学到的Power BI数据分析技巧和方法。 三、课程的内容 第1章初识Power BI 掌握Power BI Desktop安装方法,了解Power BI Desktop的界面,学会使用Power BI文档。 第2章获取数据 了解数据连接模式,掌握连接到文件、数据库以及Web数据。 第3章查询编辑器 了解查询编辑器,掌握基础查询操作、数据转换、添加列、追加查询以及合并查询。 第4章数据分析表达式

了解DAX基础,掌握DAX函数。 第5章数据视图和管理关系 掌握数据视图的基本操作,掌握关系的管理操作。 第6章报表 掌握报表基本操作、视觉对象基本操作、钻取、数据分组、使用视觉对象数据以及报表主题。 第7章可视化效果 学会使用简单对象和内置视觉对象 第8章 Power BI服务 学会注册Power BI服务、在Desktop中使用Power BI服务以及在移动设备中使用Power BI,掌握Power BI服务中的报表操作以及仪表板 第9章社科研究数据分析 掌握获取社科研究数据和社科研究数据分析 四、理论和实验课时分配表 五、考核办法 1.考试采用统一命题,包括笔试和上机考试,考试时间分别为120分钟。课程成绩=(笔试成绩+上机考试成绩)/2

《大数据导论》课程大纲

《大数据技术导论》课程教学大纲 Instruction of Big Data Technology 一、课程基本情况 课程编号: 课程类别:专业任选课 课程学分:2 学分 课程总学时:32学时,其中讲课: 20 学时,实验(含上机): 12 学时 课程性质:考试 开课学期:第3学期 先修课程:大学生计算机基础 适用专业:计算机应用技术 开课单位:计算机科学与技术学院 二、课程性质、教学目标和任务 《大数据技术导论》课程是计算机应用技术专业想了解大数据分析技术的学生必修的一门基础课程,具有很强的实践性和应用性。它以《大学计算机基础》为基础,主要培养学生大数据平台运维、大数据分析和数据可视化基本思想和基本技能,为后续的数据挖掘应用性课程和数据产品开发课程的学习打好编程基础。 本课程设置的目的是通过对Hadoop,HDFS,MapReduce,HBase,R语言的学习,较好地训练学生大数据平台运维、数据分析和数据展现,使学生具有数据分析和数据展现的能力,为培养学生有较强数据开发能力打下良好基础。 三、教学内容和要求 1.概论(4学时) (1)了解大数据技术产生的历史必然; (2)理解大数据的特征; (3)理解大数据生命周期; (4)理解大数据、云计算、物联网之间的相互关系;

(5)了解大数据的变革; (6)熟练掌握Linux常用命令 (7)了解Linux目录结构; (8)熟练使用vi编辑器 目的:通过上述知识的学习,使学生了解大数据基本概念、特征、处理流程,熟练掌握Linux常用操作命令。 重点:linux操作; 难点:大数据生命周期。 2.大数据生态系统(4学时) (1)掌握HDFS分布式文件系统的结构; (2)掌握HDFS存储原理; (3)掌握HDFS读写操作; (4)掌握MapReduce编程框架 (5)理解Map原理; (6)理解MapReduce原理; (7)了解zookeeper架构和工作原理 目的:通过上述知识的学习,使学生了解大数据生态系统疾病组件,掌握HDFS和MapReduce工作原理,并进行相应的操作。 重点:HDFS工作原理和读写过程; 难点:MapReduce编程。 3.大数据采集与预处理(4学时) (1)理解数据及其分类; (2)了解数据采集方法和工具; (3)掌握数据清洗的任务和作用; (4)掌握数据变换的种类和过程; (5)熟练Python爬虫 目的:通过上述知识的学习,使学生理解数据分类,理解数据清洗和数据变换的意义,熟练Python爬虫。 重点:Python爬虫; 难点:Python爬虫。

数据分析与处理-课程教学大纲

《数据分析与处理》课程教学大纲 一、课程基本信息 1.课程代码: 2.课程名称:数据分析与处理 3.课程英文名称: 4.课程类型:CC 5.授课对象:电子商务本科 6.开课单位:信息技术与商务管理系 7.教学时间安排:第2学期 8.先修课程:信息技术基础 9.并行课程: 10.后修课程:数据库原理与应用,动态网站设计基础,电子商务网站建设与管理,电子商务综合实训 11.学时安排: 二、课程教学目标及教学任务 (一)教学目标 1.教学目标的总体概括 既要能够掌握EXCEL的整体概念和基本操作步骤,又要掌握EXCEL在数据分析与处理方面的具体应用。 2.教学目标列表

(二)课程培养能力体系

(三)课程培养目标与课程内容映射表 见附件《数据库原理与应用课程培养目标与课程内容对应mapping图》。 (四)教学任务 实验报告:实验目的明确,实验内容完整,实验步骤正确,实验结论真实、准确,优秀学生能总结出系统的实验注意事项。 作业:作业内容正确,资料翔实,论证充分、有力,优秀学生能够提出鲜明的个人观点,同一问题能够给出简洁明了的答案,具有一定的创新性。 三、各单元教学内容及基本要求 第一部分数据的输入与编辑(2学时(讲课)+2学时课堂练习= 4课时) 教学内容: 1、数据输入的一般操作 2、特殊数据的快捷输入 3、有规律数据的序列输入法 4、设置有效性对输入数据审核 5、下拉式列表选择输入的设计 6、数据的编辑操作 教学重难点: 1、设置有效性对输入数据审核 2、下拉式列表选择输入的设计 教学目标: 1、掌握Excel基本的概念 2、掌握单元格及单元格区域简单数据的输入 3、掌握下拉式列表选择输入的设计 第二部分单元格数据的格式设置(1(讲课)+1(课堂练习)= 4课时) 教学内容: 1、单元格格式的一般设置 2、各种内置数字格式的使用 3、自定义数字格式的应用 4、条件格式化的应用 教学重难点: 1、自定义数字格式的应用

《大数据处理与云计算》课堂教学大纲.doc

《大数据处理与云计算》教学大纲 课程类别:专业教育课课程名称:大数据处理与云计算 开课单位:信息与通信工程学院课程编号:N03050703 总学时:40 学分:2.5 适用专业:信息工程专业 先修课程:无 一、课程在教学计划中的地位、作用 大数据处理与云计算是信息工程专业高年级学生开设的一门专业教育课。本课程主要学习大数据处理和云计算的相关原理和技术,根据实际需求,构建相应的大数据处理和云计算平台框架。 通过本课程学习,使学生掌握大数据的采集、传输、处理和应用的技术,了解Hadoop 分布式系统基础架构,掌握HDFS和MapReduce技术。了解HBase、Hive、Zookeeper、Avro、Pig等相关大数据技术,与实际工程应用相结合,构建相应的云计算平台。教学应当结合实际实验条件,培养学生实践动手能力,了解大数据技术发展现状,促进大数据相关教学改革。 二、课程教学内容、要求及学时分配 第一章大数据与云计算概况 1、了解大数据概念 2、了解大数据的产生、应用和作用 3、了解云计算技术的概述 4、了解云计算的特点及技术分类 5、了解大数据与云计算、物联网之间的关系 第二章大数据处理与云计算的关键技术 1、理解大数据处理的基本流程 2、掌握大数据的关键技术 3、理解大数据的处理工具 4、了解大数据面临的挑战 5、理解云计算及关系型数据库 第三章 Hadoop 1、了解Hadoop概述 2、了解Hadoop发展简史 3、理解Hadoop的功能与作用

4、了解Hadoop的优缺点 5、了解Hadoop的应用现状和发展趋势 6、掌握Hadoop项目及其结构 7、掌握Hadoop的体系结构 8、掌握HDFS的体系结构 第四章 MaReduce 1、理解分布式并行编程 2、理解MapReduce模型概述 3、掌握Map和Reduce函数 4、掌握MapReduce工作流程 5、掌握并行计算的实现 6、掌握新的MapReduce框架:Yarn 7、理解新旧Hadoop MapReduce框架的对比 第五章 HDFS 1、理解HDFS的假设与目标 2、理解HDFS的相关概念 3、掌握HDFS体系结构 4、掌握HDFS命名空间 5、掌握HDFS存储原理 6、掌握通讯协议 7、理解数据错误和异常 8、理解从HDFS看分布式文件系统的设计需求第六章 Zookeeper 1、了解Zookeeper简介 2、掌握Zookeeper的工作原理 3、理解Zookeeper的数据模型 第七章 HBase海量实时处理实战技巧 1、理解HBase简介和架构 2、掌握HBase核心知识点 3、掌握HBase高级应用

大数据算法教学大纲

《大数据算法》课程教学大纲 课程代码:090141128 课程英文名称:Big Data Algorithm 课程总学时:40 讲课:32 实验:8 上机:0 适用专业:信息与计算科学 大纲编写(修订)时间:2017.11 一、大纲使用说明 (一)课程的地位及教学目标 大数据不论在研究还是工程领域都是热点之一,算法是大数据管理与计算的核心主题,因此将大数据算法作为信息与计算科学专业的一门选修课程。通过本课程的学习,使学生能掌握一些大数据算法设计的基本思想,较好的理解和传统算法课程不一样的算法设计与分析思路,通过实践练习初步掌握大数据算法设计与分析的技术,并能够将其中的思想应用于实际的研究和开发。从而提高学生的创新实践能力,加强学生开展科研工作能力。为今后进行更深入的研究奠定良好的理论基础。 通过本课程的学习,学生将达到以下要求: 1. 掌握大数据算法设计的基本思想,较好的理解大数据算法设计与分析的基本思路; 2. 初步掌握大数据算法设计与分析的基本方法和技术; 3. 初步具备将大数据算法应用于实际开发的能力,并能够分析算法效率。 (二)知识、能力及技能方面的基本要求 1.基本知识:掌握大数据算法设计和分析的基本思想,掌握概率算法、I/O有效算法、并行算法等大数据算法的基本思想。 2.基本理论和方法:掌握大数据算法设计的一般原理和步骤。要求学生能够掌握亚线性算法、外存算法、并行算法等算法的设计方法和分析技术。 3.基本技能:具备运用亚线性算法、外存算法、并行算法等算法综合解决实际问题的能力,初步具备将大数据算法应用于实际开发的技能。 (三)实施说明 1.教学方法:本课程涉及大数据理论、算法设计技术、算法分析方法,涉及知识面广且比较抽象。建议采用案例教学并结合演示让学生理解和掌握各种算法设计方法,通过课堂讨论、课后作业和实验训练,加强学生对大数据算法设计方法的掌握。采用启发式教学,培养学生思考问题、分析问题和解决问题的能力;以最新的研究成果为导向,引导和鼓励学生通过查阅文献、实践获取知识,让学生了解大数据算法的前沿知识,培养学生的自学能力;增加讨论课,调动学生学习的主观能动性。 2.教学手段:本课程建议采用课堂讲授、讨论、多媒体教学相结合的教学形式,以确保在有限的学时内,全面、高质量地完成课程教学任务。 3.教师在授课过程中可以根据实际情况酌情安排各部分的学时,课时分配表仅供参考。 (四)对先修课的要求 本课程的教学必须在完成先修课程算法设计与分析之后进行,该课程的学习为算法的设计奠定了基础。 (五)对习题课、实践环节的要求 1.对重点、难点章节(如亚线性算法、外存算法、并行算法等)安排习题课,针对本章的算法进行回顾和总结,讲解典型算法设计题。课堂讲解算法思路,要求学生课后自己进行算法

大数据技术与应用基础教学大纲

大数据技术与应用基础》教学大纲 时:60 码: 适用专业: 定: 核: 准: 、课程的地位、性质和任务 大数据技术的发展,已被列为国家重大发展战略。而在过去的几年里,无论是聚焦大数据发展的《促进大数据发展行动纲要》,还是《“十三五”规划》中都深刻体现了政府对大数据产业和应用发展的重视。目前国内大数据发展还处于加速期、转型期,数据与传统产业的融合还处于起步阶段,各行业对大数据分析和挖掘的应用还不理想。但随着市场竞争的加剧,各行业对大数据技术研究的热情越来越高,在未来几年,各领域的数据分析都将大规模应用。 本课程在注重大数据时代应用环境前提下,考虑大数据处理分析需求多样复杂的基本情况,从初学者角度出发,以轻量级理论、丰富的实例对比性地介绍大数据常用计算模式

的各种系统和工具。考虑到当前大数据发展处于起步并逐步赶超先进的阶段,其应用领域 丰富广泛,在教学过程中应注重掌握大数据分析的实践操作。本课程通过丰富简单易上手 的实例,让学生能够切实体会和掌握各种类型工具的特点和应用。 、课程教学基本要求 1 . 了解大数据的发展和基本概念,理解并掌握大数据的特征及主要技术层面。 2 . 掌握Scrapy 环境的搭建,了解网络爬虫获取数据的过程,熟悉爬虫项目的创建。 3 . 深刻了解hadoop的基础理论,理解并掌握Hadoop单机及集群环境的部署方法。 4 . 掌握HDFS的基本概念和HDFS在hadoop中的作用,理解并识记HDFS勺使用,了解 HDFS的JAVA API接口及数据流原理;让学生明白Map过程与Reduce过程这两个独立部分各自的原理及合作途径,知道如何独立编写满足自己需求的Map Reduces序。 5.理解HBase中涉及的基本概念,掌握HBase的简单应用;让学生了解数据仓库的基 础概念,熟悉Hive与HDFS Map Reduced接的关心。 6.熟悉Spark和RDM基本概念,熟悉spark接口的使用,解决实战时的步骤及思路。 7.明白Hadoop和Storm之间的差别,掌握对Storm的使用。理解Apex的工作过程并能简单应用。 8. 了解Druid 的基本概念、应用场景以及集群架构,掌握批量数据加载、流数据加载 的操作。了解Flink 的重要概念和基本架构,掌握Flink 简单的使用实例。

《大数据分析方法与应用》教学大纲

《大数据分析方法与应用》课程教学大纲 课程代码:090542008 课程英文名称:Big Data Analysis: Methods and Applications 课程总学时:40 讲课:40 实验:0 上机:0 适用专业:应用统计学 大纲编写(修订)时间:2017.6 一、大纲使用说明 (一)课程的地位及教学目标 本课程是应用统计学专业的一门专业课,通过本课程的学习,可以使学生学会选用适当的方法和技术分析数据,领会大数据分析方法和应用,掌握复杂数据的分析与建模,使学生能够按照实证研究的规范和数据挖掘的步骤进行大数据研发,为就业与继续深造打下必要而有用的基础。 (二)知识、能力及技能方面的基本要求 1.基本知识:掌握数据挖掘流程、随机森林树的回归算法、基于预测强度的聚类方法、朴素贝叶斯分类、高维回归及变量选择、图模型等。 2.基本能力:要求能在真实案例中应用相应的方法。 3.基本技能:掌握复杂数据的分析与建模。 (三)实施说明 1. 本大纲主要依据应用统计学专业2017版教学计划、应用统计学专业专业建设和特色发展规划和沈阳理工大学编写本科教学大纲的有关规定并根据我校实际情况进行编写的。 2. 课程学时总体分配表中的章节序号在授课过程中可酌情调整顺序,课时分配仅供参考。打“*”号的章节可删去或选学。 3. 建议本课程采用课堂讲授、讨论相结合的方法开展教学,通过讨论等方式强化重点,通过分散难点,使学生循序渐进的掌握难点。 4.教学手段:建议采用多媒体等现代化手段开展教学。 (四)对先修课的要求 本课程的先修课程:应用多元统计分析。 (五)对习题课、实践环节的要求 通过案例讲解算法,鼓励学生演示分析思路和分析收获,使学生有机会诊断问题,并学会选用适当的方法和技术分析数据。 (六)课程考核方式 1.考核方式:考查 2.考核目标:在考核学生基础知识、基本技能,基本能力的基础上,重点考核学生的分析能力、解决实际问题能力。 3.成绩构成:本课程由平时成绩和结课报告的质量评定优、良、中、及格和不及格。 (七)参考书目: 《大数据分析:方法与应用》,王星编,清华大学出版社,2013. 二、中文摘要 《大数据分析方法与应用》是高等学校应用统计学专业的一门选修的专业课。本课程着重介绍了统计学习、数据挖掘和模式识别等领域的各种大数据分析方法。课程主要内容包括大数据分析概述、数据挖掘流程、随机森林树、基于预测强度的聚类方法、贝叶斯分类和因果学习、高

大数据教学大纲

《大数据》课程教学大纲 适合专业:数据科学与大数据技术专业课程编号: 先修课程:高等数据、线性代数、JAVA 学分: 4 总学时: 64 一、课程性质、目的与要求 课程性质:专业必修课。 课程目的:通过对大数据的相关知识介绍,使学生掌握大数据的概念和原理,熟悉大数据的理论与算法,了解大数据未来发展趋势,能够利用所学知识,进行大数据应用实现和算法设计,培养学生运用大数据技术解决大数据行业应用问题。课程要求:本课程系统介绍了大数据的理论知识和实战应用,包括大数据概念与应用、数据采集与预处理、数据挖掘算法与工具、R语言、深度学习以及大数据可视化等,并深度剖析了大数据在互联网、商业和典型行业的应用。期望学生对大数据处理技术有比较深入的理解,能够从具体问题或实例入手,利用所学的大数据知识在应用中实现数据分析和数据挖掘。 二、教学内容 理论总学时:36学时 第1章大数据概念与应用 2学时基本要求:熟悉大数据的概念与意义、大数据的来源、大数据应用场景及大数据处理方法等内容。 重点:大数据的定义、研究内容与应用。 难点:无。 第2章数据采集与预处理 4学时基本要求:熟悉常用的大数据采集工具,特别是Apache Kafka数据采集使用方法;熟悉数据预处理原理和方法,包括数据清洗、数据集合、数据转换;掌握数

据仓库概念与ETL工具Kettle的实际应用。 重点:Apache Kafka数据采集、数据清洗、数据仓库与ETL工具。 难点:ETL工具Kettle的实际应用。 第3章数据挖掘算法 6学时基本要求:熟悉常用的数据挖掘算法,内容上从分类、聚类、关联规则和预测模型等数据挖掘常用分析方法出发掌握相对应的算法,并能熟练进行数据挖掘算法的综合应用。 重点:分类算法、聚类算法、关联规则、时间序列预测。 难点:数据挖掘算法的综合应用。 第4章大数据挖掘工具 4学时基本要求:熟练掌握机器学习系统Mahout和大数据挖掘工具Spark Mllib下的分类算法、聚类算法、协同过滤算法的使用,并对其他数据挖掘工具有所了解。重点:Mahout安装与使用、Spark Mllib工具的使用。 难点:Mahout和Spark Mllib工具的使用。 第5章 R语言 4学时基本要求:了解R语言的发展历程、功能和应用领域;熟悉R语言在数据挖掘中的应用;掌握R语言在分布式并行实时计算环境Spark中的应用SparkR。 重点:R语言基本功能、R语言在数据挖掘中的应用、SparkR主要机器学习算法。难点:R语言与数据挖掘。 第6章深度学习 4学时基本要求:了解深度学习的发展过程和实际应用场景,并结合人脑的工作原理,理解深度学习的相关概念和工作机制,做到能够熟练使用常用的深度学习软件。重点:人脑神经系统与深度学习、卷积神经网络、深度置信网络、循环(递归)神经网络、TensorFlow和Caffe。 难点:人工神经网络。 第7章大数据可视化 4学时基本要求:熟悉大数据可视化的基础知识;掌握文本可视化、网络可视化、时空数据可视化、多维数据可视化等常用的大数据可视化方法,可通过Excel、Processing、NodeXL和ECharts软件实现数据的可视化。

Excel商务数据分析与应用-教学大纲

《Excel商务数据分析与应用》 教学大纲 一、课程信息 课程名称:Excel商务数据分析与应用 课程类别:专业基础课 课程性质:必修 计划学时:60 计划学分:3 先修课程:无 适用专业:本书可作为高等院校电子商务方向相关专业及电子商务技能培训班的学习教材。 课程负责人: 二、课程简介 本书以Excel在电商运营商务数据分析中的实际应用为主线,主要从电商卖家自身、商品、顾客、进销存管理、竞争对手,以及行业状况等方面对商务数据分析进行了深入讲解。 本书分为10章,主要内容包括:商务数据分析与应用基础、使用Excel管理店铺信息、商品销售情况管理、买家购买情况分析与评估、商品销售情况统计与分析、商品采购成本分析与控制、商品库存数据管理与分析、畅销商品统计与分析、竞争对手与行业状况分析,以及销售市场预测分析等。 三、课程教学要求

注:“课程教学要求”栏中内容为针对该课程适用专业的专业毕业要求与相关教学要求的具体描述。“关联程度”栏中字母表示二者关联程度。关联程度按高关联、中关联、低关联三档分别表示为“H”“M”或“L”。“课程教学要求”及“关联程度”中的空白栏表示该课程与所对应的专业毕业要求条目不相关。 四、课程教学内容

五、考核要求及成绩评定

注:此表中内容为该课程的全部考核方式及其相关信息。 六、学生学习建议 1.理论配合实战训练进行学习,提高学生的Excel商务数据分析能力; 2.培养、提升学生的数据分析、网店运营等综合能力。 七、课程改革与建设 本书采用“项目+任务”的体例形式,通过大量的案例操作和分析,让读者真正掌握商务数据分析的方法与技巧。采用图解教学的体例形式,一步一图,以图析文,让读者在学习过程中更直观、更清晰地掌握操作流程与方法,提升学习效果。本书还配有微课视频和完备的教学PPT、电子教案等,能帮助读者更好地理解和应用知识。 平时对学生的考核内容包括出勤情况、在线学习习题完成情况、课堂讨论等方面,占期末总评的50%。期末考试成绩占期末总评的50%。

《大数据概论》教学大纲

附件1 广东财经大学华商学院课程教学大纲 一、课程简介 大数据概论是一门理论性和实践性都很强的课程,针对计算机、信息管理和其他各专业学生的发展需求,系统、全面地介绍了关于大数据技术与应用的基本知识和技能,详细介绍了大数据与大数据时代、大数据的可视化、大数据的商业规则、大数据时代的思维变革、大数据促进医疗与健康、大数据激发创造力、大数据预测分析、大数据促进学习、大数据在云端、支撑大数据的技术、数据科学与数据科学家、大数据的未来等内容,具有较强的系统性、可读性和实用性。 二、教学目标 (一)目的与要求 本课程是大数据系列课程的基础,系统地介绍大数据涵盖的内容,包括数据与大数据概述、大数据获取与感知、大数据存储与管理、大数据分析、大数据处理、大数据治理、大数据安全与隐私等。除了介绍大数据的技术内容,课程还介绍了部分行业中大数据的典型应用案例,反映了大数据在社会经济生活中的重要价值。从而达到四个方面的对于大数据的认识:认识数据与大数据、认识大数据带来信息化第三波浪潮、认识大数据对现有信息技术体系的挑战、认识亟待构建的大数据治理体系。 课程基本要求:

(1)了解本课程的教学设计; (2)熟悉本课程的基本内容与学习要求; (3)主动完成本章的导读案例、思考和阅读全部内容。 二、主要教学模式和教学手段 采用线下教学为主,线上教学为辅。 主要学习模式:课堂面授课程,通过常用的工具进行实践教学,线上教学为辅,选择合适的教学平台进行线上补充教学。 主要教学方法:1:问题导向法 2:对比教学法 3:讨论教学法 4:任务驱动法 主要教学手段:1:多媒体机房教学 2:在线课程教学 3:视频教学网站 四、教学内容(要求编写所有章节的主要内容) 第一章什么是大数据 内容: 1.1人类信息文明的发展 1.2 大数据时代的来临 1.2.1 信息技术的发展 1.2.2 数据产生方式的变革 1.3 大数据的主要特征 1.3.1 大数据的数据特征 1.3.2 大数据的技术特征 1.4 大数据的社会价值 熟练掌握: 了解人类信息文明的发展历程 熟悉大数据时代的来临和具体发展表现 掌握大数据的主要特征 掌握大数据的社会价值 第二章大数据技术基础 内容:

金融数据分析课程大纲

《金融数据分析》课程教学大纲 (Analyses of Financial Data) ----and Application of SPSS 一、课程说明 课程编码:225212101 课程总学时(理论总学时/实践总学时)51(34/17) 周学时(理论学时/实践学时)3(2/1) 学分: 2.5 开课学期: 5 1.课程类别与性质: 专业限修课程 2.适用专业与学时分配: 适用于信息与计算科学(金融服务方向)专业。 教学容与时间安排表

3.课程教学目的与要求: 学生通过本课程的学习,了解对金融数据进行统计分析的原理和过程,了解各种数据分析模型、统计分析方法的使用条件、应用场合、所需参数及模型的性质,能按照模型的要求输入基本数据合参数,进行运算和统计分析,掌握数据输入、数据分析、数据转换、选择和加权等技巧,掌握各种基本的统计分析模型的计算方法,能根据数据来源、数据类型和分析的目的要求选择适当的统计分析模型进行分析,能对输出结果能作出合理的解释和恰当的运用。 (2)教学要求 4.本门课程与其它课程关系: 本课程属于金融服务专业方向的限选课程,它的前期课程包括:概率论、应用统计、及相关的金融类课程与计算机及软件类课程。 5.推荐教材及参考书: 教材: 《数据统计分析----SPSS原理及应用》(高等学校教材),黄润龙,管于华编,高等教育,2010, 参考书: 《SPSS 18---数据分析基础与实践》,洪成编著,电子工业,2010, 《深入浅出数据分析》, Michael Milton著,芳译,电子工业,2010, 《金融时间序列分析》, Ruey S. Tsay著,家柱译,机械工业,2008, 6.课程教学方法与手段: 课堂理论教学与实验教学相结合,重视学生的理解与实际应用的操作能力。 7.课程考试方法与要求: 本课程是基本知识与实际数据分析相结合的课程,因此本课程考试分为二部分:第一部分由小组进行案例分析,主要是学生组织,论文答辩类型的小组分析;

大数据分析A教学大纲

清华大学大数据方向硕士学位 公共必修课课程 数据分析学(I) Data Analytics (I) 开课单位:数据分析学(I)课程组 授课教师: 黎波、张楠、郑路、庞珣、苏毓淞、罗昊、王程韡(暂定) 教学目的: 本课是针对社会科学和管理类研究学开设的数据分析基本课程。通过本课的学习,学生将对(大)数据分析的价值、意义和基本原理建立清晰和比较全面的认识,掌握有关数据发掘、处理、建模和解释的基本原理和方法,了解和熟悉数据分析在社会科学研究、商业分析和公共管理等领域的实际案例。 Data Analytics (I) is a graduate level course mainly designed for students with social sciences and management background. The objective of the course to give students a broad overview of the basic principles and applications of data analytics. Students will also be familiar with the various aspects of data analytics such as exploring, managing, modeling and interpreting data. Students’ learning will also be enhanced by their exposure to r eal life applications of data analytics in social science research, business analysis and public management.

云计算与大数据概论 教学大纲

计算机科学与技术专业 《云计算与大数据概论》教学大纲 一、课程基本信息 课程中文名称:云计算与大数据概论 课程代码: 学分与学时:4学分,64学时(其中,理论学时58,实验学时6) 课程性质:必修课程 授课对象:计算机科学与技术专业 二、课程教学目标与任务 本课程就是理论性与应用性均较强得课程,通过本课程得学习,了解云计算与大数据发展概况,掌握云计算技术、云计算体系结构,了解当前主流得云计算平台,了解大数据开发技术,掌握Hadoop平台得应用方式,理解MapReduce、PIG与Hbase,了解云计算与大数据安全得标准与规范。 三、学时安排 四、课程教学内容与基本要求 第1章云计算与大数据概述 教学目得:通过本章学习,掌握云计算与大数据得概念,了解云计算与大数据技术得发展现状,掌握云计算与大数据得特点与优势,了解云计算分类方式,了解当前主流得云计算与大数据供应商.

基本要求:掌握云计算与大数据得概念,掌握云计算与大数据得特点与优势 重点与难点:云计算与大数据得特点与优势 教学方法:讲授、学生收集资料。 主要教学内容: 1.云计算与大数据得概念。 2.云计算与大数据技术发展现状。 3.云计算与大数据得特点与优势。 4.云计算得分类. 5.主流云计算与大数据供应商。 6.云计算与大数据得联系 第2章云计算技术 教学目得:通过本章学习,掌握虚拟化技术得原理与实现方式,包括服务器虚拟化、网络虚拟化、存储虚拟化、应用虚拟化与桌面虚拟化,了解分布式计算得原理与应用。掌握IaaS、PaaS、SaaS三种云计算服务方式得特点与应用范围。 基本要求:掌握虚拟化技术得原理与实现方式,掌握三种云计算服务方式。 重点与难点:虚拟化技术、分布式计算技术 教学方法:讲授、学生收集资料。 主要教学内容: 1、虚拟化技术原理与实现方式。 2、分布式计算得原理。 3、IaaS、PaaS、SaaS三种云计算服务方式得特点与应用范围。 ?第3章云计算平台 教学目得:通过本章学习,了解当前主流得云计算平台服务商,掌握Google、亚马逊、微软、阿里巴巴、百度与腾讯所提供得云计算服务得原理与内容。 基本要求:了解当前主流得云计算平台服务商及其所提供得云计算服务。 重点与难点:Google云计算体系,亚马逊云计算架构 教学方法:讲授、学生收集资料、实验。 主要教学内容: 1、主流云计算平台服务商. 2、Google云计算体系,GFS文件系统、Google App Engine。 3、亚马逊平台存储结构、弹性云EC2、AWS等. 4、微软得Microsoft Azure。 5、阿里云服务平台。 6、百度开发者云服务。 7、腾讯云服务平台。

PowerBI数据分析与数据可视化教学大纲

《Power BI数据分析基础教程(微课版)》教学大纲 学时:32 代码: 适用专业:计算机及应用相关主页 制定: 审核: 批准: 一、课程的地位、性质和任务 数据分析是普通大中专院校计算机科学与技术专业的一门重要的专业基础课。通过本课程的学习,使学生能够在已有的计算机基础知识基础上,对数据分析有一个系统的、全面的了解;在系统理解和掌握Power BI数据分析基本原理的基础上,具有设计和开发数据分析报表的基本能力。 数据分析是一门实践性非常强的学科,它要求学生在理解和掌握Power BI数据分析基本功能的基础上,充分利用实验课程,动手完成实际数据分析和报表设计。 二、课程教学基本要求 1.课程教学以Power BI数据分析方法为主,在教学过程中让学生掌握Power BI数据分析报表设计的本原理和方法。 2.要求在教学过程中合理安排理论课时和实验课时,让学生有充分的使用在计算机上练习理论课程中学到的Power BI数据分析技巧和方法。 三、课程的内容 第1章初识Power BI 掌握Power BI Desktop安装方法,了解Power BI Desktop的界面,学会使用Power BI文档。 第2章获取数据 了解数据连接模式,掌握连接到文件、数据库以及Web数据。 第3章查询编辑器 了解查询编辑器,掌握基础查询操作、数据转换、添加列、追加查询以及合并查询。 第4章数据分析表达式 了解DAX基础,掌握DAX函数。 第5章数据视图和管理关系 掌握数据视图的基本操作,掌握关系的管理操作。 第6章报表 掌握报表基本操作、视觉对象基本操作、钻取、数据分组、使用视觉对象数据以及报表主题。 第7章可视化效果 学会使用简单对象和内置视觉对象 第8章 Power BI服务 学会注册Power BI服务、在Desktop中使用Power BI服务以及在移动设备中使用Power BI,掌握Power BI服务中的报表操作以及仪表板

《大数据开发基础》课程教学大纲

大数据开发基础 一、课程性质、目的和任务 1. 本课程为计算机专业大学本科生及研究生选修的一门课程; 2. 目的是让学生了解并掌握四个领域(即大数据系统的起源及系统特征、大数据系统的架构设计 及功能目标设计、大数据系统程序开发、企业大数据案例分析)的内容,同时利用真机实验环节以及大数据实训一体机来提升学生对大数据开发的实践能力; 3. 本课程重点让学生掌握五个方面的内容: (1)HDFS使用操作; (2)MapReduce开发; (3)HBase数据库的开发; (4)Hive数据仓库开发; (5)大数据案例分析; 二、教学内容及要求 第一章大数据概述 授课学时:1 基本要求: 1.了解大数据概念、特征、数据计量单位以及大数据的类型; 2.了解大数据系统的设计背景、以及当前大数据系统存在的不足; 3.了解大数据系统的设计思想、设计目标和设计原则; 4.了解大数据系统的整体逻辑架构设计及运行逻辑,了解当前大数据系统的主流架构; 第二章大数据应用开发思路和开发环境配置 授课学时:1 基本要求: 1.掌握大数据系统应用读写操作的开发流程; 2.掌握分析大数据开发技术及思路; 3.掌握大数据Java开发的环境配置、Plugin插件的安装,Hadoop环境配置;

第三章HDFS分布式文件系统 授课学时:4 基本要求: 1.了解HDFS设计目标、基本概念; 2.掌握HDFS文件系统的命令操作; 3.掌握Java对HDFS的程序开发操作,包含目录管理、文件列表、读取、导入导出、文件压缩等开发; 4. 真机实操训练(实验环节 1); 第四章MapReduce分布式编程 授课学时:6 基本要求: 1.了解MapReduce的设计思想、基本概念; 2.了解MapReduce的系统架构、作业运行机制和关键技术; 3.掌握MapReduce的数据类型的自定义以及数据类型的使用; 4.掌握MapReduce开发,定制输入输出的数据格式; 5.掌握将HDFS文件系统中整个文件作为输入数据的开发; 6.掌握利用MapReduce完成小文件聚合成一个大文件的开发; 7.掌握压缩数据处理程序开发; 8.掌握任务组合过程,掌握迭代组合、并行组合及串行组合; 9.掌握任务的前后链式组合; 10.掌握多数据源连接的开发,包含Map端开发以及Reduce端开发; 11.掌握Hadoop全局参数的使用,全局文件的使用; 12.掌握与关系型数据库的访问连接; 13.真机实操训练(实验环节2); 第五章HBase分布式数据库 授课学时:4 基本要求: 1.了解HBase分布式数据库的设计目标、基本概念; 2.了解HBase逻辑架构以及物理架构; 3.掌握HBase分布式数据库Shell命令操作; 4.掌握HBase数据库系统的Java开发,包含创建表、删除表,查询所有表操作; 5.掌握HBase数据库系统的Java开发,包含插入记录、查询数据,组合查询、修改删除记录等开发; 6.真机实操训练(实验环节3);

《大数据导论》—教学大纲

《大数据导论》教学大纲

前言 一、大纲编写依据 《大数据导论》是一门通识课程,也是数据科学与大数据专业的必要先修课程,面对大一学生开设。通过该课程学习,让学生了解大数据专业的内涵特点、大数据与社会经济发展的关系以及大数据的主要学科知识和课程体系。同时培养学生大数据处理问题的思维,引导学生认知大数据技术。要求学生了解学习大数据需要掌握的基础技术知识,熟悉海量数据处理的基本流程以及与之匹配使用的主要技术和工具。通过本课程的学习,加深学生对大数据的认识,并为后续专业课程打下良好基础。 二、课程目的 1、知识目标 通过课程学习让学生掌握大数据的概念和基本特征、理清大数据、云计算与人工智能的关系,了解大数据与社会各领域的应用关系。并就大数据硬件架构和处理流程及相关技术与工具介绍,让学生了解数据预处理,Hadoop、Spark、Strom、数据存储及数据分析等技术,为后续相关课程做铺垫,让不同专业学生可选择不同方向继续大数据的深入学习。 2、能力目标 (1) 实践能力 通过本课程的学习,培养自我学习和自我设计的意识和能力;培养数据搜集、加工处理和分析的能力;通过合作学习培养沟通交往、团队协作等能力。 (2) 创新能力 通过学习大数据产生促进新应用、新技术、新工具的产生,培养学生的创新精神,在什么情况下可以尽快抓住机会,促进学生将大数据与生活结合起来,培养使用大数据技术解决问题的思维。 三、教学方法 1、课堂教学 (1) 讲授 本课程的教学内容以讲授为主,讲授的主要内容有大数据的基本概念和基本特征、大数据行业必备基础知识、数据采集与预处理方法、大数据存储与管理、大数据计算框架、数据存储技术、数据分析技术,以及大数据与热门行业云计算和人工智能的结合。根据教学大纲的要求,突出重点和难点。 (2) 教师指导下的学生自学 指导学生自主学习大数据热门技术网络爬虫、Hadoop、Spark及Strom。教师通过给出一些相关的实例帮助学生理解和进行程序设计,并布置相应的习题让学生进行练习。 (3) 其它教学方法 尽可能运用动态演示手段进行多媒体辅助教学,解决好教学内容多、信息量大与学时少

相关文档
最新文档