大数据 Spark编程基础 第6章-Spark Streaming
Spark编程基础：Spark的设计与运行原理单元测验与答案
一、单选题1、以下哪个不是Spark的组件?（）A.Spark StreamingB.MLlibC.GraphXD.Flink正确答案：D2、下面哪个不是 RDD 的特点 ? （）A.可分区B.可序列化C.可修改D.可持久化正确答案：C3、Task是Executor上的工作单元，运行于下面哪个组件上？（）A.Driver ProgramB.Spark MasterC.Worker NodeD.Cluster Manager正确答案：C4、下面哪个操作肯定是宽依赖？（）A.mapB.filterC.reduceByKeyD.union正确答案：C二、多选题1、以下是Spark的主要特点的有? （）A.运行速度快B.容易使用，简洁的API设计有助于用户轻松构建并行程序C.通用性，Spark提供了完整而强大的技术栈D.运行模式多样正确答案：A、B、C、D2、Spark的运行架构包括哪些？（）A.集群资源管理器（Cluster Manager）B.执行进程（Executor）C.Worker NodeD.任务控制节点Driver Program正确答案：A、B、C、D3、关于RDD之间的依赖分为窄依赖和宽依赖，以下说法正确的是？（）A.存在一个父RDD的一个分区对应一个子RDD的多个分区，则为宽依赖B.存在一个父RDD的多个分区对应一个子RDD的一个分区，则为宽依赖C.存在一个父RDD的一个分区只被一个子RDD的一个分区所使用，则为窄依赖D.存在一个父RDD的一个分区被一个子RDD的多个分区所使用，则为窄依赖正确答案：A、C4、Spark可以采用几种不同的部署方式，以下正确的部署方式有？（）A.LocalB.StandaloneC.Spark on MesosD.Spark on YARN正确答案：A、B、C、D5、目前的大数据处理典型应用场景可分为哪几个类型? （）A.复杂的批量数据处理B.基于历史数据的交互式查询C.大数据的分布式计算D.基于实时数据流的数据处理正确答案：A、B、D6、以下选项中哪些是Spark的优点？（）A.具有高效的容错性B.利用进程模型C.可以将中间结果持久化到内存D.表达能力有限正确答案：A、C。
学Spark需要什么基础？
学Spark需要什么基础？学Spark需要什么基础？作为大数据主流框架之一的Spark，也是大数据开发人员必须要掌握的重要技术框架，在企业招聘当中，掌握Spark框架的大数据人才，也更加具备竞争优势。
那么Spark需要什么基础？今天就来给大家讲讲Spark需要什么基础？首先，学习大数据，不管是Hadoop还是Spark，基本功都少不了Linux和Java。
搭建集群环境，Linux基础是必须的，系统操作命令是基础中的基础。
而Java，主要以JavaSE的知识为重点，包括面向对象、集合、io、多线程以及JDBC操作等，这部分是大数据开发当中常常需要用到的。
其次，是要建立起大数据技术背景，对于大数据处理各个环节，以及对应的解决方案，系统框架要有基本的认识：1、数据采集：Flume、Kafka、Logstash、Filebeat...2、数据存储：Mysql、Redis、Hbase、HDFS...3、数据查询：Hive、Elasticsearch...4、实时数据计算：Storm、Spark-streaming、Flink...5、离线数据计算：Hadoop、Spark...6、其他框架：Zookeeper...有了这样的背景基础之后，开始Spark学习也能够更快地理解很多东西，特点建议在Spark学习之间要先对Hadoop框架有比较全面的认识，包括核心的HDFS、MapReduce、Yarn等，这部分和Spark 联系紧密，对于像Spark为什么计算性能优异，架构设计为什么会这样设计等等这样的问题，也能更快理解和消化。
对于Spark框架的学习，Spark生态圈各组件需要着重掌握，包括Spark-core，Spark-streaming，Spark-mlib，Spark-graphx，刚开始学习的时候主要学习Spark-core和Spark-streaming，Spark-mlib和Spark-graphx可以等后期工作需要或者有时间了在研究即可。
Spark Streaming 大规模准实时流式数据处理
Require large clusters to handle workloads Require latencies of few seconds
Need for a framework …
… for building such complex stream processing applications
Traditional streaming systems have a eventdriven record-at-a-time processing model
- Each node has mutable state - For each record, update state & send new records
Spark Streaming
Large-scale near-real-time stream processing
Tathagata Das (TD)
UC Berkeley
UC BERKELEY
What is Spark Streaming?
Framework for large scale stream processing
flatMap
batch @ t+2
flatMap
tweets DStream
flatMap
hashTags DStream
save save save
every batch saved to HDFS
Java Example
Scala
val tweets = ssc.twitterStream(<Twitter username>, <Twitter password>) val hashTags = tweets.flatMap (status => getTags(status)) hashTags.saveAsHadoopFiles("hdfs://...")
实战大数据课件第6章 基于Spark的用户行为实时分析 第4节 基于Spark Streaming
4.Spark Streaming实时分析用户行为
• 业务建表
✓ MySQL建库
4.Spark Streaming实时分析用户行为
• 业务建表
✓ MySQL建表 在test数据库下，创建newscount表存储每个新闻话题的数量
4.Spark Streaming实时分析用户行为
• 业务建表
✓ MySQL建表 在test数据库下，创建periodcount表存储每分钟新闻话题的总量
4.Spark Streaming实时分析用户行为
• 业务代码实现
✓ 开发实时业务代码 val topics = Array(Constants.topic) val stream = KafkaUtils.createDirectStream[String, String]( ssc, PreferConsistent, Subscribe[String, String](topics, kafkaParams) )
4.Spark Streaming实时分析用户行为
• 模拟生成用户数据
✓ 编写模拟程序代码 //读取文件数据 public static void readData(String inputFile,String outputFile) { String tmp = null; FileInputStream fis = new FileInputStream(inputFile); InputStreamReader isr = new InputStreamReader(fis,"GBK"); BufferedReader br = new BufferedReader(isr); int counter=1; while ((tmp = br.readLine()) != null) { writeData(outputFile,tmp); counter++; Thread.sleep(1000); } isr.close(); }
《Spark大数据编程基础(Scala版)》第六章SparkSQL
6.1.2 程序主入口SparkSession
在启动进入spark-shell后，spark-shell默认提供了一个Spa rkSession对象，名称为spark，因此在进入spark-shell之后进行 各种数据操作，可以依据代码6-1声明创建一个SparkSession对 象，也可以直接使用spark-shell提供的默认的SparkSession对象， 即spark。
6.1.1 Spark SQL架构
Spark SQL与传统的DBMS的“查询优化器+执行器” 的架构较为相似，只不过其执行器是在分布式环境中实 现，并采用Spark作为执行引擎。Spark SQL的执行优化 器是Catalyst，其基于Scala语言开发的，可以灵活利用 Scala原生的语言特性扩展功能，奠定了Spark SQL的发展 空间。所有的Spark SQL语句最终都通过Catalyst解析、 优化生成可以执行的Java字节码。
Spark大数据编程基础（Scala版）
本章对Spark SQL进行了概述，包括架构、特点和程 序主入口等，以及Spark SQL的DataFrame编程抽象；然 后介绍了DataFrame与RDD的区别，从外部数据源创建 DataFrame的方法，以及RDD转换为DataFrame的两种方 法；再对DataFrame的Transformation操作、Action操作 和保存操作进行了介绍；最后用综合实例对整章内容进 行总结概括。
6.1.2 程序主入口SparkSession
SparkSession对象不仅为用户提供了创建Data Frame对象、读取外部数据源并转化为DataFrame 对象以及执行sql查询的API，还负责记录着用户希 望Spark应用在Spark集群运行的控制、调优参数， 是Spark SQL的上下文环境，是运行的基础。
Spark实践——基于SparkStreaming的实时日志分析系统
Spark实践——基于SparkStreaming的实时⽇志分析系统本⽂基于《Spark 最佳实践》第6章 Spark 流式计算。
我们知道⽹站⽤户访问流量是不间断的，基于⽹站的访问⽇志，即 Web log 分析是典型的流式实时计算应⽤场景。
⽐如百度统计，它可以做流量分析、来源分析、⽹站分析、转化分析。
另外还有特定场景分析，⽐如安全分析，⽤来识别 CC 攻击、 SQL 注⼊分析、脱库等。
这⾥我们简单实现⼀个类似于百度分析的系统。
1.模拟⽣成 web log 记录在⽇志中，每⾏代表⼀条访问记录，典型格式如下：分别代表：访问 ip，时间戳，访问页⾯，响应状态，搜索引擎索引，访问 Agent。
简单模拟⼀下数据收集和发送的环节，⽤⼀个 Python 脚本随机⽣成 Nginx 访问⽇志，为了⽅便起见，不使⽤ HDFS，使⽤单机⽂件系统。
⾸先，新建⽂件夹⽤于存放⽇志⽂件然后，使⽤ Python 脚本随机⽣成 Nginx 访问⽇志，并为脚本设置执⾏权限, 代码见设置可执⾏权限的⽅法如下之后，编写 bash 脚本，⾃动⽣成⽇志记录，并赋予可执⾏权限，代码见赋予权限执⾏ genLog.sh 查看效果，输⼊ ctrl+c 终⽌。
2.流式分析创建 Scala 脚本，代码见3.执⾏同时开启两个终端，分别执⾏ genLog.sh ⽣成⽇志⽂件和执⾏ WebLogAnalyse.scala 脚本进⾏流式分析。
执⾏ genLog.sh执⾏ WebLogAnalyse.scala, 使⽤ spark-shell 执⾏ scala 脚本效果如下，左边是 WebLogAnalyse.scala，右边是 genLog.sh。
Spark大数据技术与应用 第6章 Spark Streaming：实时计算框架
描述
源DStream的每个元素通过函数func返回一个新的DStream
类似map操作，不同的是每个元素可以被映射出0或者更多的输出元素 对源DStream中的每一个元素应用func方法进行计算，如果func函数返回结 果为true，则保留该元素，否则丢弃该元素，返回一个新的Dstream 合并两个DStream，生成一个包含两个DStream中所有元素的新DStream对 象 统计DStream中每个RDD包含的元素的个数，得到一个新的DStream 使用func将源DStream中的每个元素进行聚合操作，返回一个内部所包含的 RDD只有一个元素的新DStream
TCP sockets ➢ 不仅可以通过调用map，reduce，join和window等API函数来处理数据，
也可以使用机器学习、图算法来处理数据 ➢ 最终结果可以保存在文件系统、数据库或者实时Dashboard展示
3
初探Spark Streaming
Spark Streaming运行原理
Spark Streaming的输入数据按照时间片（batch size）分成一段 一段的数据，得到批数据（batch data），每一段数据都转换成 Spark中的RDD，然后将Spark Streaming中对DStream的 Transformation操作变为针对Spark中的RDD的Transformation 操作，将RDD经过操作变成中间结果保存在内存中。整个流式计 算根据业务的需求可以对中间的结果进行叠加或者存储到外部设 备。
DStream的操作可以通过RDD的Transformation生成新的DStream。
Байду номын сангаас13
掌握DStream编程模型
Spark编程基础教学大纲
Spark编程基础教学大纲课程内容包括大数据技术概述、Scala语言基础、Spark的设计与运行原理、Spark环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming和Spark MLlib 等。
课程概述Spark是当前热门的大数据处理技术，本课程重点介绍Spark的技术原理与编程方法。
课程由全国高校知名大数据教师厦门大学林子雨老师主讲，采用林子雨等编著的《Spark编程基础（Scala版）》作为课程教材。
Spark支持采用Scala、Java、Python和R语言进行编程，本课程采用Scala语言编写Spark应用程序。
课程内容包括大数据技术概述、Scala语言基础、Spark的设计与运行原理、Spark 环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming和Spark MLlib等。
通过本课程的学习，将帮助学生形成基础的Spark应用程序编程能力，为学生使用Spark技术解决实际科研问题和未来从事大数据相关工作奠定基础。
授课目标Spark是当前热门的大数据处理技术，本课程重点介绍Spark的技术原理与编程方法。
本课程采用Scala语言编写Spark应用程序。
课程内容包括大数据技术概述、Scala语言基础、Spark的设计与运行原理、Spark环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming和Spark MLlib等。
通过本课程的学习，将帮助学生形成基础的Spark应用程序编程能力，为学生使用Spark技术解决实际科研问题和未来从事大数据相关工作奠定基础。
课程大纲第1章大数据技术概述1.1 大数据时代1.2 大数据概念1.3 大数据的影响1.4 大数据关键技术1.5 大数据计算模式1.6 代表性大数据技术第1章大数据技术概述单元测验第2章Scala语言基础2.1 Scala语言概述2.2 Scala基础知识2.3 面向对象编程基础2.4 函数式编程基础第2章Scala语言基础单元测验第3章Spark的设计与运行原理3.1 Spark概述3.2 Spark生态系统3.3 Spark运行架构3.4 Spark的部署和应用方式第3章Spark的设计与运行原理单元测验第4章Spark环境搭建和使用方法4.1 安装Spark4.2 在spark-shell中运行代码4.3 开发Spark独立应用程序4.4 Spark集群环境搭建4.5 在集群上运行Spark应用程序第4章Spark环境搭建和使用方法单元测验第5章RDD编程5.1 RDD编程基础5.2键值对RDD5.3 数据读写5.4 综合案例第5章RDD编程单元测验第6章Spark SQL6.1 Spark SQL简介6.2 DataFrame6.3 从RDD转换得到DataFrame 6.4 使用Spark SQL读写数据库第6章Spark SQL单元测验第7章Spark Streaming7.1 流计算概述7.2 Spark Streaming7.3 DStream操作概述7.4 基本输入源7.5 高级数据源7.6 转换操作7.7 输出操作7.8 Structured Streaming第7章Spark Streaming单元测验第8章Spark MLlib8.1 Spark MLlib简介8.2 机器学习流水线8.3 特征抽取、转化和选择8.4 分类与回归第8章Spark MLlib单元测验预备知识本课程属于“进阶级”大数据课程，在学习本课程之前，建议首先学习由林子雨老师主讲的“入门级”大数据课程《大数据技术原理与应用》（点击这里在中国大学MOOC平台学习林子雨老师主讲的国家精品在线开放课程《大数据技术原理与应用》）。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
6.1.3 流计算概念
• 流计算：实时获取来自不同数据源的海量数据，经过实时 分析处理，获得有价值的信息
数据采集
实时分析处理
结果反馈
图 流计算示意图
6.1.3 流计算概念
• 流计算秉承一个基本理念，即数据的价值随着时间的流逝 而降低，如用户点击流。因此，当事件出现时就应该立即 进行处理，而不是缓存起来进行批量处理。为了及时处理 流数据，就需要一个低延迟、可扩展、高可靠的处理引擎
对于一个流计算系统来说，它应达到如下需求： •高性能：处理大数据的基本要求，如每秒处理几十万 条数据 •海量式：支持TB级甚至是PB级的数据规模 •实时性：保证较低的延迟时间，达到秒级别，甚至是 毫秒级别 •分布式：支持大数据的基本架构，必须能够平滑扩展 •易用性：能够快速进行开发和部署 •可靠性：能可靠地处理流数据
数据实时采集
数据实时计算
用户查询 查询结果
实时查询服务
流计算处理流程示意图
6.1.5 流计算处理流程
2. 数据实时采集
• 数据实时采集阶段通常采集多个数据源的海量数据，需要保证实时性 、低延迟与稳定可靠 • 以日志数据为例，由于分布式集群的广泛应用，数据分散存储在不同 的机器上，因此需要实时汇总来自不同机器上的日志数据 • 目前有许多互联网公司发布的开源分布式日志采集系统均可满足每秒 数百MB的数据采集和传输需求，如： – Facebook的Scribe – LinkedIn的Kafka – 淘宝的Time Tunnel 数据实时采集 – 基于Hadoop的Chukwa和Flume
传统的数据处理流程示意图
• 传统的数据处理流程隐含了两个前提： – 存储的数据是旧的。存储的静态数据是过去某一时刻的快照，这 些数据在查询时可能已不具备时效性了 – 需要用户主动发出查询来获取结果
6.1.5 流计算处理流程
• 流计算的处理流程一般包含三个阶段：数据实时采集、数据实时计算 、实时查询服务Leabharlann 6.1.1 静态数据和流数据
• 很多企业为了支持决策分析而构建的数据仓库系统，其中 存放的大量历史数据就是静态数据。技术人员可以利用数 据挖掘和OLAP（On-Line Analytical Processing）分析工 具从静态数据中找到对企业有价值的信息
6.1.1 静态数据和流数据
• 近年来，在Web应用、网络监控、传感监测等领域，兴 起了一种新的数据密集型应用——流数据，即数据以大量 、快速、时变的流形式持续到达 • 实例：PM2.5检测、电子商务网站用户点击流 流数据具有如下特征： •数据快速持续到达，潜在大小也许是无穷无尽的 •数据来源众多，格式复杂 •数据量大，但是不十分关注存储，一旦经过处理，要 么被丢弃，要么被归档存储 •注重数据的整体价值，不过分关注个别数据 •数据顺序颠倒，或者不完整，系统无法控制将要处理 的新到达的数据元素的顺序
6.1.4 流计算框架
• 当前业界诞生了许多专门的流数据实时计算系统来满足各自需求 • 目前有三类常见的流计算框架和平台：商业级的流计算平台、开源流 计算框架、公司为支持自身业务开发的流计算框架 • 商业级：IBM InfoSphere Streams和IBM StreamBase • 较为常见的是开源流计算框架，代表如下： – Twitter Storm：免费、开源的分布式实时计算系统，可简单、高 效、可靠地处理大量的流数据 – Yahoo! S4（Simple Scalable Streaming System）：开源流计算 平台，是通用的、分布式的、可扩展的、分区容错的、可插拔的 流式系统 • 公司为支持自身业务开发的流计算框架： – Facebook Puma – Dstream（） – 银河流数据处理平台（淘宝）
计算结果
数据流出
数据实时采集
数据实时计算流程
用户查询
数据实时计算
查询结果
实时查询服务
6.1.5 流计算处理流程
4.实时查询服务
• 实时查询服务：经由流计算框架得出的结果可供用户进行 实时查询、展示或储存 • 传统的数据处理流程，用户需要主动发出查询才能获得想 要的结果。而在流处理流程中，实时查询服务可以不断更 新结果，并将用户所需的结果实时推送给用户 • 虽然通过对传统的数据处理系统进行定时查询，也可以实 现不断地更新结果和结果推送，但通过这样的方式获取的 结果，仍然是根据过去某一时刻的数据得到的结果，与实 时结果有着本质的区别 数据实时采集
《Spark编程基础》
第6章 Spark Streaming
提纲
6.1 流计算概述 6.2 Spark Streaming 6.3 DStream操作概述 6.4 基本输入源
6.5 高级数据源
6.6 转换操作 6.7 输出操作
6.8 Structured Streaming
6.1 流计算概述
• • • • • 6.1.1 静态数据和流数据 6.1.2 批量计算和实时计算 6.1.3 流计算概念 6.1.4 流计算框架 6.1.5 流计算处理流程
6.1.5 流计算处理流程
• • • • 1. 2. 3. 4. 概述 数据实时采集 数据实时计算 实时查询服务
6.1.5 流计算处理流程
1. 概述
• 传统的数据处理流程，需要先采集数据并存储在关系数据库等数据管 理系统中，之后由用户通过查询操作和数据管理系统进行交互
用户查询 查询结果
数据管理系统
数据实时计算
用户查询 查询结果
实时查询服务
6.1.5 流计算处理流程
3. 数据实时计算
• 数据实时计算阶段对采集的数据进行实时的分析和计算， 并反馈实时结果 • 经流处理系统处理后的数据，可视情况进行存储，以便之 后再进行分析计算。在时效性要求较高的场景中，处理之 后的数据也可以直接丢弃
数据流入
流处理系统 实时计算
6.1.2 批量计算和实时计算
• 对静态数据和流数据的处理，对应着两种截然不同的计算模式：批量 计算和实时计算
•批量计算：充裕时间处理静态数据， 如Hadoop •流数据不适合采用批量计算，因为流 数据不适合用传统的关系模型建模 •流数据必须采用实时计算，响应时间 为秒级 •数据量少时，不是问题，但是，在大 数据时代，数据格式复杂、来源众多、 数据量巨大，对实时计算提出了很大 的挑战。因此，针对流数据的实时计 算——流计算，应运而生 图 数据的两种处理模型