spark Introduction

¡
很Cool的开发语言言
¡ 快速从Apache Incubator项目毕业成为
Apache顶级项目 ¡ 大大数据解决方方案提供商的支持
¡ 应用
§ 华为 / 星环科技 § 阿里//爱奇艺/优酷/京东… § Cloudera / MapR / Hortonworks / Pivotal / SAP …
¡ 其它各种上层模块都是基于Core的衍生生
§ RDD核心心思想在不同领域的拓展和定制化实现 § RDD数据模型的通用性和灵活性，从本质上决
定了它很容易被应用到各种具体的编程模型上
¡ 本质上是Micro-­‐batches RDDs的处理
§ 相比于小Batch的Hadoop Job，Task启动代价小，
Transformed RDD
results
Cache 1
Worker
Driver
tasks Block 1
Action
Cache 2
cachedMsgs.filter(_.contains(“foo”)).count cachedMsgs.filter(_.contains(“bar”)).count . . .
Data Analyst
User Application JDBC Service SQL API
Simple Catalog
CLI
Hive QL
Hive Meta Store
Simple SQL
Catalyst Spark Execution Operators Spark Core
n First released in Spark 1.0 (May, 2014) n Initial committed by Michael Armbrust &
¡ 丰富的应用场景
¡ 更加高高效和通用的编程模型
§ 相比MapReduce模型，更加适用于两种类型的
应用
▪ 迭代算法类（机器学习，图计算） ▪ 交互式数据挖掘
¡ 良好的用户体验
▪ 编程效率：基于Scala的核心心模块，提供Java/python编 程接口口 ▪ 功能强大大的API,丰富的操作算子子 ▪ 交互式的解释执行行接口口（调试，学习）
¡
§ Lineage记录的是粗颗粒度的数据变换操作行行为 § 当RDD的部分分区数据丢失时，它可以通过Lineage
信息重新运算和恢复丢失的数据分区。 § 这种粗颗粒的数据模型，限制了Spark的运用场合， 但同时相比细颗粒度的数据模型，也带来了性能的 提升。
RDDs maintain lineage information that can be used to reconstruct lost partitions Ex:
n Hive-­‐like interface(JDBC
Service / CLI) n Both Hive QL & Simple SQL dialects are Supported n DDL is 100% compatible with Hive Metastore n Hive QL aims to 100% compatible with Hive DML
Join…)操作转换为另一一个RDD § 源头的RDD的数据来源可以是外部存储，如 HDFS，也可以动态生生成 § 可以采用各种缓存方方式加速处理 § 容错, 数据本地性, 可扩展性
分布式运算环境下的数据容错模型往往是影响 整个系统的核心心机制之一一 ¡ 其它基于内存的类似计算框架系统采用细颗粒 度的数据备份或者LOG机制 ¡ RDD采用基于血血统关系(Lineage)的容错模型
¡
¡
很Cool的背景
§ 理论架构的先进性 § 性能 § 持续发展的动力力源泉
¡
很Cool的开发团队 很Cool的应用场景
¡
§ 活跃的社区 § 不至至于成为屠龙之技 § 开发效率 § 高高(zhuang)逼格的资本 lol
A:
B: G: groupBy D: map E: F:
Stage 1 partition Stage 3
Client
Step
Step
Step
Step
Step
Client
Step
Step
Step
Step
Step
¡ 计算模型固定 ¡ 每个MapReduce阶段之间需要落盘 ¡ 容错性好
Map
Reduce
Input
Map Map Reduce
Spark Introduction
蘑菇街 FST － 天火
¡ 分布式计算框架 ¡ 等等，关我什么事？
§ 太多的分布式计算框架
¡ 因为它很Cool ¡ 所以你不想Out？
¡
出身背景很Cool
§ UC Berkeley AMPLab实验室
¡
主要开发者很Cool
§ DataBricks § Intel / Yahoo / Cloudera § ETL、OLAP、机器学习、基因工工程 § scala
¡
应用场景很Cool 开发语言言很Cool
Base RDD
lines = spark.textFile(“hdfs://...”) errors = lines.filter(_.startsWith(“ERROR”)) messages = errors.map(_.split(‘\t’)(2)) cachedMsgs = messages.cache()
latency低 § 近实时（相比Storm）
▪ 默认200ms一一个批次
§ 吞吐率高高 § 相对于其它模块，最早在业界得到应用
§ 与普通RDD批处理统一一的编程模型 § 基于Lineage的容错模型 § 丰富的数据源
val conf = new SparkConf() val ssc = new StreamingContext(conf, Seconds(1)) val lines = ssc.textFileStream(args(1)) val words = lines.flatMap(_.split(" ")) val result = words.map(x => (x, 1)).reduceByKey(_ + _).collect() ssc.start()
Output
Dryad-­‐like DAGs Pipelines functions within a stage Cache-­‐aware work reuse & locality Partitioning-­‐aware to avoid shuffles
val conf = new SparkConf() val ﾊsc ﾊ= ﾊnew ﾊSparkContext(conf) val ﾊlines ﾊ ﾊ= ﾊsc.textFile(args(1)) val ﾊwords ﾊ= ﾊlines.flﾟatMap(_.split(" ")) val result = words.map(x ﾊ=> ﾊ(x, ﾊ1)).reduceByKey(_ + _).collect()
¡ 2014年大大数据领域最活跃的开源项目
¡ 分布式计算框架 ¡ 基于内存的调度和运算模型 ¡ 兼容Hadoop生生态环境
§ 数据存储格式 § Works with Hdfs/Yarn/Hive/Hbase/kaQa… etc. § 离线处理 / 实时计算 § SQL / 机器学习 / 图计算
Reynold Xin from Databricks
¡
MLlib 机器学习算法库:
§ Initial contribution from AMPLab, UC Berkeley § Shipped with Spark since version 0.8 (Sep 2013) § Dense § Sparse ( Since 1.0)
Stage 2
!
¡
¡
Resilient distributed datasets (RDDs)
/citation.cfm?id=2228301
§ 不可变的，按分区组织的数据对象 § 一一个RDD可以通过各种（map, filter, groupBy,
HDFS File filter (func = _.startsWith(...)) Filtered RDD map (func = _.split(...)) Mapped RDD
messages = textFile(...).filter(_.startsWith(“ERROR”)) Result ＝ messages.map(_.split(‘\t’)(2))
Cache 3
Worker Worker
Block 3 Block 2
¡ 围绕RDD的概念，实现核心心运行行调度逻辑
§ Scheduler：作业和任务的调度管理 § BlockManager：RDD/Shuffle等数据块的管理 § RDD：各种RDD数据结构表达和算法实现 § Shuffle：管理Shuffle逻辑和相关数据流程 § NetWork：跨节点数据通讯相关 § Yarn: 基于Yarn的任务调度管理模块 § 其它…