Hive优化

MR迭代次数推测
• Sql语句之我见
– 聚合函数
• max、min、avg、count、distinct
– 连接
• Join、left outer join、right outer join。。
• 多表连接迭代推测
– – – – Select …from a join b on a.id = b.id Select col1,..count(col2) from a join b on .. Select col1,..count(distinct col2) from a join b on .. 公式：逢join、distinct加1，遇mapjoin减1
Hive优化以及执行原理
数据平台 杨新彦 2014-01-13
1. 整体架构优化
2. MR阶段优化
3. JOB优化 4. SQL作业优化 5. 平台优化
开发量大
为什么要用hive
SELECT word, count(1) FROM ( select explode(split(line,’\s’ )) AS word FROM article )w GROUP BY word ORDER BY word
count distinct数据倾斜
• Select count(distinct id) from acorn_3g.iplog where log_date like ‘2013-12%’;
– 耗时：1600S
• Select count(1) from (select distinct id from acorn_3g.iplog where log_date like ‘2013-12%’ and id>0) tmp;
Shuffle阶段优化
• 压缩中间数据
– 减少磁盘操作 – 减少网络传输数据量
• 配置方法
– press.map.output 设为true – pression.codec
• press.LzoCodec • press.SnappyCodec
– 耗时：600s
SQL作业优化
作业并行执行 MR迭代次数推测 业务sql优化
Sql并行执行
• hive.exec.parallel=true (default false) • hive.exec.parallel.thread.number =8 (default 8) • hive并行执行sql
简单
3
Hive架构&执行流程
Luna离线数据平台
Hive执行流程&操作符
操作符 TableScanOperator ReduceSinkOperator JoinOperator SelectOperator FileSinkOperator FilterOperator GroupByOperator MapJoinOperator LimitOperator UnionOperator 描述 扫描hive表数据 创建将发送到Reduce端的<key,reduce>对 Join两份数据 选择输出列 建立结果数据，输出至文件 过滤输入数据 Group By语句 /*+mapjoin(t)*/ Limit语句 Union语句
Spark生态环境
迭代计算 SPARK 流数据处理 Spark Streaming 机器学习 GraphX、MLlib
离线数据平台
参考文献
• • • • • 数据平台Hive相关实践 数据平台Spark相关探索 Hive官方文档 Spark官方文档 阿里数据平台
逻辑执行计划
强大
7
Hive == RDBMS ? TRUE : FALSE
HIVE 查询语言
数据存储
RDBMS SQL
RAW Devices ACID YES Excutor 20 nodes 小 低 数据分析OR线上 高
HQL
HDFS NO Yes（待测试） MR BIG BIG 大 大 高 数据分析 一般
– hive.exec.reducers.max 默认：999 – hive.exec.reducers.bytes.per.reducer 默认：1G
• 切割算法
– numRTasks = min[maxReducers,input.size/perReducer]
• maxReducers = ${hive.exec.reducers.max} • perReducer = {hive.exec.reducers.bytes.per.reducer}
Shuffle参数
Map端参数 Reduce端参数
• • • • •
io.sort.mb io.sort.spill.percent bine io.sort.factor io.sort.record.percent
• mapred.reduce.parallel.copies • mapred.reduce.copy.backoff • io.sort.factor • mapred.job.shuffle.input.buffer.percent • mapred.job.shuffle.input.buffer.percent • mapred.job.reduce.input.buffer.percent
• 伪分式
– 正常job
JOIN算法
• Common join • Map join • Bucket map join
Map join
• hive.auto.convert.join=true (default false) • hive.mapjoin.smalltable.filesize=600M(default 25M) • Select /*+MAPJOIN(a)+*/ ..a join b强制指定 mapjoin
– 耗时：260s
common join倾斜
• select m.uid as user_id,m.from_id,m.app_id,m.is_auto,u.stage from acorn_3g.mcs_access m join user u on m.uid = u.id where m.log_date='2013-12-12’;
JOB优化
• 执行模式 • JOIN算法 • 数据倾斜
执行模式
• 本地模式（小数据量）
– – – – hive.exec.mode.local.auto=true hive.exec.mode.local.auto.inputbytes.max(128MB by default) hive.exec.mode.local.auto.tasks.max(4 by default) num_reduce_tasks <= 1
事物
索引 执行 扩展性 数据规模 执行延迟 业务 硬件配置
8
建 索 引
查询慢 ? 建索引 ? NO!
9
1. 整体架构优化
2. MR阶段优化
3. JOB优化 4. SQL作业优化 5. 平台优化
Datawarehouse优化
表分区、动态分区
• 查询维度、业务需求 • 日期分区 • 类型分区
压缩、分布式缓存优化
• 切割算法
– splitSize = max[minSize,min(maxSize,blockSize)] – minSize = ${mapred.min.split.size} – maxSize = ${mapred.max.split.size}
• 列裁剪 hive.optimize.cp=true • map端聚合 hive.map.aggr=true • Map端谓语下推 hive.optimize.ppd=true
– 耗时：最起码2个小时
• select m.uid,m.from_id,m.app_id,m.is_auto,u.stage from user u join (select m.uid,m.from_id,m.app_id,m.is_auto from acorn_3g.mcs_access m where log_date='2013-12-12' and uid>0 group by m.uid,m.from_id,m.app_id,m.is_auto) m on m.uid = u.id
业务优化
• 多条件用户id筛选
– 筛选8个省份，每省特定条件用户ID 20，000个
• 周wau、周wau保留率
– 最近半年400G数据 – 2千万*180天行记录
Hive之吐槽
• • • • 加强公用UDF函数 异常JOB探测，培训优化 Hive tez，脱胎换骨 Spark shark，业界良心，大趋势
• 原始日志BZ2压缩 • MR中间输出LZO压缩 • 中间表SEQUENCEFILE、RCFILE格式
MR阶段优化
• MAP阶段优化
• REDUCE阶段优化 • SHUFFLE阶段优化
MAP阶段优化
• mapred.map.tasks 无效 • num_map_tasks切割大小影响参数
– mapred.max.split.size 默认： 256M – mapred.min.split.size 默认： 1B – dfs.block.size 默认：128M
Bucket Map Join
• set hive.optimize.bucketmapjoin=true • mapjoin一起工作 • 所有要join的表必须分桶，大表的桶的个数 是小表的整数倍 • 做了bucket的列必须等于join的列
数据倾斜
• count distinct
• common join