大数据存储和计算资源管理 单超
云计算对大数据的处理和存储
云计算对大数据的处理和存储随着互联网的发展和信息技术的进步，大数据的概念不断被提及并逐渐深入人们的生活。
大数据以其海量、多样、高速和价值密度较低的特点，给传统的数据处理和存储带来了巨大挑战。
为了更好地应对这些挑战，云计算作为一种新兴的计算模式，在数据处理和存储方面发挥了越来越重要的作用。
首先，云计算通过其分布式的架构，提供了强大的计算能力，能够高效地处理大数据。
云平台可以通过将数据分散存储在多个节点上，并利用并行计算的方式，实现对大数据的快速处理。
相较于传统的单机处理方式，云计算能够实现横向扩展，充分利用资源，从而在效率上有着明显的优势。
当面对大规模数据的处理时，云计算可以将任务划分成多个子任务，分配给多个计算节点同时执行，从而大大提升了数据的处理速度。
其次，云计算通过其弹性和灵活的特点，为大数据的存储提供了良好的解决方案。
传统的数据存储需要投入大量的成本，包括存储设备的采购和维护。
而云存储则无需大规模的硬件设备，只需租用云服务商提供的存储空间即可，节省了大量的资源和成本。
同时，在云计算平台上，数据的存储也变得非常灵活，可以根据需求进行扩容或缩减，用户只需按需使用存储空间，可以大大减少资源的浪费。
此外，云计算提供了安全性较高的大数据处理和存储解决方案。
大数据含有大量的个人和商业隐私信息，如何保证数据的安全性一直是一个重要的问题。
云计算服务提供商通常会采用多种手段来保护用户数据的安全。
首先，云存储会进行数据备份，确保即使出现硬件故障，数据也能够得到恢复。
其次，云计算服务商会采用加密技术，对用户的数据进行加密存储，保证数据在传输和存储过程中的安全性。
另外，云计算平台还可以提供多层次的访问控制机制，对不同角色的用户进行权限划分，保护数据不被未经授权的访问。
当然，云计算在大数据处理和存储方面也存在一些挑战。
首先，大数据的传输和处理需要较大的带宽和计算资源，而云计算平台在资源的分配上可能会面临性能瓶颈。
此外，大数据的隐私和安全问题也是云计算面临的挑战之一，用户会担心数据泄露或被滥用的风险。
大数据存储与管理技术
大数据存储与管理技术在当今数字化时代，数据的规模和复杂性呈爆炸式增长，大数据已经成为了企业和社会发展的重要资产。
而如何有效地存储和管理这些海量的数据，成为了摆在我们面前的一个关键问题。
大数据的特点首先在于其规模巨大。
以往我们所处理的数据量可能以兆字节（MB）或吉字节（GB）为单位，但如今大数据常常以太字节（TB）甚至拍字节（PB）来计量。
想象一下，一个大型电商平台每天产生的交易数据、用户浏览数据、商品评价数据等，都是一个极其庞大的数字。
其次，大数据的类型多种多样，包括结构化数据（如表格中的数据）、半结构化数据（如 XML 或 JSON 格式的数据）和非结构化数据（如文本、图像、音频、视频等）。
再者，大数据的产生速度非常快，实时性要求高。
例如金融交易中的数据、社交媒体上的信息流，都需要在极短的时间内被处理和分析。
为了应对这些挑战，一系列大数据存储与管理技术应运而生。
分布式存储系统是其中的核心技术之一。
它将数据分散存储在多个节点上，通过网络连接在一起，共同构成一个统一的存储资源。
这种分布式架构不仅能够提供巨大的存储空间，还能实现高可靠性和容错性。
如果某个节点出现故障，系统能够自动将数据恢复或迁移到其他正常的节点上，确保数据的安全性和可用性。
Hadoop 生态系统在大数据存储与管理中扮演着重要角色。
Hadoop分布式文件系统（HDFS）是其核心组件之一，它专门为大规模数据存储而设计。
HDFS 采用主从架构，一个名称节点（NameNode）负责管理文件系统的元数据，而多个数据节点（DataNode）则负责存储实际的数据。
通过这种方式，Hadoop 能够处理 PB 级别的数据量，并支持大规模的并发访问。
NoSQL 数据库也是大数据存储的重要手段。
与传统的关系型数据库不同，NoSQL 数据库不遵循严格的关系模型，而是采用了更加灵活的数据模型，以适应不同类型和结构的数据。
例如，键值存储数据库适合存储简单的键值对数据；文档数据库适合存储半结构化的文档数据；列族数据库适合处理大规模的列数据；图数据库则擅长处理具有复杂关系的数据。
大数据存储与管理技术解析
大数据存储与管理技术解析在当今信息时代，大数据已经成为了企业的重要资产。
处理和管理大数据的能力对于企业的竞争力和业务发展至关重要。
而大数据的存储与管理技术则是在这个背景下应运而生的技术领域。
本文将对大数据存储与管理技术进行详细解析，以帮助读者更好地理解和应用这些技术。
一、大数据存储技术1. 分布式文件系统大数据的存储往往涉及到海量的数据，传统的关系数据库等存储方式已经无法满足这种需求。
分布式文件系统通过将数据分布到多个节点上存储，以提高存储的容量和性能。
例如，Hadoop分布式文件系统（HDFS）是一个优秀的分布式存储系统，它通过将文件分割为多个块，并将这些块分布到不同的服务器上存储，实现了高容量和高并发的存储能力。
2. 列存储技术传统的关系数据库存储数据的方式是行存储，而列存储技术则是将数据按列存储。
相比于行存储，列存储技术在处理大规模数据时更加高效。
它能降低I/O的次数，提高读取数据的速度，并且在处理聚合查询时具有更好的性能。
常见的列存储软件包括HBase、Cassandra等。
3. 冷热数据分离对于大数据存储而言，不同的数据类型和访问频率可能会有很大的差异。
因此，在存储方面需要根据数据的热度将其分为热数据和冷数据，并采用不同的存储方式进行管理。
热数据一般存储在高速存储介质如SSD中，提供快速访问；而冷数据可以存储在廉价的存储介质如磁带库中，实现数据的长期保存。
二、大数据管理技术1. 数据清洗与预处理大数据存储管理的首要任务是对数据进行清洗与预处理。
原始的大数据集往往包含了很多噪声和冗余信息，需要对其进行清洗，以提高数据的质量和准确性。
预处理方面，需要对数据进行格式转换、去除重复记录、填充缺失值等操作，以便更好地支持后续的数据分析和挖掘工作。
2. 数据备份与恢复对于大数据而言，数据备份是非常重要的环节。
大数据的备份需要保证数据的完整性和可靠性，以防止数据的丢失和损坏。
为了提高备份效率，可以采用增量备份和差异备份等技术。
大数据的存贮和处理课件
利用机器学习技术对大数据进行分析和发掘，发现数据背后的规律和趋势。
智能化决策
基于大数据和人工智能的决策支持系统，提高决策的科学性和准确性，推动智 能化的发展。
THANK YOU
感谢各位观看
可扩大性。
散布式存储系统通常采用可扩大的架构 ，可以根据数据量和业务需求进行灵活 的扩大，同时支持多种数据类型和数据
访问模式。
散布式存储系统具有高可用性和高可靠 性，可以保证数据的持久性和一致性，
同时支持数据备份和恢复功能。
NoSQL数据库
NoSQL数据库是一种非关系型数据库，它采用键值对、文档、列族或图形等数据结构来存储数据，并 支持灵活的数据模型和水平可扩大性。
数据仓库适用于对大量数据进行查询和分析的 应用场景，如商业智能、决策支持和数据分析 等。
数据仓库具有高性能、高可用性和可扩大性等 特点，可以支持复杂的查询和报表生成，同时 保证数据的安全性和完整性。
数据湖
数据湖是一种集中式的数据存储和处理平台，它可以 存储和管理大量结构化和非结构化数据，包括音频、
大数据的存贮和处理课件
目录
• 大数据概述 • 大数据存储技术 • 大数据处理技术 • 大数据安全与隐私保护 • 大数据挑战与未来发展
01
大数据概述
大数据的定义与特点
定义：大数据是指数据量巨大、类型多样、处 理复杂的数据集合。
01
数据量大：数据量通常在TB级别甚至PB 级别，需要大规模存储和处理。
Streaming 和 MLlib 等组件，分别用于结 构化数据处理、实时数据处理和机器学习。
Flink
一个流处理和批处理的开源框架，具有高性能和可扩大性。
Flink 提供了一个统一的 API，用于处理无界和有界数据流。它支持高吞吐、低延迟的流处理，以及大 规模批处理。Flink 的核心是一个流执行引擎，它能够高效地处理数据流并支持状态计算。此外， Flink 还提供了丰富的窗口函数和连接器，以支持各种数据处理场景。
大数据资源管理与调度技术
大数据资源管理与调度技术随着大数据时代的到来，数据量的爆发式增长使得大数据资源的管理与调度成为了一项重要任务。
为确保大数据的高效利用，并解决资源分配不均导致的效率问题，大数据资源管理与调度技术应运而生。
本文将介绍大数据资源管理与调度技术的基本概念、关键特点以及目前的发展趋势。
一、大数据资源管理与调度技术简介大数据资源管理与调度技术是指利用计算机技术对大数据资源进行有效管理以及合理调度的一种技术手段。
其核心目标是合理分配和管理各类数据资源，提高大数据系统的数据处理能力和效率，以满足用户的需求。
大数据资源管理与调度技术的基本原则是根据大数据的特点和需求，通过合理的资源分配和任务调度，实现数据的高效存储、计算和分析。
主要内容包括对数据存储、数据计算、数据传输等资源的管理和分配，以及任务调度的策略制定和执行。
二、大数据资源管理与调度技术的关键特点1.弹性扩展能力：大数据资源管理与调度技术需要具备弹性扩展能力，能够根据系统负载的变化自动调整资源分配和任务调度策略，以提高系统的运行效率。
通过动态扩展计算和存储资源，可以更好地应对数据量的变动。
2.智能调度策略：大数据资源管理与调度技术需要具备智能调度策略，能够根据不同任务的优先级、资源需求和系统负载情况，自动选择最合适的资源进行分配和调度。
智能调度策略可以提高任务的响应速度和处理效率。
3.数据安全与隔离性：大数据资源管理与调度技术需保障大数据的安全性和隔离性。
通过对数据进行分类和权限控制，确保敏感数据不被非授权人员进行访问。
同时，不同用户之间的数据应该互相隔离，避免数据泄露和资源冲突。
三、大数据资源管理与调度技术的发展趋势1.容器化技术的应用：容器化技术可以实现对大数据资源的更加细粒度的管理和调度。
通过将不同的资源和任务打包成容器，可以提高资源利用率，减少资源浪费，还可以更好地实现资源的动态调度和迁移。
2.机器学习的引入：机器学习算法可以对大数据资源管理与调度技术进行优化和预测。
大数据技术专业知识技能
大数据技术专业知识技能随着大数据时代的到来，大数据技术专业知识技能在各个领域都发挥着重要作用。
本文将介绍大数据技术专业知识技能的主要方面，包括数据存储与管理、数据处理与计算、数据挖掘与分析、数据可视化与呈现、数据安全与隐私保护、大数据处理框架与工具、大数据生态系统与平台、大数据应用与行业解决方案以及大数据驱动的创新与创业。
1.数据存储与管理数据存储与管理是大数据技术专业知识技能的基础。
它涉及海量数据的存储、管理、查询和分析。
关系型数据库和非关系型数据库是常用的数据存储方式，如MySQL、Oracle和MongoDB等。
此外，数据采集与处理也是大数据存储与管理的重要环节，包括数据清洗、去重、转换等操作。
2.数据处理与计算数据处理与计算是指对大数据进行加工、分析、挖掘和应用的技术。
数据挖掘和机器学习是数据处理与计算的核心技术，可以帮助我们从海量数据中发现规律和趋势，进行预测和决策。
算法分析也是数据处理与计算的重要部分，包括排序算法、搜索算法、图算法等。
3.数据挖掘与分析数据挖掘与分析是大数据技术专业知识技能的核心。
通过数据挖掘技术，我们可以从大量数据中发现隐藏的模式和关系，预测未来趋势。
数据挖掘技术包括聚类分析、关联规则挖掘、时间序列分析等。
同时，数据分析还包括统计学、预测模型和决策树等技术的应用。
4.数据可视化与呈现数据可视化与呈现是将数据以直观的方式呈现给用户的技术。
通过数据可视化技术，我们可以更好地理解和分析数据，发现数据背后的规律和趋势。
数据可视化工具包括Tableau、Power BI和D3.js等，可以帮助我们将数据以图表、报表等形式展示出来，提高数据的可读性和易用性。
5.数据安全与隐私保护在大数据时代，数据安全与隐私保护至关重要。
数据加密技术可以保护数据的安全性，包括对称加密和公钥加密等。
权限管理也是数据安全与隐私保护的重要手段，可以控制数据的访问权限和操作权限。
此外，数据备份和恢复也是保障数据安全的重要措施之一。
大数据存储与处理技术高效管理海量数据
大数据存储与处理技术高效管理海量数据随着信息技术的迅猛发展，大数据存储和处理技术成为了企业和机构管理海量数据的重要手段。
面对不断增长的数据量，高效管理海量数据势在必行。
本文将介绍大数据存储与处理技术，并探讨如何实现高效的数据管理。
一、大数据存储技术1.1 分布式文件系统分布式文件系统（Distributed File System，简称DFS）是存储大数据的核心技术之一。
它将海量数据分布在多个独立的存储节点上，通过网络连接形成一个逻辑上的整体。
DFS具有高容错性和高可靠性，能够实现数据的快速存储和访问。
1.2 列存储和行存储在大数据存储中，列存储和行存储是常用的两种数据存储方式。
列存储将同一列的数据存放在一起，适合于查询操作；而行存储将同一行的数据存放在一起，适合于事务处理。
根据应用场景选择合适的存储方式能够提高数据访问效率。
1.3 NoSQL数据库NoSQL数据库（Not Only SQL）是一种非关系型数据库，广泛应用于大数据存储中。
与传统的关系型数据库相比，NoSQL数据库具有分布式处理能力和高扩展性，能够更好地应对大规模数据集和高并发访问的需求。
二、大数据处理技术2.1 批处理批处理是一种常用的大数据处理方式，适用于数据规模较大、计算复杂度较高的场景。
通过将数据划分成若干个批次进行处理，可以提高计算效率和性能。
2.2 流式处理流式处理是一种实时处理数据的方式，能够快速响应数据变化。
它通过将数据流分成一小段一小段进行处理，实现数据的实时计算和分析。
2.3 图计算图计算是用于处理复杂网络关系的大数据处理技术。
通过将数据抽象为图的节点和边，可以进行复杂的网络分析和图算法的计算。
三、高效管理海量数据的实现3.1 数据压缩与归档在海量数据存储中，数据压缩和归档是一种常用的数据管理方式。
通过对冷数据进行压缩和归档，可以节省存储空间和提高数据访问速度。
3.2 数据分片与负载均衡数据分片和负载均衡是实现数据高效管理的关键技术。
大数据 第4章 大数据存储与管理
大数据第4章大数据存储与管理在当今数字化的时代，数据正以前所未有的速度增长和积累，大数据已经成为了企业和组织决策、创新以及提升竞争力的重要资产。
而大数据的存储与管理则是确保这些海量数据能够被有效利用和保护的关键环节。
大数据的特点首先在于其规模巨大。
传统的数据存储和管理方式在面对 PB 级甚至 EB 级的数据量时往往显得力不从心。
其次，数据的类型多样，包括结构化数据（如关系型数据库中的表格数据）、半结构化数据（如 XML、JSON 格式的数据）以及非结构化数据（如文本、图像、音频、视频等）。
此外，数据的产生速度极快，需要实时或近实时的处理和存储。
面对这些挑战，大数据存储技术不断发展和创新。
分布式文件系统是大数据存储的基础架构之一。
例如 Hadoop 的 HDFS（Hadoop 分布式文件系统），它将数据分散存储在多个节点上，通过冗余备份来保证数据的可靠性。
这种分布式架构能够横向扩展，意味着可以通过增加节点来轻松应对不断增长的数据量。
NoSQL 数据库在大数据存储中也扮演着重要角色。
与传统的关系型数据库不同，NoSQL 数据库放弃了严格的事务一致性和模式约束，更注重数据的高可用性和可扩展性。
常见的 NoSQL 数据库类型包括键值存储（如 Redis）、文档数据库（如 MongoDB）、列族数据库（如HBase）和图数据库（如Neo4j）等。
它们各自适用于不同的应用场景。
对于大规模的结构化数据存储，数据仓库仍然是一种重要的选择。
像 Teradata、Greenplum 等数据仓库系统能够高效地处理复杂的查询和分析操作。
同时，数据湖的概念也逐渐兴起。
数据湖可以存储各种原始格式的数据，为数据的探索和分析提供了更大的灵活性。
在大数据存储的基础上，有效的数据管理至关重要。
数据治理是数据管理的核心部分，它包括制定数据策略、定义数据标准、确保数据质量和数据安全等。
数据质量的保障涉及数据的准确性、完整性、一致性和时效性。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Scale Up > Scale Out Namenode - 存储(2亿blocks/2亿files)
❖
standby namenode updateCountForQuota缓慢影响主从一致性，进而影响切换（HDFS-6763)
❖
❖ ❖ ❖
standby checkpoint缓慢导致增量blockreport汇报被skip, 影响主从一致性，进而影响切换（HDFS-7097)
calc
ETL metadata
路径访问信息
hdfs audit log
资源管控系统-demo
资源管控系统-demo
存储资源管理 - 如何使用存储数据
❖
容量计费
❖ ❖ ❖
通过计费来控制资源 存储数据完整透明 消费预警，提前知会用户 自动配置生命周期管理规则 存储格式，压缩格式选择（orc+gzip) 自动配置生命周期管理规则 小文件har归档
❖
用更多的资源计算，更快的释放
❖ ❖
sparksql，内存需求高，复杂计算快
presto/impala, 利用mpp框架提高计算性能
计算资源管理 -计算资源优化实例
❖
不同队列的资源使用上限限制
❖ ❖
基于项目粒度的队列资源把控，个性化控制最大可提交资源
项目队列的最大值限制，避免单个项目失控
库/任务/业务/人/ 目录层级 /时间 2. 指标 全量/增量/趋势/平均文件大小/ 最大文件 大小/最小文件大小/文件数目/ 占比 3. 热度 哪些表被频 繁访问？ 哪些表3个月都没人访问了？ 4. 安全 有没有敏感信息被 非法访问
load
hive表元数据信息 调度任务元数据信息
❖ ❖ ❖ ❖ ❖ ❖ ❖ ❖ ❖ ❖ ❖ ❖ ❖ ❖
计算资源管理（分钟级） - 单个队列监控实例
-
-
队列分配红线跑平 队列等待蓝线升高 结论，单个业务资源吃紧 需要增加最大可分配资源
计算资源管理（分钟级） - resourcemanager metric监控示例
调整前： 高峰期 app pending增加 凌晨任 务1个小时任务延迟
standby checkpoint GC导致transfer Fsimage超时失败 集群启动期间, blockreport需要错开，导致启动缓慢，namenode压力增加 大量任务运行期间，resource manager分配能力不足
❖ ❖
ResourceManager - 计算(1k+并行job/40w+ job每天)
❖
https:///jira/browse/YARN-3547 部分解决问题 https:///jira/browse/YARN-5188 our patch for fairscheduler
❖
队列分配过粗，互相影响严重
开源节流
最近磁盘使用急剧增加，谁在用？
这个表好像不用了，我能删除掉吗？ 集群要扩容吗？扩多少?
核心 资源管控
❖ ❖
分田到户 目的：
❖ ❖ ❖ ❖
从乱序到有序 申请和分配有据可查 规则公开透明 数据公开透明
❖
❖ ❖
有多少资源，干多少事
合理的KPI和惩罚机制 ROI，资源倾斜给回报率高的项目
资源有什么？
为什么存储和计算需要关注？
大数据管理工作范畴
❖ 业务系统 ❖ 调度系统 ❖ ETL ❖ 数据模型
❖ 数据质量 ❖ 开发流程 ❖ 运维流程 ❖ 数据审计和安全
❖ 元数据/主数据管
理
❖资源管理
“数据平台使用申请”
❖
用户提交：
❖
❖
管理员处理：
❖
资源类型
❖
hdfs分配：
❖
hdfs存储/hive数据库/hive计算资源/mr计算资 源...
调整min后： 最大 pending不超过100 pending很快下降
计算资源管理（分钟级） - resourcemanager metric监控示例
高峰期资源需求增加，但是分配能力下降 yarn分配能力受到影响，将问题加剧
计算资源管理（分钟级） - 优化展现
❖ ❖ ❖
集群总体资源分布情况 最消耗资源的是什么任务
Federation 存
储优化管理
计算优化管理
提升namenode rpc性能 提升yarn的containaer assign性能 增加机器
存储资源管理
存储资源管理 - hdfs存储资源
存储资源管理 - 如何获取存储数据
hdfs -lsR [slow but easy] fsimage parser [fast but need dev] 【均为hive table】 文件元数据信息 hive metastore
实时/历史的数据查看
计算资源管理（分钟级） - 队列总览展现
计算资源管理（分钟级） - 队列总览展现
计算资源管理（天级） - 离线资源使用
❖
查询集群的资源使用场景
❖ ❖ ❖ ❖
时间/应用/队列维度的资源使用情况 核心ETL任务近期map/reduce使用情况 单个attempt的metrics指标查看，如读取超过1kw行数据的map任务 等等
❖
job api
❖ ❖ ❖
缺点：不是100%完整的数据，定期获取必然会丢失数据
计算资源管理（秒级） - 用户查询识别示例
Thu Apr 21 18:48:01 CST 2016 jobname=--xxx.chen-qid:152011-...100(Stage-2) user=xxx.chen job_id=job_1459656116710_7806076 starttime=1461232053 exceed 3600 seconds,killing...
ETL任 务信息 +job基 础信息
分钟快照
实时快照
mysql/hbase
明细task信息
ETL相关信息
计算资源管理 - 离线计算资源信息
分钟任务快照
yarn每分钟的任务快照
实时任务快照
yarn的明细的任务执行信 息
task执行明细
load
ETL的任务信息 ETL任务内部的job信息
1.维度 任务/业务/人/队列/ 时间/类 型(map|reduce)/服 务器
唯品会大数据平台
大数据存储和计算资源管理
邮箱: eric.shan@ 微信: shanchaoeric
唯品会大数据平台规划
个性化推荐 广告联盟 精准营销 CRM
DMP
统一 T户 数D 货品 画像
( R E(实时推荐 A 台 •
Mixer(接入分发 •
ABT(分流与实 验•
S)oring(初 选•
系统强大 数据规范 流程规范 技术成熟 业务成熟
❖ ❖ ❖ ❖ ❖ ❖
模型变更迅速，开发周期短 用户能力参差不齐 大量的历史包袱 大量的技术包袱 平台不稳定，掌控力差 分层不明确
各种问题
❖ ❖ ❖ ❖ ❖ ❖
这个任务昨天还好好的，为什么今天跑不出来了？ 2-10倍的数据量，能撑得住吗？ 怎么几千个任务都慢了？
❖ ❖
数据倾斜自动识别
队列数据化运营
计算资源管理 - 公平调度
❖
我们的管理原则：
❖ ❖ ❖ ❖ ❖ ❖
尽量细化，单个业务分配单独队列 队列分配的min/max/weight由实际业务来评估，上线初期会不断调整 min是保证的最小资源，确保优先获得 max是业务的最大资源限制，确保不会超过 每个队列由多个不同级别的子队列组成，子队列业务可灵活调整 子队列大小可以基于时间动态调整
计算资源管理 - 实时计算资源信息
业务应用
webui
hiveserver
mr code
hive cmd
spark command
executor(hive/ spark)
yarn - mapreduce
每分钟 app快 照 实时 app基 本信息 实时明 细task 信息 队列资源 使用实时 信息
Sorting(精 E •
Filtering(过 S •
流B计算A台
VDBank 实时接入 VDProcess 实时计算 VDEngine 分布式存
P型训练A台
Spark DNN 算法 库
g V R 维 控c
离线计算 A 台 数 D 管控
标准化 元数 D
eiV控
数D分M
校准
数 D 服务
数DF索
唯品会大数据平台现状
❖ ❖ ❖
自天，天任务队列缩小，小时任务队列放大 夜晚，天任务队列放大，小时任务队列缩小 关键任务确保队列内的最小队列保证
计算资源管理 - Yarn实时运行情况监控
❖
优点
❖
数据完全实时 展现不够直观 无历史时序数据
❖
缺点
❖ ❖
计算资源管理（秒级） - 数据获取
❖
historylog
❖ ❖
通过实时计算框架，获取每个application的明细执行结果 缺点：任务完成后才能获取到完整信息 通过api实时获取到所有job的基础信息 比默认rm的api提供更多字段信息，如sql信息
计算资源管理（秒级） -实时监控task kill ratio
计算资源管理（分钟级） - jmx数据来补充
❖
jmx: "http://%s:8088/jmx" % (IP) 返回格式： #"name" : "Hadoop:service=ResourceManager,name=QueueMetrics,q0=root,q1=mapreduce,q2=xxx,q3=panda", #"modelerType" : "QueueMetrics,q0=root,q1=mapreduce,q2=xxx,q3=panda", #"tag.Queue" : "root.mapreduce.xxx.panda", #"tag.Context" : "yarn", #"tag.Hostname" : "xxxx", #"running_0" : 0, #"running_60" : 0, #"running_300" : 0, #"running_1440" : 0, #"FairShareMB" : 0, #"FairShareVCores" : 0, #"SteadyFairShareMB" : 1228800, #"SteadyFairShareVCores" : 0,