腾讯云-弹性MapReduce服务平台概述
云计算平台的弹性伸缩与使用教程

云计算平台的弹性伸缩与使用教程近年来,云计算平台在各个行业中的应用越来越广泛。
云计算平台的弹性伸缩是其中一个重要的功能,它可以帮助企业灵活地调整资源,以满足不同的业务需求。
本文将介绍云计算平台的弹性伸缩的概念、原理和使用教程,以帮助读者更好地了解和应用。
一、弹性伸缩的概念云计算平台的弹性伸缩是指根据业务负载的变化,自动调整计算资源的数量。
当业务负载增加时,弹性伸缩可以自动添加更多的计算资源,保证业务的正常运行;而当业务负载减少时,弹性伸缩会自动减少计算资源,以节约成本。
弹性伸缩可以帮助企业提高效率、降低成本,并增加业务的稳定性和可靠性。
二、弹性伸缩的原理弹性伸缩的原理基于以下几个核心概念:负载监控、伸缩策略和资源调度。
1. 负载监控负载监控是弹性伸缩的基础,它通过监控业务系统的负载情况,例如CPU使用率、内存使用率等指标,来判断业务负载的变化。
常用的负载监控工具有Zabbix、Nagios等,它们可以实时监控各项指标,并生成报告供用户查看。
2. 伸缩策略伸缩策略是弹性伸缩的决策依据,它定义了在不同业务负载情况下,云计算平台需要采取的具体伸缩行为。
常见的伸缩策略有基于阈值的伸缩、基于预测的伸缩和基于事件的伸缩。
基于阈值的伸缩是指根据设定的负载阈值,当负载超过或低于阈值时,自动进行伸缩;基于预测的伸缩是根据历史数据和算法预测未来的负载情况,并根据预测结果进行伸缩;基于事件的伸缩是根据特定事件的触发条件,如用户请求量、网络流量等,进行伸缩。
3. 资源调度资源调度是指根据伸缩策略的决策结果,将计算资源分配到不同的机器上。
资源调度可以通过自动化工具,如Kubernetes、Docker等,来实现。
它们可以根据业务需求和资源状况,将任务分配到不同的节点上,并负责监控和管理节点的运行状态。
三、云计算平台弹性伸缩的使用教程下面将介绍云计算平台弹性伸缩的使用教程,以Amazon Web Services(AWS)为例。
腾讯云产品图标

SSL_CertificateServices (SSL)
物联卡 IoT Link
物联网边缘计算平台 IECP
物联网边缘智能数据处理 IoT EIDP
物联网开发平台 IoT Explorer
物联网设备身份认证 IoT TID
物联网通信 IoT Hub TencentCloudConference
物联网智能视频服务 IoT Video
数据库智能管家 DBbrain
数据库专家服务
腾讯云图
腾讯云产品-安全
高级威胁检测系统
网络入侵防护系统
样本智能分析平台
DDoS 防护
云基础应用
T Sec 云防火墙
反病毒引擎
零信任无边界 访问控制系统
企业移动管理
终端安全管理系统
主机安全 CloudWorkloadProtection
漏洞扫描服务
手游安全 MobileTencentProtect
腾讯微服务平台
腾讯Kona
云基础应用
消息列队CKAFKA CloudKafka
消息列队CMQ CMQ_CloudMessageQueue
消息列队 TDMQ
API网关 API_Gateway
Mesh 微服务平台
Serverless微服务平台
内容识别
数据万象 Cloud_Infinite
图片处理
图片审核
手势识别 GR
卡证文字识别 Card OCR
票据单据识别 Invoice OCR
汽车相关识别 Vehicle OCR
通用文字 识别General OCR
行业文档识别 Document OCR
营业执照核验 BLV
增值税发票核验 VTIV
云计算中的弹性计算概念解析

云计算中的弹性计算概念解析云计算作为一种新兴的计算模式,已经广泛应用于各行各业。
其中,弹性计算作为云计算的重要概念,对于满足用户的可扩展性和弹性需求起到了至关重要的作用。
本文将对云计算中的弹性计算进行深入解析,探讨其概念、特点和应用场景。
一、概念解析弹性计算是云计算中的一种重要特性,它指的是根据实际需求弹性地分配和调整计算资源。
在传统的计算模式中,用户需要提前购买和配置计算资源,无法根据实际的计算需求进行灵活调整,这在一定程度上限制了计算资源的利用效率和灵活性。
而云计算通过提供弹性计算服务,使用户能够根据实际需求动态地分配和调整计算资源,从而提高计算资源的利用率和灵活性。
二、特点分析1. 资源弹性扩展:云计算平台可以根据用户的需求,自动地分配和调整计算资源。
当用户的计算需求增加时,云平台可以自动地增加计算资源,满足用户的需求;当用户的计算需求减少时,云平台也可以自动地释放多余的计算资源,提高资源利用率。
2. 快速弹性响应:弹性计算能够快速响应用户的需求变化。
无论是用户突然增加的计算需求还是突然减少的计算需求,云平台都能够快速调整计算资源,确保用户始终享有最佳的计算性能。
3. 按需付费:弹性计算实现了按需付费的计费模式。
用户只需支付实际使用的计算资源,无需提前购买和配置计算设备,节约了资金成本。
4. 高可用性与容错性:云计算平台采用分布式的架构,能够实现高可用性和容错性。
当某个计算节点发生故障时,其他节点可以接替其工作,保证系统的稳定运行。
三、应用场景弹性计算在各行各业都有广泛应用。
以下是几个典型的应用场景:1. 电子商务:电子商务网站面临着日常访问量的波动,在促销活动或者特定时段可能会出现访问量激增的情况。
通过弹性计算,电子商务网站可以根据实时流量,自动调整计算资源,以确保用户的访问速度和体验。
2. 大数据分析:大数据分析需要大量的计算资源支持,但是每个分析任务的计算量不尽相同。
通过弹性计算,可以根据不同的分析任务,动态地分配和调整计算资源,提高大数据分析的效率和成本效益。
云计算平台的弹性扩展技术

云计算平台的弹性扩展技术云计算是当今科技领域的热门话题之一,它通过将计算资源、存储资源和应用程序提供给用户,为企业和个人提供了灵活、高效和经济的解决方案。
然而,随着云计算应用的不断扩展和用户需求的增长,云计算平台的弹性扩展技术变得尤为重要。
本文将探讨云计算平台的弹性扩展技术及其应用。
一、什么是云计算平台的弹性扩展技术云计算平台的弹性扩展技术是指根据用户需求实时调整计算资源、存储资源和应用程序的能力。
它可以根据负载的变化自动或手动地增加或减少云计算平台的资源,以实现高效的资源利用和响应用户需求的能力。
云计算平台的弹性扩展技术包括两个关键方面:横向扩展和纵向扩展。
横向扩展指通过增加计算节点或服务器来提高云计算平台的性能和容量。
纵向扩展则是指通过增加单个计算节点或服务器的处理能力来提高云计算平台的性能。
二、云计算平台的弹性扩展技术的实现方式云计算平台的弹性扩展技术有多种实现方式,以下是其中几种常见的:1. 负载均衡(Load Balancing)负载均衡是通过将网络流量分发到多个服务器或计算节点上,从而实现资源的均衡利用和请求的合理分配。
它可以根据服务器或计算节点的负载情况来动态调整流量的分发,以实现系统的高可用性和性能的优化。
2. 自动扩容(Auto Scaling)自动扩容是一种基于需求启动或停止计算节点或服务器的技术。
通过监测云计算平台的负载情况,自动扩容系统可以根据预设的条件自动增加或减少计算节点或服务器的数量。
这样可以确保在高负载时能够迅速增加计算资源,而在低负载时则可以减少资源的浪费。
3. 弹性存储(Elastic Storage)弹性存储是指可以动态调整存储资源容量的能力。
通过弹性存储,云计算平台可以根据数据的增长或减少自动调整存储空间的大小,以适应不断变化的业务需求。
4. 弹性网络(Elastic Networking)弹性网络是指云计算平台可以自动扩展和调整网络资源的能力。
它可以根据用户的需求自动调整网络的带宽、容量和拓扑结构,以实现高性能、高可用性和优质的网络服务。
TencentCloud的云服务器

TencentCloud的云服务器腾讯云(Tencent Cloud)的云服务器腾讯云(Tencent Cloud)是中国领先的云计算服务提供商之一。
其云服务器(Cloud Server)是一项核心产品,为个人和企业提供高性能、可靠稳定的云计算资源。
本文将对腾讯云云服务器进行介绍,并针对其特点和优势进行分析。
一、云服务器简介云服务器,简称云主机,是基于云计算技术的虚拟化服务器。
它将计算资源、存储空间和网络资源等进行虚拟化,通过云服务提供商进行统一管理和分配,用户可以按需购买、使用和释放资源。
腾讯云云服务器提供了多种规格和容量的主机实例,以满足不同用户的需求。
二、腾讯云云服务器的特点1. 弹性扩展:腾讯云云服务器支持快速弹性扩展,可以根据实际业务需求实时增加或减少计算资源。
用户可以根据流量峰值和访问量变化,灵活调整云服务器规模,避免因资源浪费或不足而导致的成本问题。
2. 多地域布局:腾讯云在全球范围内拥有多个数据中心,覆盖了亚洲、欧洲、美洲等多个地区。
用户可以根据业务需求选择就近部署,提高数据传输速度和降低延迟。
3. 安全可靠:腾讯云云服务器具备高可用性和容错性,通过硬件冗余和数据备份等措施保障数据的安全性和可靠性。
同时,腾讯云还提供多层次的安全防护机制,包括防火墙、DDoS防护等,有效抵御各种网络攻击。
4. 低成本高性能:腾讯云云服务器提供灵活的计费方式,用户可以按量付费或选择包年包月的方式。
无论是小型创业公司还是大型企业,都可以根据实际需求和预算进行合理的资源配置。
同时,腾讯云云服务器拥有强大的计算和存储能力,可以快速响应和处理大规模的计算任务。
三、选择腾讯云云服务器的优势1. 卓越的性能:腾讯云云服务器采用高性能硬件设备,配备强大的处理器和高速的存储设备,可以提供稳定可靠的计算资源。
无论是运行大型数据库还是进行复杂的数据分析,腾讯云云服务器都能够满足高性能计算的需求。
2. 可扩展性强:腾讯云云服务器提供了多种规格和容量的实例,用户可以根据业务需求选择合适的配置。
2024版云计算演讲稿ppt课件

寄语听众,共同推动行业发展
01
鼓励听众积极学习和应 用云计算技术,提升自 身竞争力。
02
呼吁听众关注云计算行 业发展趋势,把握市场 机遇。
同推动云计 算行业的健康发展。
期待在云计算的浪潮中, 与听众携手共创美好未 来。
THANKS
感谢观看
06
企业上云策略与实践
企业上云需求分析
业务需求
分析企业当前业务需求, 明确上云目的和期望效果。
技术需求
评估企业现有技术架构和 应用系统,确定需要迁移 或重构的部分。
安全需求
制定上云安全策略和措施, 确保数据安全和业务连续 性。
选择合适的云服务提供商
服务商资质
考察云服务提供商的资质、经验 和口碑。
容器化与微服务架构
01
容器技术
如Docker等,实现轻量级虚拟化,提供快速部署、隔离和可移植性等
优势。
02 03
微服务架构
将应用程序拆分成多个小型、独立的服务,每个服务运行在自己的进程 中,通过轻量级通信机制进行通信,提高系统的可维护性、可扩展性和 可靠性。
容器编排与管理
如Kubernetes等,提供容器编排、管理和调度功能,实现容器化应用 的自动化部署、扩展和管理。
分布式文件系统
采用分布式架构,将数据分散存 储在多个节点上,提供高可靠性、
可扩展性和高性能的数据存储服 务。
对象存储
以对象为单位进行存储,支持海量 数据存储和访问,适用于非结构化 数据的存储需求。
分布式数据库
采用分布式架构的数据库系统,支 持大数据量、高并发读写和实时数 据分析等场景。
大数据处理技术
腾讯云云计算平台概述 腾讯云是腾讯公司推出的云计算服务平台,提供全面的云 计算服务,包括IaaS、PaaS、SaaS等。
腾讯云-人工智能服务平台概述

人工智能服务平台产品概述目录产品简介产品概述 (3)简介 (3)产品功能 (3)产品优势 (4)应用场景 (5)产品简介产品概述19-01-22 17:24:18简介腾讯人工智能服务平台(TI Matrix Platform,简称云智天枢平台)是基于腾讯云和腾讯优图的强大技术能力打造的全栈式平台,致力于帮助企业加速数字化转型并促进 AI 行业生态共建。
云智天枢平台支持快速接入各种数据、算法和智能设备,并提供可视化编排工具对服务和资源进行管理和调度,进一步通过 AI 服务组件集成和标准化接口开放,降低 AI 应用开发成本。
产品功能弹性伸缩提供灵活简便的弹性扩缩容能力。
用户通过容器管理平台实现手动 / 自动的节点扩容,以适配业务的发展。
集群管控提供集群自动扩缩容、集群配置、启停、资源智能监控报警等功能。
用户可以利用集群管控功能进行日常运维、集群性能调优。
算法管理提供多算法自动化托管、自动化适配能力、多算法接口规范,提高算法开发效率和算法复用能力。
任务编排提供任务编排调度管理模块,支持算法驱动和数据驱动的任务编排和调度。
同时提供完备的任务监控能力以及数据处理能力,方便用户使用任务的结构化数据。
设备管理用户可按照官方提供的接入规范,自行接入智能设备,并且可对多种设备进行统一管理。
运营监控提供完善的监控告警、日志查询、弹性扩缩容以及容器平台等全方位的运维能力,更好地保障 TI Matrix 平台的稳定性和高可用性。
产品优势19-01-24 15:54:09全栈式平台支持一个平台连接云边端,支持方便快捷接入多种硬件设备、算法模型和客户数据,提供灵活调度能力,更高效率地构建适用于企业的 AI 应用。
开放式服务通过提供 API 网关的方式,标准化地开放 AI 能力,支持和第三方系统集成对接,为企业系统快速赋予智慧。
简单易用提供可视化、可拖拽的任务编排和调度能力,轻松实现算法和业务微服务的组合调度、多数据组件组装,快速满足企业业务场景诉求。
云计算的弹性和可扩展性了解云计算对IT行业弹性和可扩展性的优势

云计算的弹性和可扩展性了解云计算对IT行业弹性和可扩展性的优势云计算的弹性和可扩展性:了解云计算对IT行业弹性和可扩展性的优势云计算已经成为现代信息技术领域的重要组成部分,为企业提供了弹性和可扩展性的优势。
本文将介绍云计算在IT行业中的应用和这些优势的具体表现。
一、云计算的定义和基本原理在详细讨论云计算的弹性和可扩展性之前,首先需要了解云计算的定义和基本原理。
云计算是一种通过互联网提供计算服务的模式。
它基于虚拟化技术,将计算资源、存储空间和应用程序等服务按需提供给用户,用户可以根据需要随时获得并支付使用的资源。
云计算提供了灵活性和可扩展性,使用户能够根据业务需求快速扩展或缩减资源。
二、云计算的弹性优势1. 实时资源分配:云计算平台可以根据用户实际需求及时分配资源,使用户能够快速满足业务需求。
无论是需要增加还是减少资源,都可以在短时间内完成,避免了传统硬件设备扩容的时间和成本消耗。
2. 弹性扩展性:云计算平台具备高度可伸缩性,能够根据业务负载的增加或减少自动调整资源。
当业务峰值时,云计算平台可以快速增加计算和存储资源以满足需求;而当业务需求下降时,可以自动释放多余的资源,避免资源浪费。
3. 高可用性和容错性:云计算平台具备分布式架构和冗余机制,能够在硬件故障或其他问题发生时实现自动容错和故障恢复。
当某个节点发生故障时,云计算平台可以自动将任务转移到其他可用节点上,保证业务的持续运行。
三、云计算的可扩展性优势1. 硬件资源虚拟化:云计算通过虚拟化技术将硬件资源如服务器、存储、网络等进行抽象和隔离,使得用户可以灵活地使用和管理这些资源。
用户可以根据需求调整资源的规模和配置,实现快速扩展和部署。
2. 自动化管理:云计算平台提供了自动化的资源管理和任务调度功能,使用户能够实现快速部署和配置。
用户只需通过简单的界面或API即可完成复杂的管理操作,大大降低了管理和运维成本。
3. 经济性和成本优势:云计算采用按需付费的模式,用户只需根据实际使用的资源量付费,避免了传统的固定投资成本。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
弹性MapReduce服务平台产品概述目录产品简介产品概述 (4)简介 (4)功能特性 (4)产品优势 (5)灵活 (5)可靠 (5)安全 (5)易用 (5)节约成本 (5)产品功能 (7)弹性伸缩 (7)存储计算分离 (7)运维支撑 (7)安全 (8)应用场景 (9)离线数据分析 (9)流式数据处理 (9)分析 COS 数据 (10)节点类型说明 (12)组件版本 (13)版本历史 (15)2019.12.26 (15)2019.12.17 (15)2019.11.04 (15)2019.10.17 (15)2019.09.18 (15)2019.08.07 (16)2019.08.01 (16)2019.07.05 (16)2019.06.18 (16)2019.05.17 (16)2019.05.07 (17)2019.03.29 (17)2019.03.04 (17)2019.01.15 (17)产品简介产品概述19-04-24 20:02:36简介弹性 MapReduce(EMR)是腾讯云提供的云上 Hadoop 托管服务,提供了便捷的 Hadoop 集群部署、软件安装、配置修改、监控告警、弹性伸缩等功能,为企业及用户提供安全稳定的大数据处理解决方案。
功能特性弹性 MapReduce 的软件完全源于开源社区中的 Hadoop 软件,您可以将现有的大数据集群无缝平滑迁移至腾讯云上。
弹性 MapReduce 产品中集成了社区中常见的热门组件,包括但不限于 Hive、Hbase、Spark、Presto、Sqoop、Hue 等,可以满足您对大数据的离线处理、流式计算等全方位需求。
弹性 MapReduce 无缝集成了腾讯云对象存储(COS)服务,您可将原本存储于 HDFS 中的文件放置在可无限扩展、存储成本低且高可靠的 COS 中,实现计算存储分离。
依托于 COS,您可以在需要的时候创建集群,并在任务完成后销毁集群。
与此同时,您无需担心数据的丢失。
按需创建的集群,可以大幅度降低您的大数据处理成本。
弹性 MapReduce 采用了5种节点类型:Master 节点、Core 节点、Task 节点、Router 节点和 Common 节点。
各类型节点作用,请参见节点类型说明。
弹性 MapReduce 目前支持了众多资源规格,您可以采用 EMR 标准型、内存型、高 IO、计算型及大数据机型实例作为计算资源。
若您需要在黑石物理主机上部署 Hadoop 集群,请提交工单联系我们。
产品优势19-04-24 20:02:44与自建 Hadoop 相比,弹性 MapReduce 能提供更方便、更安全、更可靠的云端 Hadoop 服务。
灵活只需几分钟即可获得一个安全可靠的 Hadoop 集群,以运行 Hive、Spark、Presto 等主流开源大数据计算框架。
可对一个已有的弹性 MapReduce 集群进行快速的弹性伸缩,以在变动的业务部门数据分析需求与高昂 IT 硬件成本之间快速获得平衡点。
可靠Master 节点容灾设计,备节点秒级拉起,保障大数据服务可用性。
完善的监控体系建设,您可以通过短信渠道秒级感知集群组件及任务的运行异常状况。
支持将 Hive 元数据存放于 TencentDB,元数据可靠性达99.9996%。
支持分析存放于 COS 的高存储耐久性的 PB 级数据。
集群默认开启回收站功能。
安全可通过便捷的 VPC 网络安全隔离手段规划托管 Hadoop 集群网络策略,支持网络 ACL 和安全组,可从子网和主机维度筛选流量,全方位满足网络安全需求。
腾讯云品质的安全加固服务为 EMR 集群提供一体化的安全服务,涵盖网络防护、入侵检测、漏洞防护等。
易用可以响应业务需求创建不同版本的集群分析 COS 上的同一份数据。
可以借助开箱即用的 Hue、Oozie 等社区组件随心分析位于数据节点或 COS 上的 PB 级数据,无需担心产生任何知识迁移成本。
节约成本通过 EMR 服务,可以按业务曲线随心伸缩托管 Hadoop 集群,缩减高昂的硬件成本。
丰富的运维工具支持,大幅提升运维工作效率,让工程师更专注于业务本身的商业价值,摆脱重复搭建监控、安全、运维工具等基础设施。
产品功能19-04-24 20:02:49弹性 MapReduce 结合云技术和 Hadoop、Hive、Spark、Storm 等社区开源技术,为您提供安全、低成本、高可靠、可弹性伸缩的云端 Hadoop 服务。
其主要功能体现在以下方面:弹性伸缩分钟级集群创建通过控制台数分钟就可创建一个安全、稳定的云端托管 Hadoop 集群。
分钟级集群扩缩容仅需数分钟即可对现有 EMR 集群进行平滑扩缩容,以适应互联网业务需求的快速变化。
API 支持支持通过 API 方式便捷的在程序中创建、扩缩容、销毁 EMR 集群。
存储计算分离集群内存储计算分离集群内支持按照存储节点、计算节点的模式来规划云端 Hadoop 集群,以支持客户对计算节点的随意伸缩来降低硬件成本。
基于 COS 的存储计算分离支持把待分析海量数据存放于 COS,在通过 COS 规模化效应降低存储成本的同时,您还可以创建不同 EMR 版本分析同一份数据,这将为您带来极度的架构灵活性。
运维支撑监控与多渠道告警提供完善的监控运维体系,对包含 Spark、Hive、Presto 等在内的组件异常和任务异常的秒级感知,以保障大数据集群的稳健运行。
技术服务支持在提供完善技术文档之外,还支持包含邮件、QQ、微信等渠道在内的技术服务体系,为客户提供完备的技术支持。
安全EMR 创建的 CVM 子机同时会创建安全组来限制外网访问。
各组件 Web UI 均通过其中一台有外网 IP 的子机进行访问,并且通过用户名和密码进行验证,有外网 IP 的子机安全组只开放 SSH 端口和代理访问端口。
注意:CVM 子机如果更换项目会导致 CVM 安全组丢失。
应用场景19-11-28 10:58:52弹性 MapReduce(EMR)集群应用场景很多,Hadoop 和 Spark 能够支持的场景 EMR 都可以支持,因为 EMR 本质就是 Hadoop 和 Spark 的集群服务。
以下为 EMR 应用的经典场景。
离线数据分析把游戏、Web 应用、手机 App 等业务服务器上的海量日志同步到 EMR 的数据节点或 COS 后,可借助于 Hue 等工具使用 Hive、Spark、Presto 等主流计算框架快速获取数据洞察力。
可使用 Sqoop 等工具加载分散于各TencentDB 或其他存储引擎的数据,并把分析后的数据同步到 TencentDB,为 RayData 这样的数据可视化产品提供数据支撑。
流式数据处理在程序/工具中通过 API、SDK 把位于业务服务器上实时产生的数据 Push 到 CMQ 消息中间件之后,可在 EMR 产品中选择合适的流式数据处理引擎来分析数据,以实现对业务变动的实时告警;还可以把分析结果实时同步到TencentDB 等存储引擎,以便于通过 RayData 等数据可视化产品对业务状态进行实时可视化检测。
分析 COS 数据可通过 EMR 产品快速分析存储于 COS 上的海量数据,以实现彻底的存储计算分离。
通过这样的设计,可充分利用COS 提供的丰富数据同步工具,同时还可以让多个不同版本 Hadoop 集群分析同一份数据,以满足数据一致性及历史原因导致的多版本 Hadoop 集群共存的问题。
节点类型说明19-11-28 16:48:59EMR 提供了5种节点类型,您可以根据自身需求进行选择:Master 节点为管理节点,保证集群的调度正常进行。
Core 节点为计算及存储节点,您在 HDFS 中的数据全部存储于 Core 节点中,因此为了保证数据安全,扩容Core 节点后不允许缩容。
Task 节点为纯计算节点,不存储数据,被计算的数据来自 Core 节点及 COS 中,因此 Task 节点往往被作为弹性节点,可随时扩容和缩容。
Common 节点为 HA 集群 Master 节点提供数据共享同步以及高可用容错服务。
Router 节点用以分担 Master 节点的负载或者作为集群的任务提交机,可以随时扩容和缩容。
组件版本19-11-21 16:26:57腾讯云弹性 MapReduce 由一系列大数据生态的开源应用程序组成。
每个弹性 MapReduce 的版本,包含了一组特定版本的开源程序。
当您在创建集群时,可以选择对应的 EMR 版本,以满足您对其中包含的开源组件的版本需求。
注意:EMR 版本会定期升级,类似 EMR-V1.3.1、EMR-V2.0.1、EMR-V2.1.0。
每一个版本上捆绑的组件和组件的版本都是固定的。
目前还不支持组件的多个不同版本的选择,也不支持用户自行更改组件的版本。
例如在 EMR-V2.0.1 中内置的是 Hadoop 2.7.3、Spark 2.2.1 等。
一旦选择了 EMR 某个版本创建集群,该集群使用的 EMR 版本和组件版本不会自动升级,例如选 EMR- V2.0.1 版本,那么 Hadoop 就一直保持在2.7.3,Spark 就一直保持在2.2.1。
后续如果版本升级到了EMR-V2.1.0,Hadoop 到了2.8.4,Spark 到了2.3.2也不会影响到已经创建出来的集群。
只有新的集群才会使用新的镜像。
当您通过数据迁移的方式升级集群版本的时候,例如从 EMR-V2.0.1 升级到 EMR-V2.1.0,为防止一些升级不兼容,环境变化等,请务必测试需要迁移的任务,保证在新的软件环境中能正常运行。
各 EMR 版本包含的组件及组件版本如下:组件名称EMR-V 1.3.1EMR-V 2.0.1EMR-V 2.1.0EMR-V 3.0.0发布时间--2019.052019.10Flink 1.2.0 1.2.0 1.4.2 1.8.1Ganglia 3.7.2 3.7.2 3.7.2-Hadoop 2.7.3 2.7.3 2.8.4 3.1.2Hbase 1.2.4 1.3.1 1.3.1 2.2.0Hive 2.1.1 2.3.2 2.3.3 3.1.1Hue 3.12.0 3.12.0 4.4.0 4.40Ooize 4.3.0 4.3.1 4.3.1 5.1.0Phoneix 4.8.1 4.11.0 4.13.0-Presto0.1610.1880.2150.222版本历史20-01-02 09:50:452019.12.26【新功能】新增配置分组下发功能。
支持 CAM 资源级授权。
支持关联 CHDFS,详见挂载云 HDFS。
【新规格】北上广地域支持 AMD 机型标准型 SA2。