华为云首页用户手册

MAPREDUCE服务 MRS-配置使用分布式缓存执行MapReduce任务:配置场景

MAPREDUCE服务 MRS-配置使用分布式缓存执行MapReduce任务:配置场景

时间：2024-11-06 14:23:06

MAPREDUCE服务 MRS

配置场景

本章节操作适用于 MRS 3.x及之后版本。

分布式缓存在两种情况下非常有用。

滚动升级
在升级过程中，应用程序必须保持文字内容（jar文件或配置文件）不变。而这些内容并非基于当前版本的Yarn，而是要基于其提交时的版本。一般情况下，应用程序（例如MapReduce、Hive、Tez等）需要进行完整的本地安装，将库安装至所有的集群机器（客户端及服务器端机器）中。当集群内开始进行滚动升级或降级时，本地安装的库的版本必然会在应用运行过程时发生改变。在滚动升级过程中，首先只会对少数NodeManager进行升级，这些NodeManager会获得新版本的软件。这导致了行为的不一致，并可能发生运行时错误。
同时存在多个Yarn版本
集群管理员可能会在一个集群内运行使用多个版本Yarn及Hadoop jars的任务。这在当前很难实现，因为jars已被本地化且只有一个版本。

MapReduce应用框架可以通过分布式缓存进行部署，且无需依赖安装中复制的静态版本。因此，可以在HDFS中存放多版本的Hadoop，并通过配置“mapred-site.xml”文件指定任务默认使用的版本。只需设置适当的配置属性，用户就可以运行不同版本的MapReduce，而无需使用部署在集群中的版本。

图1 具有多个版本NodeManagers及Applications的集群

在图1中：可以看出，应用程序可以使用HDFS中的Hadoop jars，而无需使用本地版本。因此在滚动升级中，即使NodeManager已经升级，应用程序仍然可以运行旧版本的Hadoop。

上一篇：MAPREDUCE服务 MRS-配置MapReduce shuffle address:配置描述

下一篇：MAPREDUCE服务 MRS-通过Windows系统提交MapReduce任务:配置描述

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

MAPREDUCE服务 MRS-配置使用分布式缓存执行MapReduce任务:配置场景

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题