MAPREDUCE服务 MRS-MRS 1.9.0.8、1.9.0.9、1.9.0.10补丁说明:安装补丁的影响
安装补丁的影响
- 安装 MRS 1.9.0.10补丁期间会重启MRS Manager,滚动重启Hadoop、Hive、Spark、Presto以及相关依赖服务,重启MRS Manager服务期间会引起服务暂时不可用,滚动重启服务不断服。
- MRS 1.9.0.10补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。
- 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。
- 自行搭建的客户端全量安装方法,请参见安装客户端(2.x及之前版本)。
- 重新安装客户端前建议先对老客户端进行备份。
- 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。
- (可选)通过委托获取临时AKSK访问OBS场景下,通过参数“fs.obs.auth.node-cache-short-circuit.enable”的不同配置控制是否允许访问E CS 元数据接口,从而控制是否允许触发ECS流控。
MRS集群支持通过委托获取临时AKSK访问OBS。临时AKSK通过ECS元数据接口获取。ECS元数据接口有单机器5分钟140次的流控阈值,触发流控后机器被加入黑名单,30分钟内不能再次请求元数据接口。为防止触发流控,MRS实现了节点级别跨进程的缓存服务meta,用于缓存临时AKSK。
使用场景:适用于通过委托适用临时aksk访问OBS的Spark,Hadoop等Yarn作业。配置在客户端core-site.xml中。
默认配置为true,MRS集群上的Yarn应用进程首先从节点级缓存服务meta中获取临时aksk。若meta故障,则从ecs元数据接口获取临时AKSK。
如果希望meta故障时也不直接访问ECS元数据接口,以免触发流控导致节点被加入黑名单,则将参数配置为false。