MRS集群补丁说明-华为云

MAPREDUCE服务 MRS-MRS 3.0.5.1补丁说明:补丁基本信息

补丁基本信息表1 补丁基本信息补丁号 MRS 3.0.5.1 发布时间 2021-08-14 解决的问题 MRS 3.0.5.1 修复问题列表： MRS Manager 解决SQL语句过长导致作业管理界面提交SparkSQL作业失败的问题解决带有注释的SQL语句作业执行失败问题大数据组件解决ClickHouse集群 IAM 用户同步失败问题解决集群内Flume客户端无法使用委托访问OBS问题解决YARN开源原生界面作业占用队列资源百分比不显示问题解决YARN开源原生界面查看作业日志时显示不全的问题解决Hive作业在HDFS上临时文件残留问题解决开源Sqoop 1.4.7版本对接MRS Hive服务兼容性问题解决Hive on MR查询Avro表失败问题解决HiveServer加载UDF场景可能出现内存泄漏问题解决Hive和SparkSQL的时间函数执行结果不一致问题解决Hive on Tez执行Map-Join结果不正确问题（HIVE-20187）解决beeline -p命令执行报错问题解决Hue格式化SQL失败问题解决因Hue和Oozie时区不兼容导致Oozie作业无法提交问题解决Hue界面执行含变量的Hive SQL时变量值下拉框无法使用的问题解决Hue连接Hive服务查询时session没有正确关闭导致最终无法查询的问题解决鲲鹏机型Impala查询Kudu表偶现查询卡顿的问题解决Kudu组件客户端安装问题解决鲲鹏机型KuduMaster偶现自动重启问题解决Ranger界面无法正常搜索问题解决Ranger界面登出后未重定向到登录页面的问题补丁兼容关系 MRS 3.0.5.1补丁包中包含所有MRS 3.0.5单点问题修复补丁。

MAPREDUCE服务 MRS MRS集群补丁说明

MAPREDUCE服务 MRS-MRS 3.0.5.1补丁说明:安装补丁的影响

安装补丁的影响 MRS 3.0.5.1补丁安装过程中会自动重启Executor、Controller进程，安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能，请选择适当的时间进行补丁安装。 MRS 3.0.5.1补丁安装完成后需要在 FusionInsight Manager Web界面重启Spark2x、Hive、YARN、Impala、Kudu、Hue服务，以使补丁功能生效。组件重启期间，部分业务可能短暂不可用。请选择适当的时间进行重启，以降低对业务持续性的影响。 MRS 3.0.5.1补丁需要集群管理员手工下载该补丁并在集群后台任意一个Master节点执行安装。操作步骤请参考补丁文件包内README.md文件。集群扩容后需要再次在Master节点执行该补丁安装步骤，为新扩容节点安装该补丁，并重启相应服务。

MAPREDUCE服务 MRS MRS集群补丁说明

MAPREDUCE服务 MRS-MRS 3.0.5.1补丁说明:补丁下载地址

补丁下载地址华北-北京一：https://mrs-container1-patch-cn-north-1.obs.cn-north-1.myhuaweicloud.com/MRS_Common_Script/MRS_3.0.5.1_Patch_All_20210724.tar.gz 华北-北京四：https://mrs-container1-patch-cn-north-4.obs.cn-north-4.myhuaweicloud.com/MRS_Common_Script/MRS_3.0.5.1_Patch_All_20210724.tar.gz 华东-上海二：https://mrs-container1-patch-cn-east-2.obs.cn-east-2.myhuaweicloud.com/MRS_Common_Script/MRS_3.0.5.1_Patch_All_20210724.tar.gz 华南-广州：https://mrs-container1-patch-cn-south-1.obs.cn-south-1.myhuaweicloud.com/MRS_Common_Script/MRS_3.0.5.1_Patch_All_20210724.tar.gz

MAPREDUCE服务 MRS MRS集群补丁说明

MAPREDUCE服务 MRS-MRS 1.9.0.8、1.9.0.9、1.9.0.10补丁说明:补丁基本信息

补丁基本信息表1 补丁基本信息解决的问题补丁号：MRS 1.9.0.10 发布时间：2023-01-17 修复问题列表： MRS大数据组件 OBSA支持流控重试补丁号：MRS 1.9.0.9 发布时间：2022-08-10 修复问题列表： MRS大数据组件 superior调度器算法优化补丁号：MRS 1.9.0.8 发布时间：2021-02-20 修复问题列表： MRS大数据组件增加调用E CS getSecuritykey接口异常的监控优化临时AK/Sk流程解决ResourceManager内存泄露问题 MRS 1.9.0.7 修复问题列表： MRS Manager 解决扩容刷新队列导致队列丢失问题 MRS大数据组件解决Hive on Spark任务报block id乱码，导致任务卡顿问题解决Hadoop的task任务报空间不足失败问题 Hive中增加自研的接口解决map.xml无法读取的问题解决ZK脏数据导致Yarn服务不可用问题解决Yarn的ResourceManager内存泄漏问题 Hive har特性优化 OBS包升级 JDK版本升级 MRS 1.9.0.6 修复问题列表： MRS Manager MRS Manager支持包周期集群指定节点缩容 MRS大数据组件解决Hivese提交sql卡顿问题支持jobhistory查询失败信息接口解决细粒度权限不生效问题解决hive on Spark读取数据异常问题解决Hive on mrs任务执行两次数据量增大问题解决Hive开启矢量向量化查询有些字符串性能差问题 MRS 1.9.0.5 修复问题列表： MRS Manager MRS Manager优化保存配置时的服务重启过程 MRS Manager解决周期备份失败问题 MRS大数据组件 Ranger的私有patch 解决Yarn出现JVM Create GC thread failed问题新增Hiveserver2 任务堆积告警新增Hiveserver HiveMetastore GC时间超过5s告警新增HiveServer2 解注ZK告警新增20分钟内Yarn任务失败与kill数超过5个的告警解决spark jobhistory时区不对问题优化metastore重启机制解决HIVE-22771开源问题解决Hive beeline不打印日志的问题解决Yarn页面上active node数目不对问题解决RM线程数过多导致RM页面打开慢问题支持OBS监控 OBS包升级解决hive-jdbc并发插入10条数据时部分数据未插入问题解决hive偶现报kryo反序列化失败问题解决Spark jobhistory内存泄漏问题解决Spark jobhistory偶现无法显示application列表问题 MRS 1.9.0.3 修复问题列表： MRS Manager MRS Manager升级ARM JDK MRS Manager解决Core节点日志撑满系统盘问题 MRS大数据组件解决Ranger日志不能设置个数，有撑满磁盘风险的问题 MRS 1.9.0.2 修复问题列表： MRS Manager 解决集群中部分Core节点互信丢失问题解决补丁安装后添加实例失败问题 MRS Manager页面支持修改hiveserver的滚动重启超时时间 MRS大数据组件 obs包升级 MRS 1.9.0.1 修复问题列表： MRS Manager MRS Manager支持滚动安装补丁时不重启服务 MRS大数据组件解决obs委托的5min内140次的访问限制问题 Kafka支持开源方式访问解决SPARK-27637开源问题优化hive滚动重启 obs包升级补丁兼容关系 MRS 1.9.0.10补丁包中包含MRS 1.9.0版本发布的所有补丁解决的问题。

MAPREDUCE服务 MRS MRS集群补丁说明

MAPREDUCE服务 MRS-MRS 1.9.0.8、1.9.0.9、1.9.0.10补丁说明:安装补丁的影响

安装补丁的影响安装MRS 1.9.0.10补丁期间会重启MRS Manager，滚动重启Hadoop、Hive、Spark、Presto以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。 MRS 1.9.0.10补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。自行搭建的客户端全量安装方法，请参见安装客户端（2.x及之前版本）。重新安装客户端前建议先对老客户端进行备份。若您根据业务场景修改过客户端配置，请重装客户端后再次修改客户端配置。（可选）通过委托获取临时AKSK访问OBS场景下，通过参数“fs.obs.auth.node-cache-short-circuit.enable”的不同配置控制是否允许访问ECS元数据接口，从而控制是否允许触发ECS流控。 MRS集群支持通过委托获取临时AKSK访问OBS。临时AKSK通过ECS元数据接口获取。ECS元数据接口有单机器5分钟140次的流控阈值，触发流控后机器被加入黑名单，30分钟内不能再次请求元数据接口。为防止触发流控，MRS实现了节点级别跨进程的缓存服务meta，用于缓存临时AKSK。使用场景：适用于通过委托适用临时aksk访问OBS的Spark，Hadoop等Yarn作业。配置在客户端core-site.xml中。默认配置为true，MRS集群上的Yarn应用进程首先从节点级缓存服务meta中获取临时aksk。若meta故障，则从ecs元数据接口获取临时AKSK。如果希望meta故障时也不直接访问ECS元数据接口，以免触发流控导致节点被加入黑名单，则将参数配置为false。

MAPREDUCE服务 MRS MRS集群补丁说明

MAPREDUCE服务 MRS-MRS 1.9.0.7补丁说明:安装补丁的影响

安装补丁的影响安装MRS 1.9.0.7补丁期间会重启MRS Manager，滚动重启Hadoop、Hive、Spark、Kafka、Ranger以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。 MRS 1.9.0.7补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。自行搭建的客户端全量安装方法，请参见安装客户端（2.x及之前版本）。重新安装客户端前建议先对老客户端进行备份。若您根据业务场景修改过客户端配置，请重装客户端后再次修改客户端配置。

MAPREDUCE服务 MRS MRS集群补丁说明

MAPREDUCE服务 MRS-MRS 1.9.0.7补丁说明:补丁基本信息

补丁基本信息表1 补丁基本信息补丁号 MRS 1.9.0.7 发布时间 2021-01-15 解决的问题 MRS 1.9.0.7 修复问题列表： MRS Manager 解决扩容刷新队列导致队列丢失问题 MRS大数据组件解决Hive on Spark任务报block id乱码，导致任务卡顿问题解决Hadoop的task任务报空间不足失败问题 Hive中增加自研的接口解决map.xml无法读取的问题解决ZK脏数据导致Yarn服务不可用问题解决Yarn的ResourceManager内存泄漏问题 Hive har特性优化 OBS包升级 JDK版本升级 MRS 1.9.0.6 修复问题列表： MRS Manager MRS Manager支持包周期集群指定节点缩容 MRS大数据组件解决Hivese提交sql卡顿问题支持jobhistory查询失败信息接口解决细粒度权限不生效问题解决hive on Spark读取数据异常问题解决Hive on mrs任务执行两次数据量增大问题解决Hive开启矢量向量化查询有些字符串性能差问题 MRS 1.9.0.5 修复问题列表： MRS Manager MRS Manager优化保存配置时的服务重启过程 MRS Manager解决周期备份失败问题 MRS大数据组件 Ranger的私有patch 解决Yarn出现JVM Create GC thread failed问题新增Hiveserver2 任务堆积告警新增Hiveserver HiveMetastore GC时间超过5s告警新增HiveServer2 解注ZK告警新增20分钟内Yarn任务失败与kill数超过5个的告警解决spark jobhistory时区不对问题优化metastore重启机制解决HIVE-22771开源问题解决Hive beeline不打印日志的问题解决Yarn页面上active node数目不对问题解决RM线程数过多导致RM页面打开慢问题支持OBS监控 OBS包升级解决hive-jdbc并发插入10条数据时部分数据未插入问题解决hive偶现报kryo反序列化失败问题解决Spark jobhistory内存泄漏问题解决Spark jobhistory偶现无法显示application列表问题 MRS 1.9.0.3 修复问题列表： MRS Manager MRS Manager升级ARM JDK MRS Manager解决Core节点日志撑满系统盘问题 MRS大数据组件解决Ranger日志不能设置个数，有撑满磁盘风险的问题 MRS 1.9.0.2 修复问题列表： MRS Manager 解决集群中部分Core节点互信丢失问题解决补丁安装后添加实例失败问题 MRS Manager页面支持修改hiveserver的滚动重启超时时间 MRS大数据组件 obs包升级 MRS 1.9.0.1 修复问题列表： MRS Manager MRS Manager支持滚动安装补丁时不重启服务 MRS大数据组件解决obs委托的5min内140次的访问限制问题 Kafka支持开源方式访问解决SPARK-27637开源问题优化hive滚动重启 obs包升级补丁兼容关系 MRS 1.9.0.7补丁包中包含MRS 1.9.0版本发布的所有补丁解决的问题。

MAPREDUCE服务 MRS MRS集群补丁说明

MAPREDUCE服务 MRS-MRS 1.7.1.5补丁说明:注意事项

注意事项由于1.7.1 集群的健康检查中存在一项误报，而补丁安装前会进行集群的健康检查。从而导致客户第一次提交安装补丁后，提示集群异常，补丁安装终止。在确认报错是误报后，客户可以再次提交安装补丁请求，第二次安装补丁会跳过健康检查，进行补丁安装。误报内容可以通过如下方式确认：查看并导出健康检查报告，健康检查结果上只存在这两个主机报错：“安装目录及数据目录检查：目录下文件异常. 请检查安装目录和数据目录下的内容”。图1 健康检查结果

MAPREDUCE服务 MRS MRS集群补丁说明

MAPREDUCE服务 MRS-MRS 1.7.1.5补丁说明:安装补丁的影响

安装补丁的影响安装补丁后需要重启服务才能生效，重启服务期间引起服务暂不可用。安装补丁后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。自行搭建的客户端全量安装方法，请参见安装客户端（2.x及之前版本）。重新安装客户端前建议先对老客户端进行备份。若您根据业务场景修改过客户端配置，请重装客户端后再次修改客户端配置。

MAPREDUCE服务 MRS MRS集群补丁说明

MAPREDUCE服务 MRS-MRS 1.7.1.5补丁说明:补丁基本信息

补丁基本信息表1 补丁基本信息补丁号 MRS 1.7.1.5 发布时间 2018-11-12 解决的问题 MRS Manager MRS Manager UI界面排版优化。 MRS Manager操作及显示易用性优化。 MRS Manager增加大数据服务滚动重启能力。 MRS Manager新增文件句柄数量监控功能。 MRS Manager新增大数据组件发生重启事件上报功能。 MRS镜像解决ECS VNC登录不停打印输出问题。解决操作系统日志转储配置问题。补丁兼容关系包含1.7.1.5及之前发布的所有补丁解决的问题。

MAPREDUCE服务 MRS MRS集群补丁说明

云服务器内容精选

MRS集群补丁说明

7*24

备案

专业服务

退订

建议反馈

售前咨询热线