MRS 3.2.0-LTS.1.8补丁说明-华为云

MAPREDUCE服务 MRS-安装补丁前必读:安装补丁过程中对现行系统的影响

安装补丁过程中对现行系统的影响安装补丁过程中会重启 OMS ，会导致 MRS Manager页面无法访问，预计持续10-20分钟。安装补丁过程中会影响弹性伸缩以及MRS Manager上正在运行的任务，升级前请确认已经关闭弹性伸缩，并且MRS Manager上没有正在运行的任务。安装补丁过程中，不允许在作业管理页面提交作业。安装补丁过程包括组件重启，支持滚动重启和离线重启，请选择合适的方法。重启过程不能省略。补丁安装后操作不能省略，若没有执行此操作，会影响Spark、HDFS、Flink等组件的补丁生效，会导致Spark client模式的作业运行失败。

MAPREDUCE服务 MRS MRS 3.2.0-LTS.1.8补丁说明

MAPREDUCE服务 MRS-补丁安装后操作:升级客户端

升级客户端如果有使用自主安装的客户端（集群内、外新下载客户端），需要执行客户端升级操作。登录集群主节点并执行以下命令： cd /opt/Bigdata/patches/{MRS补丁版本号}/download/ 将补丁安装包拷贝到客户端机器/opt/目录下： scp patch.tar.gz {客户端机器IP}:/opt/ 例如： scp patch.tar.gz 127.0.0.1:/opt/ 登录客户端所在节点。执行以下命令创建补丁目录并解压补丁包： mkdir /opt/{MRS补丁版本号} tar -zxf /opt/patch.tar.gz -C /opt/{MRS补丁版本号} 执行客户端补丁升级。登录客户端所在节点，并执行以下命令： cd /opt/{MRS补丁版本号}/client sh upgrade_client.sh upgrade {客户端安装目录} 例如： sh upgrade_client.sh upgrade /opt/client/

MAPREDUCE服务 MRS MRS 3.2.0-LTS.1.8补丁说明

MAPREDUCE服务 MRS-补丁安装后操作:升级HDFS上组件的zip包

升级HDFS上组件的zip包登录集群主节点并执行以下命令： su - omm cd /opt/Bigdata/patches/{MRS补丁版本号}/client/ source /opt/Bigdata/client/bigdata_env 所有涉及{MRS补丁版本号}目录名称的操作，均以实际安装的补丁号为准。例如： cd /opt/Bigdata/patches/MRS_3.2.0-LTS.1.8/client/ 安全集群需要认证对HDFS有权限的用户，普通集群无需执行： kinit {用户} 执行以下命令升级HDFS上的zip包： sh update_hdfs_file.sh 升级完成后需要在 FusionInsight Manager界面上重启Spark的JD BCS erver2x实例。

MAPREDUCE服务 MRS MRS 3.2.0-LTS.1.8补丁说明

MAPREDUCE服务 MRS-安装补丁:修改配置

修改配置 MRS_3.2.0-LTS.1.6以及之后补丁，Spark支持视图表权限控制，开启方法（若之前有设置过，则跳过）：在JDB CS erver的自定义custom参数添加spark.ranger.plugin.viewaccesscontrol.enable值为true，并添加参数spark.ranger.plugin.viewaccesscontrol.enable=true到客户端目录下“Spark2x/spark/conf/spark-defaults.conf”配置文件中，重启JDBCServer实例。 MRS_3.2.0-LTS.1.6以及之后补丁，Spark支持子查询字段不带聚合函数语法，开启方法（若之前有设置过，则跳过）：在JDBCServer的自定义custom参数添加spark.sql.legacy.correlated.scalar.query.enabled参数值为true，并添加参数spark.sql.legacy.correlated.scalar.query.enabled=true到客户端目录下“Spark2x/spark/conf/spark-defaults.conf”配置文件中，重启JDBCServer实例。

MAPREDUCE服务 MRS MRS 3.2.0-LTS.1.8补丁说明

MAPREDUCE服务 MRS-补丁基本信息

补丁基本信息表1 补丁基本信息补丁号 MRS 3.2.0-LTS.1.8 发布时间 2024-04-23 解决的问题 MRS 3.2.0-LTS.1.8修复问题列表：解决Spark JDBCServer在session关闭超时的时候会出现session一直存在的问题。解决Spark列字段中的子查询带有distinct聚合函数时执行查询语法报错的问题。解决 DataArts Studio API方式连接Spark SQL查询遇到特殊字符,比如换行时标准的解析会自动换行的问题。解决Yarn监控图缺失问题。解决使用Sqoop将MySQL数据导入到Hive中失败的问题。解决Yarn配置本地化日志级别参数被设置为不支持修改的问题。 Hudi clean与archive逻辑解耦，不执行clean也能执行归档。解决Hudi的.schema目录下文件找不到的问题。解决Hudi clean触发时偶现文件mv to trash失败，导致.clean为空，影响Flink流读作业的问题。 Hudi支持changelog特性。 Hudi支持temp view特性。 MRS实时任务告警通知支持显示具体作业名称。 Flink读开启changelog后的表。解决多AZ集群无法缩容的问题。解决capacity调度原生页面无法访问队列任务详情的问题。解决Flink作业无法通过checkpoint恢复的问题（遇到无法从checkpoint启动时：Cannot map checkpoint/savepoint state for operator xxxxx to the new program, because the operator is not available in the new program。需要在第一次启动作业以及通过checkpoint恢复作业时，均添加内核参数table.exec.uid.generation=ALWAYS。）。 Flink用hms方式同步Hive，支持参数配置化。解决ResourceManager内存泄漏，开源单YARN-11489。解决Yarn精细化监控部分指标没有数据的问题。解决3AZ环境DataNode 5个节点，健康度阈值是80%，构造每个AZ下一个DataNode磁盘属主root:root,只有一个DataNode的AZ报了AZ不健康的问题。解决AZ下缩容DataNode，副本未按照预期AZ策略补齐，导致退服失败的问题。解决Flink在mysql数据库insert timestamp类型数据，数据通过Flink写入Hudi后和原数据差8小时的问题。解决HetuEngine SQL查询偶现数组越界报错的问题。解决 IAM 同步的用户加入supergroup用户组后，无法删除的问题。补丁兼容关系 MRS 3.2.0-LTS.1.8补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。父主题： MRS 3.2.0-LTS.1.8补丁说明

MAPREDUCE服务 MRS MRS 3.2.0-LTS.1.8补丁说明

云服务器内容精选

MRS 3.2.0-LTS.1.8补丁说明

7*24

备案

专业服务

退订

建议反馈

售前咨询热线