MAPREDUCE服务 MRS-补丁基本信息

时间:2024-08-06 11:44:39

补丁基本信息

表1 补丁基本信息

补丁号

MRS 3.2.0-LTS.1.8

发布时间

2024-04-23

解决的问题

MRS 3.2.0-LTS.1.8修复问题列表:

  • 解决Spark JD BCS erver在session关闭超时的时候会出现session一直存在的问题。
  • 解决Spark列字段中的子查询带有distinct聚合函数时执行查询语法报错的问题。
  • 解决 DataArts Studio API方式连接Spark SQL查询遇到特殊字符,比如换行时标准的解析会自动换行的问题。
  • 解决Yarn监控图缺失问题。
  • 解决使用Sqoop将MySQL数据导入到Hive中失败的问题。
  • 解决Yarn配置本地化日志级别参数被设置为不支持修改的问题。
  • Hudi clean与archive逻辑解耦,不执行clean也能执行归档。
  • 解决Hudi的.schema目录下文件找不到的问题。
  • 解决Hudi clean触发时偶现文件mv to trash失败,导致.clean为空,影响Flink流读作业的问题。
  • Hudi支持changelog特性。
  • Hudi支持temp view特性。
  • MRS实时任务告警通知支持显示具体作业名称。
  • Flink读开启changelog后的表。
  • 解决多AZ集群无法缩容的问题。
  • 解决capacity调度原生页面无法访问队列任务详情的问题。
  • 解决Flink作业无法通过checkpoint恢复的问题(遇到无法从checkpoint启动时:Cannot map checkpoint/savepoint state for operator xxxxx to the new program, because the operator is not available in the new program。需要在第一次启动作业以及通过checkpoint恢复作业时,均添加内核参数table.exec.uid.generation=ALWAYS。)。
  • Flink用hms方式同步Hive,支持参数配置化。
  • 解决ResourceManager内存泄漏,开源单YARN-11489。
  • 解决Yarn精细化监控部分指标没有数据的问题。
  • 解决3AZ环境DataNode 5个节点,健康度阈值是80%,构造每个AZ下一个DataNode磁盘属主root:root,只有一个DataNode的AZ报了AZ不健康的问题。
  • 解决AZ下缩容DataNode,副本未按照预期AZ策略补齐,导致退服失败的问题。
  • 解决Flink在mysql数据库insert timestamp类型数据,数据通过Flink写入Hudi后和原数据差8小时的问题。
  • 解决HetuEngine SQL查询偶现数组越界报错的问题。
  • 解决 IAM 同步的用户加入supergroup用户组后,无法删除的问题。

补丁兼容关系

MRS 3.2.0-LTS.1.8补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。

support.huaweicloud.com/usermanual-mrs/mrs_01_300320.html