MAPREDUCE服务 MRS-MRS 3.2.0-LTS.1补丁说明:MRS 3.2.0-LTS.1.3补丁基本信息

时间:2024-11-18 17:22:10

MRS 3.2.0-LTS.1.3补丁基本信息

表5 补丁基本信息

补丁号

MRS 3.2.0-LTS.1.3

发布时间

2023-08-04

安装前处理

如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。

新特性

  • Manager支持指定节点进行退服入服
  • MRS集群支持对接LakeFormation

    MRS对接LakeFormation操作指导,请参见:配置LakeFormation数据连接

    LakeFormation使用流程简介以及约束,请参见:LakeFormation使用流程简介

  • Guardian新增开启accesslabel开关
  • Guardian支持自定义文件生成器
  • 支持添加RangerKMS实例,提供 数据加密 服务
  • 管控面提交FlinkSQL作业支持元数据管理

解决的问题

MRS 3.2.0-LTS.1.3修复问题列表:

  • 解决Hudi修改long到string后run compaction,Spark读失败问题。
  • 解决Hudi修改schedule后之前的commit文件被清理,spark compaction失败问题。
  • 解决Hudi表有修改列名、删除重新添加列,只进行schedule,spark compaction失败问题。
  • 解决Hudi增删改列后run compaction,cdl hudi2dws作业失败报空指针问题。
  • 解决Hudi写log会从文件中读schema,log越大读取越慢,影响写入效率问题。
  • 解决Hudi subtasks处理数据倾斜,导致300并发的场景下部分资源闲置问题。
  • 解决Hudi stg_rtd_hah_ae_t_detail_t表异步compaction失败问题。
  • 解决Flink指定COMPLEX创建的hudi表,spark写失败,报KeyGenerator冲突问题。
  • 解决Flink提交作业错误提示问题。
  • 解决Flink作业异常退出,同一个key的数据做分区变更报NPE的问题。
  • 解决Flink作业读hudi log文件报错Did not find the magic bytes at the start of block的问题。
  • 解决 DataArts Studio 作业配置后未从上一个checkpoint重启Flink的问题。
  • 解决管控面提交Spark作业长时间运行后访问obs报403问题。
  • 解决CDL appid刷新错误,任务显示失败,但实际是运行中的问题。
  • 解决CDL Topic Creation失败,报Topic已存在的问题。
  • 解决CDL单AZ断网场景,出现作业自动停止的问题。
  • 解决CDL任务一直处于正常状态,历史任务id存在失败,仍然上报告警问题。
  • 解决CDL单AZ断网后,作业失败,查看appid为空,但是在yarn页面查看任务实际是存在并运行中的问题。

补丁兼容关系

MRS 3.2.0-LTS.1.3补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。

安装补丁的影响

请参考安装补丁的影响

support.huaweicloud.com/usermanual-mrs/mrs_01_248974.html