云服务器内容精选

华为云首页用户手册

MRS补丁说明

MAPREDUCE服务 MRS-MRS 3.2.0-LTS.1版本补丁说明:MRS 3.2.0-LTS.1.1补丁基本信息

MRS 3.2.0-LTS.1.1补丁基本信息表8 补丁基本信息补丁号 MRS 3.2.0-LTS.1.1 发布时间 2023-04-07 安装前处理如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。解决的问题 MRS 3.2.0-LTS.1.1 修复问题列表：解决Hudi性能优化，增加优化参数控制同步Hive schema问题解决Hudi表包含decimal字段做ddl变更时，执行clustering报错问题解决MRS 3.1.2版本创建的hudi bucket索引表，在升级后compaction作业失败问题解决Table can not read correctly when computed column is in the midst问题解决Hudi的schema evolution和历史版本不兼容问题解决Fink无法读取低版本Spark用bulk insert方式写入的timestamp类型数据的精度问题解决mor表delete数据，下游Flink读任务失败问题解决Flink流写mor开启同步compaction，包含decimal列，Spark添加一列后重启作业，触发compaction执行失败问题解决Flink写mor表同时sparksql查询，当Flink触发clean后，Spark查询失败问题解决mor表有rollback，执行cleanData后Flink schedule生成计划，spark run compaction报空指针问题解决Flink进行批量作业时权限不足导致作业失败问题解决Flink指定timestamp读Kafka异常的问题解决Flink写历史版本创建的bucket索引hudi表，索引数据错乱重复fileid问题解决Flink On HBase当条件为null时，使用错误下推Filter导致漏数问题解决Flink on hudi解析的时间范围如果超过2262-04-11 23:47:16，则会解析失败，报错overflow问题解决Spark/Flink写Hudi表，控制归档文件大小的参数不生效问题解决Spark任务，有多个ddl语句(drop，truncate，create)长时间执行不结束问题解决Spark建mor表带timestamp，Flink流读数据有误，相差8h问题解决cow/mor表执行完drop partition后，首次执行delete报错，堆栈异常问题解决datasource写Hudi表名和同步的Hive表明不一致，写入失败，sql写location指定到一个存量cow表目录，表名不一致，insert成功的问题 CDL链路hudi-dws性能优化解决CDL升级后业务用户未添加hadoop组，任务启动失败问题解决CDL hudi-dws链路配置max.commit.number参数时，偶现同步数据丢失问题解决当CDL存在链接源端库失败的作业，task线程泄漏，导致作业启动超时问题解决CDL Hudi connector代码中增加hoodie.datasource.hive_sync.skip_sync_schema参数，默认为true，优化元数据同步性能，减少性能毛刺问题解决CDL读Hudi表出现404失败，找不到rollback.requested问题解决CDL Task阻塞导致所有任务Task失败问题解决Yarn的jdbcserver资源超长时间不释放问题补丁兼容关系 MRS 3.2.0-LTS.1.1补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。安装补丁的影响请参考安装补丁的影响。

MAPREDUCE服务 MRS MRS补丁说明