MAPREDUCE服务 MRS-MRS 1.5.1.4补丁说明:补丁基本信息

时间：2024-08-17 08:59:28

MAPREDUCE服务 MRS

补丁基本信息

表1 补丁基本信息
补丁号	MRS 1.5.1.4
发布时间	2018-08-23
解决的问题	Spark组件问题：当carbon表元数据文件较大时导致的查询慢问题。修复carbon在某些场景下，对数据进行压缩时，出现转换为SHORT_INT失败的问题。 spark解析zlib时出错，出现java.io.IOException: unknown compression method的异常。当用户数据增加到一定量后向carbon导入时出现executor崩溃。在Yarn cluster模式下，当Spark程序客户端退出后，程序自动被停掉。优化了当carbon表的segments很多时，执行delete语句慢的问题。长时间运行的spark作业，执行spark SQL时出现GSS initiate failed错误。 carbon表执行select操作时，报carbonindex文件找不到的错误。 carbon表执行select操作时，由于tablestatues文件为空，报空指针异常的错误。 carbon表执行select操作时，由于deletedelta文件为空，报空指针异常的错误。 carbon表执行select操作时，由于并发操作导致tablestatues文件中有重复entry，报segment文件夹找不到的错误。
	Kafka组件问题： MRS Manager上Kafka topic监控页面无数据。 SparkStreaming使用的scala版本与Kafka组件不一致，导致spark访问kafka失败。 SparkStreaming访问Kafka，只能读到一个分区。
	HBase组件问题： HBase健康检查时，遇到非HBase问题引起的错误码与HBase本身的错误码有重合，导致误告警。在MRS Manager界面上无法修改HBase服务端的部分配置文件（hdfs-site.xml、core-site.xml、mapred-site.xml、yarn-site.xml），后台修改这些配置文件，再重启服务后也会被强制还原。在MRS Manager界面上无法修改HBase的dfs.client.read.shortcircuit配置项。
	Hadoop 组件问题： yarn资源本地化过程中下载了archives类型资源后自动解压目录可能被注入。 YARN NodeManager上本地化资源文件及SPARK JobHistory历史文件未定时清理，导致磁盘爆满。在Yarn的原生界面单击“Allocated Memory MB”排序时出现页面异常响应。
	其他问题: 登录集群管理界面，点选租户管理，租户信息加载不出来。 MRS扩容场景下的可靠性增强。优化MRS Manager的部分UI显示。 MRS安全集群创建角色时无法添加Hive组件权限。
补丁兼容关系	包含1.5.1版本发布的所有补丁解决的问题。