华为云首页用户手册

MAPREDUCE服务 MRS-Hive应用开发规则:客户端配置参数需要与服务端保持一致

MAPREDUCE服务 MRS-Hive应用开发规则:客户端配置参数需要与服务端保持一致

时间：2024-05-28 14:22:57

MAPREDUCE服务 MRS

客户端配置参数需要与服务端保持一致

当集群的Hive、YARN、HDFS服务端配置参数发生变化时，客户端程序对应的参数会被改变，用户需要重新审视在配置参数变更之前提交到HiveServer的配置参数是否和服务端配置参数一致，如果不一致，需要用户在客户端重新调整并提交到HiveServer。例如下面的示例中，如果修改了集群中的YARN配置参数时，Hive客户端、示例程序都需要审视并修改之前已经提交到HiveServer的配置参数：

初始状态：

集群YARN的参数配置如下：

mapreduce.reduce.java.opts=-Xmx2048M

客户端的参数配置如下：

mapreduce.reduce.java.opts=-Xmx2048M

集群YARN修改后，参数配置如下：

mapreduce.reduce.java.opts=-Xmx1024M

如果此时客户端程序不做调整修改，则还是以客户端参数有效，会导致reducer内存不足而使MR运行失败。

上一篇：MAPREDUCE服务 MRS-Hive应用开发规则:HQL语法规则之判空

下一篇：MAPREDUCE服务 MRS-Hive应用开发规则:HQL语法规则之判空

MAPREDUCE服务 MRS-Hive应用开发规则:客户端配置参数需要与服务端保持一致

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题