检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
JobHistoryServer(JHS)是用于查看MapReduce历史任务信息的服务器,当前开源JHS只支持单实例服务。JobHistoryServer HA能够解决JHS单点故障时,应用访问MapReduce接口无效,导致整体应用执行失败的场景,从而大大提升MapReduce服务的高可用性。 图1 JobHistoryServer
更新问题 解决部分场景下备份恢复失败问题 解决HMaster频繁出现进程故障告警问题 大数据组件 解决jobhistory内存泄漏问题 解决Hive truncate表超时失败问题 解决Hive增量任务失败后表数据文件不存在问题 解决Hive sql运行异常问题 解决安全集群创建
authenticated client: authenticationID=hdfs/hadoop@<系统域名>; authorizationID=hdfs/hadoop@<系统域名>. | org.apache.zookeeper.server.auth.SaslServerCallbackHandler
version和invalid TType错误 问题 Impala集群查询数据的时候出现bad version和invalid TType错误,如何解决? 回答 通常为Impala元数据未更新导致的,使用invalidate metadata <table>手动刷新该报错表的元数据。 父主题:
user.principal=spark/hadoop.<系统域名>@<系统域名>;saslQop=auth-conf;auth=KERBEROS;principal=spark/hadoop.<系统域名>@<系统域名>;" 其中“<server_IP>:<server_Port
select * from S3(path, [ak, sk,] format, structure, [compression]) path:访问域名/OBS文件路径,登录OBS管理控制台,在左侧导航栏单击“并行文件系统”,在“并行文件系统”页面单击对应的文件系统名称,在“文件”页面单击
select * from S3(path, [ak, sk,] format, structure, [compression]) path:访问域名/OBS文件路径,登录OBS管理控制台,在左侧导航栏单击“并行文件系统”,在“并行文件系统”页面单击对应的文件系统名称,在“文件”页面单击
rue”或“BAD_RECORDS_ACTION”参数值为“redirect”。 由于将失败原因写入日志文件中或将Bad Records重定向到原始CSV文件中导致的额外的I/O开销,数据加载性能就会降低 。 父主题: CarbonData常见问题
keytabpath/user.keytab查看。 如果集群有做过切换域名操作,需要保证url中使用的principal字段是新域名。 如默认为hive/hadoop.hadoop.com@HADOOP.COM,当集群有切换域名的操作时,该字段需要进行相关修改。如域名为abc.com时,则此处应填写hive/hadoop
多次运行Spark应用程序会引发致命的JRE错误,这个错误由Linux内核导致。 升级内核版本到4.13.9-2.ge7d7106-default来解决这个问题。 父主题: Spark故障排除
多次运行Spark应用程序会引发致命的JRE错误,这个错误由Linux内核导致。 升级内核版本到4.13.9-2.ge7d7106-default来解决这个问题。 父主题: Spark2x常见问题
keytab文件。“人机”用户第一次登录时需修改密码。(普通模式不涉及) 在修改集群域名后,需要重新下载客户端,以保证客户端配置文件中kerberos.domain.name配置为正确的服务端域名。 使用Kafka客户端 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。
包相关告警的问题。 解决/etc/hosts关键配置异常新增告警的问题。 解决精细化监控指标名称过长导致监控分表机制失效的问题。 解决GaussDB健康检查异常,导致实例重启的问题。 解决磁盘监控指标计算错误的问题。 解决主机内存使用率计算错误的问题。 解决主机列表偶现丢失故障主机的问题。
括集群组件信息文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 场景一:准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight Manager,选择“集群 > 概览
括集群组件信息文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 场景一:准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight Manager,选择“集群 > 概览
括集群组件信息文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 场景一:准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight Manager页面,选择“集群 > 概览
Hive配置类问题 Hive SQL执行报错:java.lang.OutOfMemoryError: Java heap space. 解决方案: 对于MapReduce任务,增大下列参数: set mapreduce.map.memory.mb=8192; set mapreduce
(state=42000,code=40000) 原因分析 Hive中创建永久函数需要特殊的role admin。 解决方案 在执行语句前执行set role admin命令即可解决。 父主题: 使用Hive
Hive配置类问题 Hive SQL执行报错:java.lang.OutOfMemoryError: Java heap space. 解决方案: 对于MapReduce任务,增大下列参数: set mapreduce.map.memory.mb=8192; set mapreduce
r.principal=spark2x/hadoop.<系统域名>@<系统域名>;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域名>;" 其中“<zkNode1_IP>:<zkNode1_Port>