检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
由于MRS集群节点的NTP时间不同步导致集群访问OBS时鉴权失败 问题现象 集群访问OBS上报403异常。 原因分析 集群Master节点NTP时间与集群外节点的NTP服务器时间不同步,时间相差超过15min,导致集群访问OBS时鉴权失败,上报403异常。 处理步骤 以root用户登录集群主Master节点。
HBase日志文件过大导致OS盘空间不足 用户问题 OS盘/var/log分区空间不足。 问题现象 “/var/log/Bigdata/hbase/*/hbase-omm-*.out”日志文件过大,造成OS盘/var/log分区空间不足。 原因分析 在HBase长时间运行场景下,操作系统会把JVM创建的“/tmp/
集群节点内安装了原生Kerberos导致登录集群失败 问题现象 MRS集群创建成功后,登录集群Manager页面或者修改用户密码失败。 原因分析 登录到集群的Kerberos服务节点,查看“/var/log/Bigdata/kerberos/krb5kdc.log”。 登录到主、
Superior通过REST接口查看已结束或不存在的applicationID,页面提示Error Occurred 问题 Superior通过REST接口查看已结束或不存在的applicationID,返回的页面提示Error Occurred。 回答 用户提交查看applic
HBase日志介绍 日志描述 日志存储路径:HBase相关日志的默认存储路径为“/var/log/Bigdata/hbase/角色名”。 HMaster:“/var/log/Bigdata/hbase/hm”(运行日志),“/var/log/Bigdata/audit/hbase/hm”(审计日志)。
Presto查询Kudu表时系统报错找不到表 用户问题 使用Presto查询Kudu表报错。 问题现象 使用Presto查询Kudu表,报表找不到的错误: 后台报错: 原因分析 在实际的运行节点(worker实例所在节点)没有Kudu相关配置。 处理步骤 在集群Presto所有的
Superior通过REST接口查看已结束或不存在的applicationID,页面提示Error Occurred 问题 Superior通过REST接口查看已结束或不存在的applicationID,返回的页面提示Error Occurred。 回答 用户提交查看applic
job.properties 功能描述 流程的属性定义文件,定义了流程运行期间使用的外部参数值对。 参数解释 “job.properties”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 nameNode HDFS NameNode集群地址 resourceManager
【Hue WebUI】登录Hue WebUI报错无权限 现象描述 开启Kerberos认证的集群,使用admin用户登录Hue WebUI,报错“无权限或无法连接到hive server,请检查当前用户的hive权限以及hue的hive配置是否正确。”或“No available
配置Oozie作业运行参数 功能描述 流程的属性定义文件,定义了流程运行期间使用的外部参数值对。 参数解释 “job.properties”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 nameNode HDFS NameNode集群地址 resourceManager
如何在导入Hive表时指定输出的文件压缩格式? 问题现象 如何在导入Hive表时指定输出的文件压缩格式? 处理步骤 当前Hive支持以下几种压缩格式: org.apache.hadoop.io.compress.BZip2Codec org.apache.hadoop.io.compress
使用普通集群Core节点上安装的HDFS客户端时报错“error creating DomainSocket” 用户问题 普通集群在Core节点新建用户安装使用HDFS客户端报错。 问题现象 普通集群在Core节点新建用户安装使用客户端报错如下: 2020-03-14 19:16:17
Presto的coordinator进程无法正常启动 用户问题 Presto的coordinator未知原因被终止,或者Presto的coordinator进程无法正常启动。 问题现象 Presto的coordinator无法正常启动,Manager页面上显示presto coo
MRS集群如何使用公网访问Presto 用户问题 用户调测Presto JDBC样例代码,需要使用公网访问Presto。 问题分析 登录MRS Manager上查看Presto全部配置,Coordinator角色配置: PRESTO_COORDINATOR_FLOAT_IP = 内网IP地址
为什么在Ranger中删除用户权限后,该用户仍能够操作自己创建的任务 现象描述 在启用Ranger鉴权场景下,取消用户所有权限后,该用户仍能够操作自己创建的任务。例如: 在Ranger WebUI界面取消用户admintest的所有权限: 使用admintest用户登录CDL W
如何查看ENABLED表的CLOSED状态的Region 问题 如何在HBase客户端查看ENABLED表的CLOSED状态的Region。 该操作仅MRS 3.3.0及之后版本支持。 处理步骤 以客户端安装用户登录到安装了HBase客户端的节点。 切换到客户端安装目录并配置环境变量:
HBase日志介绍 日志描述 日志存储路径:HBase相关日志的默认存储路径为“/var/log/Bigdata/hbase/角色名”。 HMaster:“/var/log/Bigdata/hbase/hm”(运行日志),“/var/log/Bigdata/audit/hbase/hm”(审计日志)。
使用Share Lib工具检查Oozie依赖Jar包正确性 Oozie任务运行需要依赖Share Lib中的原生Jar包,Share Lib由Oozie内核启动时自动上传到HDFS的“/user/oozie”目录下,当HDFS上的Share Lib损坏、缺失或Jar包冲突可能导致Oozie任务运行失败。
配置Oozie作业运行参数 功能描述 流程的属性定义文件,定义了流程运行期间使用的外部参数值对。 参数解释 “job.properties”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 nameNode HDFS NameNode集群地址 resourceManager
job.properties 功能描述 流程的属性定义文件,定义了流程运行期间使用的外部参数值对。 参数解释 “job.properties”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 nameNode HDFS NameNode集群地址 resourceManager