检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flume启动失败 问题现象 安装Flume服务或重启Flume服务失败。 原因分析 Flume堆内存设置的值大于机器剩余内存,查看Flume启动日志: [CST 2019-02-26 13:31:43][INFO] [[checkMemoryValidity:124]] [GC_OPTS
修改系统内部用户密码 修改默认数据库用户密码 证书更新 MRS集群的CA证书与HA证书均支持更换,如果用户需要将集群默认的证书更换成新的证书,可参考如下指导: CA证书用于组件客户端与服务端在通信过程中加密数据,实现安全通信。具体更换操作指导请参见更换CA证书。 HA证书用于主备进程与高可用进程在通
Hive服务启动失败 Hive服务启动失败最常见的原因是metastore实例无法连接上DBservice,可以查看metastore日志中具体的错误信息。 可能原因 DBservice没有初始化好Hive的元数据库hivemeta。 DBservice的浮动IP配置有误,导致m
启Hive服务,此时保存配置失败,并且Hive服务启动失败。 原因分析 由于用户B在MRS Manager页面修改配置时,配置文件被用户A在MRS节点后台打开,导致该配置文件不能被替换,最终导致Hive服务启动失败。 处理步骤 用户需要首先手动关闭集群节点后台打开的Hive配置文件。
处理步骤 在使用AK/SK认证方式调用接口前,请参见表1收集对应信息,详细的签名方法和SDK使用方法请参见API签名指南。 在构造API请求前,需要获取以下信息,包括组成请求URL的Endpoint和URI,用于签名和认证的AK/SK,用于区分租户的项目ID。 表1 信息收集项 Endpoint
连接impala-shell失败 用户问题 用户连接impala-shell失败。 问题现象 用户在“组件管理”页面修改任意组件的配置并重启服务后,连接impala-shell,会出现连接失败,报错no such file/directory。 原因分析 修改服务配置并重启服务后
ms/s/m/h/d。 60s 否 akka.watch.threshold DeathWath失败检测阈值,较小的数值容易把正常TaskManager标记为失败,较大的值增加了失败检测的时间。 12 否 akka.tcp.timeout 发送连接TCP超时时间,如果经常发生满网
failure-rate策略 在作业失败后会直接重启,但超过设置的失败率后,作业会被认定为失败。在两个连续的重启尝试之间,重启策略会等待一个固定的时间。 以配置10分钟内若重启失败了3次则认为该作业失败,重试时间间隔为10s为例,参数配置为: restart-strategy: failure-rate
Header edit Location ^(?!https://10.112.16.93:20009|https://10.112.16.93:21201)http[s]?://[^/]*(.*)$ https://10.112.16.93:21201$1
Spark任务运行失败 问题现象 报错显示executor出现OOM。 失败的task信息显示失败原因是lost task xxx。 原因分析 问题1:一般出现executor OOM,都是因为数据量过大,也有可能是因为同一个executor上面同时运行的task太多。 问题2:
读取HDFS文件失败,报错“FileNotFoundException” 问题背景与现象 有MapReduce任务所有map任务均成功,但reduce任务失败,查看日志发现报异常“FileNotFoundException...No lease on...File does not
提交Storm拓扑失败排查思路 问题背景与现象 使用MRS流式集群,主要安装ZooKeeper、Storm、Kafka。 使用客户端命令,提交Topology失败。 可能原因 Storm服务异常。 客户端用户没有进行安全认证或者认证过期。 提交拓扑中包含storm.yaml文件和服务端冲突。
DBServer启动失败 问题背景与现象 DBService组件启动失败,重启还是失败,实例状态一直为正在恢复状态。 图1 DBService 的状态 原因分析 查看DBService的日志/var/log/Bigdata/dbservice/DB/gs_ctl-current.log,报如下错误。
Load数据到Hive表失败 问题背景与现象 用户在建表成功后,通过Load命令往此表导入数据,但导入操作中遇到如下问题: ....... > LOAD DATA INPATH '/user/tester1/hive-data/data.txt' INTO TABLE employees_info;
Header edit Location ^(?!https://10.112.16.93:20009|https://10.112.16.93:21201)http[s]?://[^/]*(.*)$ https://10.112.16.93:21201$1
配置AM失败重试次数 配置场景 在资源不足导致ApplicationMaster启动失败的情况下,调整如下参数值,提高容错性,保证客户端应用的正常运行。 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入表1中参数名称。 表1 参数说明 参数 描述
为什么创建Hive表失败? 问题 为什么创建Hive表失败? 回答 当源表或子查询具有大数据量的Partition时,创建Hive表失败。执行查询需要很多的task,此时输出的文件数就会很多,从而导致driver OOM。 可以在创建Hive表的语句中增加distribute b
查询或者删除HDFS文件失败 问题背景与现象 使用HDFS的shell客户端查询或者删除文件失败,父目录可以看见此文件(不可见字符)。 图1 父目录文件列表 原因分析 可能是该文件写入时有异常,写入了不可见字符。可以将该文件名重定向写入本地文本中,使用vi命令打开。 hdfs dfs
Hue WebUI界面访问失败 用户问题 访问Hue WebUI跳转到错误的页面。 问题现象 查看Hue WebUI报错如下: 503 Service Unavailable The server is temporarily unable to service your requster
DataArts Studio调度Spark作业失败 问题现象 DataArts Studio作业调度失败,显示读取“/thriftserver/active_thriftserver”路径下的数据失败。 报错信息为: Can not get JDBC Connection, due