检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
RegionServer实例异常,处于Restoring状态 问题背景 HBase启动失败,RegionServer一直处于Restoring状态。 原因分析 查看异常的RegionServer实例的运行日志(/var/log/Bigdata/hbase/rs/hbase-omm-XXX.log),发
The directory item limit of /tmp is exceeded: limit=5 items=5。 原因分析 查看客户端或者NameNode运行日志“/var/log/Bigdata/hdfs/nn/hadoop-omm-namenode-XXX.log”存在异常提示The
park-submit提交yarn-client模式的任务,会出现FileNotFoundException异常,任务还能继续执行,但无法查看Driver端日志。例如:执行命令 spark-submit --class org.apache.spark.examples.SparkPi
大大提高节点资源的利用率和计算效率。 商用 Presto简介 历史变更 关于MapReduce服务(MRS)更多历史版本变更内容,请单击“查看PDF”详细了解。
max connections. (state=,code=0) Beeline version 1.2.1 by Apache Hive 查看HiveServer日志(/var/log/Bigdata/hive/hiveserver/hive.log)报over max connections错误:
确认本地环境网络正常。 打开浏览器访问:华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),查看网站是否能正常访问。如果访问异常,请先开通本地网络。 确认当前开发工具是否开启代理。下载jar包前需要确保开发工具代理关闭。 比如以2020
问题现象 Flume进程启动后,Flume数据无法写入到对应组件(本示例以服务端写入到HDFS为例)。 原因分析 HDFS未启动或故障。 查看Flume运行日志: 2019-02-26 11:16:33,564 | ERROR | [SinkRunner-PollingRunne
0-LTS版本集群,提交Spark Streaming任务后,由于NodeAgent重启导致对应节点上任务失败,但是在Yarn WebUI页面中查看整个任务状态为“succeeded”。 原因分析 Spark AM退出时,因为服务配置参数“spark.streaming.stopGra
创建HDFS目录 功能简介 创建目录过程为: 调用FileSystem实例的exists方法查看该目录是否存在。 如果存在,则直接返回。 如果不存在,则调用FileSystem实例的mkdirs方法创建该目录。 代码样例 如下是写文件的代码片段,详细代码请参考com.huawei
e如何快速恢复? 原因分析 HDFS进入安全模式后HBase服务异常,导致meta表下线;HDFS退出安全模式后,下线的meta表未上线,查看RegionServer日志存在“No namenode available to invoke create /hbase/WALs/xxxx
参数不合理导致HBase启动失败 问题现象 修改部分参数后,无法正常启动HBase。 原因分析 查看HMaster日志(/var/log/Bigdata/hbase/hm/hbase-omm-xxx.log)显示,hbase.regionserver.global.memstore
A模块SSL的操作。 前提条件 DBService服务HA模块已开启SSL配置。 检查DBService服务HA模块是否开启SSL配置: 查看“$BIGDATA_HOME/FusionInsight_BASE_x.x.x/install/FusionInsight-dbservice-2
ALM-50219 当前查询执行线程池等待队列的长度超过阈值 告警解释 系统每30秒周期性检查当前查询执行线程池等待队列的长度超过阈值,当检查到该值超出阈值(默认值为20)时产生该告警。 当前查询执行线程池等待队列的长度低于阈值时,告警清除。 告警属性 告警ID 告警级别 是否可自动清除
eNotFoundException” 问题背景 HBase启动失败,RegionServer一直处于Restoring状态。 原因分析 查看RegionServer的日志(/var/log/Bigdata/hbase/rs/hbase-omm-XXX.log),发现显示以下打印信息:
e功能。 查看Hive是否开启MetaStore功能: 登录FusionInsight Manager,选择“集群 > 服务 > Hive > 配置 > 全部配置”,搜索参数“hive-ext.dlcatalog.metastore.client.enable”,查看该参数的值是否为“false”。
in”执行Kafka shell命令。 常用的命令如下: 查看当前集群Topic列表。 sh kafka-topics.sh --list --zookeeper <ZooKeeper集群IP:2181/kafka> 查看单个Topic详细信息。 sh kafka-topics.sh
创建HDFS目录 功能简介 创建目录过程为: 调用FileSystem实例的exists方法查看该目录是否存在。 如果存在,则直接返回。 如果不存在,则调用FileSystem实例的mkdirs方法创建该目录。 代码样例 如下是写文件的代码片段,详细代码请参考com.huawei
问题 在执行大数据量的Spark任务(如100T的TPCDS测试套)过程中,有时会出现Executor丢失从而导致Stage重试的现象。查看Executor的日志,出现“Executor 532 is lost rpc with driver,but is still alive
创建HDFS目录 功能简介 创建目录过程为: 调用FileSystem实例的exists方法查看该目录是否存在。 如果存在,则直接返回。 如果不存在,则调用FileSystem实例的mkdirs方法创建该目录。 代码样例 如下是写文件的代码片段,详细代码请参考com.huawei
StormSubmitter - Finished submitting topology: word-count 通过ps -ef | grep worker命令查看worker进程信息如下: 原因分析 由于topology.worker.gc.childopts、topology.worker.childopts和worker