检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
$BIGDATA_LOG_HOME/controller/controller.log,查看controller运行日志,是否有关键字“ERROR”,分析日志查看资源异常原因并修复。 等待五分钟,查看告警是否恢复。 是,操作结束。 否,执行6。 收集故障信息。 在FusionInsight Manager界面,选择“运维
$BIGDATA_LOG_HOME/omm/oms/pms/scriptlog/pms_ha.log,查看ha的pms资源日志,是否有关键字“ERROR”,分析日志查看资源异常原因并修复。 等待五分钟,查看告警是否恢复。 是,操作结束。 否,执行6。 收集故障信息。 在FusionInsight Manager界面,选择“运维
Kafka服务当前可用Broker小于设置的replication-factor。 客户端命令中ZooKeeper地址参数配置错误。 原因分析 使用客户端命令,打印replication factor larger than available brokers异常。 Error while
retryUntilConnected(ZkClient.java:985) ...8more (kafka.admin.TopicCommand$) 原因分析 用户反馈已经排查了执行此命令的账号权限,此账号具有操作Kafka组件的最高权限,不应该仍然会有权限不足的问题。 经确认执行命令有问题,访
后台查看磁盘使用情况,主要是JDBCServer服务的APP临时文件(shuffle生成的文件)太多,并且没有进行清理占用了大量内存。 原因分析 查询Core节点有大量文件的目录,发现大部分都是类似“blockmgr-033707b6-fbbb-45b4-8e3a-128c9bcf
libcrypto.so.1.1 with link time referencecreate server private key failed. 原因分析 用户可能修改了openssl不是系统默认的/usr/bin/openssl。 动态库依赖libcrypto.so.1.1无法找到。 如果集群为3
1、报错类找不到:java.lang.NoClassDefFoundError 2、报错方法找不到:java.lang.NoSuchMethodError 原因分析 以自定义UDF为例: 报错信息显示是找不到类。 首先需要确认的是这个类属于的jar包是否在jvm的classpath里面, spark自
1、报错类找不到:java.lang.NoClassDefFoundError 2、报错方法找不到:java.lang.NoSuchMethodError 原因分析 以自定义UDF为例: 报错信息显示是找不到类。 首先需要确认的是这个类属于的jar包是否在jvm的classpath里面, spark自
blacklist. Blacklisting behavior can be configured via spark.blacklist.*. 原因分析 内存不足或提交作业时未添加Jar包,导致Spark提交的作业任务长时间处于pending状态。 处理步骤 检查提交作业时是否添加Jar包。
客户购买的MRS Kafka流式集群节点内有多块磁盘,由于分区不合理及业务原因导致某几个磁盘的使用量很高。当达到100%时就会造成kafka不可用。 原因分析 需要提前干预处理磁盘数据,全局的log.retention.hours修改需要重启服务。为了不断服,可以将数据量大的单个topic老化时间根据需要改短。
细介绍请参见欠费说明。 停止计费 MRS集群删除或退订后不再产生费用。详细介绍请参见停止计费。 成本管理 您可以从成本构成、成本分配、成本分析和成本优化四个维度来管理成本。更多详情,请参见成本管理。
JAR_PATH为程序jar包所在路径。 brokerlist格式为brokerIp:9092。 开发思路 接收Kafka中数据,生成相应DStream。 筛选数据信息并分析。 找到对应的HBase表记录。 计算结果,写到HBase表。 父主题: Streaming从Kafka读取数据再写入HBase
$BIGDATA_LOG_HOME/omm/oms/cep/scriptlog/cep_ha.log,查看ha的cep资源日志,是否有关键字“ERROR”,分析日志查看资源异常原因并修复。 等待五分钟,查看告警是否恢复。 是,操作结束。 否,执行6。 收集故障信息。 在FusionInsight Manager界面,选择“运维
$BIGDATA_LOG_HOME/omm/oms/fms/scriptlog/fms_ha.log 查看ha的fms资源日志,是否有关键字“ERROR”,分析日志查看资源异常原因并修复。 等待五分钟,查看告警是否恢复。 是,操作结束。 否,执行6。 收集故障信息。 在FusionInsight Manager界面,选择“运维
${BIGDATA_LOG_HOME}/disaster/disaster.log,查看ha的disaster资源日志,是否有关键字“ERROR”,分析日志查看资源异常原因并修复。 等待5分钟,查看告警是否恢复。 是,操作结束。 否,执行7。 收集故障信息。 在FusionInsight Manager界面,选择“运维
在Hive表的元数据信息界面,单击右上角的可导入数据,单击可浏览数据,单击可查看表文件的位置信息。 Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作,建议在确认对业务没有影响后通过各组件的相应操作方法进行处理,例如使用HDF
客户端来以命令行形式提交作业。 前提条件 用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。 如果作业程序需要读取以及分析OBS文件系统中的数据,需要先配置MRS集群的存算分离,请参考配置MRS集群存算分离。 通过管理控制台提交作业 登录MRS管理控制台。 选
1、报错类找不到:java.lang.NoClassDefFoundError 2、报错方法找不到:java.lang.NoSuchMethodError 原因分析 以自定义UDF为例: 报错信息显示是找不到类。 首先需要确认的是这个类属于的jar包是否在jvm的classpath里面, spark自
可能原因 Kafka服务异常。 Flume连接Kafka地址错误,导致发送失败。 Flume发送超过Kafka大小限制的消息,导致发送失败。 原因分析 Flume发送数据到Kafka失败,可能原因是Flume侧问题或者Kafka侧问题。 Manager界面查看当前Kafka状态及监控指标。
0版本集群,当用户名超过20位时(添加用户时最长限制为32位),下载Keytab文件会下载失败,状态代码:400 Bad Request。 原因分析 需要在主Master节点的“/opt/Bigdata/om-server_*/apache-tomcat-*/webapps/web/W