检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在集群节点上的,集群的所有节点均可以访问该盘。用户提交Flink程序后,业务代码访问不到客户自定义的配置文件,导致业务程序启动失败。 原因分析 该问题的根因是NFS盘上的根目录权限不足,导致Flink程序启动后无法访问该目录。 MRS的Flink任务是在YARN运行,当集群未启用
$BIGDATA_LOG_HOME/omm/oms/ha/scriptlog/acs.log,查看ha的ACS资源日志,是否有关键字“ERROR”,分析日志查看资源异常原因并修复。 等待五分钟,查看告警是否恢复。 是,操作结束。 否,执行6。 收集故障信息。 在FusionInsight
$BIGDATA_LOG_HOME/omm/oms/ha/scriptlog/httpd.log,查看ha的httpd资源日志,是否有关键字“ERROR”,分析日志查看资源异常原因并修复。 等待五分钟,查看告警是否恢复。 是,操作结束。 否,执行7。 收集故障信息。 在FusionInsight Manager界面,选择“运维
Kafka服务当前可用Broker小于设置的replication-factor。 客户端命令中ZooKeeper地址参数配置错误。 原因分析 使用客户端命令,打印replication factor larger than available brokers异常。 Error while
retryUntilConnected(ZkClient.java:985) ...8more (kafka.admin.TopicCommand$) 原因分析 用户反馈已经排查了执行此命令的账号权限,此账号具有操作Kafka组件的最高权限,不应该仍然会有权限不足的问题。 经确认执行命令有问题,访
后台查看磁盘使用情况,主要是JDBCServer服务的APP临时文件(shuffle生成的文件)太多,并且没有进行清理占用了大量内存。 原因分析 查询Core节点有大量文件的目录,发现大部分都是类似“blockmgr-033707b6-fbbb-45b4-8e3a-128c9bcf
libcrypto.so.1.1 with link time referencecreate server private key failed. 原因分析 用户可能修改了openssl不是系统默认的/usr/bin/openssl。 动态库依赖libcrypto.so.1.1无法找到。 如果集群为3
1100元。 数据规划 在开始开发应用前,需要创建Hive表,命名为person,并插入数据。同时,创建HBase table2表,用于将分析后的数据写入。 将原日志文件放置到HDFS系统中。 在本地新建一个空白的log1.txt文件,并在文件内写入如下内容。 1,100 在HD
serializers.collectionSerializer.read(CollectionSerializer.java:112) 原因分析 java.lang.StackOverflowError这是内存溢出错误的一种,即线程栈的溢出,方法调用层次过多(比如存在无限递归调用)或线程栈太小都会导致此报错。
etObjectMetadata||||2022-02-28 17:12:45|2022-02-28 17:12:45|||400| 原因分析 使用rm命令从HDFS中删除某些内容时,文件或目录不会立即被清除,它们将被移动到回收站Current目录(/user/${username}/
$BIGDATA_LOG_HOME/controller/controller.log,查看controller运行日志,是否有关键字“ERROR”,分析日志查看资源异常原因并修复。 等待五分钟,查看告警是否恢复。 是,操作结束。 否,执行6。 收集故障信息。 在FusionInsight Manager界面,选择“运维
$BIGDATA_LOG_HOME/omm/oms/pms/scriptlog/pms_ha.log,查看ha的pms资源日志,是否有关键字“ERROR”,分析日志查看资源异常原因并修复。 等待五分钟,查看告警是否恢复。 是,操作结束。 否,执行6。 收集故障信息。 在FusionInsight Manager界面,选择“运维
问题现象 HDFS的某个DataNode退服(或者对Core节点进行缩容)任务失败,但是DataNode在任务失败后一直处于退服中的状态。 原因分析 在对HDFS的某个DataNode进行退服(或者对core节点进行缩容)过程中,因为Master节点重启或者nodeagent进程意外退
apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:720) 原因分析 HDFS的客户端和服务端数据传输走的rpc协议,该协议有多种加密方式,由hadoop.rpc.protection参数控制。 如果客户端和服务端的hadoop
细介绍请参见欠费说明。 停止计费 MRS集群删除或退订后不再产生费用。详细介绍请参见停止计费。 成本管理 您可以从成本构成、成本分配、成本分析和成本优化四个维度来管理成本。更多详情,请参见成本管理。
JAR_PATH为程序jar包所在路径。 brokerlist格式为brokerIp:9092。 开发思路 接收Kafka中数据,生成相应DStream。 筛选数据信息并分析。 找到对应的HBase表记录。 计算结果,写到HBase表。 父主题: Streaming从Kafka读取数据再写入HBase
$BIGDATA_LOG_HOME/omm/oms/cep/scriptlog/cep_ha.log,查看ha的cep资源日志,是否有关键字“ERROR”,分析日志查看资源异常原因并修复。 等待五分钟,查看告警是否恢复。 是,操作结束。 否,执行6。 收集故障信息。 在FusionInsight Manager界面,选择“运维
$BIGDATA_LOG_HOME/omm/oms/fms/scriptlog/fms_ha.log 查看ha的fms资源日志,是否有关键字“ERROR”,分析日志查看资源异常原因并修复。 等待五分钟,查看告警是否恢复。 是,操作结束。 否,执行6。 收集故障信息。 在FusionInsight Manager界面,选择“运维
${BIGDATA_LOG_HOME}/disaster/disaster.log,查看ha的disaster资源日志,是否有关键字“ERROR”,分析日志查看资源异常原因并修复。 等待5分钟,查看告警是否恢复。 是,操作结束。 否,执行7。 收集故障信息。 在FusionInsight Manager界面,选择“运维
SparkLauncher程序的编译依赖包为spark-launcher_2.12-3.1.1-hw-ei-311001-SNAPSHOT.jar,请从软件发布包中Software文件夹下“FusionInsight_Spark2x_8.1.0.1.tar.gz”压缩包中的“jars”目录中获取。