检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该节点Oozie实例堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警 > Oozie进程垃圾回收(GC)时间超过阈值”,检查该告警的“定位信息”。查看告警上报的实例主机名。
MRS Manager 优化扩缩容逻辑,解决V1作业管理接口tcp连接残留问题 MRS大数据组件 MRS Hive 解决hiveserver内存溢出问题、存在大量小文件的情况下,MergeFile阶段非常慢问题、insert overwrite的load partition阶段出现找
工具介绍 在Hadoop大规模生产集群中,由于HDFS的元数据都保存在NameNode的内存中,集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件,会消耗NameNode大量内存,还会大幅降低读写性能,延长作业运行时间。因此,小文件问题是制约Hadoop集群规模扩展的关键问题。
工具介绍 在Hadoop大规模生产集群中,由于HDFS的元数据都保存在NameNode的内存中,集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件,会消耗NameNode大量内存,还会大幅降低读写性能,延长作业运行时间。因此,小文件问题是制约Hadoop集群规模扩展的关键问题。
_JVM_PERFORMANCE_OPTS”的中“-XX:MaxDirectMemorySize”值为“1G”。 直接内存配置过小导致报错,而且一旦直接内存溢出,该节点将无法处理新请求,会导致其他节点或者客户端访问超时失败。 解决办法 登录到Manager,进入Kafka配置页面。
告警 > 告警”查看是否存在告警ID为“29013”的告警。 是,执行3。 否,操作结束。 在FusionInsightManager首页,选择“ 集群 > Impala > 实例 > 告警上报的Impalad实例 > 图表 > 进程FGCT ”,查看FGC时间是否大于1中的阈值。
MRS集群内节点是否支持降配操作? 问: MRS集群内节点是否支持降配操作? 答: MRS集群内节点暂不支持降级配置规格。 父主题: 产品咨询类
MRS集群是否支持调整Master节点规格? 问: MRS集群是否支持调整Master节点规格? 答: 已创建的MRS集群支持修改Master节点。 目前系统支持2个及以上Master节点的集群升级Master节点规格 ,具体操作请参考升级Master节点规格。 父主题: 节点管理类
告警 > 告警”查看是否存在告警ID为“29014”的告警。 是,执行3。 否,操作结束。 在FusionInsightManager首页,选择“集群 > Impala > 实例 > 告警上报的Catalog实例 > 图表 > 进程FGCT ”,查看FGC时间是否大于步骤1中的阈值。
请求什么类型的操作。 GET:请求服务器返回指定资源。 PUT:请求服务器更新指定资源。 POST:请求服务器新增资源或执行特殊操作。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器资源头部。 PATCH:请求服务器更新资源的部分内容。当资源不存在的时
DataNode写失败的日志 短时间内写入大量文件导致这种情况,因此DataNode内存不足。 图3 写入大量文件导致DataNode内存不足 解决办法 检查DataNode内存配置,以及机器剩余内存是否充足。 增加DataNode内存,并重启DataNode。 父主题: 使用HDFS
ZooKeeper运行异常退出日志。 zk-err-<zkpid>.log ZooKeeper致命错误日志。 java_pid<zkpid>.hprof ZooKeeper内存溢出日志。 funcDetail.log ZooKeeper实例启动日志。 zookeeper-period-check.log ZooKeeper实例健康检查日志。
出现此告警时,说明当前TagSync设置的堆内存无法满足当前TagSync进程所需的堆内存,建议根据2查看“TagSync堆内存使用率”,调整“GC_OPTS”参数中“-Xmx”的值为“TagSync使用的堆内存大小”的两倍(可根据实际业务场景进行修改)。 重启受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。
出现此告警时,说明当前UserSync设置的堆内存无法满足当前UserSync进程所需的堆内存,建议根据2查看“UserSync堆内存使用率”,调整“GC_OPTS”参数中“-Xmx”的值为“UserSync使用的堆内存大小”的两倍(可根据实际业务场景进行修改)。 重启受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。
用户登录 元数据管理 查询connector 查询framework 查询step 数据源连接管理 查询数据源连接 增加数据源连接 更新数据源连接 删除数据源连接 激活数据源连接 禁用数据源连接 作业管理 查询作业 创建作业 更新作业 删除作业 激活作业 禁用作业 查询作业所有执行记录
MapReduce开源增强特性:JobHistoryServer HA特性 JobHistoryServer(JHS)是用于查看MapReduce历史任务信息的服务器,当前开源JHS只支持单实例服务。JobHistoryServer HA能够解决JHS单点故障时,应用访问MapRedu
runtime” 提交Hive任务时如何指定队列? 怎么通过客户端设置Map/Reduce内存? 如何在导入Hive表时指定输出的文件压缩格式? Hive表desc描述过长导致无法完整显示 Hive表中增加分区列后再插入数据显示为NULL 集群中创建的新用户执行查询Hive操作时无权限 执行SQL提交任务到指定队列时报错
出现此告警时,说明当前flume server设置的堆内存无法满足当前数据传输所需的堆内存,建议堆内存调整为: channel capacity * 最大单条数据大小*通道个数,但xmx参数值不能超过节点剩余内存。 重启受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行6。 重
FE进程的垃圾回收时间过长,可能影响该FE进程正常提供服务。 可能原因 该FE节点实例堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,查看“告警ID”为“50212”的“定位信息”中的角色名并确定实例的IP地址。
28443 |grep LISTEN查询tomcat的进程号。 执行kill -9 {pid},其中{pid}为上一步中查询到的进程号。 等待进程自动重启,可以执行netstat -anp |grep 28443 |grep LISTEN查看进程是否启动,如果可以查到结果说明进程启动成功。