检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
aborted, Hive SQL state [42000]." 原因分析 对于Join操作,由于集群配置不理想和Tez资源设置不合理导致该问题。 处理步骤 可以在beeline上设置配置参数进行解决。 设置以下属性以优化性能(建议在集群级别进行更改) 设置hive.auto.convert
Flink应用开发简介 Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。 Flink最适合的应用场景是低时延的数据处理(Data Processing)场景:高并发pipeline处理数据,时延毫秒级,且兼具可靠性。 Flink整个系统包含三个部分:
Direct Kafka接口数据传输 需要注意的是,Spark Streaming可以在失败后重新从Kafka中读取并处理数据段。然而,由于语义仅被处理一次,重新处理的结果和没有失败处理的结果是一致的。 因此,Direct API消除了需要使用WAL和Receivers的情况,且确保每个Ka
量数据,导致依赖顶层目录的上游组件(例如Yarn、Flink、Spark等)业务异常或服务异常。 可能原因 告警目录对应的配额值不合理。 处理步骤 检查告警目录对应的配额值是否合理。 在FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper
(例如Yarn、Flink、Spark等)的业务异常。 可能原因 往ZooKeeper数据目录空间写入大量数据。 自定义阈值设置不合理。 处理步骤 检查告警目录是否写入大量数据 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Zoo
DataNode堆内存使用率超过阈值”。 是,参考ALM-14008 DataNode堆内存使用率超过阈值进行处理。 否,执行7。 观察界面告警是否清除。 是,处理完毕。 否,执行8。 收集故障信息。 在FusionInsight Manager首页,选择“运维 > 日志 > 下载”。
非堆内存溢出可能导致服务崩溃,服务崩溃后无法使用Oozie服务调度任务。 可能原因 该节点Oozie实例非堆内存使用率过大,或配置的非堆内存不合理,导致使用率超过阈值。 处理步骤 检查非堆内存使用率。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警 > Oozie非堆内存使用率
eManager进程正常提供服务。 可能原因 该NodeManager节点实例堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警 > ALM-18011 NodeM
ZooKeeper服务不可用”告警产生。 是,执行3。 否,执行5。 参考ALM-13000 ZooKeeper服务不可用的处理步骤处理该故障。 等待几分钟后,在告警列表中查看“HBase热点检测功能不可用”告警是否清除。 是,处理完毕。 否,执行5。 检查HBase服务状态。 在FusionInsight Mana
等待两分钟,查看告警是否清除。 是,处理完毕。 否,执行5。 使用omm用户登录产生告警的BE所在节点,执行"top"查看进程使用内存情况,找到占用较高的内存的进程,检查是否是本服务应存在的进程,是否合理。 是,执行6。 否,对此进程进行隔离、关闭或调整内存大小处理,观察机器内存是否被释放出。
HostName 产生告警的主机名。 对系统的影响 导致解密失败,影响解密相关功能,例如DBservice安装等。 可能原因 rngd服务异常。 处理步骤 在MRS集群详情页面,单击“告警管理”。 查看该告警的详细信息,查看定位信息中对应的“HostName”字段值,获取该告警产生的主机名。
务,可能会导致大量的业务查询请求超时。 可能原因 Broker用于处理请求的线程数配置不合理。 慢盘故障。 Broker磁盘IO繁忙。 Broker的分区分布不均匀,存在热点。 处理步骤 检查Broker用于处理请求的线程数配置是否不合理。 登录FusionInsight Manager,选择“集群
对系统的影响 堆内存溢出可能导致服务崩溃。 可能原因 该节点RangerAdmin实例堆内存使用率过大,或配置的堆内存不合理,导致使用率超过阈值。 处理步骤 检查堆内存使用率。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警 > ALM-45277 Ran
对系统的影响 直接内存溢出可能导致服务崩溃。 可能原因 节点TagSync实例直接内存使用率过大,或配置的直接内存不合理,导致使用率超过阈值。 处理步骤 检查直接内存使用率。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警 > ALM-45286 Ta
推荐64GB-512GB 否:执行9。 重启作业,检查告警是否恢复。 是,处理完毕。 否,执行9。 联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 不涉及。 父主题: MRS集群告警处理参考
响应缓慢,业务无法正常访问OBS。 可能原因 该节点TokenServer实例堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警 > ALM-45740 Token
接口调用异常,因异常频繁主备倒换等问题。 可能原因 该节点Loader实例堆内存使用率过大,或配置的堆内存不合理,导致使用率超过阈值。 处理步骤 检查堆内存使用率。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警 > Loader堆内存使用率超
异常,会出现因异常频繁主备倒换等问题。 可能原因 该节点Loader实例直接内存使用率过大,或配置的直接内存不合理,导致使用率超过阈值。 处理步骤 检查直接内存使用率。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警 > Loader直接内存使用
否,执行1.d。 联系运维人员检查浮动IP地址的网卡是否存在。 是,执行2。 否,执行1.e。 请联系运维人员处理网卡问题。 等待5分钟,查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行2。 检查主备管理节点的数据库状态。 分别登录主备管理节点,执行sudo su - root和su
0.1:21351,10.0.0.2:12000 authentication.type 登录认证的方式。 “kerberos”,表示使用安全模式,进行Kerberos认证。Kerberos认证提供两种认证方式:密码和keytab文件。 “simple”,表示使用普通模式,不进行Kerberos认证。