检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
若个别Topic不能做保存周期调整,将该Topic配置在“disk.adapter.topic.blacklist”参数中,在KafkaTopic监控页面观察数据的存储周期。 修改数据目录“log.dirs”配置 该配置不正确将会导致进程故障。 确保所修改或者添加的数据目录为空目录,且权限正确。
要功能包括: 与RM调度器协商以获取资源(用Container表示)。 将得到的资源进一步分配给内部任务。 与NM通信以启动/停止任务。 监控所有任务的运行状态,并在任务运行失败时重新为任务申请资源以重启任务。 NodeManager(NM) NM是每个节点上的资源和任务管理器,
要功能包括: 与RM调度器协商以获取资源(用Container表示)。 将得到的资源进一步分配给内部任务。 与NM通信以启动/停止任务。 监控所有任务的运行状态,并在任务运行失败时重新为任务申请资源以重启任务。 NodeManager(NM) NM是每个节点上的资源和任务管理器,
要功能包括: 与RM调度器协商以获取资源(用Container表示)。 将得到的资源进一步分配给内部任务。 与NM通信以启动/停止任务。 监控所有任务的运行状态,并在任务运行失败时重新为任务申请资源以重启任务。 NodeManager(NM) NM是每个节点上的资源和任务管理器,
要功能包括: 与RM调度器协商以获取资源(用Container表示)。 将得到的资源进一步分配给内部任务。 与NM通信以启动/停止任务。 监控所有任务的运行状态,并在任务运行失败时重新为任务申请资源以重启任务。 NodeManager(NM) NM是每个节点上的资源和任务管理器,
客户端向服务端提交查询请求,然后将执行结果取回并展示。 HSBroker HetuEngine的服务管理,用作计算实例的资源管理校验,健康监控与自动维护等。 HSConsole 对外提供数据源信息管理,计算实例管理,自动化任务的查看等功能的可视化操作界面和RESTful接口。 HSFabric
Kafka服务异常。 网络异常。 Kafka Topic异常。 原因分析 通过Manager页面,查看Kafka集群当前状态,发现状态为“良好”,且监控指标内容显示正确。 查看SparkStreaming日志中提示错误的Topic信息。 执行Kafka相关命令,获取Topic分布信息和副本同步信息,观察返回结果。
较高,不受表的数据量限制。Flink和Spark引擎都支持,Flink和Spark引擎可以实现交叉混写同一张表。 缺点:Bucket个数不能动态调整,数据量波动和整表数据量持续上涨会导致单个Bucket数据量过大出现大数据文件。需要结合分区表来进行平衡改善。 Flink状态索引
Kafka”,查看当前Kafka状态,发现状态为良好,且监控指标内容显示正确。 FusionInsight Manager界面操作:登录FusionInsight Manager,选择“集群 > 服务 > Kafka”,查看当前Kafka状态,发现状态为良好,且监控指标内容显示正确。 查看Produc
告警”,在告警列表中展开此告警的详细信息,记录定位信息中的进程名,单击上报的主机名并记录该主机的业务IP地址。 选择“系统 > OMS ”,查看监控图表中“OMS进程内存使用率”,根据告警产生时间查看对应进程的内存使用率是否已达到进程设定的最大内存的阈值(默认90%)。 如果无对应图表
在FusionInsight Manager首页,选择“集群 > 服务 > HBase > 图表”,在“图表分类”中选择“GC”,查看GC次数和GC时间监控是否异常。 是,执行6。 否,执行9。 单击“配置”,在搜索框中搜索“GC_OPTS”,在RegionServer所在节点内存允许范围内,
用户的连接数状况。 观察当前告警用户的实时连接数情况,确认当前用户的实时监控数据是否存在。 是,执行4。 否,说明当前用户已经断开所有连接,则手动清除告警,操作结束。 当告警用户断开所有连接之后,该用户的监控数据会消失,此时无法自动清除告警,需要手动清除。 确认该告警的用户是否为业务侧允许的合法用户。
Kafka”,查看当前Kafka状态,发现状态为良好,且监控指标内容显示正确。 FusionInsight Manager界面操作:登录FusionInsight Manager,选择“集群 > 服务 > Kafka”,查看当前Kafka状态,发现状态为良好,且监控指标内容显示正确。 查看Consum
您想继续使用MRS集群,需要在规定的时间内为MRS集群进行续费,否则无法在MRS管理控制台对该集群执行相关操作,相关接口也无法调用,自动化监控或告警等运维服务也会停止。续费包括手动续费和自动续费两种方式,您可以根据需求选择。了解更多关于续费的信息,请参见续费概述。 费用账单 您可以在管理控制台选择页面上方的“费用
不支持 权限设置(添加删除用户、用户组、角色) 不支持 支持 集群组件数据备份恢复 不支持 支持 Manager操作审计日志 不支持 支持 资源监控 支持 支持 MRS集群管理对象说明 MRS集群包含了各类不同的基本对象,不同对象的描述介绍如表2所示。 表2 MRS基本对象概览 对象 描述
新特性和优化 MRS Manager 支持对慢盘自动隔离能力。 支持EVS磁盘分区容量扩容。 支持D系列磁盘热插拔。 支持运维巡检特性。 支持监控指标上报CES。 支持HDFS单副本检测能力。 解决的问题 不涉及 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系
如果Manager的WebService浮动IP地址异常,用户无法登录和使用Manager。如果Manager的数据库异常,所有核心业务和相关业务进程,例如告警和监控功能,都会受影响。 可能原因 浮动IP地址异常。 数据库异常。 处理步骤 检查主管理节点的浮动IP地址状态。 打开MRS集群详情页面,在告
${SRV_HOME}/tmp/yarn-nm-recovery yarn.nodemanager.recovery.supervised NodeManager是否在监控下运行。开启此特性后NodeManager在退出后不会清理containers,NodeManager会假设自己会立即重启和恢复containers。
RPC处理平均时间”,单击“default”规则所在行的“操作”列的“修改”,将“紧急”或“重要”告警级别对应的“阈值”修改为告警出现后1天内监控值的峰值的150%,并单击“确定”保存。 等待5分钟,查看该告警是否自动清除。 是,处理完毕。 否,执行6。 查看Guardian TokenServer内存设置是否过小。
菜单,在定位信息中确认告警上报的Znode。 选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper”,单击“资源”,在精细化监控“资源使用(按二级Znode)”中,单击“按容量”查看顶级Znode目录是否被写入较多数据。 是,记录被写入较多数据的目录,执行3。 否,执行5。