检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在FusionInsight Manager首页,选择“集群 > 服务 > Ranger > 实例”,选择上报告警实例主机名对应的角色,单击图表区域右上角的下拉菜单,选择“定制 > CPU和内存 > PolicySync直接内存使用率”,单击“确定”。 图1 PolicySync直接内存使用率
在FusionInsight Manager首页,选择“集群 > 服务 > Ranger > 实例”,选择上报告警实例主机名对应的角色,单击图表区域右上角的下拉菜单,选择“定制 > GC > PolicySync垃圾回收(GC)时间”,单击“确定”。 图1 PolicySync垃圾回收(GC)时间
上报告警的ClickHouseServer实例IP --user 用户名 --password --port 9440 执行以下语句,查询系统表判断是否有业务频繁写入,若有相关业务,等待业务执行完成,查看告警是否清除。 SELECT query_id, user, FQDN(), elapsed
在集群节点使用客户端,执行hdfs dfsadmin -safemode get命令:“Safe mode is ON.”。 “Safe mode is ON.”表示安全模式已打开,后面的提示信息为告警信息,根据实际情况展现。 是,执行4.b。 否,执行5。 在集群节点使用客户端,执行hdfs dfsadmin
在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Oozie > 实例”,选择上报告警实例主机名对应的角色,单击图表区域右上角的下拉菜单,选择“定制 > 内存”中的“Oozie直接内存使用率”,单击“确定”。 图1 定制Oozie直接内存使用率 查看Ooz
> 待操作集群的名称 > 服务 > MapReduce > 实例 > JobHistoryServer(对应上报告警实例IP地址)”,单击图表区域右上角的下拉菜单,选择“定制 > 垃圾回收”,勾选“JobHistoryServer垃圾回收(GC)时间”。查看JobHistoryServer每分钟的垃圾回收时间统计情况。
conf”配置文件中配置如下参数。“spark.yarn.max.executor.failures”如果不存在,则手动添加该参数项。 表1 参数说明 参数 描述 默认值 spark.task.maxFailures task retry次数。 4 spark.yarn.max
print("------------------read_write_kafka----------------") read_write_kafka() 表1 使用Python提交普通作业参数说明 参数 说明 示例 bootstrap.servers Kafka的Broker实例业务IP和端口。
print("------------------read_write_kafka----------------") read_write_kafka() 表1 使用Python提交普通作业参数说明 参数 说明 示例 bootstrap.servers Kafka的Broker实例业务IP和端口。
= ConnectionFactory.createConnection(hbaseConfig); // 获取HBase表 Table table = conn.getTable(TableName.valueOf(tableName));
= ConnectionFactory.createConnection(hbaseConfig); // 获取HBase表 Table table = conn.getTable(TableName.valueOf(tableName));
节点组一般选用不同的云服务器规格。 根据节点上部署的组件角色的不同,集群内的节点类型可分为Master节点、Core节点、Task节点。 表1 集群节点分类 节点类型 功能 Master节点 MRS集群管理节点,节点上部署OMSServer负责管理和监控集群。 在MRS集群创建成
Manager首页,选择“集群 > 服务 > Guardian > 实例”,单击1获取的实例主机名对应的TokenServer角色,单击图表区域右上角的下拉菜单,选择“定制 > RPC > TokenServer RPC队列平均时间”,单击“确定”。 查看TokenServer
Manager首页,选择“集群 > 服务 > Spark2x > 实例”,单击上报告警的JobHistory2x,进入实例“概览”页面,单击图表区域右上角的下拉菜单,选择“定制 > JobHistory2x的Full GC次数”,单击“确定”,查看JobHistory2x进程的Full
Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Yarn > 实例 > NodeManager(对应上报告警实例IP地址)”,单击图表区域右上角的下拉菜单,选择“定制 > 垃圾回收”,勾选“NodeManager垃圾回收(GC)时间”。查看NodeManager每分钟的垃圾回收时间统计情况。
在FusionInsight Manager首页,选择“集群 > 服务 > Guardian > 实例”,单击1获取的主机名称对应的TokenServer角色,单击图表区域右上角的下拉菜单,选择“定制 > RPC > TokenServer RPC处理平均时间”,单击“确定”。 查看TokenServer
在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Flume > 实例”,选择上报告警实例主机名对应的角色,单击图表区域右上角的下拉菜单,选择“定制 > Agent > Flume非堆内存使用率”,单击“确定”。 图1 Flume非堆内存使用率 查看Flu
Manager,选择“运维 > 告警 > 告警”,在当前告警详情查看“定位信息”中产生该告警的服务实例和主机。 选择“集群 > 服务 > Kafka > 图表”,在分类中选择“分区”,单击“Partition数目-所有实例”右上角的放大图标,选择“分布图”,查看Broker上分区分布是否均衡。 图1
Manager首页,选择“集群 > 服务 > Spark2x > 实例”,单击告警上报的JobHistory2x,进入实例“概览”页面,单击图表区域右上角的下拉菜单,选择“定制 > JobHistory2x的GC时间”,单击“确定”,查看JobHistory2x进程的GC时间是否大于阈值(默认12秒)。
Manager首页,选择“集群 > 服务 > Spark2x > 实例”,单击告警上报的IndexServer2x,进入实例“概览”页面,单击图表区域右上角的下拉菜单,选择“定制 > IndexServer2x的GC时间”,单击“确定”,查看IndexServer2x进程的GC时间是否大于阈值(默认12秒)。