正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
监控开关由参数“dfs.namenode.directory-items.monitor.enabled”指定,默认值为“true”,即该检测默认开启。 告警属性 告警ID 告警级别 是否自动清除 14020 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名
保障意外掉电时的数据可靠性,不论是单节点意外掉电,还是整个集群意外断电,恢复供电后系统能够正常恢复业务,除非硬盘介质损坏,否则关键数据不会丢失。 硬盘亚健康检测和故障处理,对业务不造成实际影响。 自动处理文件系统的故障,自动恢复受影响的业务。 自动处理进程和节点的故障,自动恢复受影响的业务。 自动处理网络故障,自动恢复受影响的业务。
capacity.preemption.monitoring_interval 根据策略监控的时间间隔,单位为毫秒。如果将该参数设置为更大的值,容量检测将不那么频繁地运行。 3000 yarn.resourcemanager.monitor.capacity.preemption.max_wait_before_kill
/var/log/Bigdata/clickhouse/clickhouseServer/checkDisk.log ClickHouse磁盘检测日志文件路径。 /var/log/Bigdata/clickhouse/clickhouseServer/backup.log Click
checkavailable.log Kafka服务健康状态检查日志。 checkInstanceHealth.log Broker实例健康状态检测日志。 kafka-authorizer.log Broker鉴权日志。 kafka-root.log Broker基础日志。 cleanup
考表2。 表2 HetuEngine数据源自定义配置参数 名称 描述 取值样例 hsfabric.health.check.time 设置检测HSFabric实例状态的周期间隔,单位:秒 60 hsfabric.subquery.pushdown 开启跨域查询下推参数,默认开启。
SER>-<DATE>-<PID>-gc.log 垃圾回收日志。 yarn-haCheck.log ResourceManager主备状态检测日志。 yarn-service-check.log Yarn服务健康状态检查日志。 yarn-start-stop.log Yarn服务启停操作日志。
index_bootstrap.tasks 采用状态索引写数据需要进行主键唯一性检查,分配具体写入文件,提升该算子并行度提升性能。 写算子索引检测算子调整参数:write.bucket_assign.tasks 非状态计算提升性能的资源优化 Flink计算操作分为如下两类: 无状态计
MR服务安装后启动前的工作日志。 yarn-cleanup.log MR服务卸载时候的清理日志。 mapred-service-check.log MR服务健康状态检测日志。 container_{$contid} Container日志。 hadoop-<SSH_USER>-<process_name>-<hostname>
SER>-<DATE>-<PID>-gc.log 垃圾回收日志。 yarn-haCheck.log ResourceManager主备状态检测日志。 yarn-service-check.log Yarn服务健康状态检查日志。 yarn-start-stop.log Yarn服务启停操作日志。
接OBS文件系统时,也能够支持TASK容错,但是中间数据仍然落盘至HDFS临时目录中。 集群默认会在查询结束时完成缓冲区文件清理,且每小时检测并清理存在超期1天的残留缓冲区文件,可通过如下操作关闭周期性清理功能: 登录Manager,选择“集群 > 服务 > HetuEngine
MR服务安装后启动前的工作日志。 yarn-cleanup.log MR服务卸载时候的清理日志。 mapred-service-check.log MR服务健康状态检测日志。 container_{$contid} Container日志。 hadoop-<SSH_USER>-<process_name>-<hostname>
告警ID 告警信息的ID。 告警名称 告警信息的名称。 告警级别 包含紧急、重要、次要、提示四项级别。 产生时间 产生告警的时间。 清除时间 告警检测到已清除的时间。如果未清除,则显示为“--”。 来源 集群名称。 对象 触发告警的服务、进程或模块。 是否自动清除 能够在问题修复后自动清除告警。
checkavailable.log Kafka服务健康状态检查日志。 checkInstanceHealth.log Broker实例健康状态检测日志。 kafka-authorizer.log Broker鉴权日志。 kafka-root.log Broker基础日志。 cleanup
的日志。 sendAlarm.log HBase告警检查脚本上报告警信息日志。 hbase-haCheck.log HMaster主备状态检测日志。 stop.log HBase服务进程启停操作日志。 审计日志 hbase-audit-<process_name>.log HBase安全审计日志。
的日志。 sendAlarm.log HBase告警检查脚本上报告警信息日志。 hbase-haCheck.log HMaster主备状态检测日志。 stop.log HBase服务进程启停操作日志。 审计日志 hbase-audit-<process_name>.log HBase安全审计日志。
参数介绍具体可参见Loader连接配置说明。 单击“确定”。 如果连接配置,例如IP地址、端口、访问用户等信息不正确,将导致验证连接失败无法保存。 用户可以直接单击“测试”立即检测连接是否可用。 查看连接 在Loader页面,单击“新建作业”。 单击“连接”后的下拉列表框,可以查看已创建的连接。 编辑连接 在Loader页面,单击“新建作业”。
Flink性能调优规则 及时对Hudi表进行compaction防止Hudi Source算子Checkpoint完成时间过长 当Hudi Source算子Checkpoint完成时间长时,可检查该Hudi表compaction是否正常。因为当长时间不做compaction时list性能会变差。
保障意外掉电时的数据可靠性,不论是单节点意外掉电,还是整个集群意外断电,恢复供电后系统能够正常恢复业务,除非硬盘介质损坏,否则关键数据不会丢失。 硬盘亚健康检测和故障处理,对业务不造成实际影响。 自动处理文件系统的故障,自动恢复受影响的业务。 自动处理进程和节点的故障,自动恢复受影响的业务。 自动处理网络故障,自动恢复受影响的业务。
查看FlinkServer作业健康状况 本章节适用于MRS 3.3.0及之后的版本。 作业健康状态说明 当集群运行大量Flink作业时,为方便用户对每个作业进行健康状态评估,FlinkServer WebUI提供Flink作业健康度管理功能,用户可直接在页面查看当前作业的健康情况