检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
流式作业)的能力。 TaskManager Flink系统的业务执行节点,执行具体的用户任务。TaskManager可以有多个,各个TaskManager都平等。 JobManager Flink系统的管理节点,管理所有的TaskManager,并决策用户任务在哪些Taskman
准备本地应用开发环境 Kafka开发应用时,需要准备的开发和运行环境如表1所示: 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
准备本地应用开发环境 Kafka开发应用时,需要准备的开发和运行环境如表1所示: 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
“CPU配额权重”:相对值,取值范围为1~100,该值越大,表示单位时间内CPU占用越多。 “内存限额占比”:百分比,如该值设置为“20”,则当前租户在各个BE实例节点的可用内存为:物理内存 * mem_limit(BE内存限制百分比)* 20%。 “并发数”:表示单个FE实例可运行查询任务的并发数上限。
查看ZooKeeper各实例是否正常。 是,执行6。 否,执行3。 选中运行状态不为良好的实例,选择“更多 > 重启实例”。 重启实例期间实例不可用,当前实例节点的ZooKeeper业务会执行失败。 查看实例重启后运行状态是否为良好。 是,执行5。 否,执行10。 在“运维 > 告警 > 告警”页签,查看该告警是否恢复。
JobHistoryServer堆内存使用率过高,会影响Mapreduce 服务日志归档的性能,甚至造成内存溢出导致Mapreduce服务不可用。 可能原因 该节点Mapreduce JobHistoryServer实例堆内存使用量过大,或分配的堆内存不合理,导致使用量超过阈值。 处理步骤 检查内存使用量。
通过开启火焰图(自定义配置rest.flamegraph.enabled=true打开火焰图)重新提交作业查看算子热点,如下图所示算子热点达到100%。 图1 通过火焰图查看算子热点 当发生RocksDB读写延迟大时,可开启RocksDB监测和告警,通过监测和相关告警项对作业的RocksD
对系统的影响 故障状态的DataNode节点无法提供HDFS服务。 可能原因 DataNode故障或者负荷过高。 NameNode和DataNode之间的网络断连或者繁忙。 NameNode负荷过高。 处理步骤 查看DataNode是否故障。 在集群节点使用客户端,执行hdfs dfsadmin
Statestore管理Impala集群中所有的Impalad实例的健康状态,并将实例健康信息广播到所有实例上。当某一个Impalad实例发生故障,比如节点异常、网络异常等,Statestore将通知其他Impalad实例,后续的查询请求等将不会向该实例分发。 Catalog Catalog实例
crt 将集群中的证书导入第三方JDK或者JRE中 将1中生成的fusioninsightsubroot.crt文件拷贝到第三方JRE节点上,设置好该节点的JAVA_HOME环境变量后,执行以下命令导入证书: keytool -import -trustcacerts -alias fusioninsightsubroot
否,执行2。 对系统进行扩容。 打开MRS集群详情页面,在告警管理页签的告警列表中,单击此告警所在行,在告警详情中,查看该告警的节点地址。 登录告警节点。 执行cat /proc/stat | awk 'NR==1'|awk '{for(i=2;i<=NF;i++)j+=$i;print
sh,查询当前HA管理的executor资源状态是否正常(单机模式下面,executor资源为normal状态;双机模式下,executor资源在主节点为normal状态,在备节点为stopped状态。) 是,执行7。 否,执行5。 执行命令vi $BIGDATA_LOG_HOME/omm/oms/ha/scriptlog/executor
Query Language语言操作结构化数据存储服务和基本的数据分析服务。 ZooKeeper 提供分布式、高可用性的协调服务能力。帮助系统避免单点故障,从而建立可靠的应用程序。 KrbServer 密钥的管理中心,负责票据的分发。 Yarn 资源管理系统,它是一个通用的资源模块,可以为各类应用程序进行资源管理和调度。
准备本地应用开发环境 在进行二次开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
x进程运行的性能,甚至造成内存溢出导致IndexServer2x进程不可用,开启索引服务的Carbon业务执行变慢或失败。 可能原因 该节点IndexServer2x进程堆内存使用率过大,或配置的堆内存不合理,导致使用率超过阈值。 处理步骤 检查堆内存使用率 在FusionInsight
x进程运行的性能,甚至造成内存溢出导致IndexServer2x进程不可用,开启索引服务的Carbon业务执行变慢或失败。 可能原因 该节点IndexServer2x进程直接内存使用率过大,或配置的直接内存不合理,导致使用率超过阈值。 处理步骤 检查直接内存使用率 在FusionInsight
ALM-45431 ClickHouse 实例不满足拓扑分配 告警解释 ClickHouseServer实例分布不满足拓扑分配要求。 告警属性 告警ID 告警级别 是否自动清除 45431 紧急 否 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。
HBase常用参数配置 该章节操作仅适用于MRS 3.x之前版本集群。 当MRS服务中默认的参数配置不足以满足用户需要时,用户可以自定义修改参数配置来适应自身需求。 登录集群详情页面,选择“组件管理”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“
sh,查询当前HA管理的controller资源状态是否正常(单机模式下面,controller资源为normal状态;双机模式下,controller资源在主节点为normal状态,在备节点为stopped状态。) 是,执行6。 否,执行4。 执行命令vi $BIGDATA_LOG_HOME/omm/oms/ha/
准备本地应用开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置,版本要求如下: