检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
disaster资源为单主资源,一般资源异常会导致主备倒换,看到告警时,基本已经主备倒换,并在新主环境上启动新的disaster资源,告警恢复。该告警用于提示用户,Manager主备倒换的原因。 告警属性 告警ID 告警级别 是否可自动清除 12091 重要 是 告警参数 参数名称 参数含义
报的主机或磁盘信息。 以root用户登录主OMS节点,执行以下命令查看controller日志中慢盘处理超时原因,并检查是否存在明显报错信息。 vi /var/log/Bigdata/controller/controller.log 是,执行4。 否,执行3。 以root用户登
状态。) 是,执行6。 否,执行4。 执行命令vi $BIGDATA_LOG_HOME/omm/oms/ha/scriptlog/acs.log,查看ha的ACS资源日志,是否有关键字“ERROR”,分析日志查看资源异常原因并修复。 等待五分钟,查看告警是否恢复。 是,操作结束。
当HA检测到pms资源正常后,告警恢复。 pms资源为单主资源,一般资源异常会导致主备倒换,看到告警时,基本已经主备倒换,并在新主环境上启动新的pms资源,告警恢复。该告警用于提示用户,Manager主备倒换的原因。 告警属性 告警ID 告警级别 是否自动清除 12075 重要 是 告警参数 参数名称 参数含义
SELECT操作可以进行一定的调优操作。 查询的数据是大量的小文件。 查询的数据是较多的大文件。 在beeline/thriftserver模式下使用非spark用户操作。 操作步骤 可对INSERT...SELECT操作做如下的调优操作。 如果建的是Hive表,将存储类型设为Parquet,从而减少执行INSERT
告警”,在告警列表中查看对应的磁盘是否存在“ALM-12017 磁盘容量不足”告警。 是,执行4。 否,执行5。 参考ALM-12017 磁盘容量不足操作步骤进行处理,故障恢复后,查看本告警是否恢复。 是,处理完毕。 否,执行7。 选择“主机 > 待查看的主机名称”,在主机的概览页面查
Receiver info: No information 是,执行2.c。 否,执行2.b。 联系运维人员查看是否为网络故障,并修复故障。 是,执行2.c。 否,执行3。 等待5分钟,查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行3。 收集故障信息。 在MRS Manager界面,单击“系统设置
"mrs:*:get*", "mrs:*:list*", "ecs:*:get*", "ecs:*:list*", "bms:*:get*",
Flume连接Kafka地址错误,导致发送失败。 Flume发送超过Kafka大小限制的消息,导致发送失败。 原因分析 Flume发送数据到Kafka失败,可能原因是Flume侧问题或者Kafka侧问题。 Manager界面查看当前Kafka状态及监控指标。 MRS Manager界面操作:登录MRS Manager,选择
读包丢包率”中更改告警阈值。 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行17。 检查网络是否异常。 联系系统管理员,检查网络是否存在异常。 是,恢复网络故障,执行18。 否,执行19 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,19 收集故障信息。 在MRS Manager界面,单击“系统设置
obs://mrs-samples/xxx.sh 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径,必须以obs://开头,以.sh结尾。例如:obs://mrs-samples/xxx.sh 虚拟机本地的路径,脚本所在的路径必须以‘/’开头,以.sh结尾。 说明: 同
保存配置,并重启该NameNode实例。 重启主NameNode过程中,会发生NameNode主备倒换,导致系统在短暂时间内出现无主现象(主备倒换过渡期),可能会出现HDFS服务不可用告警信息,运行的读写任务会报错,但是不会中断业务。 重启备NameNode业务不受影响。 观察界面告警是否清除。 是,处理完毕。 否,执行7。
静态服务资源简介 集群分配给各个服务的资源是静态服务资源,这些服务包括Flume、HBase、HDFS、IoTDB、Kafka(Kafka组件仅MRS 3.2.0及之后版本支持静态服务池)和Yarn。每个服务的计算资源总量固定,不与其他服务共享,是静态的。租户通过独占或共享一个服务来获取这个服务运行时需要的资源。
节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复。 否,节点间网络互通,检查结束。 检查弹性伸缩是否关闭 登录华为云管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如
SELECT操作可以进行一定的调优操作。 查询的数据是大量的小文件。 查询的数据是较多的大文件。 在Beeline/JDBCServer模式下使用非Spark用户操作。 操作步骤 可对INSERT...SELECT操作做如下的调优操作。 如果建的是Hive表,将存储类型设为Parquet,从而减少执行INSERT
SELECT操作可以进行一定的调优操作。 查询的数据是大量的小文件。 查询的数据是较多的大文件。 在Beeline/JDBCServer模式下使用非Spark用户操作。 操作步骤 可对INSERT...SELECT操作做如下的调优操作。 如果建的是Hive表,将存储类型设为Parquet,从而减少执行INSERT
DataNode内存使用率超过阈值”的告警。 是,执行11。 否,执行13。 参考ALM-14008 DataNode堆内存使用率超过阈值的处理步骤,对该异常告警进行处理,查看是否消除该告警。 是,执行12。 否,执行13。 在告警列表中查看本告警是否恢复。 是,处理完毕。 否,执行13。 查看NameNode是否负荷过高。
Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”,进入“基本信息”界面,创建作业基本信息。 图2
Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”,进入“基本信息”界面,创建作业基本信息。 图2
CDLService,CDLConnector是具体执行数据抓取任务的实例,包含了Source Connector和Sink Connector,CDLService是负责管理和创建任务的实例。 CDL服务中的CDLService是多主模式,任意一个CDLService都可以进行