检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-50402 JobGateway服务不可用 告警解释 系统按60秒周期性检测组件JobGateway的服务状态。当检测到组件JobGateway服务异常时产生该告警。 当检测到组件JobGateway服务恢复时告警恢复。 告警属性 告警ID 告警级别 是否可自动清除 50402
org.apache.hadoop.hbase.coprocessor.CoprocessorHost$ObserverOperationWithoutResult.callObserver(CoprocessorHost.java:581) at org.apache.hadoop
同一集群内,不允许配置相同的名称。不同集群之间,可以配置相同的名称。 脚本路径 obs://mrs-samples/test.sh 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径,必须以obs://开头,以.sh结尾。例如:obs://mrs-samples/xxx.sh 虚
RPC队列平均时间超过阈值 告警解释 系统每30秒周期性检测TokenServer服务RPC队列平均时间,当连续5次检测到TokenServer实例RPC队列平均时间超出阈值时产生该告警。 当系统检测到TokenServer服务RPC队列平均时间小于阈值时,告警恢复。 该告警仅适用于MRS 3.5
Manager页面。 选择“集群 > 服务 > HetuEngine > 配置 > 全部配置”,进入HetuEngine服务配置页面。 搜索“jobsystem.customized.properties”,添加用户自定义配置名称为“hetuserver.engine.jobsystem.inner
--conf spark.shuffle.service.enabled false true 调整Spark调度参数优化OBS场景下Spark调度时延 开启对于OBS存储,可以关闭Spark的本地性进行优化,尽可能提升Spark调度效率 配置项 集群默认值 调整后 --conf spark
使用Hudi Hudi表概述 使用Spark Shell创建Hudi表 使用spark-sql操作Hudi表 使用Hudi-Cli.sh操作Hudi表 Hudi写操作 Hudi读操作 Hudi数据管理维护 Hudi SQL语法参考 Hudi Schema演进 配置Hudi数据列默认值
4(8vCPUs,32GB)”,计费时长为1小时,费用计算如下: 包年/包月计费 在2023/03/20 11:00:00 ~ 2023/04/20 23:59:59期间为包年/包月计费,计费时长为1个月,费用计算如下: 由此可见,在3~4月份,该云服务器总共产生的费用为:775.1+21.47+24
集群管理类 缩容Task节点失败 如何处理集群内部OBS证书过期 MRS集群更换磁盘(适用于2.x及之前) MRS集群更换磁盘(适用于3.x) MRS备份任务执行失败 Core节点出现df显示的容量和du显示的容量不一致 如何解除网络ACL的关联子网 修改节点主机名后导致MRS集群状态异常
ConfigNode IoTDB FE Doris BE Doris DBroker Doris TokenServer Guardian JobServer JobGateway JobBalancer JobGateway 父主题: 附录
“用户名”:填写使用SFTP协议连接服务器时的用户名。 “密码”:填写使用SFTP协议连接服务器时的密码。 “源端路径”:填写备份文件在备份服务器中保存的完整路径。例如,“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间.tar.gz”。 “OBS”:表示将备份文件保存在OBS中。 选择此参数值,还需要配置以下参数:
2.0.1.1补丁包的全部内容。 安装补丁的影响 安装MRS 2.0.1.3补丁期间会重启MRS Manager和Presto服务,重启服务期间会引起服务暂时不可用。 父主题: MRS集群补丁说明
重新启动受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行6。 在重启服务或实例期间,可能会造成访问Guardian失败,从而导致作业无法访问OBS。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Guardian”。
解决Spark作业读上游读库表,excutor报错找不到该表OBS .schema目录下的文件的问题。 Hudi compaction schedule优化,根据最后一次compaction action生成plan。 Hudi默认保留5G归档后的压缩文件。 Hudi OBS默认Clean不进回收站。 Hudi
org.apache.hadoop.mapreduce.JobSubmitter - number of splits:2 13405 [main] INFO org.apache.hadoop.mapreduce.JobSubmitter - Submitting tokens
重启受影响的服务或实例观察界面告警是否清除。 是,处理完毕。 否,执行6。 在重启服务或实例期间,可能会造成访问Guardian失败,从而导致作业无法访问OBS。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Guardian”。
客户端安装节点的业务IP获取方法: 集群内节点: 登录MapReduce服务管理控制台,选择“现有集群”,选中当前的集群并单击集群名,进入集群信息页面。 在“节点管理”中查看安装客户端所在的节点IP。 集群外节点:安装客户端所在的弹性云服务器的IP。 配置安全认证,在“/opt/hadoopcl
名_数据源_任务创建时间/数据源_任务执行时间.tar.gz”。 OBS 表示从OBS中恢复数据,仅MRS 3.3.0-LTS及之后版本支持。 选择此参数值,还需要配置以下参数: “源端路径”:填写备份文件在OBS中保存的完整路径。例如:“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间
紧急(默认阈值为200ms) 重要(默认阈值为100ms) 是 告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名称。 附加信息 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。
ARN队列的名称,需和集群中已存在且状态正常的队列名称相同。 “OBS”:表示将备份文件保存在OBS中(仅MRS 3.5.0及之后版本支持)。 选择此参数值,还需要配置以下参数: “源端路径”:填写备份文件在OBS中保存的完整路径。例如,“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间