检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-12070 controller资源异常 告警解释 HA每80秒周期性检测Manager的controller资源。当HA连续2次检测到controller资源异常时,产生该告警。 当HA检测到controller资源正常后,告警恢复。 controller资源为单主资源,
ALM-12075 pms资源异常 告警解释 HA每55秒周期性检测Manager的pms资源。当HA连续3次检测到pms资源异常时,产生该告警。 当HA检测到pms资源正常后,告警恢复。 pms资源为单主资源,一般资源异常会导致主备倒换,看到告警时,基本已经主备倒换,并在新主环境上启动新的
ALM-12099 发生core dump 告警解释 GaussDB A提供了core文件管理特性,对应用程序发生crash时产生的core文件进行统一的生命周期管理以及告警通知管理。当检测到有新的core文件产生时,会产生该告警。 该章节适用于MRS 3.1.5及之后版本。 MRS
导入并配置Oozie样例工程 操作场景 将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已按照准备本地应用开发环境章节准备好开发用户,例如developuser,并下载用户的认证凭据文件到本地。 用户需要具备Oozie的普通用户权限,HDFS访问权限
技术支持 MRS服务是租户完全可控的半托管云服务,为用户提供一站式企业级大数据平台,用户可以在MRS集群上轻松运行Hadoop、Hive、Spark、HBase、Kafka、Flink等大数据组件,帮助企业快速构建海量数据信息处理系统,并通过对海量信息数据实时与非实时的分析挖掘,发现全新价值点和企业商机
ALM-43029 JDBCServer作业提交超时 本章节仅适用于MRS 3.5.0及之后版本。 告警解释 用户提交JDBC作业后,会尝试创建JDBCServer进程,并建立Session连接,在建立连接成功前,如果超出预设阈值,则会发出该告警。与该告警相关的配置参数有两个: spark.thriftserver.proxy.create.session.monitor.enabled
使用Oozie客户端提交Spark2x任务 操作场景 该任务指导用户在使用Oozie客户端提交Spark2x任务。 请下载使用最新版本的客户端。 前提条件 Spark2x和Oozie组件安装完成且运行正常,客户端安装成功。 如果当前客户端为旧版本,需要重新下载和安装客户端。 已创建或获取访问
数据迁移到MRS前网络准备 数据迁移网络方案说明 进行大数据迁移时,需要保证源端集群和目的端集群之间的网络互通,例如使用hadoop distcp命令跨集群复制数据时需要所有DataNode节点网络互通。根据不同的迁移场景需要使用不同的方式先打通两套集群之间网络连接。 客户线下数据中心迁移数据到华为云
IoTDB Session样例程序 功能简介 通过Session连接方式,执行IoTDB SQL语句。 代码样例 下面代码片段仅为演示,具体代码参见“com.huawei.bigdata.SessionExample”。 其中修改HOST_1、HOST_2、HOST_3为IoTDBServer
使用Oozie客户端提交Spark2x任务 操作场景 该任务指导用户在使用Oozie客户端提交Spark2x任务。 请下载使用最新版本的客户端。 前提条件 Spark2x和Oozie组件安装完成且运行正常,客户端安装成功。 如果当前客户端为旧版本,需要重新下载和安装客户端。 已创建或获取访问
ZooKeeper与其他组件的关系 ZooKeeper和HDFS的关系 ZooKeeper与HDFS的关系如图1所示。 图1 ZooKeeper和HDFS的关系 ZKFC(ZKFailoverController)作为一个ZooKeeper集群的客户端,用来监控NameNode的状态信息
元数据导出 为了保持迁移后数据的属性及权限等信息在目标集群上与源集群一致,需要将源集群的元数据信息导出,以便在完成数据迁移后进行必要的元数据恢复。 需要导出的元数据包括HDFS文件属主/组及权限信息、Hive表描述信息。 HDFS元数据导出 HDFS数据需要导出的元数据信息包括文件及文件夹的权限和属主
ALM-45443 集群存在慢SQL查询 告警解释 系统每隔1分钟检测ClickHouse的慢SQL,当检测到有SQL的执行时间大于等于慢SQL阈值时,系统产生此告警。 当系统检测到SQL执行时间小于慢SQL阈值时,告警自动清除。 告警属性 告警ID 告警级别 是否可自动清除 45443
配置Hive SQL防御规则 配置Hive SQL防御操作场景 用户可以在Manager界面配置Hive的SQL防御规则,根据业务调整对应SQL防御规则的参数。 配置Hive SQL防御前提条件 已安装包含Hive服务的集群客户端,例如安装目录为“/opt/hadoopclient
ALM-12028 主机D状态和Z状态进程数超过阈值 告警解释 系统每30秒周期性检测主机中omm用户D状态和Z状态进程数,并把实际进程数和阈值相比较。主机D状态和Z状态进程数默认提供一个阈值范围。当检测到进程数超出阈值范围时产生该告警。 平滑次数为1,主机中omm用户D状态和Z状态进程总数小于或等于阈值时
ALM-12101 AZ不健康 告警解释 AZ容灾开启后,系统每隔5分钟检查一次当前系统上AZ的健康状态,当检测到AZ健康状态为亚健康或者不健康时产生告警。AZ健康状态恢复健康时,告警清除。 告警属性 告警ID 告警级别 是否自动清除 12101 紧急 是 告警参数 告警参数 参数含义
ALM-45436 ClickHouse表数据倾斜 告警解释 ClickHouse各节点之间,分布式表对应的本地表中,若存在数据倾斜,系统产生此告警。当检测到数据均衡时,告警自动清除。 数据倾斜检测方法: 当参数“min_table_check_data_bytes”值为“0”时,
而在Spark 1.5中,在创建HBase的外表时,需要拥有Hive端database的“创建”权限,也需要拥有HBase端Namespace的“创建”权限。 用户使用load将指定目录下所有文件或者指定文件,导入数据到表中。
配置Kafka数据均衡工具 操作场景 该任务指导管理员根据业务需求,在客户端中执行Kafka均衡工具来均衡Kafka集群的负载,一般用于节点的退服、入服以及负载均衡的场景。 前提条件 MRS集群管理员已明确业务需求,并准备一个Kafka管理员用户(属于kafkaadmin组,普通模式不需要
ALM-25005 Nscd服务异常 告警解释 系统每60秒周期性检测nscd服务的状态,如果连续4次(3分钟)查询不到nscd进程或者无法获取LdapServer中的用户时,产生该告警。 当进程恢复且可以获取LdapServer中的用户时,告警恢复。 告警属性 告警ID 告警级别