检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
添加Hive服务后,提交hivesql/hivescript作业失败如何处理? 该问题是由于提交作业的用户所在用户组绑定的MRS CommonOperations策略权限在同步到Manager中后没有Hive相关权限,处理方法如下: 添加Hive服务完成。 登录IAM服务控制台,
ncerning。 可能原因 HiveServer或者MetaStore实例在启动的时候发生异常,无法正常启动。如,当修改MetaStore/HiveServer GC参数时,可通过查看对应进程的启动日志,如hiveserver.out(hadoop-omm-jar-192-168-1-18
ALM-45636 Flink作业连续checkpoint失败 本章节仅适用于MRS 3.1.2及至MRS 3.3.0版本。 告警解释 系统以用户配置的告警周期检查Checkpoint连续失败次数,如果Flink作业Checkpoint连续失败次数达到用户配置的阈值,则发送告警。当Check
对系统的影响 当Guardian调用ECS的securitykey接口失败时,可能会导致任务获取访问OBS的临时aksk失败,进而业务无法正常访问OBS。 可能原因 集群未绑定ECS委托。 ECS底层接口异常,导致请求失败。 处理步骤 确认是否绑定委托。 登录MapReduce服务管理控制台。
DataArts Studio调度Spark作业偶现失败如何处理? 问题现象 DataArts Studio调度spark作业,偶现失败,重跑失败,作业报错: Caused by: org.apache.spark.SparkException: Application appl
Consumer消费数据失败,提示“SchemaException: Error reading field” 问题背景与现象 Consumer来消费Kafka中指定Topic的消息时,发现无法从Kafka中获取到数据。 提示如下错误: org.apache.kafka.common
MRS导出数据到OBS加密桶失败如何处理? 问: MRS导出数据到OBS加密桶失败如何处理? 答: 目前仅MRS 1.9.x及之后版本支持OBS加密桶功能,MRS 1.8.x及之前版本不支持OBS加密桶功能。 如需使用OBS加密桶请使用MRS 1.9.x及之后版本集群。 父主题:
ALM-19006 HBase容灾同步失败 告警解释 告警模块每30s检查一次HBase容灾数据的同步状态,当同步容灾数据到备集群失败时,发送该告警。 当容灾数据同步成功后,告警清除。 告警属性 告警ID 告警级别 是否自动清除 19006 紧急 是 告警参数 参数名称 参数含义
输入文件数超出设置限制导致任务执行失败 问题背景与现象 Hive执行查询操作时报Job Submission failed with exception 'java.lang.RuntimeException(input file number exceeded the limits
慢盘节点实例启动成功 重要 12093 Manager 慢盘节点隔离失败 重要 12094 Manager 慢盘节点实例启动失败 重要 12095 Manager 慢盘节点取消隔离失败 重要 12096 Manager 慢盘节点已恢复 重要 12152 Manager 启动周期性复制
Producer偶现发送数据失败,日志提示“Too many open files in system” 问题背景与现象 在使用Producer向Kafka发送数据功能时,发现客户端发送失败。 图1 Producer发送数据失败 可能原因 Kafka服务异常。 网络异常。 Kafka
ALM-45430 ClickHouse扩容节点上同步权限元数据失败 本章节仅适用于MRS 3.1.2及之后版本。 告警解释 ClickHouse扩容时同步用户和权限信息失败时产生该告警。 告警属性 告警ID 告警级别 是否自动清除 45430 重要 否 告警参数 参数名称 参数含义
对系统的影响 集群获取不到最新的临时AK/SK,存算分离场景下,可能导致访问OBS失败,引起组件业务无法正常处理。 可能原因 MRS集群meta角色状态异常。 集群绑定过委托且访问过OBS,但是已经解绑了,现在未绑定委托。 处理步骤 检查meta角色状态。 在集群的FusionInsight
参数 描述 默认值 yarn.resourcemanager.recovery.enabled 设置是否让ResourceManager在启动后恢复状态。如果设置为true,那yarn.resourcemanager.store.class也必须设置。 true yarn.resourcemanager
SparkStreaming消费Kafka消息失败,提示“Couldn't find leader offsets” 问题背景与现象 使用SparkStreaming来消费Kafka中指定Topic的消息时,发现无法从Kafka中获取到数据。 提示如下错误: Couldn't find
HBase数据恢复任务报错回滚失败 问题 HBase恢复任务执行失败后系统自动回滚数据,若页面详情中提示“Rollback recovery failed”信息,表示回滚失败。由于回滚失败后就不会处理数据,所以有可能产生垃圾数据,需要如何解决? 回答 在下次执行备份或恢复任务前,需要手动清除这些垃圾数据。
HBase恢复数据任务报错回滚失败 问题 HBase恢复任务执行失败后系统自动回滚数据,如果页面详情中提示“Rollback recovery failed”信息,表示回滚失败。由于回滚失败后就不会处理数据,所以有可能产生垃圾数据,需要如何解决? 回答 在下次执行备份或恢复任务前,需要手动清除这些垃圾数据。
任务ID 执行失败的Loader任务的ID。 任务名 执行失败的任务名称。 用户标识 提交Loader任务的用户。 Details 对告警信息补充。 对系统的影响 Loader作业级别告警,执行提交的Loader任务时发生异常导致执行失败,需要用户查看具体日志来确认失败原因,没有返
ALM-45451 ClickHouse访问OBS失败 本章节仅适用于MRS 3.3.1及之后版本。 告警解释 系统配置冷热分离功能后,每隔1分钟检测一次当前访问OBS的状态,当连续3次检测到访问OBS失败时,系统产生告警。 当检测到系统访问OBS成功时,告警自动消除。 告警属性
业务程序启动失败。 原因分析 该问题的根因是NFS盘上的根目录权限不足,导致Flink程序启动后无法访问该目录。 MRS的Flink任务是在YARN运行,当集群未启用Kerberos认证时,在YARN上运行任务的用户为yarn_user。用户自定义的配置文件如果在任务启动之后使用