检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-12085 服务审计日志转储失败 告警解释 系统每天凌晨三点启动服务审计日志转储,将服务审计日志备份到OMS节点,如果转储失败,则发送告警。当下一次转储成功,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12085 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。
使用Share Lib工具检查Oozie依赖Jar包正确性 Oozie任务运行需要依赖Share Lib中的原生Jar包,Share Lib由Oozie内核启动时自动上传到HDFS的“/user/oozie”目录下,当HDFS上的Share Lib损坏、缺失或Jar包冲突可能导致Oozie任务运行失败。
Manager界面登录用户被锁如何解锁 问题现象 Manager登录时显示:这个账户已经被锁住了,请联系系统管理员来重新获得访问权限。 Manager界面登录用户被锁,导致作业无法提交并无法进入Manager页面。 通过后台提交作业执行kinit 用户名操作时提示如下异常: kinit:
ALM-45432 ClickHouse用户同步进程故障 告警解释 系统每5分钟周期性检测用户角色同步进程的状态,当检测到ClickHouse服务用户角色同步进程故障或者用户角色同步失败,产生该告警。 当用户角色同步进程正常并且用户角色同步功能正常后,告警自动清除。 告警属性 告警ID
ClickHouse数据查询 数据查询规则 禁止select *查询 只查询需要的字段可以减少磁盘io和网络io,提升查询性能。 使用uniqCombined替代distinct uniqCombined对去重逻辑进行了优化,通过近似去重提升十倍查询性能,如果对查询允许有误差,可
隔离MRS集群节点 用户发现某个主机出现异常或故障,无法提供服务或影响集群整体性能时,可以临时将主机从集群可用节点排除,使客户端访问其他可用的正常节点。在为集群安装补丁的场景中,也支持排除指定节点不安装补丁。 隔离主机仅支持隔离非管理节点。 该任务指导用户在MRS上根据实际业务或运维规划手工将主机隔离。
自动弹性伸缩 特性简介 随着企业的数据越来越多,越来越多的企业选择使用Spark/Hive等技术来进行分析,由于数据量大,任务处理繁重,资源消耗较高,因此使用成本也越来越高。当前并不是每个企业在每时每刻在进行分析,而一般是在一天的一个时间段内进行分析汇总,因此MRS提供了弹性伸缩
HBase数据恢复任务报错回滚失败 问题 HBase恢复任务执行失败后系统自动回滚数据,若页面详情中提示“Rollback recovery failed”信息,表示回滚失败。由于回滚失败后就不会处理数据,所以有可能产生垃圾数据,需要如何解决? 回答 在下次执行备份或恢复任务前,需要手动清除这些垃圾数据。
注册UDF 构建Jar包。 构建Jar包方式有以下两种: 方法一: 选择“Maven > 样例工程名称 > Lifecycle > clean”,双击“clean”运行maven的clean命令。 选择“Maven > 样例工程名称 > Lifecycle > install”,
Manager应用开发流程 本文档主要基于Java API对Manager进行应用开发。 开发流程中各阶段的说明如图1和表1所示。 图1 Manager应用程序开发流程 表1 Manager应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解基本认证的基本概念,了解场景需求,设计表等。
执行set role admin命令报无权限 问题现象 执行命令: set role admin 报下述错误: 0: jdbc:hive2://192.168.42.26:21066/> set role admin; Error: Error while processing statement:
安装补丁 安装补丁 登录MRS管理控制台。 选择“现有集群”,选中一集群并单击集群名,进入集群基本信息页面。 进入“补丁管理”页面,在操作列表中单击“安装”。 进入“警告”页面,阅读补丁说明,并单击“确定”。 图1 安装补丁 如果任务失败,选择“重试安装”,只有当“状态”显示为“已安装”时,才能进入下一步操作。
HBase恢复数据任务报错回滚失败 问题 HBase恢复任务执行失败后系统自动回滚数据,如果页面详情中提示“Rollback recovery failed”信息,表示回滚失败。由于回滚失败后就不会处理数据,所以有可能产生垃圾数据,需要如何解决? 回答 在下次执行备份或恢复任务前,需要手动清除这些垃圾数据。
ALM-12012 NTP服务异常(2.x及以前版本) 告警解释 当节点NTP服务无法与主OMS节点NTP服务正常同步时间时产生该告警。 当节点NTP服务与主OMS节点NTP服务正常同步时间时恢复该告警。 告警属性 告警ID 告警级别 可自动清除 12012 严重 是 告警参数 参数名称
Driver返回码和RM WebUI上应用状态显示不一致 问题 ApplicationMaster与ResourceManager之间通信发生长时间异常时,为什么Driver返回码和RM WebUI上应用状态显示不一致? 回答 在yarn-client模式下,Spark的Driv
注册UDF 构建Jar包。 构建Jar包方式有以下两种: 方法一: 选择“Maven > 样例工程名称 > Lifecycle > clean”,双击“clean”运行maven的clean命令。 选择“Maven > 样例工程名称 > Lifecycle > install”,
提交SQL语句 功能介绍 在MRS集群中提交并执行一条SQL语句。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/sql-execution 表1 路径参数 参数 是否必选 参数类型
如何调整MRS集群manager-executor进程内存? 问题现象 MRS服务在集群的Master1和Master2节点上部署了manager-executor进程,该进程主要用于将管控面对集群的操作进行封装,比如作业的提交、心跳上报、部分告警信息上报、集群创扩缩等操作。当客
Manager基本原理 Manager功能 Manager是MRS的运维管理系统,为部署在集群内的服务提供统一的集群管理能力。 Manager支持大规模集群的性能监控、告警、用户管理、权限管理、审计、服务管理、健康检查、日志采集等功能。 Manager结构 Manager的整体逻辑架构如图1所示。
Spark Streaming任务一直阻塞 问题 运行一个Spark Streaming任务,确认有数据输入后,发现没有任何处理的结果。打开Web界面查看Spark Job执行情况,发现如下图所示:有两个Job一直在等待运行,但一直无法成功运行。 图1 Active Jobs 继