检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 无法进行数据读写和创建表等操作。 可能原因 ZooKeeper服务异常。 HDFS服务异常。 HBase服务异常。 网络异常。 处理步骤 检查ZooKeeper服务状态。
络拓扑规划应满足以下要求: 为了提高通信速率,希望不同主机之间的通信能够尽量发生在同一个机架之内,而不是跨机架。 为了提高容错能力,分布式服务的进程或数据需要尽可能存在多个机架的不同主机上。 Hadoop使用一种类似于文件目录结构的方式来表示主机。 由于HDFS不能自动判断集群中
如何对insert overwrite自读自写场景进行优化 场景说明 对于需要使用动态分区插入(使用历史分区更新)数据到目的表中,且和数据源表是同一张表时,由于直接在原表上执行insert overwrite可能会导致数据丢失或数据不一致的风险,建议先使用一个临时表来处理数据,再执行insert
ALM-14010 NameService服务异常(2.x及以前版本) 告警解释 系统每180秒周期性检测NameService服务状态,当检测到NameService服务不可用时产生该告警。 NameService服务恢复时,告警清除。 告警属性 告警ID 告警级别 可自动清除
ALM-19008 HBase服务进程堆内存使用率超出阈值 告警解释 系统每30秒周期性检测HBase服务堆内存使用状态,当检测到HBase服务堆内存使用率超出阈值(最大内存的90%)时产生该告警。 告警属性 告警ID 告警级别 是否自动清除 19008 重要 是 告警参数 参数名称
ALM-19009 HBase服务进程直接内存使用率超出阈值 告警解释 系统每30秒周期性检测HBase服务直接内存使用状态,当检测到HBase服务直接内存使用率超出阈值(最大内存的90%)时产生该告警。 直接内存使用率小于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除
添加CDL的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为CDL用户配置创建、执行、查询、删除权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger
退订MRS集群后在ECS中退订弹性云服务器时报异常如何处理? 问: 退订MRS集群后,在ECS中退订弹性云服务器时报异常如何处理? 答: 在使用的MRS集群中查询该弹性云服务器的ID确认没有使用。 在ECS控制台上找到需要退订的服务器单击“MRS使用中”将机器进行解锁。 再次单击“退订”。
添加Hive服务后,提交hivesql/hivescript作业失败如何处理? 该问题是由于提交作业的用户所在用户组绑定的MRS CommonOperations策略权限在同步到Manager中后没有Hive相关权限,处理方法如下: 添加Hive服务完成。 登录IAM服务控制台,创
ALM-18000 Yarn服务不可用(2.x及以前版本) 告警解释 告警模块按30秒周期检测Yarn服务状态。当检测到Yarn服务不可用时产生该告警。 Yarn服务恢复时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 18000 致命 是 告警参数 参数名称 参数含义 ServiceName
ALM-26051 Storm服务不可用(2.x及以前版本) 告警解释 系统按照30秒的周期检测Storm服务是否可用,当集群全部的Nimbus实例所在节点异常时,Storm服务不可用,系统产生此告警。 当Storm服务恢复正常,告警自动清除。 告警属性 告警ID 告警级别 可自动清除
集群未安装Hive服务时Hue原生页面无法正常显示 问题 集群没有安装Hive服务时,Hue服务原生页面显示空白。 回答 MRS 3.x及之后版本,Hue依赖Hive组件,当集群没有安装Hive服务时,登录Hue服务原生页面会显示空白。 如果出现此情况,首先需要检查当前集群是否安
ClickHouse应用开发常用概念 基本概念 cluster cluster(集群)在ClickHouse里是一种逻辑的概念,它可以由用户根据需要自由的定义,与通常理解的集群有一定的差异。多个ClickHouse节点之间是一种松耦合的关系,各自独立存在。 shards shar
ClickHouse应用开发常用概念 基本概念 cluster cluster(集群)在ClickHouse里是一种逻辑的概念,它可以由用户根据需要自由的定义,与通常理解的集群有一定的差异。多个ClickHouse节点之间是一种松耦合的关系,各自独立存在。 shards shar
ALM-16001 Hive数据仓库空间使用率超过阈值(2.x及以前版本) 告警解释 系统每30秒周期性检测Hive数据仓库空间使用率,该指标可在Hive服务监控界面查看,指标名称为“Hive已经使用的HDFS空间占可使用空间的百分比”。Hive数据仓库空间使用率指标默认提供一个阈值范围(85%
调整Spark Core进程参数 操作场景 Spark on Yarn模式下,有Driver、ApplicationMaster、Executor三种进程。在任务调度和运行的过程中,Driver和Executor承担了很大的责任,而ApplicationMaster主要负责container的启停。
生态组件对接 使用DBeaver访问Phoenix 使用DBeaver访问MRS HetuEngine 使用FineBI访问MRS HetuEngine 使用Tableau访问MRS HetuEngine 使用永洪BI访问MRS HetuEngine Hive对接外置自建关系型数据库
MRS集群管理 MRS集群阈值类告警配置说明 提交Spark任务到新增Task节点 配置MRS集群弹性伸缩
证书更新 MRS集群的CA证书与HA证书均支持更换,如果用户需要将集群默认的证书更换成新的证书,可参考如下指导: CA证书用于组件客户端与服务端在通信过程中加密数据,实现安全通信。具体更换操作指导请参见更换CA证书。 HA证书用于主备进程与高可用进程在通信过程中加密数据,实现安全
管理MRS集群节点 管理MRS集群客户端 管理MRS集群作业 管理MRS集群租户 管理MRS集群用户 管理MRS集群元数据 管理MRS集群静态服务资源 管理MRS集群SQL防御规则