检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备工作 配置MRS云服务授权 创建IAM用户并授权使用MRS 创建MRS IAM自定义权限策略
应用场景 大数据在人们的生活中无处不在,在IoT、电子商务、金融、制造、医疗、能源和政府部门等行业均可以使用华为云MRS服务进行大数据处理。 海量数据分析场景 海量数据分析是现代大数据系统中的主要场景。通常企业会包含多种数据源,接入后需要对数据进行ETL(Extract-Tran
HDFS HDFS基本原理 HDFS HA方案介绍 HDFS与其他组件的关系 HDFS开源增强特性 父主题: 组件介绍
Spark Spark基本原理 Spark HA方案介绍 Spark与其他组件的关系 Spark开源增强特性 父主题: 组件介绍
Hive Hive基本原理 Hive CBO原理介绍 Hive与其他组件的关系 Hive开源增强特性 父主题: 组件介绍
Hue Hue基本原理 Hue与其他组件的关系 Hue开源增强特性 父主题: 组件介绍
Kafka Kafka基本原理 Kafka与其他组件的关系 Kafka开源增强特性 父主题: 组件介绍
YARN YARN基本原理 YARN HA方案介绍 Yarn与其他组件的关系 YARN开源增强特性 父主题: 组件介绍
HetuEngine HetuEngine基本原理 HetuEngine与其他组件的关系 父主题: 组件介绍
禁用部分未使用的HTTP方法,防止被他人利用攻击。 更改Tomcat服务器默认shutdown端口号和命令,避免被黑客捕获利用关闭服务器,降低对服务器和应用的威胁。 出于安全考虑,更改“maxHttpHeaderSize”的取值,给服务器管理员更大的可控性,以控制客户端不正常的请求行为。 安
Guardian是一个在存算分离场景下为HDFS、Hive、Spark、HBase、Loader、HetuEngine等服务提供访问OBS的临时认证凭据的服务,只有对接OBS的场景下才需要安装Guardian组件。Guardian的典型特性包括: 提供获取访问OBS的临时认证凭据的能力。
Doris Doris基本原理 Doris与其他组件的关系 父主题: 组件介绍
生态组件对接 使用DBeaver访问Phoenix 使用DBeaver访问MRS HetuEngine 使用FineBI访问MRS HetuEngine 使用Tableau访问MRS HetuEngine 使用永洪BI访问MRS HetuEngine Hive对接外置自建关系型数据库
ALM-14000 HDFS服务不可用(2.x及以前版本) 告警解释 系统每30秒周期性检测NameService的服务状态,当检测到所有的NameService服务都异常时,就会认为HDFS服务不可用,此时产生该告警。 至少一个NameService服务正常后,系统认为HDFS服务恢复,告警清除。
e自身的进程故障引起。 ZooKeeper服务异常。 HDFS服务异常。 Yarn服务异常。 DBService服务异常。 Hive服务进程故障,如果告警由Hive进程故障引发,告警上报时间可能会延迟5分钟左右。 Hive服务和基础服务间的网络通信中断。 处理步骤 检查HiveS
Yarn服务故障。 对应的Hive服务故障。 处理步骤 检查Spark依赖的服务是否有服务不可用告警。 登录MRS集群详情页面,选择“告警管理”。 在告警列表中,查看是否存在以下告警: ALM-25500 KrbServer服务不可用 ALM-25000 LdapServer服务不可用
ALM-38000 Kafka服务不可用(2.x及以前版本) 告警解释 系统按照30秒的周期检测Kafka服务是否可用,当Kafka服务不可用,系统产生此告警。 当Kafka服务恢复正常,告警自动清除。 告警属性 告警ID 告警级别 可自动清除 38000 致命 是 告警参数 参数名称
Yarn服务故障。 对应的Hive服务故障。 处理步骤 检查Spark依赖的服务是否有服务不可用告警。 登录MRS集群详情页面,选择“告警管理”。 在告警列表中,查看是否存在以下告警: ALM-25500 KrbServer服务不可用 ALM-25000 LdapServer服务不可用
ALM-19008 HBase服务进程堆内存使用率超出阈值 告警解释 系统每30秒周期性检测HBase服务堆内存使用状态,当检测到HBase服务堆内存使用率超出阈值(最大内存的90%)时产生该告警。 告警属性 告警ID 告警级别 是否自动清除 19008 重要 是 告警参数 参数名称
ALM-19009 HBase服务进程直接内存使用率超出阈值 告警解释 系统每30秒周期性检测HBase服务直接内存使用状态,当检测到HBase服务直接内存使用率超出阈值(最大内存的90%)时产生该告警。 直接内存使用率小于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除