检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过设置HDFS目录/文件对应一个标签表达式,同时设置每个DataNode对应一个或多个标签,从而给文件的数据块存储指定了特定范围的DataNode。
产品优势 MapReduce服务(MRS)提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件,用户无需关注硬件的购买和维护。MRS服务拥有强大的Hadoop内核团队,基于华为FusionInsight大数据企业级平台构筑
ALM-12015 设备分区文件系统只读(2.x及以前版本) 告警解释 系统周期性进行扫描,如果检测到挂载服务目录的设备分区变为只读模式(如设备有坏扇区、文件系统存在故障等原因),则触发此告警。 系统如果检测到挂载服务目录的设备分区的只读模式消失(比如文件系统修复为读写模式、设备拔出
ALM-14027 DataNode磁盘故障 告警解释 系统每60秒周期性检测DataNode节点上的磁盘状况,当检测到有磁盘出现故障时产生该告警。 当DataNode上故障磁盘都恢复正常后,手动清除该告警,并重启该DataNode。 告警属性 告警ID 告警级别 是否自动清除 14027
安装MRS集群补丁 当您通过如下途径获知集群版本补丁信息,请根据您的实际需求进行集群补丁升级操作。 通过消息中心服务推送的消息获知MapReduce服务发布了补丁信息。 在管理控制台中的MRS集群详细页面内,选择“补丁管理 > 集群组件补丁”,查看可支持安装的补丁信息。 安装补丁前准备
ALM-50222 BE中指定数据目录的磁盘状态异常 告警解释 系统每30秒周期性检查BE中指定数据目录的磁盘状态,当检查到该值不等于1(1表示正常,0表示异常)时产生该告警。BE中指定数据目录的磁盘状态恢复正常,告警清除。 告警属性 告警ID 告警级别 是否可自动清除 50222
MRS可靠性增强 MRS在基于Apache Hadoop开源软件的基础上,在主要业务部件的可靠性、性能调优等方面进行了优化和提升。 系统可靠性 管理节点均实现HA Hadoop开源版本的数据、计算节点已经是按照分布式系统进行设计的,单节点故障不影响系统整体运行;而以集中模式运作的管理节点可能出现的单点故障
MRS集群节点规格说明 MRS节点规格 MRS当前支持主机规格的配型由CPU+内存+Disk共同决定。 弹性云服务器由多个租户共享物理资源,而裸金属服务器的资源归用户独享。对于关键类应用或性能要求较高的业务(如大数据集群、企业中间件系统),并且要求安全可靠的运行环境,使用裸金属服务器更合适
ALM-12014 设备分区丢失 告警解释 系统按60秒周期进行扫描,如果检测到挂载服务目录的设备分区丢失(如由于设备拔出、设备离线、删除分区等原因)时,产生此告警。 告警属性 告警ID 告警级别 是否自动清除 12014 重要 是:MRS 3.3.0及之后版本、MRS 3.1.0.0.10
Kafka性能调优 操作场景 通过调整Kafka服务端参数,可以提升特定业务场景下Kafka的处理能力。 参数调优 修改服务配置参数,请参考修改集群服务配置参数。调优参数请参考表1。 表1 调优参数 配置参数 缺省值 调优场景 num.recovery.threads.per.data.dir
ALM-18003 NodeManager不健康(2.x及以前版本) 告警解释 系统每30秒周期性检测异常NodeManager节点数,并把异常节点数和阈值相比较。“非健康的节点数”指标默认提供一个阈值范围。当检测到“非健康的节点数”的值超出阈值范围时产生该告警。 当“非健康的节点数
HDFS文件读写时报错“Failed to place enough replicas” 问题背景与现象 当用户在HDFS上执行写操作时,出现“Failed to place enough replicas:expected…”信息。 原因分析 DataNode的数据接受器不可用。
Kafka性能调优 操作场景 通过调整Kafka服务端参数,可以提升特定业务场景下Kafka的处理能力。 参数调优 修改服务配置参数,请参考修改集群服务配置参数。调优参数请参考表1。 表1 调优参数 配置参数 缺省值 调优场景 num.recovery.threads.per.data.dir
IoTDB从存储上对时间序列进行排序,索引和chunk块存储,大大的提升时序数据的查询性能。通过Raft协议,来确保数据的一致性。针对时序场景,对存储数据进行预计算和存储,提升分析场景的性能。
ALM-18004 NodeManager磁盘可用率低于阈值(2.x及以前版本) 告警解释 系统每30秒周期性检测NodeManager各个节点的可用磁盘空间,并把磁盘可用率和阈值相比较。“NodeManager磁盘可用率”指标默认提供一个阈值范围。当检测到实际“NodeManager
ALM-18003 NodeManager不健康 告警解释 系统每30秒周期性检测不健康NodeManager节点,并把不健康节点数和阈值相比较。“不健康的节点数”指标默认提供一个阈值。当检测到“不健康的节点数”的值超出阈值时产生该告警。 用户可通过选择“集群 > 待操作集群的名称
ALM-12015 设备分区文件系统只读 告警解释 系统按60秒周期进行扫描,如果检测到挂载服务目录的设备分区变为只读模式(如设备有坏扇区、文件系统存在故障等原因),则触发此告警。 系统如果检测到挂载服务目录的设备分区的只读模式消失(比如文件系统修复为读写模式、设备拔出、设备被重新格式化等原因
提升HBase Put和Scan性能综合调优 操作场景 HBase有很多与读写性能相关的配置参数。读写请求负载不同的情况下,配置参数需要进行相应的调整,本章节旨在指导用户通过修改RegionServer配置参数进行读写性能调优。 本章节适用于MRS 3.x及之后版本。 操作步骤 登录
提升HBase Put和Scan数据性能 操作场景 HBase有很多与读写性能相关的配置参数。读写请求负载不同的情况下,配置参数需要进行相应的调整,本章节旨在指导用户通过修改RegionServer配置参数进行读写性能调优。 操作步骤 登录FusionInsight Manager
MRS集群运维说明 账户维护建议 建议系统管理员对账户例行检查,检查的内容包括: 操作系统、Manager以及各组件的账户是否有必要,临时账户是否已删除。 各类账户的权限是否合理。不同的管理员拥有不同的权限。 对各类账户的登录、操作记录进行检查和审计。 密码维护建议 用户身份验证是应用系统的门户