检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
高可用HA部署架构 MRS服务提供了基于ELB的HA部署架构，可以将用户访问流量自动分发到多台后端节点，扩展系统对外的服务能力，实现更高水平的应用容错。如图3所示，客户端应用请求集群时，使用ELB（Elastic Load Balance）来进行流量分发，通过ELB的轮询机制，写不同节点上的本地表（Local
RoundRobinVolumeChoosingPolicy 优先写剩余空间多的磁盘： org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy 解决办法 将DataNode选择磁盘策略的参数dfs.datanode
集群地址。如果通过公网地址连接，请指定为集群“公网访问域名”，如果通过内网地址连接，请指定为集群“内网访问域名”。如果通过弹性负载均衡连接，请指定为“弹性负载均衡地址”。 username和password：连接数据库的用户名及密码。命令中如果携带认证密码信息可能存在安全风险，在执
HDFS时，建议使用的版本为2.8.X、3.1.X，请执行搬迁前务必确认是否支持搬迁。 方案架构 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。 CDM
这是性能规格的问题，MapReduce任务运行失败的根本原因是由于ApplicationMaster的内存溢出导致的，即物理内存溢出导致被NodeManager kill。 解决方案： 将ApplicationMaster的内存配置调大，在客户端“客户端安装路径/Yarn/config/mapred-site.xml”配置文件中优化如下参数：
erberos认证，Kerberos需要开放的端口有21730(TCP)、21731(TCP/UDP)、21732(TCP/UDP)。 解决方案 确保用户可以正常读取客户端节点相关路径下的user.keytab文件。 确保用户的user.principal与指定的keytab文件对应。
Flink对接应用运维管理（AOM） 本章节适用于MRS 3.5.0及之后的版本。 Flink对接AOM服务场景介绍 应用运维管理（AOM）服务是一个可观测平台，基于指标、链路、日志、事件全景数据监控，提供一体化监控能力。Flink可以通过AOM服务的Prometheus实例将监控指标推送至AOM服务，用户可以方便查看监控指标相关信息。
备用Master。 主用Master：负责HBase中RegionServer的管理，包括表的增、删、改、查；RegionServer的负载均衡，Region分布调整；Region分裂以及分裂后的Region分配；RegionServer失效后的Region迁移等。 备用Mast
备Manager的配置文件没有更新。主备倒换之后，一些配置可能会丢失。Manager及部分组件可能无法正常运行。 可能原因 主备Manager节点间链路中断。 处理步骤 检查主备Manager服务器间的网络是否正常。 打开MRS集群详情页面，在告警管理页签的告警列表中，单击此告警所在行，在
这是性能规格的问题，MapReduce任务运行失败的根本原因是由于ApplicationMaster的内存溢出导致的，即物理内存溢出导致被NodeManager kill。 解决方案： 将ApplicationMaster的内存配置调大，在客户端“客户端安装路径/Yarn/config/mapred-site.xml”配置文件中优化如下参数：
配置源数据心跳表实现数据判齐功能 操作场景 心跳和数据判齐功能用于统计CDL同步任务的全链路信息， 包括从数据库管理系统RDBMS到Kafka的数据耗时、从Kafka消费数据写入到Hudi的数据耗时和数据条数等一系列信息，并将其写入到特定的Topic（cdl_snapshot_t
备Manager的配置文件没有更新。当发生主备倒换时，同步异常的配置文件可能会丢失。Manager及部分组件可能无法正常运行。 可能原因 主备Manager节点间链路中断，/srv/BigData/LocalBackup目录存储空间已满。 同步文件不存在，或者文件权限有误。 处理步骤 检查主备Manager服务器间的网络是否正常。
约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 availability_zone 是 String 参数解释： 可用分区名称，不支持多AZ集群。可用分区信息请参见终端节点。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 security_groups_id 否
多。 原因分析 客户端安装在该节点，根据HDFS数据副本机制，第一个副本会存放在本地机器，最终导致节点磁盘被占满，而其他节点空闲很多。 解决办法 针对已有不平衡的数据，执行balance脚本均衡数据。 /opt/client/HDFS/hadoop/sbin/start-balancer
DBService主备间心跳中断时只有一个节点提供服务，一旦该节点故障，再无法切换到备节点，就会服务不可用。 可能原因 主备DBService节点间链路异常。 处理步骤 检查主备DBService服务器间的网络是否正常。 登录MRS集群详情页面，选择“告警管理”。 在告警列表中，单击此告警
产生告警的主机名。 对系统的影响 如果主Manager进程资源异常，主备倒换无法进行，影响运维基本功能使用。 可能原因 主备Manager节点间链路异常。 节点名配置错误。 防火墙禁用端口。 处理步骤 检查主备Manager服务器间的网络是否正常。 在FusionInsight Manager页面，选择“运维
DBService主备间心跳中断时只有一个节点提供服务，一旦该节点故障，再无法切换到备节点，就会服务不可用。 可能原因 主备DBService节点间链路异常。 处理步骤 检查主备DBService服务器间的网络是否正常。 在FusionInsight Manager页面，在告警列表中，单击
对端Manager HA名称。 对系统的影响 如果主Manager进程异常，主备倒换无法进行，影响业务。 可能原因 主备Manager节点间链路异常。 处理步骤 检查主备Manager服务器间的网络是否正常。 打开MRS集群详情页面，在告警管理页签的告警列表中，单击此告警所在行，在
Balance功能是基于不同节点的I/O负载情况，在HDFS客户端进行读写操作时，尽可能地选择I/O负载较低的节点进行读写，以此达到I/O负载均衡，以及充分利用集群整体吞吐能力。 写文件时，如果开启写文件的HDFS Load Balance功能，NameNode仍然是根据正常顺序（
Doris多租户监控告警介绍 Doris多租户基于内核Workload Group资源软限制方案实现，Workload Group只是限制组内任务在单个BE节点上的计算资源和内存资源的使用，所以租户没有整体资源池的概念，而是在执行查询任务时，动态的在各个BE节点上进行资源分配。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
