检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
升级MRS集群Master节点规格 随着用户业务的增长,Core节点的扩容,CPU使用率变高,而Master节点规格已经不满足用户需求时,则需要升级Master节点规格。本章节介绍Master节点规格升级的操作流程。 升级MRS集群Master节点规格前提条件 确认是否开启了主机安全服务(Host
MRS是否支持变更MRS集群节点? MRS管理控制台不支持变更集群节点,也不建议用户在ECS管理控制台直接修改MRS集群节点。 如果手动在ECS管理控制台对集群节点执行停止ECS、删除ECS、修改或重装ECS操作系统,以及修改ECS规格的操作,可能影响集群稳定运行。 如果您对MRS集群节点进行了上述
如何通过集群外的节点访问MRS集群? 创建集群外Linux操作系统ECS节点访问MRS集群 创建一个集群外ECS节点,具体请参考购买弹性云服务器。 ECS节点的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 在VPC管理控制台,申请一个弹性IP地址,并与ECS绑定。
单独配置弹性伸缩规则场景:需要根据Yarn资源使用情况动态调整节点数,在Yarn可用内存低于20%时扩容5个节点,可用内存高于70%时缩容5个节点。Task节点组最高不超过10个节点,最低不少于1个节点。 进入弹性伸缩配置界面后,配置弹性伸缩规则。 配置节点默认范围 输入Task实例弹性伸缩的数量范
MRS集群内节点互信异常如何处理? 当Manager报“ALM-12066 节点间互信失效”告警,或者发现节点间无ssh互信时,可参考如下步骤操作。 分别在互信集群的两端节点执行ssh-add -l 确认是否有identities信息。 如果没有identities信息,执行ps
MRS集群是否支持调整Master节点规格? 问: MRS集群是否支持调整Master节点规格? 答: 已创建的MRS集群支持修改Master节点。 目前系统支持2个及以上Master节点的集群升级Master节点规格 ,具体操作请参考升级Master节点规格。 父主题: 节点管理类
3.x及以后版本。 修改集群节点机架信息对系统的影响 修改主机机架名称,将影响HDFS的副本存放策略、Yarn的任务分配及Kafka的Partition存储位置。修改后需重启HDFS、Yarn和Kafka,使配置信息生效。 不合理的机架配置会导致集群的节点之间的负载(包括CPU、内
管理MRS集群节点 查看MRS集群节点运行状态 启停MRS集群节点上所有角色 隔离MRS集群节点 修改MRS集群节点机架信息 升级MRS集群Master节点规格 同步MRS集群节点磁盘信息 添加MRS集群节点标签 配置MRS集群节点引导操作 父主题: 管理MRS集群
以root用户登录主管理节点,用户密码为安装前用户自定义,请咨询系统管理员。管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 如果当前故障节点为主管理节点,当登录主管理节点时无法登录,则说明可能为主管理节点网络故障,请执行4。 执行ping
集群外节点访问MRS HDFS报错 问题背景与现象 集群外节点访问MRS HDFS的时候报错:Class org.apache.hadoop.hdfs.server.namenode.ha.AdaptiveFailoverProxyProvider not found。 原因分析
升级Master节点规格需要关机吗? 问: 在MRS集群中升级Master节点规格时需要手动关机吗? 答: 随着用户业务的增长,Core节点的扩容,CPU使用率变高,而Master节点规格已经不满足用户需求时,则需要升级Master节点规格。 MRS服务集群的Master节点规格升级时
MRS集群节点类型说明 MRS集群由多个弹性云服务器节点组成,根据节点的不同规格,系统以节点组的方式进行管理,不同的节点组一般选用不同的云服务器规格。 根据节点上部署的组件角色的不同,集群内的节点类型可分为Master节点、Core节点、Task节点。 表1 集群节点分类 节点类型 功能
x及之前版本时: 选择“节点管理”,在待退订节点组对应的“操作”列单击“隔离节点”。 选择需要退订的节点并单击“确定”对节点进行隔离。 隔离节点过程的时长取决于节点中数据量,数据量越大则时间越长,请耐心等待。 节点隔离成功后,节点状态显示为“已隔离”。在“节点管理”页面出现“退订节点”按钮。 集群版本为MRS
支持人员或者调用后台接口修改数据库。 -缩容时Core节点数大于3或者Task节点数大于0可以进行节点删除。例如,当前集群Core节点和Task节点数均为5,Core节点可缩容的节点数为2(5减去3),Task节点可缩容节点数为小于等于5。 取值范围: ≥1 默认取值: 不涉及 task_node_info
选择“现有集群”,选中一个运行中的集群并单击集群名,进入集群基本信息页面。 在“节点管理”页签单击Master节点组中某一Master节点名称,登录到弹性云服务器管理控制台。 单击右上角的“远程登录”。 根据界面提示,输入Master节点的用户名和密码。 创建集群时登录方式选择了“密码”,如图1。此时,你需要
大数据集群的处理能力通常可以通过增加集群的节点数来横向扩展,当集群规模不符合业务要求时,用户可以通过该功能进行集群节点规模的调整,进行扩容或者缩容;在缩容节点时,MRS会智能地选择负载最少或者迁移数据量最小节点,并且在缩容过程中,缩容节点不再接收新的任务,正在执行的任务继续执行,同时将该节点数据拷贝至其他节点,该节
MRS节点访问OBS报错408如何处理? 问: MRS节点访问OBS报错408,怎么办? 答: MRS节点访问OBS报错408时,用户需要更换OBS域名。 修改OBS域名为myhuaweicloud.com后缀的域名即可。 父主题: 作业管理类
准备MRS节点引导操作脚本 引导操作目前仅支持Linux Shell脚本,脚本文件需以.sh结尾。 准备MRS节点引导操作脚本步骤如下: 上传所需安装包等文件至OBS文件系统。 正式编写脚本前,您需要将所需安装包、配置包的所有相关文件都上传到同Region的OBS文件系统中。 因为
MRS节点引导操作概述 用户可以通过引导操作来完成安装其他第三方软件,修改集群运行环境等自定义操作。 引导操作可以在集群组件首次启动前/后在指定的节点上执行脚本。已运行的集群组件添加的引导操作,只能通过手动方式在节点上执行第三方组件的安装脚本进行安装。 如果集群扩容,选择执行引导
列表。 以omm用户登录主OMS管理节点。管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 依次在告警详情中的节点执行ssh命令:ssh host2(host2为告警详情中OMS节点之外的其他节点),看是否连接失败。 是,执行4。 否,执行6。