检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群的Task节点如何收费? 问: Mapreduce服务(MRS)集群的Task节点如何收费? 答: 包年/包月集群和按需计费集群的Task节点的计费模式为按需计费,即按实际使用时长计费,计费周期为一小时。 父主题: 计费类
盘付费,但ECS需要为此付费。 当Core节点规格选择非HDD磁盘时,Master节点和Core节点的磁盘类型取决于数据磁盘。 当节点的实例规格选项后标示“已售罄”时,将无法购买此规格的节点,请选择其他规格节点进行购买。 Master节点中的4核8GB规格不在SLA售后范围内,仅适用于测试环境,不建议用于生产环境。
ster节点承担的管理负荷也越来越高,企业用户面临CPU负载过高,内存使用率超过阈值的问题。通常自建大数据集群需要完成数据搬迁,采购升级节点硬件配置实现Master规格提升,而MRS服务借助云服务的优势,实现一键式Master节点升级,并在升级过程中通过Master节点的主备HA
对于上述定制化的场景,可以选择登录到每个节点上手动操作,之后每扩容一个新节点,再执行一次同样的操作,操作相对繁琐,也容易出错。同时手动执行记录不便追溯,不能实现“按需创建、创建成功后即处理数据”的目标。 因此,MRS提供了自定义引导操作,在启动集群组件前(或后)可以在指定的节点上执行脚本。用户可以通
步骤七:删除Task节点:释放资源。 步骤一:添加Task节点 在MRS集群的集群详情页面,选择“节点管理”页签,单击“新增节点组”,进入“新增节点组”页面。 根据需求配置参数。 表1 新增节点组参数说明 参数名称 描述 节点规格 选择节点组内主机的规格类型。 节点数量 设置新增节点组内的节点数量。
MRS集群节点规格升级异常 问题现象 升级节点规格可能存在规格升级成功后组件启动失败或组件异常导致节点升级后出现异常的情况,现象如下: 升级失败的节点规格已经升级成功。 失败任务管理中有新增的升级规格失败任务。 若IAM用户已同步,可在组件管理观察到存在异常角色。 若未同步,可在
配置Oozie节点间用户互信 操作场景 在使用Oozie节点通过SSH作业执行外部节点的Shell,需要单向免密互信时,可以参考此示例。 前提条件 已经安装Oozie,而且能与外部节点(SSH连接的节点)通信。 操作步骤 在外部节点上确保连接SSH时使用的用户存在,且该用户“~/
r_ID为6的节点的分区中的数据时,也必须把Broker_ID为5的节点的分区带上。 log_dirs为需要迁移的磁盘路径。此样例迁移的是Broker_ID为6的节点,Broker_ID为5的节点对应的log_dirs可设置为“any”,Broker_ID为6的节点对应的log_
r_ID为6的节点的分区中的数据时,也必须把Broker_ID为5的节点的分区带上。 log_dirs为需要迁移的磁盘路径。此样例迁移的是Broker_ID为6的节点,Broker_ID为5的节点对应的log_dirs可设置为“any”,Broker_ID为6的节点对应的log_
MRS集群磁盘如何分区的? MRS集群即发即用,不需用户自行规划磁盘分区。集群节点创建成功后,节点的操作系统磁盘分区说明如表1所示。 表1 MRS集群节点OS盘分区说明 分区类型 分区目录 容量 用途 OS分区 / 220GB 操作系统根分区目录和程序存放目录,包括了所有目录(除去下面指定的目录)。
MapReduce服务集群的Task节点如何收费? 问题 MapReduce服务集群的Task节点如何收费? 回答 包年/包月集群和按需计费集群的Task节点的计费模式都是按需计费,即按实际使用时长计费,计费周期为一小时。 父主题: 计费FAQ
NameNode节点长时间满负载导致客户端无响应 问题 当NameNode节点处于满负载、NameNode所在节点的CPU 100%耗尽时,导致NameNode无法响应,对于新连接到该NameNode的HDFS客户端,能够主备切换连接到另一个NameNode,进行正常的操作,而对
NameNode节点长时间满负载导致客户端无响应 问题 当NameNode节点处于满负载、NameNode所在节点的CPU 100%耗尽时,导致NameNode无法响应,对于新连接到该NameNode的HDFS客户端,能够主备切换连接到另一个NameNode,进行正常的操作,而对
MRS集群是否支持重装系统? 问: MRS集群是否支持重装系统? 答: MRS集群内节点操作系统为ECS初始镜像,不支持重装操作系统。 父主题: 节点管理类
集群外节点安装客户端上传HDFS文件失败 用户问题 集群外节点安装客户端使用hdfs命令上传文件失败。 问题现象 在集群节点上安装客户端,在该客户端使用hdfs命令上传一个文件,报如下错误: 图1 上传文件报错 原因分析 从错误截图可以看到报错是no route to host,且报错信息里面有192
大数据集群的处理能力通常可以通过增加集群的节点数来横向扩展,当集群规模不符合业务要求时,用户可以通过该功能进行集群节点规模的调整,进行扩容或者缩容;在缩容节点时,MRS会智能地选择负载最少或者迁移数据量最小节点,并且在缩容过程中,缩容节点不再接收新的任务,正在执行的任务继续执行,同时将该节点数据拷贝至其他节点,该节
其他参数根据需要配置。 图1 添加Task节点组 非“自定义”类型集群添加Task节点操作步骤: 在集群详情页面,选择“节点管理”页签,单击“配置Task节点”,进入“配置Task节点”页面。 配置“节点类型”、“节点规格”、“节点数量”、“系统盘”,如开启“添加数据盘”后,还需要配置数据盘的存储类型、大小和数量。
MRS集群是否支持切换操作系统? 问: MRS集群是否支持切换操作系统? 答: MRS集群内节点操作系统为ECS初始镜像,不支持切换操作系统。 父主题: 节点管理类
Yarn汇聚日志过大导致节点磁盘被占满 用户问题 集群的磁盘使用率很高。 问题现象 Manager管理页面下主机管理显示磁盘使用率过高。 Yarn WebUI界面上显示只有少量任务在运行。 登录到集群的Master节点执行hdfs dfs -du -h / 命令发现如下文件占用大量磁盘空间。
MRS集群内节点的登录方式如何切换? 问: MRS集群内节点的登录方式(密码或密钥对)如何切换? 答: 不可以切换。创建集群时选择了节点登录方式后不能更改登录方式。 父主题: 集群管理类