检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Yarn节点配置调优 操作场景 合理配置大数据集群的调度器后,还可通过调节每个节点的可用内存、CPU资源及本地磁盘的配置进行性能调优。
此样例迁移的是Broker_ID为6的节点,Broker_ID为5的节点对应的log_dirs可设置为“any”,Broker_ID为6的节点对应的log_dirs设置为“/srv/BigData/hadoop/data1/kafka-logs”。注意路径需与节点对应。
此样例迁移的是Broker_ID为6的节点,Broker_ID为5的节点对应的log_dirs可设置为“any”,Broker_ID为6的节点对应的log_dirs设置为“/srv/BigData/hadoop/data1/kafka-logs”。注意路径需与节点对应。
Yarn节点配置调优 操作场景 合理配置大数据集群的调度器后,还可通过调节每个节点的可用内存、CPU资源及本地磁盘的配置进行性能调优。
表1 新增节点组参数说明 参数名称 描述 节点规格 选择节点组内主机的规格类型。 节点数量 设置新增节点组内的节点数量。 系统盘 设置新增节点的系统盘的规格与容量。 数据盘/数据盘数量 设置新增节点的数据盘的规格与容量及数量。 部署角色 添加“NodeManager”角色。
MRS集群节点规格升级异常 问题现象 升级节点规格可能存在规格升级成功后组件启动失败或组件异常导致节点升级后出现异常的情况,现象如下: 升级失败的节点规格已经升级成功。 失败任务管理中有新增的升级规格失败任务。 若IAM用户已同步,可在组件管理观察到存在异常角色。
Master节点具体升级操作请参见升级Master节点规格。 父主题: 集群管理
父主题: 节点管理类
节点内DataNode磁盘使用率不均衡 问题背景与现象 单个节点内DataNode的各磁盘使用率不均匀。
查询集群节点列表 功能介绍 查询集群节点列表。 调用方法 请参见如何调用API。
配置Oozie节点间用户互信 操作场景 在使用Oozie节点通过SSH作业执行外部节点的Shell,需要单向免密互信时,可以参考此示例。 前提条件 已经安装Oozie,而且能与外部节点(SSH连接的节点)通信。
集群外节点安装客户端上传HDFS文件失败 用户问题 集群外节点安装客户端使用hdfs命令上传文件失败。
配置Oozie节点间用户互信 操作场景 在使用Oozie节点通过SSH作业执行外部节点的Shell,需要单向免密互信时,可以参考此示例。 前提条件 已经安装Oozie,而且能与外部节点(SSH连接的节点)通信。
登录到集群的Master节点执行hdfs dfs -du -h / 命令发现如下文件占用大量磁盘空间。
MapReduce服务集群的Task节点如何收费? 问题 MapReduce服务集群的Task节点如何收费? 回答 包年/包月集群和按需计费集群的Task节点的计费模式都是按需计费,即按实际使用时长计费,计费周期为一小时。 父主题: 计费FAQ
答: MRS集群节点不支持切换操作系统。 父主题: 节点管理类
集群Task节点主要用于处理数据,不存放持久数据。 支持扩容的节点类型:Master、Core节点和Task节点。 扩容增加的节点使用root用户登录时,密码默认为创建集群时设置的密码。
节点剩余内存不足导致HBase启动失败 问题现象 HBase的RegionServer服务一直是Restoring状态。
MRS集群内节点是否支持降配操作? 问: MRS集群内节点是否支持降配操作? 答: MRS集群内节点暂不支持降级配置规格。 父主题: 产品咨询类
MRS集群内节点的登录方式如何切换? 问:MRS集群内节点的登录方式(密码或密钥对)如何切换? 答:不可以切换。创建集群时选择了节点登录方式后不能更改登录方式。 父主题: 集群管理类