检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
r_ID为6的节点的分区中的数据时，也必须把Broker_ID为5的节点的分区带上。 log_dirs为需要迁移的磁盘路径。此样例迁移的是Broker_ID为6的节点，Broker_ID为5的节点对应的log_dirs可设置为“any”，Broker_ID为6的节点对应的log_
{"topic":"test_3"}], "version":1 } 操作步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录。 cd /opt/client 执行以下命令，配置环境变量。 source bigdata_env 执行以下命令，进行用户认证。（普通模式跳过此步骤）
配置DataNode节点容量不一致时的副本放置策略 操作场景 默认情况下，NameNode会随机选择DataNode节点写文件。当集群内某些数据节点的磁盘容量不一致（某些节点的磁盘总容量大，某些总容量小），会导致磁盘总容量小的节点先写满。通过修改集群默认的DataNode写数据时
配置DataNode节点容量不一致时的副本放置策略 操作场景 默认情况下，NameNode会随机选择DataNode节点写文件。当集群内某些数据节点的磁盘容量不一致（某些节点的磁盘总容量大，某些总容量小），会导致磁盘总容量小的节点先写满。通过修改集群默认的DataNode写数据时
步骤七：删除Task节点：释放资源。 步骤一：添加Task节点 在MRS集群的集群详情页面，选择“节点管理”页签，单击“新增节点组”，进入“新增节点组”页面。 根据需求配置参数。 表1 新增节点组参数说明 参数名称 描述 节点规格 选择节点组内主机的规格类型。 节点数量 设置新增节点组内的节点数量。
如何提高集群Core节点的资源使用率？ 进入 Yarn服务配置页面： MRS 1.8.10及之前版本，登录MRS Manager页面，然后选择“服务管理 > Yarn > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 MRS 1.8.10之后及2.x版本，单击集群名称，登录集群详情页面，选择“组件管理
ster节点承担的管理负荷也越来越高，企业用户面临CPU负载过高，内存使用率超过阈值的问题。通常自建大数据集群需要完成数据搬迁，采购升级节点硬件配置实现Master规格提升，而MRS服务借助云服务的优势，实现一键式Master节点升级，并在升级过程中通过Master节点的主备HA
MRS集群内节点是否支持降配操作？ 问： MRS集群内节点是否支持降配操作？ 答： MRS集群内节点暂不支持降级配置规格。 父主题： 产品咨询类
HDFS客户端安装在数据节点导致数据分布不均衡 问题背景与现象 HDFS的DataNode数据分布不均匀，在某节点上磁盘使用率很高，甚至达到100%，其他节点空闲很多。 原因分析 客户端安装在该节点，根据HDFS数据副本机制，第一个副本会存放在本地机器，最终导致节点磁盘被占满，而其他节点空闲很多。
对系统的影响 如果当前集群配置的参数小于集群规模要求的配置标准时，可能会导致用户作业运行延迟，服务页面响应缓慢等问题。严重时会导致集群节点Agent或者OMS进程运行异常，导致组件作业提交、OMS数据同步等失败。 可能原因 OMS配置同集群规模不匹配。 处理步骤 检查OMS配置同集群规模是否匹配。
MRS集群内的节点中可以部署爬虫服务吗？ 问： MRS集群内的节点中可以部署爬虫服务吗？ 答： 为正常保障集群稳定运行，MRS集群内节点中不能部署爬虫服务或其他第三方服务。 父主题： 周边生态对接类
nt（MRS集群每个节点都需要安装），安装完成后可开启防护。 确保MRS集群的节点与HSS配额在同一区域，并使用配额所在区域的安装命令或安装包为主机安装Agent。 表1 主机防护开启操作 操作步骤 相关说明 步骤一 购买主机安全防护配额 主机安全服务有基础版、企业版、旗舰版供您
性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default.conf配置文件中，在spark.driver.extraJavaOptions和spark.executor.extraJavaOptions配置项中添加参数："-verbose:gc
返回实例页面，单击“概览”，在概览页面选择“更多 > 重启服务”，输入当前用户密码，单击“确定”开始重启服务。 以客户端安装用户登录安装了Hive客户端的节点，执行以下命令： cd 客户端安装目录 source bigdata_env kinit Hive业务用户（如果集群未开启Kerberos认证，请跳过该操作）
OMS的数据库数据目录，如果安装双机Manager，两个OMS节点均包含此分区目录。 LocalBackup 备份集群数据时，如果选择备份在“LocalDir”，则默认存储在该路径下。如果安装双机Manager，两个节点包含此分区目录。 containers WebContainer角色所在节点，存放Container
登录Kafka集群的流式Core节点。 执行df -h命令查看磁盘使用率。 通过kafka配置文件/opt/Bigdata/MRS_2.1.0/1_11_Broker/etc/server.properties中的配置项log.dirs获得数据存储目录。 其中配置文件路径请根据时间环境的
预估费用会更准确。 若某节点组下节点进行过数据盘扩容，后续若该节点组扩容节点或进行集群克隆，则节点数据盘将按磁盘扩容后的容量创建。 当选择多节点扩容至目标容量，存在部分节点挂载数据盘高于目标容量时，这些数据盘将不进行扩容，也不参与订单收费。 仅支持集群节点创建时默认挂载的数据盘完
配置用户租约隔离访问指定节点的HiveServer 操作场景 此功能适用于Hive。 开启此功能可以限定指定用户访问指定节点上的HiveServer服务，实现对用户访问HiveServer服务的资源隔离。 本章节适用于MRS 3.x及后续版本。 操作步骤 以对用户hiveuser
删除。 若“数据连接”页面没有关联连接，单击“配置数据连接”进行增加。 一种模块类型只能配置一个数据连接，如在Hive元数据上配置了数据连接后，不能再配置其他的数据连接。当没有可用的模块类型时，“配置数据连接”按钮不可用。 表2 配置Hive数据连接 参数 说明 组件名称 Hive
单击“主机”查看主机信息。 可查看主机资源概况，分为基础配置（CPU/内存）和磁盘配置两部分。 单击“导出数据”，可导出集群中所有主机的配置列表。 图4 主机资源概况 基础配置（CPU/内存） 鼠标放置饼图上会显示当前区域集群中各节点不同硬件配置下的配置信息及数量，格式为：核数（平台类型）内存大小：数量。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
