检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
节点标签管理 标签是集群/节点的标识，为集群/节点添加标签，可以方便用户识别和管理拥有的集群/节点资源。MRS服务通过与标签管理服务（TMS）关联，可以让拥有大量云资源的用户，通过给云资源打标签，快速查找具有同一标签属性的云资源，进行统一检视、修改、删除等管理操作，方便用户对大数据集群及其他相关云资源的统一管理。
配置MRS集群通过IAM委托对接OBS MRS支持用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算模式。MRS通过IAM服务的“委托”机制进行简单配置， 实现使用ECS自动获取的临时AK/SK访问OBS。避免了AK/SK直接暴露在配置文件中的风险。 通过绑定委托
节点自定义引导操作 特性简介 MRS提供标准的云上弹性大数据集群，目前可安装部署包括Hadoop、Spark等大数据组件。当前标准的云上大数据集群不能满足所有用户需求，例如如下几种场景： 通用的操作系统配置不能满足实际数据处理需求，例如需调大系统最大连接数。 需要安装自身业务所需
户无操作600秒后超时退出。 执行以下命令，为节点生成新的密钥： 如果当前节点是Manager管理节点，执行以下命令： sh ${CONTROLLER_HOME}/sbin/update-ssh-key.sh 如果当前节点是非管理节点，执行以下命令： sh ${NODE_AGEN
待操作的集群名称 > 服务 > Yarn > 实例”。 勾选Core节点的NodeManager实例，选择“更多 > 启动实例”。 在集群列表页面缩容Task节点。 单击集群名称进入集群详情页面，选择“节点管理”。 在Task节点组所在行的“操作”列单击“缩容”。 图1 缩容Task 单击“确定”并在弹出框选择“是”。
关的业务数据进行删除。 MRS集群配置存算分离后，组件可以对接访问OBS文件系统，同时也可以继续访问集群内的HDFS文件系统，具体请参考配置MRS集群通过IAM委托对接OBS。 存算分离功能使用流程： 配置存算分离集群。 请选择如下其中一种配置即可（推荐使用委托方式）。 通过为M
安装Flink客户端 Flink使用Windows环境进行开发，运行环境则建议部署在Linux环境下，MRS客户端不支持安装在Windows环境。您可以执行如下操作完成客户端的配置。 操作步骤 安装Flink客户端。 确认服务端Flink组件已经安装。 下载Flink客户端程序。
安装补丁的影响 安装补丁后需要重启服务才能生效，重启服务期间引起服务暂不可用。 安装补丁后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。 主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。
如果退服前，DataNode节点的机架数（机架数由各DataNode节点所配置的“机架”的名称数量决定）大于1；而退服部分DataNode后，剩余的DataNode节点的机架数变为1，则此次退服将会失败。所以需要在退服前评估退服操作对机架数的影响，以调整退服的DataNode节点。 在退服多个
168的ip，也即客户端节点到集群的DN节点的内网路由不通，导致上传文件失败。 处理步骤 在客户端节点的客户端目录下，找到HDFS的客户端配置目录hdfs-site.xml文件，在配置文件中增加配置项dfs.client.use.datanode.hostname，并将该配置设置为true。
Master和Core节点组的计费模式与集群所选计费模式保持一致。 Task节点组的计费模式固定为“按需计费”。 按需计费 节点数 配置各节点组内的节点个数。 Master节点组的节点数量最少为3个，最多不超过9个。 Core节点组至少存在一个，Core节点和Task节点的数量之和不能超过10000个。 “集群类型”
VPC，且Master节点可以访问对接服务器的IP地址和指定端口。 配置MRS集群对接SNMP网管平台上报告警 登录Manager，进入SNMP配置界面。 MRS 3.x及之后版本 登录FusionInsight Manager。 选择“系统 > 对接 > SNMP”。 开启“SNMP服务”开关。
k使用ECS部署。 Master、Core节点任意使用ECS和BMS混合部署，Task节点使用ECS部署。 节点的实例规格配置越高，数据处理分析能力越强，集群所需费用也越高。 不同可用区内的实例规格可能有差异，如果当前可用区下的实例规格不满足需求，可尝试切换其他可用区。 当Cor
MRS集群Core节点扩容成功后状态异常如何处理 问题现象 Core节点扩容可能存在扩容节点完成，但节点上存在启动失败的实例的情况，现象如下： Core节点已经扩容完成，节点管理页面可以看到新扩容的节点： 任务管理中有添加节点的任务失败或部分成功： 若IAM用户已同步，可在组件管理观察到存在未启动角色。
节点管理类 MRS集群内节点的操作系统是什么？ 升级Master节点规格需要关机吗？ MRS是否支持变更MRS集群节点？ 如何查询MRS节点的启动时间？ MRS集群内节点互信异常如何处理？ MRS集群是否支持调整Master节点规格？ MRS集群内节点的sudo log能否清理？
删除Task节点 添加Task节点 在MRS集群的集群详情页面，选择“节点管理”页签，单击“新增节点组”，进入“新增节点组”页面。 根据需求配置参数。 表1 新增节点组参数说明 参数名称 描述 节点规格 选择节点组内主机的规格类型。 节点数量 设置新增节点组内的节点数量。 系统盘
ckhouse/”。 添加完新增目录后，单击“保存”保存配置。单击“概览”，选择“更多 > 同步配置”，单击“确认”完成配置同步。 登录到ClickHouse的扩容节点上，进入到以下目录，查看新增的数据目录是否已更新到配置文件中。确认无误后新增分区操作完成。 cd ${BIGDA
r_ID为6的节点的分区中的数据时，也必须把Broker_ID为5的节点的分区带上。 log_dirs为需要迁移的磁盘路径。此样例迁移的是Broker_ID为6的节点，Broker_ID为5的节点对应的log_dirs可设置为“any”，Broker_ID为6的节点对应的log_
r_ID为6的节点的分区中的数据时，也必须把Broker_ID为5的节点的分区带上。 log_dirs为需要迁移的磁盘路径。此样例迁移的是Broker_ID为6的节点，Broker_ID为5的节点对应的log_dirs可设置为“any”，Broker_ID为6的节点对应的log_
配置DataNode节点容量不一致时的副本放置策略 操作场景 默认情况下，NameNode会随机选择DataNode节点写文件。当集群内某些数据节点的磁盘容量不一致（某些节点的磁盘总容量大，某些总容量小），会导致磁盘总容量小的节点先写满。通过修改集群默认的DataNode写数据时
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
