云服务器内容精选

华为云首页用户手册

购买MRS集群

MAPREDUCE服务 MRS-购买专属云MRS集群:自定义购买专属云MRS集群

自定义购买专属云 MRS 集群登录MRS管理控制台。单击“购买集群”，进入“购买集群”页面。在购买集群页面，选择“自定义购买”页签。在“基础配置”区域，设置MRS集群基础信息。计费模式：选择“包年/包月”模式。区域：待创建资源所在的区域信息，不同区域的资源之间内网不互通，请选择靠近您的区域，可以降低网络延时、提高访问速度。根据界面提示，配置MRS集群信息。创建集群时，您需要对集群的版本信息、网络信息、节点规格信息及数量以及其他高级配置功能进行配置。 MRS集群版本配置 MRS集群网络配置 MRS集群节点配置配置节点磁盘类型时，根据磁盘使用的存储资源是否独享，磁盘划分为“云硬盘”、“专属分布式存储”。云硬盘：提供规格丰富、安全可靠、可弹性扩展的硬盘资源，满足不同性能要求的业务场景。如果未申请独享的存储池，请选择“云硬盘”，创建的磁盘使用公共存储资源。专属分布式存储：为用户提供独享的存储资源，通过数据冗余和缓存加速等多项技术，提供高可用性和持久性，以及稳定的低时延性能。如果您在专属分布式存储服务页面申请了存储池，可以选择“专属分布式存储”，在已申请的存储池中创建磁盘。 MRS集群其他配置单击“立即购买”。当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群，集群购买成功后不支持修改Kerberos认证模式。如果您对价格有疑问，可以单击页面左下角“了解计费详情”，根据计费详情来了解产品价格。单击“返回集群列表”，可以查看到集群创建的状态。集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。集群创建的状态过程请参见表1中的“状态”参数说明。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

MAPREDUCE服务 MRS 购买MRS集群
MAPREDUCE服务 MRS-购买专属云MRS集群:快速购买专属云MRS集群

快速购买专属云MRS集群进入购买MRS集群页面。在购买集群页面，选择“快速购买”页签。参考下列参数说明配置集群基本信息。表1 MRS集群配置参数参数描述示例计费模式集群的计费模式，MRS只支持“包年/包月”模式。包年/包月区域待创建资源所在的区域信息，不同区域的资源之间内网不互通，请选择靠近您的区域，可以降低网络延时、提高访问速度。 - 集群名称 MRS集群名称，可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期信息等。集群创建成功后，您也可以在集群列表中手动修改集群名称。 mrs-test 集群类型根据业务需要选择合适的MRS集群类型。分析集群：用于离线数据分析场景，对海量数据进分析处理，形成结果数据，主要包含Hadoop、Spark、HBase、Hive、Flink、Oozie、Tez等数据分析类组件。流式集群：用于流式数据处理任务，对实时数据源进行快速分析，主要包含Kafka、Flume等流式数据处理组件。混合集群：既可以用来做离线数据分析，也可以用来做流处理任务的集群。自定义：提供丰富的组件搭配，可自行选择对应版本MRS集群所支持的所有组件。自定义版本类型 MRS提供了LTS版与普通版两种类型的集群，不同版本提供的组件有所不同，可根据需要选择版本类型。 LTS版：集群提供更强的高可靠和容灾能力，融入了MRS服务自研组件，提供长期的支持和演进。普通版：主要依托开源组件的能力，融入了MRS服务自研、成熟稳定的特性和功能，带来性能及稳定性的提升。 LTS版集群版本 MRS集群的版本，不同版本所包含的开源组件版本及功能特性可能不同，推荐选择最新版本。版本详细包含的组件详细可参考MRS组件版本一览表。 MRS 3.2.0-LTS.1 组件选择基于系统预置的集群模板选择要购买的集群组件。 HBase查询集群可用区当前区域内，待创建资源所归属的可用区，可用区是在同一区域下，电力、网络隔离的物理区域。说明：当您为IES购买MRS时，请选择可用区为“边缘可用区”。可用区1 虚拟私有云 MRS集群节点所归属的虚拟私有云网络，如果没有可用的虚拟私有云，请单击“查看虚拟私有云”进入网络控制台，创建一个新的虚拟私有云。 - 子网虚拟私有云网络内的子网信息，如果没有可用的子网，请单击“查看子网”进入网络控制台，创建一个新的子网。 - 集群节点 MRS集群内节点的规格信息及数量配置。 MRS 3.x及之后版本集群Master节点规格不能小于64GB。根据自身需要选择集群节点规格数量。 Kerberos认证 MRS集群中各组件是否启用Kerberos认证。Kerberos认证开启时，用户需要通过认证后才可以访问组件对应资源。购买集群后，不支持修改。开启Kerberos认证用户名 MRS集群Manager及节点的默认登录用户，admin用户用于登录集群的Manager管理界面，root用户为集群内节点的操作系统管理用户，用于节点登录。 - 密码/确认密码设置root用户和admin用户密码，该密码由用户自定义，请妥善保管。 - 企业项目企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理，您可以选择系统定义的企业项目default或者创建自己的企业项目。 default 通信安全授权 MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则，详情说明请参考配置MRS集群安全通信授权。勾选授权单击“立即购买”。当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群，集群购买成功后不支持修改Kerberos认证模式。如果您对价格有疑问，可以单击页面左下角“了解计费详情”，根据计费详情来了解产品价格。单击“返回集群列表”，可以查看到集群创建的状态。集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。集群创建的状态过程请参见表1中的“状态”参数说明。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

MAPREDUCE服务 MRS 购买MRS集群
MAPREDUCE服务 MRS-自定义购买MRS集群:创建MRS集群时手动添加Task节点组

创建MRS集群时手动添加Task节点组当前MRS集群如需规划Task节点组进行弹性伸缩，在配置集群节点信息过程中，可参考以下步骤进行操作：添加分析Task节点组：对于集群类型为“分析集群”或“混合集群”的集群：系统会自动添加分析Task节点组“task_node_analysis_group”，请根据实际需求设置节点数量、实例规格及节点磁盘配置。若不需要该分析Task节点组，可手动删除。对于集群类型为“自定义”的集群：在集群节点配置区域，单击“添加节点组”，手动添加一个新的节点组。配置“拓扑调整”参数为“开启”。手动选择角色拓扑，使该节点组只包含NodeManager角色（NM）即可。在集群创建完成后，通过手动添加节点组的方式添加Task节点组，可参考添加Task节点。添加流式Task节点组：对于集群类型为“流式集群”、“混合集群”且包含Storm组件的集群：系统会自动添加流式Task节点组“task_node_streaming_group”，请根据实际需求设置节点数量、实例规格及节点磁盘配置。若不需要该流式Task节点组，可手动删除。

MAPREDUCE服务 MRS 购买MRS集群
MAPREDUCE服务 MRS-自定义购买MRS集群:MRS集群节点配置

MRS集群节点配置表3 集群节点信息参数描述示例 CPU架构 MRS集群节点的CPU架构类型，可选择“x86计算”或者“鲲鹏计算”。MRS 3.1.0及MRS 3.1.5版本无该参数。 x86计算常用模板当“集群类型”选择“自定义”时该参数有效，常用模板包含“管控合设”、“数据分设”和“管控分设”，具体详情请参考MRS集群部署类型说明选择。管控合设节点组名称设置集群内节点组的名称。 Master节点组名称固定为“master_node_default_group”。系统会根据集群所包含的组件自动创建对应Core节点组，例如当选择“ClickHouse”组件时，系统会添加ClickHouse节点组，并在该节点组默认部署ClickHouseServer角色。 “集群类型”为“自定义集群”时，其他节点组名称可自定义。当集群数据量变化不大而集群业务处理能力需求变化比较大，可选择手动添加Task节点组，参考创建MRS集群时手动添加Task节点组。 node_group_1 节点类型 “集群类型”为“自定义集群”时，可手动选择非Master节点组的节点类型，如果指定节点组类型为Task，则该节点组仅能部署NodeManager角色（除节点必备角色外）。 Core 付费类型 MRS集群中节点的计费模式。 Master和Core节点组的计费模式与集群所选计费模式保持一致。 Task节点组的计费模式固定为“按需计费”。按需计费节点数配置各节点组内的节点个数。 Master节点组的节点数量最少为3个，最多不超过9个。 Core节点组至少存在一个，Core节点和Task节点的数量之和不能超过10000个。 “集群类型”为“自定义集群”时，可以单击“添加节点组”，添加多个节点组。说明：过小的节点容量会导致您的集群运行缓慢，而过大的节点容量会产生不必要的成本，请根据您要处理的数据对集群节点数量进行调整。 - 实例规格选择MRS集群节点的实例规格，可单击进行调整。关于MRS集群节点规格的详细说明可参考MRS集群节点规格说明。说明：节点的实例规格配置越高，数据处理分析能力越强，集群所需费用也越高。不同可用区内的实例规格可能有差异，如果当前可用区下的实例规格不满足需求，可尝试切换其他可用区。当Core节点规格选择为HDD磁盘时，MRS无需为数据磁盘付费，但E CS 需要为此付费。当Core节点规格选择非HDD磁盘时，Master节点和Core节点的磁盘类型取决于数据磁盘。当节点的实例规格选项后标示“已售罄”时，将无法购买此规格的节点，请选择其他规格节点进行购买。 Master节点中的4核8GB规格不在SLA售后范围内，仅适用于测试环境，不建议用于生产环境。 MRS 3.x及之后版本集群Master节点规格不能小于64GB。 - 系统盘节点系统盘的存储类型和存储空间，可根据需要进行调整，更多MRS集群存储说明请参考磁盘角色。 - 数据盘节点数据盘的存储类型和存储空间，为增大数据存储容量，创建集群时可同时添加磁盘，每个Core或者Task节点最多支持添加10块磁盘，更多MRS集群存储说明请参考磁盘角色。 - LVM 仅当创建流式Core节点时，该参数在流式Core节点有效。单击该参数以开启或关闭磁盘LVM管理。MRS 3.x及之后版本不支持该参数。启用逻辑卷管理(LVM)时，会将节点中所有磁盘以逻辑卷的方式挂载，能够更加合理的规划磁盘，避免磁盘不均匀的问题，提升系统的稳定性。不开启拓扑调整 “集群类型”为“自定义集群”时，可手动调整集群内各组件在节点组的部署情况。设置“拓扑调整”为“开启”，然后根据业务需要调整实例部署方式，具体说明请参见自定义集群拓扑调整说明。不开启

MAPREDUCE服务 MRS 购买MRS集群
MAPREDUCE服务 MRS-自定义购买MRS集群:查看MRS集群创建失败任务

查看MRS集群创建失败任务如果集群创建失败后，失败任务会自动转入“失败任务管理”页面。在集群列表页面单击进入“失败任务管理”页面，在“任务状态”列中，将鼠标移动到任务状态上可以查看到失败原因。 MRS集群创建失败错误码列表如表6所示。表6 错误码错误码说明 MRS.101 用户请求配额不足，请联系客服提升配额。 MRS.102 用户Token为空或不合法，请稍后重试或联系客服。 MRS.103 用户请求不合法，请稍后重试或联系客服。 MRS.104 用户资源不足，请稍后重试或联系客服。 MRS.105 现子网IP不足，请稍后重试或联系客服。 MRS.201 因ECS服务导致失败，请稍后重试或联系客服。 MRS.202 因 IAM 服务导致失败，请稍后重试或联系客服。 MRS.203 因VPC服务导致失败，请稍后重试或联系客服。 MRS.400 MRS内部出错，请稍后重试或联系客服。

MAPREDUCE服务 MRS 购买MRS集群
MAPREDUCE服务 MRS-自定义购买MRS集群:MRS集群版本配置

MRS集群版本配置表1 MRS集群配置参数参数描述示例集群类型根据业务需要选择合适的MRS集群类型。分析集群：用于离线数据分析场景，对海量数据进分析处理，形成结果数据，主要包含Hadoop、Spark、HBase、Hive、Flink、Oozie、Tez等数据分析类组件。流式集群：用于流式数据处理任务，对实时数据源进行快速分析，主要包含Kafka、Flume等流式数据处理组件。混合集群：既可以用来做离线数据分析，也可以用来做流处理任务的集群。自定义：提供丰富的组件搭配，可自行选择对应版本MRS集群所支持的所有组件。自定义版本类型 MRS提供了LTS版与普通版两种类型的集群，不同版本提供的组件有所不同，可根据需要选择版本类型。 LTS版：集群提供更强的高可靠和容灾能力，融入了MRS服务自研组件，提供长期的支持和演进。普通版：主要依托开源组件的能力，融入了MRS服务自研、成熟稳定的特性和功能，带来性能及稳定性的提升。 LTS版集群版本 MRS集群的版本，不同版本所包含的开源组件版本及功能特性可能不同，推荐选择最新版本。版本详细包含的组件详细可参考MRS组件版本一览表。 MRS 3.2.0-LTS.1 组件选择选择要MRS集群内要部署的组件。请根据业务需求合理选择需要的组件，部分类型集群创建后不支持添加服务。 - 元数据是否使用外部数据源存储集群的Hive、Ranger元数据。本地元数据：元数据存储在集群本地。外置数据连接：使用外部数据源元数据，若集群异常或删除时将不影响元数据，适用于存储计算分离的场景。在创建MRS集群时，支持对接LakeFormation实例，存储Hive、Spark等组件元数据，可参考配置LakeFormation数据连接。在集群创建完成后，可以手动配置集群组件元数据存储至外部数据源，可参考管理MRS集群元数据。本地元数据组件端口当前MRS集群内各组件默认通讯端口值的策略，LTS版本集群支持配置。开源：开源组件的默认通讯端口遵循开源社区的规范不做修改，与开源社区保持一致。定制：定制组件的默认通讯端口与开源社区不一致。开源默认端口与定制默认端口区别请参考MRS集群服务常用端口列表。开源

MAPREDUCE服务 MRS 购买MRS集群
MAPREDUCE服务 MRS-自定义购买MRS集群:自定义购买MRS集群

自定义购买MRS集群进入购买MRS集群页面。在购买集群页面，选择“自定义购买”页签。创建集群时需要注意配额提醒。当资源配额不足时，建议按照提示申请足够的资源，再创建集群。在“基础配置”区域，设置MRS集群基础信息。计费模式：集群的计费模式，MRS提供“包年/包月”与“按需计费”两种计费模式。区域：待创建资源所在的区域信息，不同区域的资源之间内网不互通，请选择靠近您的区域，可以降低网络延时、提高访问速度。根据界面提示，配置MRS集群信息。创建集群时，您需要对集群的版本信息、网络信息、节点规格信息及数量以及其他高级配置功能进行配置。 MRS集群版本配置 MRS集群网络配置 MRS集群节点配置 MRS集群其他配置集群信息全部配置完成后，单击“立即购买”。当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。购买集群后，不支持修改。如果您对价格有疑问，可以单击页面左下角“了解计费详情”，根据计费详情来了解产品价格。若您选择“按需计费”时，可能因为冻结保证金失败或者账号可能存在风险导致下单失败，请联系技术支持处理。单击“返回集群列表”，可以查看到集群创建的状态。集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。集群创建的状态过程请参见表1中的“状态”参数说明。

MAPREDUCE服务 MRS 购买MRS集群
MAPREDUCE服务 MRS-自定义购买MRS集群:MRS集群网络配置

MRS集群网络配置表2 MRS集群网络配置参数参数描述示例可用区当前区域内，待创建资源所归属的可用区，可用区是在同一区域下，电力、网络隔离的物理区域。说明：当您为IES购买MRS时，请选择可用区为“边缘可用区”。可用区1 虚拟私有云 MRS集群节点所归属的虚拟私有云网络（VPC），如果没有可用的虚拟私有云，请单击“查看虚拟私有云”进入网络控制台，创建一个新的虚拟私有云。 - 子网虚拟私有云（VPC）网络内的子网信息，如果没有可用的子网，请单击“查看子网”进入网络控制台，创建一个新的子网。通过子网提供与其他网络隔离的、可以独享的网络资源，以提高网络安全。网络ACL出规则配置请参考如何配置网络ACL出规则？。说明：创建MRS集群需要的IP数量和集群节点和组件个数相关，集群类型不影响IP数量。 MRS集群部署默认需要的IP数量为：集群节点数量+2（Manager+DB），如果部署集群时选择Hadoop、Hue、Sqoop或Loader、Presto组件，则每一个组件需要再加一个IP。若单独购买ClickHouse集群则需要的IP数量为：集群节点数量+1（Manager）。 - 安全组安全组是一组对弹性云服务器的访问规则的集合，为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。创建MRS集群时，系统默认自动创建一个安全组，也可选择下拉框中已有的安全组。说明：选择用户自己创建的安全组时，请确保入方向规则中有一条全部协议，全部端口，源地址为可信任的IP访问范围的规则，源地址请勿使用0.0.0.0/0，否则会有安全风险。若用户不清楚可信任的IP访问范围，请选择自动创建。自动创建弹性公网IP 通过将弹性公网IP与MRS集群绑定，实现使用弹性公网IP访问Manager的目的。用户创建集群时，可选择下拉框中已有的弹性公网IP进行绑定。若下拉框中没有可选的弹性公网IP，可以单击“创建弹性公网IP”进入弹性公网IP服务进行购买。说明：弹性公网IP必须和集群在同一区域。暂不绑定

MAPREDUCE服务 MRS 购买MRS集群
MAPREDUCE服务 MRS-快速购买MRS集群:快速购买MRS集群

快速购买MRS集群进入购买MRS集群页面。在购买集群页面，选择“快速购买”页签。参考下列参数说明配置集群基本信息。表1 MRS集群配置参数参数描述示例计费模式集群的计费模式，MRS提供“包年/包月”与“按需计费”两种计费模式。选择“按需计费”时，可能需要冻结一定的保证金，具体内容请参见计费说明。按需计费区域待创建资源所在的区域信息，不同区域的资源之间内网不互通，请选择靠近您的区域，可以降低网络延时、提高访问速度。 - 集群名称 MRS集群名称，可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期信息等。集群创建成功后，您也可以在集群列表中手动修改集群名称。 mrs-test 集群类型根据业务需要选择合适的MRS集群类型。分析集群：用于离线数据分析场景，对海量数据进分析处理，形成结果数据，主要包含Hadoop、Spark、HBase、Hive、Flink、Oozie、Tez等数据分析类组件。流式集群：用于流式数据处理任务，对实时数据源进行快速分析，主要包含Kafka、Flume等流式数据处理组件。混合集群：既可以用来做离线数据分析，也可以用来做流处理任务的集群。自定义：提供丰富的组件搭配，可自行选择对应版本MRS集群所支持的所有组件。自定义版本类型 MRS提供了LTS版与普通版两种类型的集群，不同版本提供的组件有所不同，可根据需要选择版本类型。 LTS版：集群提供更强的高可靠和容灾能力，融入了MRS服务自研组件，提供长期的支持和演进。普通版：主要依托开源组件的能力，融入了MRS服务自研、成熟稳定的特性和功能，带来性能及稳定性的提升。 LTS版集群版本 MRS集群的版本，不同版本所包含的开源组件版本及功能特性可能不同，推荐选择最新版本。版本详细包含的组件详细可参考MRS组件版本一览表。 MRS 3.2.0-LTS.1 组件选择基于系统预置的集群模板选择要购买的集群组件。 HBase查询集群可用区当前区域内，待创建资源所归属的可用区，可用区是在同一区域下，电力、网络隔离的物理区域。说明：当您为IES购买MRS时，请选择可用区为“边缘可用区”。可用区1 虚拟私有云 MRS集群节点所归属的虚拟私有云网络，如果没有可用的虚拟私有云，请单击“查看虚拟私有云”进入网络控制台，创建一个新的虚拟私有云。 - 子网虚拟私有云网络内的子网信息，如果没有可用的子网，请单击“查看子网”进入网络控制台，创建一个新的子网。 - 集群节点 MRS集群内节点的规格信息及数量配置。 MRS 3.x及之后版本集群Master节点规格不能小于64GB。根据自身需要选择集群节点规格数量。 Kerberos认证 MRS集群中各组件是否启用Kerberos认证。Kerberos认证开启时，用户需要通过认证后才可以访问组件对应资源。购买集群后，不支持修改。开启Kerberos认证用户名 MRS集群Manager及节点的默认登录用户，admin用户用于登录集群的Manager管理界面，root用户为集群内节点的操作系统管理用户，用于节点登录。 - 密码/确认密码设置root用户和admin用户密码，该密码由用户自定义，请妥善保管。 - 企业项目企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理，您可以选择系统定义的企业项目default或者创建自己的企业项目。 default 通信安全授权 MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则，详情说明请参考配置MRS集群安全通信授权。勾选授权单击“立即购买”。当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。购买集群后，不支持修改。如果您对价格有疑问，可以单击页面左下角“了解计费详情”，根据计费详情来了解产品价格。单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。集群创建的状态过程请参见表1中的“状态”参数说明。集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

MAPREDUCE服务 MRS 购买MRS集群