配置集群-华为云

MAPREDUCE服务 MRS-购买自定义集群:集群创建失败

集群创建失败如果集群创建失败后，失败任务会自动转入“失败任务管理”页面。选择“现有集群”，单击图4中进入“失败任务管理”页面，在“任务状态”列中，将鼠标移动到上可以查看到失败原因，如图5所示。可以参见查看失败的集群操作任务章节删除失败任务。图4 失败任务管理图5 失败原因 MRS 集群创建失败错误码列表如表6所示。表6 错误码错误码说明 MRS.101 用户请求配额不足，请联系客服提升配额。 MRS.102 用户Token为空或不合法，请稍后重试或联系客服。 MRS.103 用户请求不合法，请稍后重试或联系客服。 MRS.104 用户资源不足，请稍后重试或联系客服。 MRS.105 现子网IP不足，请稍后重试或联系客服。 MRS.201 因E CS 服务导致失败，请稍后重试或联系客服。 MRS.202 因 IAM 服务导致失败，请稍后重试或联系客服。 MRS.203 因VPC服务导致失败，请稍后重试或联系客服。 MRS.400 MRS内部出错，请稍后重试或联系客服。

MAPREDUCE服务 MRS 配置集群

MAPREDUCE服务 MRS-购买自定义集群:软件配置

软件配置表1 MRS集群软件配置参数参数说明区域选择区域。不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域，可减少网络时延，提高访问速度。计费模式 MRS提供两种计费模式：包年/包月按需计费选择“按需计费”时，可能需要冻结一定的保证金。详细内容，请参见计费说明。购买时长包年/包月模式下该参数有效，表示购买集群的时长。最短时长为1个月，最长时长为1年。如需开通自动续费功能，请勾选“自动续费”，开通后按月购买的集群自动续费周期为1个月，按年购买的集群自动续费周期为1年。集群名称集群名称不允许重复。只能由字母、数字、中划线和下划线组成，并且长度为1～64个字符。默认名称为mrs_xxxx，xxxx为字母和数字的四位随机组合数，系统自动组合。集群类型提供几种集群类型：分析集群：用来做离线数据分析，提供的是Hadoop体系的组件。流式集群：用来做流处理任务，提供的是流式处理组件。混合集群：既可以用来做离线数据分析，也可以用来做流处理任务，提供的是Hadoop体系的组件和流式处理组件。建议同时需要做离线数据分析和流处理任务时使用混合集群。自定义：用户可按照业务需求调整集群服务的部署方式，具体请参见购买自定义拓扑集群。（目前仅MRS 3.x版本支持）说明： MRS流式集群不支持“作业管理”和“文件管理”功能。如需在集群中安装全部组件，请选择“自定义”类型集群。版本类型提供以下版本类型：普通版：支持集群基础操作，如配置、管理和运维。支持Presto、Impala、Kudu、Sqoop等组件。 LTS版：除支持集群基础操作外，还提供版本升级能力。支持多可用区部署。支持HetuEngine、IoTDB、CDL组件。默认版本类型为普通版。集群版本 MRS目前支持MRS 1.9.2、MRS 3.1.0、MRS 3.1.2-LTS.3、MRS 3.1.5、MRS 3.2.0-LTS.1、MRS 3.3.0-LTS.1版本。默认值为当前最新版本。组件选择 MRS集群配套的组件，MRS不同版本集群支持的组件版本请参见MRS组件版本一览表。元数据是否使用外部数据源存储元数据。本地元数据：元数据存储在集群本地。外置数据连接：使用外部数据源元数据，若集群异常或删除时将不影响元数据，适用于存储计算分离的场景。支持Hive或Ranger组件的集群支持该功能。组件名当“元数据”选择“外置数据连接”时该参数有效。用于表示可以设置外部数据源的组件类型。 Hive Ranger 数据连接类型当“元数据”选择“外置数据连接”时该参数有效。用于表示外部数据源的类型。创建集群时“数据连接类型”仅支持“本地数据库”。组件端口（目前仅LTS版本支持）当前MRS集群内各组件默认通讯端口值的策略。开源：组件的默认通讯端口遵循开源社区的规范不做修改，与开源社区保持一致。定制：组件的默认通讯端口与开源社区不一致。开源默认端口与定制默认端口区别请参考开源组件Web站点。

MAPREDUCE服务 MRS 配置集群

MAPREDUCE服务 MRS-购买自定义集群:操作步骤

操作步骤进入购买MRS集群页面。在购买集群页面，选择“自定义购买”页签。创建集群时需要注意配额提醒。当资源配额不足时，建议按照提示申请足够的资源，再创建集群。参考软件配置配置集群信息后，单击“下一步”。图1 软件配置部分区域仅支持一种计费方式，请以控制台实际方式为准。参考硬件配置配置集群信息后，单击“下一步”。图2 硬件配置当前MRS集群如需规划Task节点组进行弹性伸缩，在配置集群节点信息过程中，可参考以下步骤进行操作：添加分析Task节点组：对于集群类型为“分析集群”或“混合集群”的集群：系统会自动添加分析Task节点组“task_node_analysis_group”，请根据实际需求设置节点数量、实例规格及节点磁盘配置。若不需要该分析Task节点组，可手动删除。对于集群类型为“自定义”的集群：在集群节点配置区域，单击“添加节点组”，手动添加一个新的节点组。配置“拓扑调整”参数为“开启”。手动选择角色拓扑，使该节点组只包含NodeManager角色（NM）即可。也可以在集群创建完成后，通过手动添加节点组的方式添加Task节点组，可参考添加Task节点。添加流式Task节点组（仅MRS 1.9.2支持）：对于集群类型为“流式集群”、“混合集群”的集群：系统会自动添加流式Task节点组“task_node_streaming_group”，请根据实际需求设置节点数量、实例规格及节点磁盘配置。若不需要该流式Task节点组，可手动删除。参考高级配置配置集群信息后，单击“下一步”。图3 高级配置在“确认配置”页面检查配置集群信息，如需调整配置，可单击，跳转到对应页签后重新设置参数。勾选通信安全授权，通信安全授权详情请参考授权安全通信。单击“立即购买”。当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。购买集群后，不支持修改。如果您对价格有疑问，可以单击页面左下角“了解计费详情”，根据计费详情来了解产品价格。若您选择“按需计费”时，可能因为冻结保证金失败或者账号可能存在风险导致下单失败，请联系技术支持处理。单击“返回集群列表”，可以查看到集群创建的状态。集群创建的状态过程请参见表1中的“状态”参数说明。集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

MAPREDUCE服务 MRS 配置集群

云搜索服务 CSS-配置中心:查看管道的数据监控

查看管道的数据监控当启动配置文件后，在管道列表会生成一个任务， CSS 服务支持查看管道任务的数据监控。在管道列表，单击操作列的“指标监控”，跳转到云监控服务页面，可以查看监控信息。当管道的“事件”数据动态变化时，监控数据也会同步变化；当管道任务在启动中、停止中或事件数据稳定时，监控数据则无变化。支持的监控指标请参考Logstash集群支持的监控指标。当需要配置监控告警时，可以参考配置集群监控。

云搜索服务 CSS 配置集群

云搜索服务 CSS-配置中心:创建配置文件

创建配置文件登录云搜索服务管理控制台。在“集群管理”页面，选择Logstash类型集群，单击需要配置数据导入导出文件的集群名称，进入集群基本信息页面，选择“配置中心”页签，进入配置中心页面；或者直接单击目标集群操作列的“配置中心”，进入配置中心页面。单击右上角“创建”，进入创建配置文件页面。您可以选择系统模板或者自定义模板方式创建，也可以直接进行创建配置文件。如果选择模板方式，可以直接单击对应的模板操作列的“应用”，然后在“名称”、“配置文件内容”和“隐藏内容列表”中进行命名和修改。目前支持的系统模板类型有： redis：从redis数据库导入数据到Elasticsearch类型集群。 elasticsearch：从Elasticsearch类型集群导入数据到Elasticsearch类型集群。 jdbc：从jdbc导入数据到Elasticsearch类型集群。 kafka：从kafka导入数据到Elasticsearch类型集群。 beats：从beats导入数据到Elasticsearch类型集群。 dis：从dis导入数据到Elasticsearch类型集群。各个模板的参数配置请参考系统模板配置参数说明。如果直接创建配置文件，在“名称”和“配置文件内容”参数中直接输入对应内容即可。创建的配置文件内容大小不能超过100k。支持创建配置文件个数不超过50个。隐藏内容列表：输入需要隐藏的敏感字串列表，按Enter创建；配置隐藏字符串列表后，在返回的配置内容中，会将所有在列表中的字串隐藏为***（列表最大支持20条，单个字串最大长度512字节）。配置完成后，单击“下一页”，配置参数。配置文件在迁移数据时管道中的配置。表1 参数说明参数说明 pipeline.workers 并行执行管道的Filters+Outputs阶段的工作线程数，默认值为CPU核数，建议取值为1-20之间。 pipeline.batch.size 单个工作线程在尝试执行其Filters和Outputs之前将从inputs收集的最大事件数，该值较大通常更有效，但会增加内存开销，默认为125。 pipeline.batch.delay 创建管道事件批时，在将过小的批调度到管道工作线程之前，等待每个事件的时间（以毫秒为单位），默认值为50。 queue.type 用于事件缓冲的内部队列模型。memory为基于内存的传统队列，persisted为基于磁盘的ACKed持久化队列，默认值为memory。 queue.checkpoint.writes 如果使用持久化队列，则表示强制执行检查点之前写入的最大事件数，默认值为1024。 queue.max_bytes 如果使用持久化队列，则表示持久化队列的总容量，确保磁盘的容量大于该值，默认值为1024。单位：MB。配置完成后，单击“创建”。在配置中心页面可以看到创建的配置文件，状态为“可用”，表示创建成功。您还可以在操作列对创建的配置文件进行编辑、添加到自定义模板、删除等操作。编辑：单击操作列的“编辑”，可以修改配置文件的内容及配置参数。添加到自定义模板：可以将当前创建的配置文件，作为模板添加到自定义模板中，方便下次创建配置文件时使用。删除：如果不需要此配置文件，可以通过操作列进行删除。

云搜索服务 CSS 配置集群

云搜索服务 CSS-配置中心:启动配置文件

启动配置文件配置文件创建完成后，在配置中心页面可以看到创建成功的配置文件。选择需要启动的配置文件，单击左上角的“启动”。配置文件可以同时选择多个进行启动，一次不能超过50个。在“启动Logstash服务”对话框中，根据业务需要，选择“是否保持常驻”。开启“保持常驻”适用于需要长期运行的业务，开启“保持常驻”以后，将会在每个节点上面配置一个守护进程，当logstash服务出现故障的时候，会主动拉起并修复。“保持常驻”不适用于短期运行的业务，短期业务开启保持常驻，如果源端无数据，会导致任务失败。单击“确定”，开始启动配置文件。可以在管道列表看到启动的配置文件。您也可以单击“操作记录”或“运行日志”，查看配置文件的相关操作记录和运行日志信息。

云搜索服务 CSS 配置集群

云搜索服务 CSS-配置中心:连通性测试

连通性测试在使用Logstash集群迁移数据时，可以先测试下数据源和Logstash集群的网络是否连通。登录云搜索服务管理控制台。在“集群管理”页面，选择Logstash类型集群，单击需要配置数据导入导出文件的集群名称，进入集群基本信息页面，选择“配置中心”，或者直接单击目标集群操作列的“配置中心”，进入配置中心页面。在配置中心页面，单击“连通性测试”。在连通性测试弹窗中输入数据来源的IP地址和端口号，单击“测试”。图1 连通性测试连通性测试最多可一次性测试10个IP地址。您可以单击“继续添加”，添加多个IP地址，然后单击“批量测试”，进行一次性测试多个IP地址的连通性。

云搜索服务 CSS 配置集群

云搜索服务 CSS-配置中心:热启动配置文件

热启动配置文件 Logstash服务已在运行时，可以选择热启动功能增加管道。使用logstash stdin插件的配置文件禁止使用热启动功能。使用热启动功能时，如果配置文件热启动失败且导致logstash进程异常退出，会进行恢复机制重新启动原logstash进程，请谨慎操作。只能选择一个配置文件进行热启动，且在管道列表中状态为“工作中”的配置数量小于20个。选择一个需要热启动的配置文件，单击左上角的“热启动”。对话框中“是否保持常驻”的值默认与管道列表中的“是否保持常驻”值保持一致。单击“确定”，开始热启动配置文件。可以在管道列表看到热启动的配置文件。

云搜索服务 CSS 配置集群

MAPREDUCE服务 MRS-添加集群/节点标签:为集群增加标签

为集群增加标签创建集群时为集群增加标签登录MRS管理控制台。单击“购买集群”，进入购买集群页面。在购买集群页面，选择“自定义购买”。参考购买自定义集群配置集群软件配置和硬件配置信息。勾选“高级配置”右侧的“现在配置”，在标签栏输入新添加标签的键和值。图1 添加标签为已有集群增加集群标签登录MRS管理控制台。在左侧导航栏中选择“现有集群”。选中一个运行中的集群并单击集群名称，进入集群基本信息页面。选择“标签管理”页签，进入标签管理界面。单击“添加/编辑标签”（若首次添加标签则为单击“添加标签”），在弹出的对话框输入新添加标签的键和值，单击“添加”。用户也可以通过启用默认标签为集群增加集群标签。默认标签会为集群和每个节点添加默认标签，并占用2个标签配额。单击“确定”添加标签。

MAPREDUCE服务 MRS 配置集群

MAPREDUCE服务 MRS-添加集群/节点标签:为节点增加标签

为节点增加标签为集群增加默认标签时自动增加节点标签，请参见•为已有集群增加集群标签。弹性伸缩方式为节点自动增加节点标签配置弹性伸缩策略时添加标签，MRS会自动为新扩容的节点加上该标签，并将标签同步至云服务器和云硬盘。登录MRS管理控制台。在左侧导航栏中选择“现有集群”。选中一个运行中的集群并单击集群名称，进入集群基本信息页面。选择“弹性伸缩”页签，进入配置弹性伸缩界面。在已有弹性伸缩策略右边单击“编辑”按钮，在弹出的对话框输入新添加标签的键和值，单击“添加”。需要先开启弹性伸缩策略且配置扩容规则，否则通过弹性伸缩设置的节点标签将不会生效。如果当前标签配额不足时，请删除集群标签或者修改弹性策略已有的标签，然后再开启弹性伸缩策略。资源池维度的弹性伸缩不支持添加标签。单击“确定”添加标签。

MAPREDUCE服务 MRS 配置集群

MAPREDUCE服务 MRS-添加集群/节点标签:管理标签

管理标签在现有集群的标签页，执行标签的增、删、查操作。登录MRS管理控制台。在现有集群列表中，单击待管理标签的集群名称。系统跳转至该集群详情页面。选择“标签管理”页签，对集群的标签执行增、删、查。查看在“标签”页，可以查看当前集群的标签详情，包括标签个数，以及每个标签的键和值。添加单击左上角的“添加/编辑标签”，在弹出的“添加/编辑标签”窗口，输入新添加标签的键和值，并单击“确定”。删除单击标签所在行“操作”列下的“删除”，如果确认删除，在弹出的“删除标签”窗口，输入“DELETE”，单击“确定”。

MAPREDUCE服务 MRS 配置集群

MAPREDUCE服务 MRS-查看历史集群信息

查看历史集群信息选择“历史集群”，选中一集群并单击集群名，进入集群基本信息页面。用户可查看集群的配置信息、部署的节点信息、弹性伸缩信息、组件信息、作业信息、引导操作信息和标签信息。参考下列表格查看集群信息参数说明。表1 集群基本信息参数参数说明集群名称集群的名称，创建集群时设置。集群状态集群状态信息。付费类型显示创建集群时的付费类型，目前支持“按需计费”和“包年/包月”。集群版本集群的版本信息。集群类型创建集群时的集群类型。集群ID 集群的唯一标识，创建集群时系统自动赋值，不需要用户设置。创建时间显示集群创建的时间。订单号显示创建集群的订单号。该参数仅在“付费类型”为“包年/包月”时显示。可用区集群工作区域下的可用区，创建集群时设置。默认生效子网子网信息，创建集群时所选。通过子网提供与其他网络隔离的、可以独享的网络资源，以提高网络安全。虚拟私有云 VPC信息，创建集群时所选。 VPC即虚拟私有云，是通过逻辑方式进行网络隔离，提供安全、隔离的网络环境。 OBS权限控制单击“单击管理”，修改MRS用户与OBS权限的映射关系，具体请参考配置MRS多用户访问OBS细粒度权限。数据连接单击“单击管理”，查看集群关联的数据连接类型，具体请参考配置数据连接。委托单击“管理委托”，为集群绑定或修改委托。通过绑定委托，您可以将部分资源共享给ECS或BMS云服务来管理，例如通过配置ECS委托可自动获取AK/SK访问OBS，具体请参见配置存算分离集群（委托方式）。 MRS_ECS_DEFAULT_AGENCY委托拥有对象存储服务的OBSOperateAccess权限和在集群所在区域拥有 CES FullAccess（对开启细粒度策略的用户）、CES Administrator和KMS Administrator权限。密钥对密钥对名称，创建集群时设置。如果创建集群时设置的登录方式为密码，则不显示。 Keberos认证登录Manager管理页面时是否启用Kerberos认证。说明： Kerberos认证模式不支持手动修改，集群创建成功后将无法开启和关闭此功能，需要在创建MRS服务集群的时候选择开启或者关闭Kerberos服务，建议重新创建集群。企业项目集群所属的企业项目，仅现有集群列表支持单击企业项目名称进入对应项目的企业项目管理页面。安全组集群的安全组名称。流式Core节点LVM管理流式Core节点的LVM管理功能是否开启。数据盘密钥名称用于加密数据盘的密钥名称。如需对已使用的密钥进行管理，请登录密钥管理控制台进行操作。数据盘密钥ID 用于加密数据盘的密钥ID。组件版本集群安装各组件的版本信息。委托通过绑定委托，ECS或BMS云服务将有权限来管理您的部分资源。返回到历史集群列表页面，用户可使用如下按钮进行操作，参考下列表格查看按钮说明。表2 按钮说明按钮说明单击，手动刷新节点信息。在搜索框中输入集群名称或ID，单击，搜索集群。父主题：配置集群

MAPREDUCE服务 MRS 配置集群

MAPREDUCE服务 MRS-创建专属云MRS集群:自定义购买集群高级配置（可选）

自定义购买集群高级配置（可选）表6 MRS集群高级配置参数参数说明标签具体请参考添加集群/节点标签。弹性伸缩请在“硬件配置”页签指定Task节点的规格，然后参考配置弹性伸缩规则配置。引导操作具体请参考添加引导操作。委托通过绑定委托，您可以将部分资源共享给ECS或BMS云服务来管理，例如通过配置ECS委托可自动获取AK/SK访问OBS，具体请参见配置存算分离集群（委托方式）。 MRS_ECS_DEFAULT_AGENCY委托拥有对象存储服务的OBS OperateAccess权限和在集群所在区域拥有CES FullAccess（对开启细粒度策略的用户）、CES Administrator和KMS Administrator权限。指标共享用于采集大数据组件的监控指标，当用户使用集群过程中出现问题时，供华为云支持人员定位问题。 OBS权限控制开启细粒度权限控制的用户可以通过该功能实现不同的MRS用户对OBS文件系统下的不同目录有不同的权限。具体请参见配置MRS多用户访问OBS细粒度权限。数据盘加密是否对集群挂载的数据盘中的数据进行加密，默认关闭。如需使用该功能，当前用户必须拥有“Security Administrator”和“KMS Administrator”权限。加密数据盘使用的密钥由数据加密服务（DEW，Data Encryption Workshop）中的密钥管理（KMS，Key Management Service）功能提供，无需您自行构建和维护密钥管理基础设施，安全便捷。通过单击“数据盘加密”开启或关闭数据盘加密功能，详情请参考云硬盘加密。密钥ID 当“数据盘加密”功能开启时，显示该参数。用于显示已选择的密钥名称对应的密钥ID。密钥名称当“数据盘加密”功能开启时，需要配置该参数。选择用来加密数据盘的密钥名称，默认选择密钥名称为“evs/default”的默认主密钥，在下拉框中可以选择其他用户主密钥。使用用户主密钥加密云硬盘，若对用户主密钥执行禁用、计划删除等操作，将会导致云硬盘不可读写，甚至数据永远无法恢复，请谨慎操作。单击“查看密钥列表”，进入密钥管理页面可以创建及管理密钥。告警开启告警功能可在集群运行异常或系统故障时，及时通知集群维护人员定位问题。规则名称用户自定义发送告警消息的规则名称，只能包含数字、英文字符、中划线和下划线。主题名称选择已创建的主题，也可以单击“创建主题”重新创建。新创建的主题请参考向主题添加订阅向该主题添加订阅者才能接收发布至主题的消息。主题是发送消息和订阅通知的信道，为发布者和订阅者提供一个可以相互交流的通道。

MAPREDUCE服务 MRS 配置集群

MAPREDUCE服务 MRS-创建专属云MRS集群:自定义购买专属云MRS集群

自定义购买专属云MRS集群登录MRS管理控制台。单击“购买集群”，进入“购买集群”页面。在购买集群页面，选择“自定义购买”页签。参考自定义购买集群软件配置配置集群信息后，单击“下一步”。参考自定义购买集群硬件配置配置集群信息后，单击“下一步”。参考自定义购买集群高级配置（可选）配置集群信息后，单击“立即购买”。当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。如果您对价格有疑问，可以单击页面左下角“了解计费详情”，根据计费详情来了解产品价格。单击“返回集群列表”，可以查看到集群创建的状态。集群创建的状态过程请参见表1中的“状态”参数说明。集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。

MAPREDUCE服务 MRS 配置集群

MAPREDUCE服务 MRS-创建专属云MRS集群:快速购买专属云MRS集群

快速购买专属云MRS集群进入购买MRS集群页面。在购买集群页面，选择“快速购买”页签。参考下列参数说明配置集群基本信息，参数详细信息请参考购买自定义集群。区域：默认即可。计费模式：根据需要选择“按需计费”或“包年/包月”模式。购买时长：购买集群的时长，最短时长为1个月，最长时长为一年。集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。集群版本：默认选择最新版本即可（不同版本集群提供的组件有所不同，请根据需要选择集群版本）。组件选择：根据需要选择“Hadoop分析集群”、“HBase查询集群”或“Kafka流式集群”。磁盘类型：默认即可。MRS 3.x版本暂时没有该参数。集群节点：请根据自身需要选择集群节点规格数量等。用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。密码：设置root用户和admin用户密码。确认密码：再次输入设置的root用户和admin用户密码。单击“立即购买”。如果您对价格有疑问，可以单击页面左下角“了解计费详情”，根据计费详情来了解产品价格。单击“返回集群列表”，可以查看到集群创建的状态。集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。

MAPREDUCE服务 MRS 配置集群

云服务器内容精选

配置集群

7*24

备案

专业服务

退订

建议反馈

售前咨询热线