创建弹性伸缩策略 功能介绍 创建弹性伸缩策略。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/autoscaling-policy/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 查看弹性伸缩策略成功 400 查看弹性伸缩策略失败 错误码 请参见错误码。 父主题: 弹性伸缩接口
${mrs_scale_node_num}:扩缩容节点数 ${mrs_scale_type}:扩缩容类型,扩容为scale_out,缩容为scale_in ${mrs_scale_node_hostnames}:扩缩容的节点主机名称 ${mrs_scale_node_ips}:扩缩容的节点IP ${mr
更新弹性伸缩策略 功能介绍 更新弹性伸缩策略。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/autoscaling-policy/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
集群在线扩缩容 大数据集群的处理能力通常可以通过增加集群的节点数来横向扩展,当集群规模不符合业务要求时,用户可以通过该功能进行集群节点规模的调整,进行扩容或者缩容;在缩容节点时,MRS会智能地选择负载最少或者迁移数据量最小节点,并且在缩容过程中,缩容节点不再接收新的任务,正在执行
删除弹性伸缩策略 功能介绍 删除弹性伸缩策略。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/autoscaling-policy/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
群节点的弹性更好,足以应对偶尔超出预期的数据峰值出现。 当某些业务场景要求在集群扩缩容之后,根据节点数量的变化对资源分配或业务逻辑进行更改时,手动扩缩容的场景需要用户登录集群节点进行操作。对于弹性伸缩场景,MRS支持通过自定义弹性伸缩自动化脚本来解决。自动化脚本可以在弹性伸缩前后
和关闭弹性伸缩策略,具体操作请参见管理MRS集群弹性伸缩策略。 关于弹性伸缩规则与资源计划叠加使用的最佳实践,具体操作请参见配置MRS集群弹性伸缩。 关于MRS集群中的弹性伸缩功能收费详情请参见MRS集群中的弹性伸缩功能如何收费?。 如需通过API方式创建或更新弹性伸缩策略,具体
弹性伸缩规则、资源计划、自动化脚本场景的配置要求如下: 表1 弹性伸缩配置要求 弹性伸缩场景 配置要求 弹性伸缩规则 用户对于一个集群,可以同时设置扩容、缩容最多各5条弹性伸缩规则。 系统根据用户的配置顺序从前到后依次判断规则,先扩容,后缩容。请尽量把重要的策略放在前面,以防一次扩容或缩容无法达到预期效果而进行反复触发。
在已有弹性伸缩策略右边单击“查看”按钮。 图1 查看弹性伸缩策略 修改已有弹性伸缩策略 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称。进入集群详情页面。 选择“弹性伸缩”页签。 在已有弹性伸缩策略右边单击“编辑”按钮。 图2 编辑弹性伸缩策略 删除已有弹性伸缩策略 登录MRS管理控制台。
弹性伸缩接口 查看弹性伸缩策略 更新弹性伸缩策略 删除弹性伸缩策略 创建弹性伸缩策略 父主题: API V2
缩容集群 场景描述 创建集群后,缩容集群Core节点或者Task节点。MRS集群创建成功后不支持调整Master节点数量,即不支持扩缩容Master节点。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。
MRS集群Task节点弹性伸缩 MRS集群Task节点弹性伸缩概述 添加MRS集群Task节点弹性伸缩策略 管理MRS集群弹性伸缩策略 父主题: MRS集群容量调整
扩容集群 场景描述 创建集群后,扩容集群Core节点或者Task节点。MRS集群创建成功后不支持调整Master节点数量,即不支持扩缩容Master节点。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。
页面右上角弹出缩容节点提交成功提示框。 集群缩容过程说明如下: 缩容中:集群正在缩容时集群状态为“缩容中”。已提交的作业会继续执行,也可以提交新的作业,但不允许继续缩容和删除集群,也不建议重启集群和修改集群配置。 缩容成功:集群缩容成功后集群状态为“运行中”,计费按照缩容后所使用的资源计算。
集群的扩缩容,避免出现增加或减少资源的延后。 弹性伸缩规则与资源计划均可触发弹性伸缩,两者至少配置其中一种,也可以叠加使用。 视频介绍 配置MRS集群弹性伸缩操作案例可参考配置MRS集群弹性伸缩操作视频,该视频以MRS 3.1.0版本集群为例,介绍如何在购买集群时配置弹性伸缩、如何为已有集群新增弹性伸缩策略。
例,选择“更多 > 启动实例”。 在集群列表页面缩容Task节点。 单击集群名称进入集群详情页面,选择“节点管理”。 在Task节点组所在行的“操作”列单击“缩容”。 图1 缩容Task 单击“确定”并在弹出框选择“是”。 等缩容成功后,若不想用Core节点的NodeManager再将其停止。
设置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 在“${HADOOP_HOME}/etc/hadoop/”下的“Hdfs-site.xml”中设置如下参数。 <name>dfs.storage.policy.enabled</name> <value>true</value>
配置FlinkServer重启策略 概述 Flink支持不同的重启策略,以在发生故障时控制作业是否重启以及如何重启。若不指定重启策略,集群会使用默认的重启策略。用户也可以在提交作业时指定一个重启策略,可参考创建FlinkServer作业在作业开发界面配置(MRS 3.1.0及以后版本)。 重启策略也可以
不支持修改 Yarn 无鉴权 支持修改 ZooKeeper 鉴权 支持修改 CDL 无鉴权 不支持修改 Ranger权限策略条件判断优先级 配置资源的权限策略时,可配置针对该资源的允许条件(Allow Conditions)、允许例外条件(Exclude from Allow C
您即将访问非华为云网站,请注意账号财产安全