检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
缩容集群 功能介绍 对MRS集群进行缩容。 用户可以根据业务需求量,通过缩减指定节点组内节点,对集群进行缩容,以使MRS拥有更优的存储、计算能力,降低运维成本。 当集群正在进行主备同步操作时,不允许进行缩容操作。 调用方法 请参见如何调用API。 URI POST /v2/{project_id
补丁基本信息说明 表1 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.10 发布时间 2024-10-30 解决的问题 解决Flume后台卸载客户端后,从Flume管理的页面上无法删除该客户端实例的问题。 解决Kafka时延监控转告警(Topic数量监控、分区数量监控、请求时延监控
HBase开源增强特性 HBase开源增强特性:HIndex HBase是一个Key-Value类型的分布式存储数据库。每张表的数据按照RowKey的字典顺序排序,因此,如果按照某个指定的RowKey去查询数据,或者指定某一个RowKey范围去扫描数据时,HBase可以快速定位到需要读取的数据位置
常用参数 概述 本节介绍Spark使用过程中的常用配置项。以特性为基础划分子章节,以便用户快速搜索到相应的配置项。如果用户使用MRS集群,本节介绍的参数大部分已经适配好,用户无需再进行配置。少数需要用户根据实际场景配置的参数,请参见快速配置参数。 配置Stage失败重试次数 Spark
Spark常用配置参数 概述 本节介绍Spark使用过程中的常用配置项。以特性为基础划分子章节,以便用户快速搜索到相应的配置项。如果用户使用MRS集群,本节介绍的参数大部分已经适配好,用户无需再进行配置。少数需要用户根据实际场景配置的参数,请参见快速配置Spark参数。 配置Stage
集群添加组件 功能介绍 集群添加组件,仅MRS 3.1.2及之后普通版本和MRS 3.1.2-LTS.2及之后的LTS版本的自定义集群支持添加组件功能。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}
新增作业并执行(废弃) 功能介绍 在MRS集群中新增一个作业,并执行作业。该接口不兼容Sahara。 集群ID可参考查询集群列表接口获取。 MRS 3.x版本镜像,不支持MRS V1.1作业管理接口,需要使用V2作业管理接口。 接口约束 DistCp作业需要配置文件操作类型(file_action
更新弹性伸缩策略 功能介绍 更新弹性伸缩策略。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/autoscaling-policy/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
创建弹性伸缩策略 功能介绍 创建弹性伸缩策略。 MRS服务支持规则和时间计划两种弹性伸缩的策略: 弹性伸缩规则:根据集群实时负载对Task节点数量进行调整,数据量变化后触发扩缩容,有一定的延后性。 资源计划:若数据量变化存在周期性规律,则可通过资源计划在数据量变化前提前完成集群的扩缩容
MRS多租户简介 多租户概述 背景介绍: 现代企业的数据集群在向集中化和云化方向发展,企业级大数据集群需要满足: 不同用户在集群上运行不同类型的应用和作业(分析、查询、流处理等),同时存放不同类型和格式的数据。 某些类型的用户(例如银行、政府单位等)对数据安全非常关注,很难容忍将自己的数据与其他用户的放在一起
配置弹性伸缩规则 功能介绍 对弹性伸缩规则进行编辑。 在创建集群并执行作业接口中也可以创建弹性伸缩规则。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/autoscaling-policy/{cluster_id} 表1 路径参数
自定义购买MRS集群 本章节为您介绍如何在MRS管理控制台自定义创建一个新的MRS集群。 MRS包含了多种大数据组件,用户可基于企业大数据场景的业务场景、数据类型、可靠性要求以及资源预算等要求合理选择集群类型。 用户可以基于系统预置的集群模板快速购买一个集群,也可自行选择组件列表及高级配置特性
查询对应版本元数据 功能介绍 查询对应版本元数据。如果参数里指定集群id,则可查询集群更新过补丁之后的最新元数据。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/metadata/versions/{version_name} 表1 路径参数
Flink常用配置参数 配置文件说明 Flink所有的配置参数都可以在客户端侧进行配置,建议用户直接修改客户端的“flink-conf.yaml”配置文件进行配置,如果通过Manager界面修改Flink服务参数,配置完成之后需要重新下载安装客户端: 配置文件路径:客户端安装路径/
创建集群 功能介绍 创建一个MRS集群。使用接口前,您需要先获取下的资源信息。 通过VPC创建或查询VPC、子网。 通过ECS创建或查询密钥对。 通过终端节点获取区域信息。 参考MRS服务支持的组件获取MRS版本及对应版本支持的组件信息。 接口约束 无 调用方法 请参见如何调用API
Flink常用配置参数 配置说明 Flink所有的配置参数都可以在客户端侧进行配置,建议用户直接修改客户端的“flink-conf.yaml”配置文件进行配置,如果通过Manager界面修改Flink服务参数,配置完成之后需要重新下载安装客户端: 配置文件路径:客户端安装路径/Flink
MRS集群告警处理参考 ALM-12001 审计日志转储失败 ALM-12004 OLdap资源异常 ALM-12005 OKerberos资源异常 ALM-12006 节点故障 ALM-12007 进程故障 ALM-12010 Manager主备节点间心跳中断 ALM-12011
Flume业务模型配置说明 业务模型配置指导 本任务旨在提供Flume常用模块的性能差异,用于指导用户进行合理的Flume业务配置,避免出现前端Source和后端Sink性能不匹配进而导致整体业务性能不达标的场景。 本任务只针对于单通道的场景进行比较说明。 Flume业务配置及模块选择过程中
新增并执行作业 功能介绍 在MRS集群中新增并提交一个作业。 需要先在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步,然后再通过该接口提交作业。 如需使用OBS加密功能,请先参考“MRS用户指南 > 管理现有集群 > 作业管理 > 使用OBS加密数据运行作业
创建集群并执行作业 功能介绍 创建一个MRS集群,并在集群中提交一个作业。该接口不兼容Sahara。 (建议优先使用创建集群V2接口和创建集群并提交作业V2接口来完成创建集群或创建集群并提交作业的功能) 支持同一时间并发创建10个集群。 使用接口前,您需要先获取下的资源信息。 通过