检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
API概览 MRS提供的符合RESTful API的设计规范的接口,如表1和表2所示。如何选择不同版本的接口请参见API版本选择建议。 MRS版本演进过程中逐步废弃部分接口,具体请参见表3。
集群在线扩缩容 大数据集群的处理能力通常可以通过增加集群的节点数来横向扩展,当集群规模不符合业务要求时,用户可以通过该功能进行集群节点规模的调整,进行扩容或者缩容;在缩容节点时,MRS会智能地选择负载最少或者迁移数据量最小节点,并且在缩容过程中,缩容节点不再接收新的任务,正在执行的任务继续执行
在线检索MRS集群日志 MRS集群Manager支持在线检索并显示组件的日志内容,用于问题定位等其他日志查看场景,管理员可在线按照节点范围或者组件角色范围快速检视所有日志,通过关键字分析快速定位问题。 本章节操作仅支持MRS 3.x及之后的版本。
HBase Java API接口介绍 HBase采用的接口与Apache HBase保持一致,请参见http://hbase.apache.org/apidocs/index.html。
历史API V1.1 作业管理接口(废弃)
REST API接口的执行方式是通过HTTP请求进行。
如何调用API 构造请求 认证鉴权 返回结果
常用API介绍 HDFS Java API接口介绍 HDFS C API接口介绍 HDFS HTTP REST API接口介绍 父主题: HDFS应用开发常见问题
CarbonData Segment API语法说明 本章节描述Segment的API以及使用方法,所有方法在org.apache.spark.util.CarbonSegmentUtil类中。
API使用类 调用API接口创建集群失败
API V2 集群管理接口 作业管理接口 弹性伸缩接口 集群HDFS文件接口 SQL接口 委托管理 数据连接管理 版本元数据查询 IAM同步管理接口 标签管理接口
API版本选择建议 当前MRS服务对外API提供云服务自定义规范的API V1.1和V2两类接口,V2版本目前仅部分接口支持,主要用于提交作业和提交SQL语句。在接口功能相同的情况下,推荐您优先使用V2接口。 MRS所有版本均支持V1.1接口。
API V1.1 集群管理接口 弹性伸缩接口 标签管理接口 可用区 版本元数据查询
Kafka Java API介绍 Kafka相关接口同开源社区保持一致,详情请参见https://kafka.apache.org/24/documentation.html。
HDFS常用API介绍 HDFS Java API接口介绍 HDFS C API接口介绍 HDFS HTTP REST API接口介绍 父主题: HDFS应用开发常见问题
Spark常用API介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python API接口介绍 Spark client CLI介绍 Spark JDBCServer接口介绍 父主题: Spark应用开发常见问题
Spark常用API介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python API接口介绍 Spark REST API接口介绍 Spark client CLI介绍 Spark JDBCServer接口介绍 父主题: Spark
Spark常用API介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python API接口介绍 Spark REST API接口介绍 Spark client CLI介绍 Spark JDBCServer接口介绍 父主题: Spark
Spark常用API介绍 Spark Java API接口介绍 Spark scala API接口介绍 Spark Python API接口介绍 Spark REST API接口介绍 Spark client CLI介绍 Spark JDBCServer接口介绍 父主题: Spark
HDFS常用API介绍 HDFS Java API接口介绍 HDFS C API接口介绍 HDFS HTTP REST API接口介绍 父主题: HDFS应用开发常见问题