检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS 3.2.0-LTS.1补丁说明 MRS 3.2.0-LTS.1.7补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.7 发布时间 2024-02-21 安装前处理 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 解决的问题
Spark应用开发简介 Spark简介 Spark是分布式批处理框架,提供分析挖掘与迭代式内存计算能力,支持多种语言(Scala/Java/Python)的应用开发。 适用以下场景: 数据处理(Data Processing):可以用来快速处理数据,兼具容错性和可扩展性。 迭代计算
HDFS C API接口介绍 功能简介 C语言应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请直接参考官网上的描述以了解其使用方法:http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist
添加Spark2x的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Spark2x用户进行相关的权限设置。 Spark2x开启或关闭Ranger鉴权后,需要重启Spark2x服务。 需要重新下载客户端,或手动刷新客户端配置文件“客户端安装目录/Spark2x
添加Spark2x的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Spark2x用户进行相关的权限设置。 Spark2x开启或关闭Ranger鉴权后,需要重启Spark2x服务。 需要重新下载客户端,或手动刷新客户端配置文件“客户端安装目录/Spark2x
配置HBase主备集群容灾 操作场景 HBase集群容灾作为提高HBase集群系统高可用性的一个关键特性,为HBase提供了实时的异地数据容灾功能。它对外提供了基础的运维工具,包含灾备关系维护,重建,数据校验,数据同步进展查看等功能。为了实现数据的实时容灾,可以把本HBase集群中的数据备份到另一个集群
约束与限制 使用MRS前,您需要认真阅读并了解以下使用限制。 MRS集群创建限制 表1 MRS集群创建约束说明 限制项 说明 网络要求 MRS集群必须创建在VPC子网内。 创建MRS集群时,支持自动创建安全组,也可选择已有的安全组。 MRS集群使用的安全组请勿随意放开权限,避免被恶意访问
HDFS HTTP REST API接口介绍 功能简介 REST应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请参考官网上的描述以了解其使用:http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist
创建集群并提交作业 功能介绍 创建一个MRS集群并提交作业,并支持作业完成后删除集群,支持MRS 1.8.9及以上集群版本使用。使用接口前,您需要先获取下的资源信息。 通过VPC创建或查询VPC、子网 通过ECS创建或查询密钥对 通过终端节点获取区域信息 参考MRS服务支持的组件获取
创建集群并执行作业 功能介绍 创建一个MRS集群,并在集群中提交一个作业。该接口不兼容Sahara。 (建议优先使用创建集群V2接口和创建集群并提交作业V2接口来完成创建集群或创建集群并提交作业的功能) 支持同一时间并发创建10个集群。 使用接口前,您需要先获取下的资源信息。 通过
创建集群 功能介绍 创建一个MRS集群。使用接口前,您需要先获取下的资源信息。 通过VPC创建或查询VPC、子网 通过ECS创建或查询密钥对 通过终端节点获取区域信息 参考MRS服务支持的组件获取MRS版本及对应版本支持的组件信息 接口约束 无 调用方法 请参见如何调用API。 URI