检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作,请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作,请参见使用存算分离集群。 父主题: 对接大数据平台
查询华为云算子模板详情 功能介绍 本接口用于按名称查询Action模板。
查询华为云算子模板列表 功能介绍 本接口用于查询已有预置Action模板列表。 请求消息样式 GET /v2/actiontemplates/{template_name_prefix}?
为什么用户在华为云购买的域名才支持一键解析? 当用户在华为云购买自定义域名,可以在目标桶内进行域名绑定,完成一键解析添加CNAME记录。
图1 基于OBS的华为云大数据存算分离方案 华为云大数据存算分离方案基于对象存储服务OBS的大容量高带宽能力,以及多协议共享访问技术(HDFS/POSIX/OBS API),实现Hadoop生态多计算引擎(Hive、Spark等)兼容对接。
快速入门 使用前需知 OBS服务环境搭建 开发环境准备 安装SDK 获取服务地址 初始化OBS客户端 创建桶 上传对象 下载对象 列举对象 删除对象 OBS客户端通用示例
临时授权访问 使用临时URL进行授权访问
在OBS中,桶名必须是全局唯一的,即用户创建的桶不能与自己已创建的其他桶名称相同,也不能与其他用户(包括其他华为云账号)创建的桶名称相同。 用户删除桶后,立即创建同名桶或并行文件系统会创建失败,需要等待30分钟才能创建。
问题定位 问题定位方法 高频问题汇总
初始化 配置桶的CORS 配置密钥 创建OBS客户端 配置OBS客户端 配置SDK日志
下载对象 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。
下载对象 对象下载简介 流式下载 范围下载 获取下载进度 限定条件下载 重写响应头 获取自定义元数据 下载归档存储对象 断点续传下载 图片处理
文件上传 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 文件上传使用本地文件作为对象的数据源。
常见问题 SDK是否支持批量上传、下载或复制对象?
华为云MapReduce服务(MRS) 华为云MapReduce服务(MRS)是华为云提供的大数据服务,可以在华为云上部署和管理Hadoop系统,一键即可部署Hadoop集群。
上传对象 对象上传简介 文本上传 文件上传 获取上传进度 创建文件夹 设置对象属性 分段上传 设置对象生命周期 追加上传 分段复制 断点续传上传 基于表单上传
分段上传(Java SDK) 分段上传概述(Java SDK) 初始化分段上传任务(Java SDK) 上传段(Java SDK) 合并段(Java SDK) 分段上传场景化示例(Java SDK) 取消分段上传任务(Java SDK) 列举已上传的段(Java SDK) 列举分段上传任务
服务端加密 服务端加密简介 加密说明 加密示例
多版本控制 多版本控制简介 设置桶多版本状态 查看桶多版本状态 获取多版本对象 复制多版本对象 恢复多版本归档存储对象 列举多版本对象 多版本对象权限 删除多版本对象
多版本控制 多版本控制简介 设置桶多版本状态 查看桶多版本状态 获取多版本对象 复制多版本对象 恢复多版本归档存储对象 列举多版本对象 多版本对象权限 删除多版本对象