检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。
设置对象属性 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以在上传对象时设置对象属性。对象属性包含对象MIME类型、对象MD5值(用于校验)、对象存储类型、对象自定义元数
创建桶 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 您可以通过create_bucket或create_bucket_with_params创建一个对象桶,通过create_pfs_bucket创建一个并行文件系统的桶。 参数描述
列举分段上传任务(Java SDK) 功能说明 列举指定桶中所有的初始化后还未合并或还未取消的分段上传任务。 通过列举桶中的多段上传任务,您可以获得已初始化多段上传任务的列表,已初始化多段上传任务是指初始化后还未合并以及未取消的多段上传任务。每个请求将返回最多1000个多段上传任
设置对象属性 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 您可以在上传对象时设置对象属性。对象属性包含对象长度、对象MIME类型、对象MD5值(用于校验)、对象存储类型、对象自定义元数据。对象属性可以在多种上传方式下(流式
查看桶信息 创建桶之后,您可以通过OBS管理控制台直接查看某个桶的详情,包括用量分析、监控告警、域名信息、基本信息、基础配置、常见问题和了解更多模块。也可以将桶列表导出,在本地Excel查看账号下所有桶的基本信息。 使用方式 OBS支持通过控制台、API、SDK、OBS Brow
列举桶内对象(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能介绍 调用列举桶内对象接口,可列举指定桶内的部分或所有对象的描述信息。您还可以通过设置前缀、数量、起始位置等参数,返回符合您筛选条件的
桶清单 使用场景 桶清单功能可以定期生成桶内对象的相关信息,保存在CSV格式的文件中,并上传到您指定的桶中,方便您管理桶内对象。目标桶和源桶可以是同一个桶。 指定的对象内容包括对象版本、大小、上次修改时间、存储类别、标签、加密状态等。 支持对桶清单加密,加密方式为SSE-KMS方式。
设置对象属性 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以在上传对象时设置对象属性。对象属性包含对象长度、对象MIME类型、对象MD5值(用于校验)、对象自定义元数据。
恢复失败的下载任务 功能说明 根据任务号(TaskId)恢复失败的下载任务。 命令结构 Windows操作系统 obsutil cp -recover=xxx [-dryRun] [-tempFileDir=xxx] [-f] [-u] [-vlength] [-vmd5] [-j=1]
增量同步下载对象 功能说明 将OBS源桶指定路径下的所有对象同步到本地目标路径,使两边内容保持一致。这里的增量同步有两层含义:1)增量,依次比较源对象和目标文件,只下载存在变化的源对象;2)同步,命令执行完成后,保证OBS指定源桶指定路径是本地目标路径的子集,即OBS源桶指定路径
设置对象属性 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以在上传对象时设置对象属性。对象属性包含对象长度、对象MIME类型、对象MD5值(用于校验)、对象存储类型、对象
自定义函数开发规范 Data+已下线,如果需要使用数据处理服务,可使用数据工坊 DWR。 详情请参见数据工坊 DWR。 用户在自行开发自定义函数时,函数的输入参数和输出参数需要遵守本节的开发规范。 自定义函数的编译方式请参考FunctionGraph的《开发指南》。 函数输入参数
快速入门(Python SDK) 创建AK、SK OBS通过用户账户中的AK和SK进行签名验证,确保通过授权的账户才能访问指定的OBS资源。以下是对AK和SK的解释说明: AK:Access Key ID,接入键标识,用户在对象存储服务系统中的接入键标识,一个接入键标识唯一对应一
设置对象属性 您可以在上传对象时设置对象属性。对象属性包含对象MD5值(用于校验)、对象存储类型、对象自定义元数据。对象属性可以在多种上传方式下(流式上传、文件上传、分段上传),或复制对象时进行设置。 对象属性详细说明见下表: 名称 描述 默认值 contentMD5 对象数据的
流式下载(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能说明 您可以根据需要将存储在OBS中的对象流式下载到本地。 接口约束 您必须是桶拥有者或拥有下载对象的权限,才能下载对象。建议使用IAM或
图片处理(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能说明 OBS为用户提供了稳定、安全、高效、易用、低成本的图片处理服务。当要下载的对象是图片文件时,您可以使用ImageProcess参数指
文本下载(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能说明 您可以根据需要将存储在OBS中的对象以文本形式下载到本地。 接口约束 您必须是桶拥有者或拥有下载对象的权限,才能下载对象。建议使用I
获取多版本对象(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能说明 您可以根据需要将存储在OBS中对象的某一个版本下载到本地。 接口约束 您必须是桶拥有者或拥有下载对象的权限,才能下载对象。建议
快速入门(Go SDK) 准备访问密钥 OBS通过用户账户中的AK和SK进行签名验证,确保通过授权的账户才能访问指定的OBS资源。以下是对AK和SK的解释说明: AK:Access Key ID,接入键标识,用户在对象存储服务系统中的接入键标识,一个接入键标识唯一对应一个用户,一