检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Cloudera CDH对接OBS 部署视图 安装版本 硬件:1Master+3Core(配置:8U32G,操作系统:CentOS 7.5) 软件:CDH 6.0.1 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。 并将OBS
对象操作 PUT上传 POST上传 复制对象 下载对象 获取对象元数据 删除对象 批量删除对象 恢复归档存储或深度归档存储对象 追加写对象 设置对象ACL 获取对象ACL 修改对象元数据 修改写对象 截断对象 重命名对象 回调 设置对象标签 获取对象标签 删除对象标签 配置对象级WORM保护策略
行该分段任务时会尝试通过对应的断点记录文件恢复任务。 r 附加参数,批量下载时必选 按指定的对象名前缀批量下载对象。 f 附加参数,批量下载时可选 强制操作,不进行询问提示。 j 附加参数,批量下载时可选 批量下载时的最大并发数,默认为配置文件中的defaultJobs。 说明:
行该分段任务时会尝试通过对应的断点记录文件恢复任务。 r 附加参数,批量下载时必选 按指定的对象名前缀批量下载对象。 f 附加参数,批量下载时可选 强制操作,不进行询问提示。 j 附加参数,批量下载时可选 批量下载时的最大并发数,默认为配置文件中的defaultJobs。 说明:
通过obsutil命令行工具快速使用OBS obsutil是一款命令行工具,对于熟悉命令行的用户,obsutil能在执行批量处理、自动化任务的场景中为您带来更优体验。 本章节以Linux操作系统为例,以上传一个文件至“bucket-test”桶为例,帮助您快速通过obsutil使
管理对象,包括上传、下载、删除和列举对象等。 支持上传单个或批量上传多个文件或文件夹。 支持分段上传大文件。 支持增量同步上传、下载和复制对象。 支持复制单个对象或按对象名前缀批量复制多个对象。 支持移动单个对象或按对象名前缀批量移动多个对象。 支持对失败的上传、下载、复制等任务进行恢复。
该分段任务时会尝试通过对应的断点记录文件恢复任务。 r 附加参数,批量移动时必选 按指定源桶的对象名前缀批量移动对象。 f 附加参数,批量移动时可选 强制操作,不进行询问提示。 j 附加参数,批量移动时可选 批量移动时的最大并发数,默认为配置文件中的defaultJobs。 说明:
附加参数,删除单个对象时可选 待删除对象的版本号。 r 附加参数,批量删除对象时必选 按指定的对象名前缀批量删除对象。 注意: 批量删除对象时,会将与前缀匹配的所有对象删除,请谨慎使用。 j 附加参数,批量删除对象时可选 批量删除对象时的最大并发数,默认为配置文件中的defaultJobs。
该分段任务时会尝试通过对应的断点记录文件恢复任务。 r 附加参数,批量复制时必选 按指定源桶的对象名前缀批量复制对象。 f 附加参数,批量复制时可选 强制操作,不进行询问提示。 j 附加参数,批量复制时可选 批量复制时的最大并发数,默认为配置文件中的defaultJobs。 说明:
恢复单个cold存储对象时生成结果清单文件。 f 附加参数,批量恢复cold存储对象时可选 强制操作,不进行询问提示。 r 附加参数,批量恢复cold存储对象时必选 按指定的对象名前缀批量恢复cold存储对象。 v 附加参数,批量恢复cold存储对象时可选 按指定的对象名前缀批量恢复多版本cold存储对象。 o
设置单个对象属性时生成结果清单文件。 f 附加参数,批量设置对象属性时可选 强制操作,不进行询问提示。 r 附加参数,批量设置对象属性时必选 按指定的对象名前缀批量设置对象属性。 v 附加参数,批量设置对象属性时可选 按指定的对象名前缀批量设置多版本对象属性。 o 附加参数,可选 生成
删除单个分段上传任务时生成结果清单文件。 f 附加参数,可选 强制操作,不进行询问提示。 r 附加参数,批量删除分段上传任务时必选 按指定的对象名前缀批量删除分段上传任务。 j 附加参数,批量删除分段上传任务时可选 批量删除分段上传任务的最大并发数,默认为配置文件中的defaultJobs。 说明: 工具会保证该值至少为1。
指定目录。 当您需要一次性上传大量的小文件时,可以将所有文件打包成ZIP包,上传之后压缩包可以自动解压,省时省力。OBS批量上传文件时有一些限制,参见OBS批量上传文件。 成功创建在线解压策略后,您上传到OBS的ZIP包如果能匹配解压策略,则会自动解压。创建策略前已存在的ZIP包不受影响。
printf ("RequestId:%s\n", $resp ['RequestId']); 本示例仅用于删除单个对象,OBS批量删除对象,需自行遍历构建待批量删除对象的列表。 更丰富的删除功能,请参见删除对象。 父主题: 快速入门
log('Status-->' + result.CommonMsg.Status); } }); 批量删除对象 您可以通过ObsClient.deleteObjects批量删除对象。 每次最多删除1000个对象,并支持两种响应模式:详细(verbose)模式和简单(quiet)模式。
"objectname", }; client.DeleteObject(request); 本示例仅用于删除单个对象,OBS批量删除对象,需自行遍历构建待批量删除对象的列表。 更丰富的删除功能,请参见删除对象。 父主题: 快速入门
*response, NSError *error) { NSLog(@"%@",response); }]; 批量删除对象 您可以通过deleteObjects批量删除对象。 每次最多删除1000个对象,并支持两种响应模式:详细(verbose)模式和简单(quiet)模式。
选中待配置的桶,选中需要下载的文件或文件夹后,单击“下载”。 OBS支持批量下载多个文件和文件夹,单击选中待下载的文件或文件夹即可。 对于存储类别为归档存储的桶中的文件,需要确认对象的状态为“已恢复”才能对其进行下载。请参见恢复对象查看如何恢复文件。 批量下载仅支持下载当前已经列举出来的文件或文件夹,可
创建并配置客户端(Java SDK) 操作场景 本章节指导客户创建并配置客户端,该任务是使用SDK与OBS交互的必备前置任务。如果您已有客户端,请跳过该节,直接参考Java SDK接口概览(Java SDK)获取接口信息。 前提条件 初始化客户端之前,您需要先完成以下几项准备工作:
如何迁移数据至OBS? 数据迁移场景 数据迁移至OBS主要有以下几种场景: 搬迁本地数据至OBS 迁移第三方云厂商数据至OBS OBS之间数据迁移(跨账号、跨区域以及同区域内数据迁移) 场景一:搬迁本地数据至OBS 搬迁本地数据至OBS的方案如下,了解更多详见搬迁本地数据至OBS最佳实践: