检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。 修改编译datax。 升级h
修改写对象 功能介绍 修改写对象操作是指将指定文件桶内的一个对象从指定位置起修改为其他内容。 目前接口仅在并行文件系统支持,创建并行文件系统的方法详见请求示例:创建并行文件系统。 请求消息样式 PUT /ObjectName?modify&position=Position HTTP/1
我可以修改对象名称吗? 可以。如果调用接口遇到错误,请参见错误码。 重命名桶中对象 OBS客户端(OBS Browser+)支持重命名桶中对象,您可以对单个对象重命名。 重命名的具体方法如下: 登录OBS Browser+。 如果未安装OBS Browser+,请先下载并安装。
取消多段上传任务 功能介绍 如果用户希望取消一个任务,可以调用取消多段上传任务接口取消任务,了解完整的分段上传流程请参见分段上传。合并段或取消任务接口被调用后,用户不能再对任务进行上传段和列举段的操作。 请求消息样式 1 2 3 4 DELETE /ObjectName?uploadId=uplaodID
上传段 功能介绍 多段上传任务创建后,用户可以通过指定多段上传任务号,通过上传段接口为特定的任务上传段,从客户端上传新数据,了解完整的分段上传流程请参见分段上传。同一个对象的同一个多段上传任务在上传段时,上传的顺序对后续的合并操作没有影响,也即支持多个段并发上传。 段大小范围是[
多段操作 列举桶中已初始化多段任务 初始化上传段任务 上传段 拷贝段 列举已上传未合并的段 合并段 取消多段上传任务 父主题: API
分段上传-列举分段上传任务(Python SDK) 功能说明 列举指定桶中所有的初始化后还未合并或还未取消的分段上传任务。 通过列举桶中的多段上传任务,您可以获得已初始化多段上传任务的列表,已初始化多段上传任务是指初始化后还未合并以及未取消的多段上传任务。每个请求将返回最多100
我可以修改桶所在的区域吗? 不可以。 桶创建成功后,不支持变更区域,请谨慎选择。 父主题: 桶和对象相关
合并段 功能介绍 如果用户上传完所有的段,就可以调用合并段接口,系统将在服务端将用户指定的段合并成一个完整的对象,了解完整的分段上传流程请参见分段上传。在执行“合并段”操作以前,用户不能下载已经上传的数据。在合并段时需要将多段上传任务初始化时记录的附加消息头信息拷贝到对象元数据中
符串处理。 默认取值: 无 isFile bool 可选 参数解释: 指明object字段是否代表文件路径。 取值范围: True:object字段代表文件路径。 False:object字段不代表文件路径。 默认取值: False offset int 可选 参数解释: 源文件中某一分段的起始偏移大小。
分段上传-合并段(Go SDK) 功能说明 如果用户上传完所有的段,就可以调用合并段接口,系统将在服务端将用户指定的段合并成一个完整的对象。在执行“合并段”操作以前,用户不能下载已经上传的数据。在合并段时需要将多段上传任务初始化时记录的附加消息头信息拷贝到对象元数据中,其处理过程
} ] } 上述示例中需要用户手动修改的参数介绍如表1所示: 表1 参数修改 需要修改的参数 解释 GetBucketLogging Action字段的参数值,表示此Policy的操作,Action字段为OBS支持的所有操作集合,以字符串形式表示,不区分大小
如何进行分段下载?(Java SDK) 在下载对象时,您可以指定下载对象的某一范围内的数据进行分段下载,步骤如下: 您需要以AK、SK、Endpoint先初始化一个客户端ObsClient; 指定桶名和对象名初始化一个GetObjectRequest请求,您可以通过GetObjectRequest
多段相关接口(Python SDK) 分段上传简介(Python SDK) 分段上传-初始化上传段任务(Python SDK) 分段上传-上传段(Python SDK) 分段上传-列举已上传的段(Python SDK) 分段上传-列举分段上传任务(Python SDK) 分段上传-合并段(Python
修改写 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 修改写接口modify_object只适用于并行文件系统的桶,对象桶该接口不支持。该接口同put_object参数和使用方法一样,只不过是多了一个写对象的起始位置position。
分段上传 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 对于较大文件上传,可以切分成段上传。用户可以在如下的应用场景内(但不仅限于此),使用分段上传的模式: 上传超过100MB大小的文件。
配置桶策略”。 根据需求在“配置桶策略”输入框中输入桶策略。 桶策略最多不能超过20KB。 桶策略各字段含义如表1所示。除“Effect”字段为必选外,其他字段均为可选字段。 表1 桶策略各字段含义 字段 描述 是否可选 Version 当前支持的取值为“2008-10-17“。 可选 Id
无 expires int 可选 参数解释: 表示对象的过期时间(从对象最后修改时间开始计算),过期之后对象会被自动删除。 约束限制: 此字段对于每个对象仅支持上传时配置,不支持后期通过修改元数据接口修改。 取值范围: 大于等于0的整型数,单位:天。 默认取值: 无 extensionGrants
分段上传(Java SDK) 分段上传概述(Java SDK) 初始化分段上传任务(Java SDK) 上传段(Java SDK) 合并段(Java SDK) 分段上传场景化示例(Java SDK) 取消分段上传任务(Java SDK) 列举已上传的段(Java SDK) 列举分段上传任务(Java
桶ACL的读取和写入这两种权限永远拥有,且不支持修改。 对象的拥有者是上传对象的账号,而不是对象所属的桶的拥有者。对象拥有者默认拥有其对象的所有访问权限,其中对象ACL的读取和写入这两种权限永远拥有且不支持修改。 须知: 不建议修改桶拥有者对桶的读取和写入权限。 匿名用户 未注册