检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
展示了桶相关接口的用法 object-operations-sample 展示了对象相关接口的用法 download-sample 展示了下载对象的用法 create-folder-sample 展示了创建文件夹的用法 delete-objects-sample 展示了批量删除对象的用法 list-objects-sample
速度,帮助用户快速完成下载业务;且其对用户透明,用户不用关心checkpoint文件的创建和删除、分段任务的切分、并发下载的实现等内部细节。 接口约束 您必须是桶拥有者或拥有下载对象的权限,才能下载对象。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:object:
EntityTooLarge 用户POST上传的对象大小超过了条件允许的最大大小。 修改POST上传的policy中的条件或者减少对象大小。 400 Bad Request EntityTooSmall 用户POST上传的对象大小小于条件允许的最小大小。 修改POST上传的policy中的条件或者增加对象大小。
txt"及日志路径下的日志文件。 config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 e 附加参数,可选 指定终端节点。 i 附加参数,可选 指定用户的AK。 k 附加参数,可选 指定用户的SK。 t 附加参数,可选 指定用户的securitytoken。
参数解释: 获取下载进度的回调函数。 说明: 该回调函数依次包含三个参数:已下载的字节数、总字节数、已使用的时间(单位:秒)。 约束限制: 无 取值范围: 无 默认取值: 无 IfMatch string 可选 参数解释: 指定一个预设的Etag值,如果下载对象的ETag值与该参数值相同,则返回对象内容,否则返回错误。
我对存储在OBS上的数据加密时,可支持哪些加密技术? 您在将数据上传到OBS中前,可以事先对数据进行加密,以保证传输和保存的安全性。OBS不限定客户端加密的技术。 用户可根据需要对对象进行服务端加密,使对象更安全的存储在OBS中。 需要上传的对象可以通过数据加密服务器提供密钥的方式进行服
同时OBS还提供多种编程语言的SDK供您使用,SDK的使用方法请参见SDK参考。 终端节点 终端节点即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询服务的终端节点。 OBS在每个区域都提供独立的二级域名,访问OBS服务既可以使用OBS提供的域名,也可以使用自定义域名。
您可以根据需要将存储在OBS中的对象下载到本地。如果只需要下载对象的其中一部分数据,可以使用范围下载,下载指定范围的数据。如果指定的下载范围是0~1000,则返回第0到第1000个字节的数据,包括第1000个,共1001字节的数据,即[0, 1000]。如果指定的范围无效,则返回整个对象的数据。可以
参数解释: 获取下载进度的回调函数。 说明: 该回调函数依次包含三个参数:已下载的字节数、总字节数、已使用的时间(单位:秒)。 约束限制: 无 取值范围: 无 默认取值: 无 IfMatch string 可选 参数解释: 指定一个预设的Etag值,如果下载对象的ETag值与该参数值相同,则返回对象内容,否则返回错误。
参数解释: 获取下载进度的回调函数。 约束限制: 无 取值范围: 无 默认取值: 无 说明: 该回调函数依次包含三个参数:已下载的字节数、总字节数、已使用的时间(单位:秒)。 IfMatch string 可选 参数解释: 指定一个预设的Etag值,如果下载对象的ETag值与该参数值相同,则返回对象内容,否则返回错误。
txt"及日志路径下的日志文件。 config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 e 附加参数,可选 指定终端节点。 i 附加参数,可选 指定用户的AK。 k 附加参数,可选 指定用户的SK。 t 附加参数,可选 指定用户的securitytoken。
附加参数,可选 将配置文件中的endpoint|endpointCrr取值更新为输入的值,endpoint|endpointCrr的详细描述请参见配置参数说明。 i 附加参数,可选 将配置文件中的ak|akCrr取值更新为输入的值,ak|akCrr的详细描述请参见配置参数说明。 k
功能,并且无法暂停。 本接口设置桶的多版本状态,用来开启或暂停桶的多版本功能。 设置桶的多版本状态为Enabled,开启桶的多版本功能: 上传对象时,系统为每一个对象创建一个唯一版本号,上传同名的对象将不再覆盖旧的对象,而是创建新的不同版本号的同名对象 可以指定版本号下载对象,不指定版本号默认下载最新对象;
功能介绍 本接口实现为桶创建或更新桶的默认存储类型配置信息。 要正确执行此操作,需要确保执行者有PutBucketStoragePolicy权限。默认情况下只有桶的所有者可以执行此操作,也可以通过设置桶策略或用户策略授权给其他用户。 设置了桶的默认存储类型之后,如果上传对象、复制
版本修订记录信息:ChangeLog。 推荐使用的Android系统版本:Android 7.0,8.0,8.1,9.0,10.0版本(HTTP/HTTPS协议)。 jdk1.8环境建议使用3.21.12版本的OBS Android SDK。 命名空间:与旧版本(2.1.x)保持兼容,对外的接口都包含在com
8是OBSA的版本号。 如hadoop版本为3.1.x,则选择hadoop-huaweicloud-3.1.1-hw-53.8.jar。 增加hadoop-huaweicloud的jar包。 在CDH集群各节点执行以下命令,命令请根据hadoop-huaweicloud的jar包名字及实际CDH版本进行适配使用。
对象策略即为桶策略中针对对象的策略,区别是对象策略只针对一个对象,桶策略中针对对象的策略可以配置多个对象或桶中所有对象。 桶策略应用场景 允许其他华为云账号访问OBS资源,可以使用桶策略的方式授权对应权限。 当不同的桶对于不同的IAM用户有不同的访问控制需求时,需使用桶策略分别授权IAM用户不同的权限。
使用场景 您可以通过回调,获取对象上传后的相关信息,例如获取对象是否上传成功,获取对象Etag、上传后大小、上传后对象所在桶等信息。OBS支持通过回调获取对象的系统参数和自定义参数,参数详情可参考API参考的回调章节。 图1 上传回调流程图 上传回调的详细流程如图1所示,主要分为以下几个阶段:
Q:选择多AZ存储后,数据是以副本的形式分别存放在多个AZ中吗?如果某个AZ出现故障,其他AZ中的数据是否完整? A:多AZ采用Erasure Code(EC,纠删码)算法做数据冗余,不是以副本的形式存储。选择多AZ存储的桶,数据将存储在同一区域的多个不同AZ。当某个AZ不可用时,
训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。 如果您觉得数据集规模较小或数据集变化不太频繁,不需要通过数据联动来做数据