检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用OBS Browser管理对象时,在任务列表中无相关任务显示 问题 为什么使用OBS Browser对对象进行上传、下载、删除等管理操作时,在任务列表中无相关任务显示。 回答 使用OBS Browser对对象进行上传、下载、删除等管理操作时,需要调用OBS Browser内置数据库
上传对象-断点续传上传(Go SDK) 功能说明 对分段上传的封装和加强,解决上传大文件时由于网络不稳定或程序崩溃导致上传失败的问题。其原理是将待上传的文件分成若干个分段分别上传,并实时地将每段上传结果统一记录在checkpoint文件中,仅当所有分段都上传成功时返回上传成功的结果
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从
列举并行文件系统内对象(Go SDK) 功能介绍 调用列举并行文件系统内对象接口,可列举指定并行文件系统内的部分或所有对象的描述信息。您还可以通过设置前缀、数量、起始位置等参数,返回符合您筛选条件的对象信息。返回结果以对象名的字典序排序。 接口约束 每次接口调用最多返回1000个对象信息
追加上传对象是否支持并发场景下的锁机制? OBS本身不支持,如果需要避免同一个对象被并行访问,需要在上层应用中增加对象的锁机制。 针对同一个对象或桶的操作,比如多个客户端对同一个对象并行上传、查询和删除时,具体操作结果依赖于操作到达系统的时间和系统内部处理的时延,可能返回不一致的结果
给IAM用户配置了桶读写权限,登录控制台仍然提示拒绝访问,请检查相应权限 原因 通过桶策略给IAM用户配置桶的读写权限后,实际上授予的权限如下: GetObject:下载对象 GetObjectVersion:下载多版本对象 PutObject:上传对象 DeleteObject:
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击创建资源中创建的
上传对象时设置指定对象生命周期(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能说明 上传对象或者初始化分段上传任务时,您可以使用Expires参数直接指定对象的过期时间。此方式仅支持设置以天为单位的对象过期时间
恢复多版本归档或深度归档存储对象(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能说明 如果要获取归档或深度归档存储对象的内容,需要先将对象恢复,然后再执行下载数据的操作。对象恢复后,会产生一个标准存储类型的对象副本
列举并行文件系统内对象(Harmony SDK) 功能介绍 调用列举并行文件系统内对象接口,可列举指定并行文件系统内的部分或所有对象的描述信息。您还可以通过设置前缀、数量、起始位置等参数,返回符合您筛选条件的对象信息。返回结果以对象名的字典序排序。 接口约束 您必须是并行文件系统拥有者或拥有列举并行文件系统内对象的权限
对单个IAM用户授予桶的指定操作权限 场景介绍 本案例介绍如何为华为云账号下的某个IAM用户授予OBS桶的指定操作权限,此处以授予删除桶的权限为例。 如果需要配置其他指定的权限,在桶策略的动作名称中选择对应动作即可。OBS支持的动作 推荐配置方法 对单个IAM用户授予资源级别权限,
对单个IAM用户授予指定对象的读权限 场景介绍 本案例介绍如何为华为云账号下的某个IAM用户授予OBS桶中某个对象或某类对象的读权限。 推荐配置方法 对单个IAM用户授予资源级别权限,推荐使用桶策略。 配置须知 本案例预置的“对象只读”模板允许指定IAM用户对桶内指定对象执行以下权限
设置桶日志后,进行图片处理,发现有100网段的ip访问桶 用户开启了桶日志配置,在对桶里的对象进行图片处理后,查看桶的访问日志,发现有100网段的ip访问了该桶。 原因是:在进行图片处理的过程中,OBS会通过内网访问客户的桶来下载原图并进行图片处理,此时内网ip会被记录到桶日志中,
对单个IAM用户授予指定对象的指定操作权限 场景介绍 本案例介绍如何为华为云账号下的某个IAM用户授予OBS桶中指定对象的指定操作权限,此处以授予下载对象的权限为例。 如果需要配置其他指定的权限,在桶策略的动作名称中选择对应动作即可。OBS支持的动作 推荐配置方法 对单个IAM用户授予资源级别权限
对其他账号下的IAM用户授予桶和桶内资源的访问权限 场景介绍 本案例介绍如何为其他华为云账号下的IAM用户授予OBS桶和桶内资源的访问权限。 此处以授予上传和下载桶内对象的权限为例。如果需要配置其他指定的权限,在桶策略和给IAM用户授权中配置对应的权限即可。 推荐配置方法 对其他账号下的
为什么SDK源码中包含acs.amazonaws.com关键字?(Node.js SDK) OBS SDK 为了兼容访问aws s3服务,在源码中会包含acs.amazonaws.com关键字的固定格式,SDK仅作常量使用,不会向该格式有其他处理,也不会对其访问。SDK会自动兼容该场景
列举桶内对象返回的大小与控制台桶内对象大小不一致 通过obsutil列举桶内全量对象时最终输出结果中还会包含对象的总的大小,如果通过列举操作返回的对象大小与通过控制台、OBSBrowser+工具查询的桶使用情况不一致时可以从如下两点进行排查: OBSBrowser+和控制台均通过调用获取桶存量信息接口查询当前桶内对象个数及对象占用空间
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 下载ImageNet21K数据集,并上传ImageNet21K数据集至OBS,详细操作指导请参考上传数据至OBS。 OBS针对不同场景提供了多种数据上云方案,您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态
为什么通过控制台设置匿名用户桶ACL后,旧配置中的delivered属性会被覆盖为false? OBS控制台目前不支持设置匿名用户的桶ACL权限继承关系(即不支持配置delivered属性),如需配置请使用OBS SDK或API操作。 如果您通过SDK或API配置了匿名用户的delivered