检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用OBS SDK上传超过5GB的大文件失败 OBS服务端上传对象接口有规格限制,单次可上传的最大文件为5GB,如果需要上传超过5GB的大文件,需要通过OBS服务端提供的分段上传接口实现。具体步骤为: 调用OBS服务端初始化上传段任务接口,生成分段上传ID(Upload ID)。
使用obsutil下载文件到99%后失败 出现该问题的主要原因: 网络波动导致下载失败。 磁盘IO卡顿导致缓存文件到目标文件夹失败。 解决方法: 重新执行下载命令。 obsutil在下载的时候默认开启断点续传,此时只要重新执行之前的下载命令就可以将之前下载失败的对象采用续传的方式重新下载到本地。
给用户配置OBS系统权限或桶读写权限后仍然提示拒绝访问,请检查相应权限 原因 给用户配置了OBS系统权限 在IAM中给用户配置了OBS ReadOnlyAccess、OBS OperateAccess、OBS Buckets Viewer等系统权限后,实际上只允许执行一部分OBS操作,例如OBS
obsutil cp命令如何开启增量上传、下载和复制? 在执行obsutil cp命令进行上传/下载时,可以通过增加“-u”参数开启增量功能。 该参数的含义为:上传/下载/复制每个对象时都会对比源路径和目标路径,仅在目标对象不存在,或者对象大小不一致,或者目标对象的最后修改时间早
使用OBS Browser管理对象时,在任务列表中无相关任务显示 问题 为什么使用OBS Browser对对象进行上传、下载、删除等管理操作时,在任务列表中无相关任务显示。 回答 使用OBS Browser对对象进行上传、下载、删除等管理操作时,需要调用OBS Browser内置
Windows操作系统下,下载对象时发现本地和云上对象数量不一致 如果发现下载后本地文件和文件夹数量之和小于云上对象数量(OBS不区分文件或文件夹,统称为对象),并且当前操作系统是Windows,这个是因为Windows文件系统将文件和目录名称视为不区分大小写,FOO.txt和foo
是否可以同时装两个不同站点的OBS Browser+工具? 不可以。 一个系统中只允许安装一个版本的OBS Browser+工具。 不同局点提供的OBS Browser+工具可能支持的功能不一致。 因此,如果您想使用某一个局点的OBS请下载相应局点的OBS Browser+工具。
OBS Browser+支持迁移OBS Browser保存的账号信息和任务信息吗? OBS Browser+ 只支持将OBS Browser保存的账号信息迁移过来,不支持迁移任务信息;同时,OBS Browser+只支持迁移一次,不支持增量迁移;因此,强烈推荐您后期一直使用OBS
对单个IAM用户授予桶的指定操作权限 场景介绍 本案例介绍如何为华为云账号下的某个IAM用户授予OBS桶的指定操作权限,此处以授予删除桶的权限为例。 如果需要配置其他指定的权限,在桶策略的动作名称中选择对应动作即可。OBS支持的动作 推荐配置方法 对单个IAM用户授予资源级别权限,推荐使用桶策略。
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击
追加上传对象是否支持并发场景下的锁机制? OBS本身不支持,如果需要避免同一个对象被并行访问,需要在上层应用中增加对象的锁机制。 针对同一个对象或桶的操作,比如多个客户端对同一个对象并行上传、查询和删除时,具体操作结果依赖于操作到达系统的时间和系统内部处理的时延,可能返回不一致的
为什么SDK源码中包含acs.amazonaws.com关键字?(Node.js SDK) OBS SDK 为了兼容访问aws s3服务,在源码中会包含acs.amazonaws.com关键字的固定格式,SDK仅作常量使用,不会向该格式有其他处理,也不会对其访问。SDK会自动兼容该场景,用户可不感知。比如Node
对单个IAM用户授予指定对象的读权限 场景介绍 本案例介绍如何为华为云账号下的某个IAM用户授予OBS桶中某个对象或某类对象的读权限。 推荐配置方法 对单个IAM用户授予资源级别权限,推荐使用桶策略。 配置须知 本案例预置的“对象只读”模板允许指定IAM用户对桶内指定对象执行以下权限:
对单个IAM用户授予指定对象的指定操作权限 场景介绍 本案例介绍如何为华为云账号下的某个IAM用户授予OBS桶中指定对象的指定操作权限,此处以授予下载对象的权限为例。 如果需要配置其他指定的权限,在桶策略的动作名称中选择对应动作即可。OBS支持的动作 推荐配置方法 对单个IAM用户授予资源级别权限,推荐使用桶策略。
列举桶内对象返回的大小与控制台桶内对象大小不一致 通过obsutil列举桶内全量对象时最终输出结果中还会包含对象的总的大小,如果通过列举操作返回的对象大小与通过控制台、OBSBrowser+工具查询的桶使用情况不一致时可以从如下两点进行排查: OBSBrowser+和控制台均通过
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 下载ImageNet21K数据集,并上传ImageNet21K数据集至OBS,详细操作指导请参考上传数据至OBS。 OBS针对不同场景提供了多种数据上云方案,您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS,更多内容请参考数据上云方案。
通过OBS Browser同时选中大量文件上传时,上传任务没有创建,界面无任何提示 问题 为什么通过OBS Browser同时选中大量文件上传时,上传任务没有创建,界面也无任何提示?例如:用户通过OBS Browser,单击“上传 > 上传文件”同时选中C盘中大量文件进行上传,上传任务没有创建,界面也无任何提示。
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
对单个IAM用户授予创建桶和列举桶的权限 场景介绍 本案例介绍如何为华为云账号下的某个IAM用户授予OBS创建桶和列举桶的权限。拥有本权限的IAM用户可以创建桶,创建的桶仍然属于IAM用户对应的账号。同时该IAM用户也可以看到账号下的所有桶。 推荐配置方法 创建桶和列举桶属于OB
使用obsutil下载文件夹前期速度正常,下载到90%后速度变慢 出现此种现象有两种场景。 场景一:文件夹中存在部分大对象和大量小对象。对于大对象,下载速度很快;对于大量小对象,下载速度主要受TPS影响。如果下载到90%后都是小对象,此时下载速度一定程度上可能会降低。 场景二:文