检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对象下载简介(Java SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 OBS Java SDK提供了丰富的对象下载接口,可以通过以下方式下载对象: 流式下载 范围下载 断点续传下载 请求参数 参数名 类型 约束 说明
外部桶 外部桶简介 挂载外部桶 应用示例一:由桶ACL授权挂载桶的权限 应用示例二:由标准桶策略授权挂载桶的读写权限 应用示例三:由高级桶策略授权挂载桶的读写权限
异常处理 挂载并行文件系统失败 取消挂载并行文件系统失败
使用obsutil下载文件到99%后失败 obsutil上传下载速度慢 obsutil cp命令如何开启增量上传、下载和复制? 并行文件系统是否支持挂载到Windows服务器?
如何在弹性文件服务SFS和对象存储服务OBS之间进行数据迁移? 背景知识 对象存储服务OBS是华为云提供的稳定、安全、高效、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据。 弹性文件服务SFS是华为云提供的按需扩展的高性能文件存储(NAS),可为云上多个弹性云服务器E
配置请参考创建训练作业根据您的自身情况选择。 资源池:专属资源池,选择创建资源中创建的ModelArts资源池。 SFS Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 图1 创建训练作业参数 单击“提交”,完成训练作业的创建。 训练作业创建
操作指南 挂载并行文件系统 取消挂载并行文件系统
桶的高级配置 本章介绍对桶属性的一系列管理操作,包括:桶ACL权限、生命周期管理、桶策略、挂载外部桶。 桶ACL权限 生命周期管理 桶策略 挂载外部桶
对其他账号授予桶的指定操作权限 场景介绍 本案例介绍如何为其他华为云账号授予OBS桶的指定操作权限。这里的账号指华为云账号本身,不包含账号下的IAM用户,如果要为IAM用户授权,请参见对其他账号下的IAM用户授予桶和桶内资源的访问权限。 此处以授予设置桶ACL和获取桶ACL的权限
Browser+后提示访问受限属于正常现象。 在左侧菜单栏,单击“外部桶”。 单击“挂载”,在弹出的“挂载外部桶”对话框中,输入已授权的部门桶名称。 图4 挂载外部桶 单击“确定”,挂载成功后会在桶列表中展示。 在挂载成功的桶中上传文件,验证上传权限。 验证的关键点如下(以A部门用户进行验证为例):
并行文件系统 并行文件系统挂载后,为何显示256T? 文件列表是否支持排序?
Browser+创建桶,用于存放原始数据。 创建DES磁盘方式服务单 登录DES控制台,创建一个磁盘方式的服务单。然后将DES提供的签名文件导入本地数据磁盘并邮寄给华为云数据中心。 启动数据传输 华为云数据中心收到用户的磁盘并将磁盘挂载到物理服务器后,会短信通知用户填写访问密钥(AK和
Browser+创建桶,用于存放原始数据。 创建DES磁盘方式服务单 登录DES控制台,创建一个磁盘方式的服务单。然后将DES提供的签名文件导入本地数据磁盘并邮寄给华为云数据中心。 启动数据传输 华为云数据中心收到用户的磁盘并将磁盘挂载到物理服务器后,会短信通知用户填写访问密钥(AK和
按照本案例配置后,被授权IAM用户可以正常通过API或SDK进行对象上传下载,此外允许通过OBS Browser+挂载外部桶的方式进行上传下载,但还需要在额外配置一条ListBucket的权限才能挂载成功。暂不支持在OBS控制台访问非本账号的OBS桶。 步骤一:桶拥有者配置桶策略 由桶拥有者或者具
基因、教育等行业也可以使用obsutil将每日增量数据同步上云。 s3fs s3fs是一款基于用户空间文件系统(Filesystem in Userspace,简称FUSE)的文件系统工具,支持您在Linux系统中,将OBS对象桶挂载到本地文件系统,让您能够像操作本地文件一样操作对象,实现数据的共享。
使用obsutil下载文件到99%后失败 出现该问题的主要原因: 网络波动导致下载失败。 磁盘IO卡顿导致缓存文件到目标文件夹失败。 解决方法: 重新执行下载命令。 obsutil在下载的时候默认开启断点续传,此时只要重新执行之前的下载命令就可以将之前下载失败的对象采用续传的方式重新下载到本地。
HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。 文件系统使用空间不足,可以扩容吗? SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
除对象等。 支持批量上传、下载、删除、复制、移动等。 支持拖拽上传。 支持分段上传。 外部桶管理 支持管理其他账号分享的桶。 支持挂载外部桶,取消挂载等桶相关操作。 支持上传对象到外部桶,下载外部桶内对象相关操作。 系统设置 通过“系统设置”设置OBS Browser+工具的参数。
可以通过互联网或专线访问。需要指定桶地址进行访问,使用的是HTTP和HTTPS等传输协议。 只能在ECS/BMS中挂载使用,不能被操作系统应用直接访问,需要格式化成文件系统进行访问。 在ECS/BMS中通过网络协议挂载使用,支持NFS和CIFS的网络协议。需要指定网络地址进行访问,也可以将网络地址映射为本地目录后进行访问。
OBS上传下载速率的影响因素有哪些? 影响OBS上传下载速率的因素有: 单个华为云账号默认的OBS读写带宽(GET请求带宽与PUT请求带宽的总和)上限是16Gbit/s(包括公网和内网带宽一共16Gbit/s)。如果带宽达到该阈值,请求会触发流控。 如果用户购买的虚拟机网卡带宽低