检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Turbo和对象存储服务OBS之间进行数据迁移? 背景知识 对象存储服务OBS是华为云提供的稳定、安全、高效、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据。 高性能弹性文件服务SFS Turbo是华为云提供的按需扩展的高性能文件存储(NAS),可为云上多个弹性
内)续费以避免您的文件系统资源被清空。 按需计费购买 注册云服务账号。 打开华为云网站www.huaweicloud.com。 单击页面右上角“注册”。 进入注册页面,根据提示信息完成注册。 充值。 登录管理控制台。 单击“充值”,系统自动跳转到充值界面。 根据界面提示信息,对账户进行充值。
目录管理 创建目标文件夹quota 更新目标文件夹quota 查询目标文件夹quota 删除目标文件夹quota 创建目录 查询目录是否存在 删除文件系统目录 查询目录资源使用情况 父主题: API
如何调用API 构造请求 认证鉴权 返回结果
名称管理 修改文件系统名称 父主题: API
内)续费以避免您的文件系统资源被清空。 按需计费购买 注册云服务账号。 打开华为云网站www.huaweicloud.com。 单击页面右上角“注册”。 进入注册页面,根据提示信息完成注册。 充值。 登录管理控制台。 单击“充值”,系统自动跳转到充值界面。 根据界面提示信息,对账户进行充值。
使用前必读 概述 调用说明 终端节点 约束限制 基本概念
文件系统管理 创建文件系统异步任务 获取文件系统异步任务列表 获取文件系统异步任务详情 取消/删除文件系统异步任务 配置hpc缓存型后端信息 父主题: API
针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问,并将生
附录 状态码 错误码 获取访问密钥(AK/SK) 获取项目ID
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
SFS Turbo扩容类问题 SFS Turbo文件系统使用空间不足,可以扩容吗?
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 已经在OBS上创建好普通OBS桶,请参见创建普通OBS桶。 已经安装obsutil,请参考下载和安装obsutil。 登录Imagenet数据集下载官网地址,下载Imagenet21k数据集:http://image-net
不支持 桶名 OBS存储桶桶名。 无法绑定不存在的存储桶。 目前仅支持OBS存储桶,不支持OBS并行文件系统。 不支持 OBS区域域名 OBS区域域名,即OBS的终端节点。 OBS存储桶必须和SFS Turbo文件系统在同一个Region。 不支持 勾选“将OBS桶的读写权限通过桶策略授权给SFS
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
SFS Turbo删除类问题 如何删除.nfs类型的文件? 如何提高SFS Turbo文件系统复制和删除操作的效率?
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
SFS Turbo概念类问题 什么是高性能弹性文件服务SFS Turbo? 高性能弹性文件服务支持哪些访问协议?
SFS Turbo性能类问题 如何发挥SFS Turbo文件系统的最大性能?
SFS Turbo迁移类问题 如何在高性能弹性文件服务SFS Turbo和对象存储服务OBS之间进行数据迁移? 如何将SFS Turbo部署至CCE? SFS Turbo文件系统中的数据可以跨区域迁移吗? 如何在高性能弹性文件服务SFS Turbo和云硬盘EVS之间进行数据迁移?