检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据加密 创建与卸载SFS Turbo加密文件系统 通过加密传输保护网络传输链路的数据安全
如果不带该字段,导入时会导入绑定OBS桶内的所有对象,导出时会导出联动目录下的所有文件。
如何在高性能弹性文件服务SFS Turbo和对象存储服务OBS之间进行数据迁移 背景知识 对象存储服务OBS是华为云提供的稳定、安全、高效、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据。
方案架构 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问
数据迁移 数据迁移概述 通过云专线迁移本地数据至云上SFS Turbo 通过公网迁移本地数据至云上SFS Turbo
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
公共参数 SFS Turbo文件系统状态 SFS Turbo文件系统子状态
在绑定OBS桶之后,单击“数据预热”选项。 图5 数据预热 “对象路径”请填写绑定OBS桶内对象的路径(不包含桶名)。 OBS桶中的对象路径(不包含桶名),目录需以“/”结尾。 如果要导入OBS桶内所有对象,则不用填写对象路径。
共享标签 创建共享标签 查询共享标签 删除共享标签 批量添加共享标签 查询租户所有共享的标签 通过标签查询文件系统列表 父主题: API
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
DELETED:表示删除数据,在SFS Turbo联动目录下删除文件,OBS桶对应的对象也会被删除,只有被SFS Turbo写入的OBS对象才会被删除。
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
存储联动管理 绑定后端存储 查询后端存储列表 获取后端存储详细信息 删除后端存储 更新后端存储属性 更新后端存储自动同步策略 创建数据导入导出任务 查询数据导入导出任务详情 查询数据导入导出任务列表 删除数据导入导出任务 更新文件系统 父主题: API
挂载SFS Turbo文件系统 挂载SFS Turbo文件系统到Linux云服务器 父主题: SFS Turbo文件系统管理
权限和授权项 权限及授权项说明 授权项分类
SFS Turbo迁移类问题 如何在高性能弹性文件服务SFS Turbo和对象存储服务OBS之间进行数据迁移 如何将SFS Turbo部署至CCE SFS Turbo文件系统中的数据可以跨区域迁移吗 如何在高性能弹性文件服务SFS Turbo和云硬盘EVS之间进行数据迁移
SFS Turbo计费类问题 如何购买高性能弹性文件服务SFS Turbo 如何进行续费 如何查看是否欠费
生命周期管理 创建文件系统 查询文件系统详细信息 删除文件系统 获取文件系统列表 扩容文件系统 父主题: API
SFS Turbo规格类问题 在SFS Turbo文件系统中存放的单个文件最大支持多少 每个账号最多可以创建多少个SFS Turbo文件系统