检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DNS服务器东北区IP地址为100.125.6.250,其它区域详情请参见华为云内网DNS地址。配置完成后,单击“确定”,完成配置。 图6 Windows系统配置DNS 父主题: 网络配置
如何在弹性文件服务SFS和对象存储服务OBS之间进行数据迁移? 背景知识 对象存储服务OBS是华为云提供的稳定、安全、高效、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据。
监控 弹性文件服务监控指标说明 SFS Turbo监控指标说明 创建告警规则
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
如何在弹性文件服务SFS和对象存储服务OBS之间进行数据迁移? 弹性文件服务支持多可用区吗? 可以将SFS容量型文件系统升级为SFS Turbo文件系统吗? 可以将SFS Turbo标准型升级为SFS Turbo标准型-增强版吗?
方案架构 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
典型应用举例 高性能计算 媒体处理 企业网站/APP后台 日志打印
通用文件系统 生命周期管理 文件系统配额管理 资源包管理 标签 通用文件系统权限管理
SFS Turbo文件系统 管理SFS Turbo文件系统与OBS桶的存储联动 目录配额 加密传输 文件系统权限管理 通过AITurbo加速保存与加载checkpoint
在绑定OBS桶之后,单击“数据导入”选项。 图5 数据导入 “对象路径”请填写绑定OBS桶内对象的路径(不包含桶名)。 OBS桶中的对象路径(不包含桶名),目录需以“/”结尾。 如果要导入OBS桶内所有对象,则不用填写对象路径。
其他操作 SFS Turbo性能测试 使用非root的普通用户挂载文件系统到Linux云服务器 挂载NFS文件系统子目录到云服务器(Linux) 数据迁移
DELETED:表示删除数据,在SFS Turbo联动目录下删除文件,OBS桶对应的对象也会被删除,只有被SFS Turbo写入的OBS对象才会被删除。
基本概念 产品基本概念 项目和企业项目 区域和可用区
授权项分类 SFS授权项分类 通用文件系统授权项分类 SFS Turbo授权项分类 父主题: 权限和授权项
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
共享访问规则 添加共享访问规则 删除共享访问规则 查询共享访问规则 父主题: SFS容量型API说明
SFS授权项分类 查询API版本 权限 对应API接口 授权项 IAM项目 (Project) 企业项目 (Enterprise Project) 查询API版本(OpenStack原生) GET / - × × 查询API版本(OpenStack原生) GET /{api_version
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
挂载文件系统 挂载NFS协议类型文件系统到云服务器(Linux) 挂载NFS协议类型文件系统到云服务器(Windows) 挂载CIFS协议类型文件系统到云服务器(Windows) 自动挂载文件系统