检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果不带该字段,导入时会导入绑定OBS桶内的所有对象,导出时会导出联动目录下的所有文件。
弹性文件服务数据迁移 方案概述 通过云专线迁移(rclone工具) 跨服务器迁移(rclone工具) 通过云专线迁移(rsync工具) 文件系统之间迁移数据 SFS容量型文件系统迁移至其他文件系统
如何在弹性文件服务SFS和对象存储服务OBS之间进行数据迁移? 背景知识 对象存储服务OBS是华为云提供的稳定、安全、高效、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据。
数据迁移 迁移说明 通过云专线迁移 使用公网迁移 文件系统之间迁移数据 父主题: 其他操作
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
DNS服务器东北区IP地址为100.125.6.250,其它区域详情请参见华为云内网DNS地址。配置完成后,单击“确定”,完成配置。 图6 Windows系统配置DNS 父主题: 网络配置
方案架构 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问
在绑定OBS桶之后,单击“数据预热”选项。 图5 数据预热 “对象路径”请填写绑定OBS桶内对象的路径(不包含桶名)。 OBS桶中的对象路径(不包含桶名),目录需以“/”结尾。 如果要导入OBS桶内所有对象,则不用填写对象路径。
连接管理 修改文件系统绑定的安全组 父主题: SFS Turbo API说明
DELETED:表示删除数据,在SFS Turbo联动目录下删除文件,OBS桶对应的对象也会被删除,只有被SFS Turbo写入的OBS对象才会被删除。
共享访问规则 添加共享访问规则 删除共享访问规则 查询共享访问规则 父主题: SFS容量型API说明
云图说合集 云图说系列,是您了解华为云的必备利器 对象存储专题 汇聚云图说、视频、最佳实践,带您玩转华为云OBS 智能客服 您好!我是有问必答知识渊博的的智能问答机器人,有问题欢迎随时求助哦! 社区求助 华为云社区是华为云用户的聚集地。
挂载文件系统 挂载NFS协议类型文件系统到云服务器(Linux) 挂载NFS协议类型文件系统到云服务器(Windows) 挂载CIFS协议类型容量型文件系统到云服务器(Windows) 自动挂载文件系统
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
--links:复制源端的软链接,目的端保持为软链接的形式。 --copy-links:复制源端软链接指向的文件内容,目的端变成文件的形式,不再是软链接。 --create-empty-src-dirs:复制源端的空目录到目的端。
如何在弹性文件服务SFS和对象存储服务OBS之间进行数据迁移? 弹性文件服务支持多可用区吗? 可以将SFS容量型文件系统升级为SFS Turbo文件系统吗? 可以将SFS Turbo标准型升级为SFS Turbo标准型-增强版吗?
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
SFS授权项分类 查询API版本 权限 对应API接口 授权项 IAM项目 (Project) 企业项目 (Enterprise Project) 查询API版本(OpenStack原生) GET / - × × 查询API版本(OpenStack原生) GET /{api_version
授权项分类 SFS授权项分类 通用文件系统授权项分类 SFS Turbo授权项分类 父主题: 权限和授权项