检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何在高性能弹性文件服务SFS Turbo和对象存储服务OBS之间进行数据迁移？ 背景知识 对象存储服务OBS是华为云提供的稳定、安全、高效、易用的云存储服务，具备标准Restful API接口，可存储任意数量和形式的非结构化数据。 高性能弹性文件服务SFS Turbo是华为云提
通过云专线迁移本地数据至云上SFS Turbo 背景说明 用户可以将本地NAS存储中的数据，通过云专线迁移至云上SFS Turbo文件系统中，进行云上业务拓展。 此方案通过在云上创建一台Linux操作系统的云服务器，来连接本地NAS存储以及云上SFS Turbo文件系统的通信，并通过这台
+高性能文件服务SFS Turbo的AI云存储解决方案，如图所示，华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动，您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问，并将生成的结果数据异步持久化到OBS对象存储中长期低成本保存。
务器用于访问本地NAS存储，云上服务器用于访问云上SFS Turbo。 通过公网将云上NAS存储数据迁移至SFS Turbo中也可以参考本方案完成。 约束与限制 仅支持使用Linux系统的云服务器进行数据迁移。 文件UID和GID在同步操作后将不再保持一致。 文件访问模式同步操作后不再保持一致。
Turbo文件系统的通信，并通过这台服务器将本地NAS存储中的数据迁移至云上。 将云上NAS存储数据迁移至SFS Turbo文件系统中也可以参考本方案，云上NAS和SFS Turbo文件系统需要配置在同一个VPC下。 约束与限制 支持拷贝特殊文件，如连接文件、设备等。 支持单文件断点续传。
用于访问本地NAS存储，云上服务器用于访问云上SFS Turbo。 通过公网或内网将云上NAS存储数据迁移至SFS Turbo中也可以参考本方案完成。 约束与限制 仅支持使用Linux系统的云服务器进行数据迁移。 文件UID和GID在同步操作后将不再保持一致。 文件访问模式同步操作后不再保持一致。
Turbo文件系统的通信，并通过这台服务器将本地NAS存储中的数据迁移至云上。 将云上NAS存储数据迁移至SFS Turbo文件系统中也可以参考本方案，具体说明请参考云上NAS数据迁移至高性能弹性文件服务。 约束与限制 仅支持使用Linux系统的云服务器进行数据迁移。 文件UID和GID在同步操作后将不再保持一致。
迁移数据分为两种网络条件，通过可访问公网的ECS直接挂载迁移。 通过mount方式挂载访问SFS Turbo，将本地NAS存储中的数据迁移至SFS Turbo。 通过云专线迁移数据至SFS Turbo（rclone工具） 通过云专线迁移数据至SFS Turbo（rsync工具） 无法打通网络直接挂载，可以通过
高IOPS、性能高密 高IOPS、性能高密 典型应用场景 日志存储、文件共享、内容管理、网站 日志存储、文件共享、内容管理、网站 AI训练、自动驾驶、EDA仿真、渲染、企业NAS应用、高性能web应用 AI训练、自动驾驶、EDA仿真、渲染、企业NAS应用、高性能web应用 大规模AI训练、AI大模型、AIGC
绑定后端存储 功能介绍 为SFS Turbo 文件系统绑定后端存储 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。请求体参数file_s
什么是高性能弹性文件服务 高性能弹性文件服务简介 高性能弹性文件服务（Scalable File Service Turbo，SFS Turbo）提供按需扩展的高性能文件存储（NAS），可为云上多个弹性云服务器（Elastic Cloud Server，ECS）、容器（CCE&C
工具使用指导。 OBS针对不同场景提供了多种数据上云方案，您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS，更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后，可以使用数据预热功能，以减少后续训练首次访问数据耗时。
绑定关系id 表2 Query参数 参数 是否必选 参数类型 描述 delete_data_in_file_system 否 Boolean 删除后端存储时是否同时删除文件系统内的联动目录及其数据文件，默认为 false。数据删除后无法恢复，请谨慎操作。 请求参数 表3 请求Header参数
OBS：存放训练数据集、预训练模型等数据资源的桶，桶存储类别为“标准存储”，桶策略为“私有”。 SFS Turbo：文件系统类型为“HPC型”，存储类型请根据存储容量和性能需求选择，AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts：AI开发平台，采用多机多卡分布式训练。
不同区域访问： 云连接 本章主要介绍如何将本地NAS存储中的数据迁移至SFS Turbo，主要是通过访问公网的ECS直接挂载进行迁移，可分为以下两种网络条件： 通过mount方式挂载访问SFS Turbo。 通过云专线迁移 无法打通网络直接挂载，可以通过公网访问华为云ECS绑定的EIP进行传输迁移。
是 Long 后端校验时间。单位：秒。指定时间间隔进行线上缓存文件与后端存储文件比较，存在变化则自动更新。0表示文件进行实时校验。 nas 否 Array of ConfigNasTarget objects 配置 nas 后端的信息 表6 ConfigNasTarget 参数 是否必选
欢迎使用高性能弹性文件服务（Scalable File Service Turbo，SFS Turbo）。高性能弹性文件服务提供按需扩展的高性能文件存储（Network Attached Storage，NAS），可为云上多个弹性云服务器（Elastic Cloud Server，ECS），容器（Cloud
创建VPC：创建1个虚拟私有云和子网。 创建SFS Turbo HPC型文件系统：创建1个SFS Turbo文件系统，文件系统类型选择“HPC型”,存储类型请根据存储容量和性能需求选择，AI场景建议选择250MB/s/TiB及以上的存储类型。 创建OBS桶：创建1个OBS桶，存储类别为“标准存储”，桶策略为“私有”。
训练程序一般采用周期checkpoint方案来将训练状态持久化到存储，当发生故障时，训练程序能恢复到故障之前的模型和优化器的状态继续训练。原生Pytorch系框架在保存checkpoint时均直接持久化到存储系统，耗时与模型大小、存储的IO性能等密切相关，往往需要几分钟到几十分
操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo HPC型文件系统 创建SFS Turbo文件系统，文件系统类型选择“HPC型”，操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶，存储类别为“标准存储”，桶策略为“私有”，操作指导请参考创建OBS桶。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
