检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过公网迁移本地数据至云上SFS Turbo 背景说明 用户可以将本地NAS存储中的数据，通过公网迁移至云上SFS Turbo中，进行云上业务拓展。 此方案通过在云上和本地分别创建一台Linux操作系统的服务器，将本地NAS存储中的数据迁移至云上。两台服务器端口号22的出入方向需
Turbo文件系统支持使用CBR备份。 操作场景 备份是SFS Turbo文件系统在某一时间点的完整备份，记录了这一时刻文件系统的所有配置数据和业务数据。 当您的文件系统出现故障或文件系统中的数据发生逻辑错误时（如误删数据、遭遇黑客攻击或病毒危害等），可快速使用备份恢复数据。 创建备份有以下方式：
通过云专线迁移本地数据至云上SFS Turbo 背景说明 用户可以将本地NAS存储中的数据，通过云专线迁移至云上SFS Turbo文件系统中，进行云上业务拓展。 此方案通过在云上创建一台Linux操作系统的云服务器，来连接本地NAS存储以及云上SFS Turbo文件系统的通信，并
通过云专线迁移数据至SFS Turbo（rsync工具） 方案概述 用户可以将本地NAS存储中的数据，通过云专线和rsync工具迁移至云上SFS Turbo文件系统中，进行云上业务拓展。 此方案通过在云上创建一台Linux操作系统的云服务器，来连接本地NAS存储以及云上SFS T
文件UID和GID在同步操作后将不再保持一致。 文件访问模式同步操作后不再保持一致。 支持实现增量迁移，即只迁移发生变化的数据。 通过 rclone 工具进行同步时，在执行命令之前写入的数据，可以完全同步；在执行命令之后写入的数据，不能保证完全同步。 前提条件 已经完成云专线的购买和配置，详情请参考《云专线服务用户指南》。
文件访问模式同步操作后不再保持一致。 端口号22的出入方向需允许访问。 支持实现增量迁移，即只迁移发生变化的数据。 通过 rclone 工具进行同步时，在执行命令之前写入的数据，可以完全同步；在执行命令之后写入的数据，不能保证完全同步。 前提条件 已在云上和本地分别创建一台Linux操作系统的服务器。 服务器已
数据保护技术 数据加密 高性能弹性文件服务支持服务器端加密功能，文件存储会对存储在文件系统中的数据进行加密，访问数据时，自动将加密数据解密后返回给用户。 具体使用方法请参见文件系统加密。 数据备份 备份是SFS Turbo文件系统在某一时间点的完整备份，记录了这一时刻文件系统的所
数据迁移 数据迁移概述 通过云专线迁移本地数据至云上SFS Turbo 通过公网迁移本地数据至云上SFS Turbo
文件系统之间迁移数据 方案概述 用户可以将SFS容量型文件系统中的数据迁移至SFS Turbo文件系统中，也可以将SFS Turbo文件系统中的数据迁移至SFS容量型文件系统中，进行云上业务拓展。 此方案通过创建一台Linux操作系统的云服务器，来连接SFS容量型文件系统和SFS
本章主要介绍如何将本地NAS存储中的数据迁移至SFS Turbo，主要是通过访问公网的ECS直接挂载进行迁移，可分为以下两种网络条件： 通过mount方式挂载访问SFS Turbo。 通过云专线迁移 无法打通网络直接挂载，可以通过公网访问华为云ECS绑定的EIP进行传输迁移。 使用公网迁移
通过加密传输保护网络传输链路的数据安全 概述 加密传输功能可以通过TLS协议保护您的客户端与SFS Turbo服务之间网络传输链路上的数据安全。 加密传输涉及加解密流程，性能相比非加密传输会有部分下降。 加密挂载教程-Linux 安装stunnel。 stunnel是一个开源网络
不同区域访问： 云连接 迁移数据分为两种网络条件，通过可访问公网的ECS直接挂载迁移。 通过mount方式挂载访问SFS Turbo，将本地NAS存储中的数据迁移至SFS Turbo。 通过云专线迁移数据至SFS Turbo（rclone工具） 通过云专线迁移数据至SFS Turbo（rsync工具）
SFS Turbo数据迁移实践 SFS Turbo数据迁移实践方案概述 通过云专线迁移数据至SFS Turbo（rclone工具） 通过跨服务器迁移数据至SFS Turbo（rclone工具） 通过云专线迁移数据至SFS Turbo（rsync工具） 文件系统之间迁移数据
训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中，数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。 如果您觉得数据集规模较小或数据集变化不太频繁
数据加密 创建与卸载SFS Turbo加密文件系统 通过加密传输保护网络传输链路的数据安全
备份：通过使用CBR备份能力，当您的SFS Turbo文件系统出现故障或SFS Turbo文件系统中的数据发生逻辑错误时（如误删数据、遭遇黑客攻击或病毒危害等），可快速使用备份恢复数据。 扩容：当您认为SFS Turbo文件系统的容量不足时，您可以通过执行扩容操作来增加SFS
创建文件系统时，会在指定的子网下创建IP。 在VPC控制台界面，每个IP 会显示与之关联的资源类型：弹性文件服务 SFS。（仅支持21年8月31号之后创建的文件系统） 如果无可用的VPC，可前往虚拟私有云控制台创建。 云备份 云备份提供对SFS Turbo的备份保护，并支持利用备份数据创建新的SFS
文件系统删除后，文件系统中存放的数据将无法恢复。为避免数据丢失，执行删除操作前，请确认存放在该文件系统中的文件都已经在本地备份。 前提条件 删除文件系统之前，建议先卸载已挂载的文件系统。卸载操作请参见卸载SFS Turbo文件系统。 操作步骤 登录高性能弹性文件服务管理控制台。 在文件系统列表中，单击指定文件系统所在行的“更多
程序从已有checkpoint恢复时，每张卡都需要从持久化存储中加载，在训练集群规模较大，存储带宽较低的场景下，加载耗时可能会达到小时级，严重影响训练恢复。因此，我们在AITurbo SDK中提供了快速保存和加载checkpoint的功能，当前流行的两种大模型训练框架Megatron进行简单适配便可使用。
重新从OBS中加载文件数据内容。 登录SFS管理控制台。 在文件系统列表中，单击创建的HPC型文件系统名称，进入文件系统详情页面。 在“基本信息”页签，设置冷数据淘汰时间。 图1 设置冷数据淘汰时间 只有已经导出到OBS且满足淘汰时间的数据才会被淘汰。 父主题： 基本配置
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
